Mô tả công việc
Chúng tôi xây dựng hạ tầng đo lường và chứng nhận kết quả phát triển con người, với mục tiêu để những cải thiện thật sự trong đời sống con người trở thành thứ có thể kiểm chứng và tài trợ được. Nhóm Dữ liệu và Đo lường là nơi bằng chứng được tạo ra: thiết kế thước đo, xử lý dữ liệu, kiểm định, và chịu trách nhiệm về độ tin cậy của mọi con số đi ra khỏi hệ thống.
Trước mắt, công việc tập trung vào pilot đo lường của một ứng dụng chăm sóc sức khỏe tinh thần, với ba kênh dữ liệu chạy song song:
- Nhật ký trong ứng dụng: sự kiện và nhãn trạng thái từ các tính năng, không có nội dung hội thoại.
- Lời mời ngẫu nhiên: check-in vào thời điểm rút ngẫu nhiên, dùng để sửa độ lệch do người dùng tự chọn lúc mở ứng dụng.
- Bảng hỏi tuần: ba bộ công cụ làm ngoài ứng dụng, trong đó có một thang quốc tế chưa có bản tiếng Việt đã thẩm định.
Nội dung công việc:
1. Xây và vận hành pipeline đo lường
- Biến đặc tả công thức thành code chạy được và chạy lặp lại được: chấm điểm bảng hỏi, tính chỉ số từ nhật ký, ghép ba kênh dữ liệu theo cửa sổ thời gian.
- Viết kiểm tra chất lượng dữ liệu ở mọi bước: tỉ lệ đủ trường bắt buộc, giá trị ngoài miền cho phép, lệch múi giờ, sự kiện gửi lên trễ, trùng bản ghi.
- Dựng bộ báo cáo định kỳ cho nhóm nghiên cứu và cho tổ chức, trong đó số liệu cho tổ chức luôn là số gộp.
- Làm việc với đội kỹ thuật ứng dụng về hợp đồng sự kiện: thiếu trường nào, nhãn nào không nhất quán giữa các phiên bản, log nào không đủ để tính chỉ số đã hứa.
2. Phân tích và kiểm định thống kê
- Chạy các phân tích đã đăng ký trước: mô hình đa tầng cho dữ liệu lặp theo tuần, mô hình cho biến thứ bậc và biến danh mục, phân tích thời gian tới sự kiện có dữ liệu bị cắt, phân tích nhân quả cho thử nghiệm ngẫu nhiên lặp lại trong ứng dụng.
- Thẩm định công cụ đo: độ tin cậy, cấu trúc nhân tố, độ ổn định qua các tuần, độ khớp giữa nhãn máy gán và nhãn người xác nhận.
- Xử lý các vấn đề không tránh được của loại dữ liệu này: dữ liệu thiếu không ngẫu nhiên, người dùng tự chọn thời điểm đo, cỡ mẫu nhỏ cho từng người, so sánh nhiều lần.
- Chạy mô phỏng để tính cỡ mẫu và để kiểm tra chính phương pháp phân tích trước khi có dữ liệu thật.
- Viết phần phương pháp và phần kết quả, kèm phần giới hạn trung thực, cho tài liệu nội bộ và cho đối tác kiểm chứng độc lập.
3. Quản trị dữ liệu và tính liêm chính của bằng chứng
- Thực thi các quy tắc riêng tư trong code, không chỉ trong tài liệu: ngưỡng gộp tối thiểu, chống suy ngược ra nhóm bị ẩn, tách dữ liệu định danh khỏi dữ liệu phân tích.
- Giữ dấu vết của mọi con số: từ bản ghi gốc tới chỉ số cuối cùng, phiên bản code và phiên bản dữ liệu nào tạo ra nó.
- Tham gia viết bản đăng ký trước, và ghi lại mọi thay đổi sau khi đã đăng ký vào một sổ chỉ ghi thêm.
- Phát hiện và báo cáo các trường hợp cần can thiệp an toàn theo quy trình, trong thời hạn đã cam kết.
Yêu cầu công việc
1. Thống kê
- Nền tảng suy luận thống kê vững: hiểu điều một kiểm định thực sự nói và không nói; phân biệt ý nghĩa thống kê với độ lớn hiệu ứng; biết vì sao khoảng tin cậy thường hữu ích hơn một giá trị p.
- Dữ liệu lặp theo thời gian: mô hình đa tầng hoặc mô hình hiệu ứng hỗn hợp; tách biến động trong một người khỏi khác biệt giữa người với người.
- Biến không liên tục: hồi quy logistic, mô hình cho biến thứ bậc, mô hình cho dữ liệu đếm.
- Dữ liệu thiếu: phân biệt các cơ chế thiếu dữ liệu và biết hệ quả của từng cơ chế lên kết luận.
- Đo lường: độ tin cậy, độ giá trị, sai số đo, và vì sao một thang dịch sang ngôn ngữ khác phải được kiểm lại trước khi dùng.
- Suy luận nhân quả ở mức khái niệm: biết khi nào được nói "làm cho" và khi nào chỉ được nói "đi cùng với".
2. Công nghệ
- Python hoặc Rở mức thành thạo, đủ để viết pipeline chứ không chỉ chạy phân tích rời rạc trong notebook. Ứng viên mạnh thường dùng được cả hai.
- SQL ở mức viết được truy vấn nhiều bảng, hàm cửa sổ, và xử lý dữ liệu có mốc thời gian.
- Git và thói quen làm việc có review code.
- Dữ liệu dạng sự kiện: ghép chuỗi sự kiện theo cửa sổ thời gian, xử lý sự kiện đến trễ hoặc trùng, làm việc với múi giờ.
- Khả năng tái lập: cùng một dữ liệu và cùng một phiên bản code phải cho cùng một con số, không phụ thuộc vào việc ai chạy.
3. Cách làm việc
- Viết được bằng tiếng Việt rõ ràng cho người không làm thống kê, và đọc hiểu tài liệu kỹ thuật tiếng Anh.
- Nói thẳng về giới hạn của phân tích, kể cả khi kết quả không như mong đợi của dự án.
- Cẩn thận với dữ liệu về đời sống nội tâm của người khác. Đây là yêu cầu bắt buộc, không phải điểm cộng.
4. Điểm cộng
- Thống kê Bayes: Stan, PyMC, brms, mô hình phân cấp (Hierarchical Models).
- Tâm trắc học (Psychometrics): Confirmatory Factor Analysis (CFA), Item Response Theory (IRT), Measurement Invariance.
- Thử nghiệm trong sản phẩm: Micro-randomized Trials, Regression Discontinuity Design (RDD), Interrupted Time Series (ITS).
- Dữ liệu chuỗi sự kiện: Point Processes, Survival Analysis, Irregularly Spaced Data.
- Đánh giá nhãn do mô hình ngôn ngữ gán: Inter-rater Agreement, Annotator Error Models, Measurement Error Correction.
- Hạ tầng dữ liệu: Dagster, Apache Airflow, dbt, Apache Iceberg, Parquet, Docker.
- Riêng tư trong phân tích: Data Anonymization, Re-identification Risk Assessment, ARX.
- Nền tảng lĩnh vực: Psychology, Public Health, Econometrics, Computational Social Science.
