P-hacking là việc thử nhiều cách thu thập hoặc phân tích dữ liệu rồi chỉ báo cáo những cách cho giá trị p nhỏ hơn ngưỡng, thường là 0,05, khiến kết quả trông có ý nghĩa thống kê dù có thể chỉ là may rủi. Nó không nhất thiết là gian lận có chủ đích; rất nhiều người làm điều đó một cách vô tình, chỉ vì muốn dự án "ra kết quả".
Lý do p-hacking nguy hiểm nằm ở một phép tính đơn giản: nếu bạn làm 20 phép so sánh độc lập trên dữ liệu không có hiệu ứng thật nào, khả năng ít nhất một phép cho p nhỏ hơn 0,05 là khoảng 64%. Bài này giải thích cơ chế đó, các kiểu p-hacking hay gặp, dấu hiệu nhận ra khi đọc bài báo, và những thói quen giúp dự án của bạn trung thực ngay từ đầu. Các tình huống trong bài là ví dụ giả định.
Phép tính đằng sau: so sánh càng nhiều, càng dễ trúng
Ngưỡng 0,05 có nghĩa là khi thật ra không có hiệu ứng, mỗi phép kiểm định có khoảng 5% khả năng cho kết quả "có ý nghĩa" do may rủi. Con số đó nghe nhỏ khi làm một phép. Nhưng nếu làm nhiều phép, các khả năng nhỏ cộng dồn lại. Với hai phép độc lập, khả năng ít nhất một phép "trúng" là 1 trừ 0,95 bình phương, khoảng 9,75%. Với mười phép, khoảng 40%. Với hai mươi phép, khoảng 64%.
Hình dung một dự án giả định: một nhóm sinh viên khảo sát 200 bạn cùng trường về thói quen uống trà sữa và kết quả học tập. Bảng hỏi có 10 câu về thói quen và 4 chỉ số học tập. Nếu kiểm tra mọi cặp, đó là 40 phép so sánh. Kể cả khi trà sữa hoàn toàn không liên quan đến học tập, nhóm gần như kiểu gì cũng tìm được một vài cặp có p nhỏ hơn 0,05. Nếu bài báo cáo chỉ viết về những cặp đó, chẳng hạn "uống trà sữa vị khoai môn liên quan đến điểm tiếng Anh cao hơn", người đọc sẽ không biết đằng sau là 40 lần thử.
Đây là lý do một kết quả bất ngờ, đơn lẻ, đến từ một bảng hỏi dài cần được đọc với nhiều hoài nghi. Vấn đề không nằm ở việc đo nhiều thứ, mà ở việc chọn lọc báo cáo sau khi đã thấy kết quả.
Những kiểu p-hacking hay gặp, kể cả khi không cố ý
Các nhà tâm lý học Simmons, Nelson và Simonsohn trong một bài báo năm 2011 đã chỉ ra rằng chỉ cần kết hợp vài lựa chọn phân tích nghe rất hợp lý, khả năng ra kết quả dương tính giả tăng lên nhiều lần. Những lựa chọn đó thường trông như sau:
- Dừng thu dữ liệu khi p vừa đẹp: kiểm tra kết quả sau mỗi đợt thu, thấy p dưới 0,05 thì dừng, chưa thấy thì thu thêm.
- Loại bỏ "số liệu lạ" sau khi xem kết quả: gạt bỏ vài điểm dữ liệu với lý do đo lỗi, nhưng chỉ khi việc gạt bỏ giúp kết quả đẹp hơn.
- Đổi cách đo kết quả chính: định đo điểm trung bình cả năm, thấy không có gì thì chuyển sang điểm học kỳ hai, rồi điểm một môn.
- Chia nhỏ nhóm sau khi xem dữ liệu: không có hiệu ứng chung thì thử riêng nam, riêng nữ, riêng khối 10, riêng học sinh ở ký túc xá, cho tới khi một nhóm cho p nhỏ.
- Thêm hoặc bớt biến kiểm soát: thử nhiều mô hình hồi quy với các tổ hợp biến khác nhau và chọn mô hình "đẹp" nhất.
- Đổi phép kiểm định: kiểm định này không đạt thì thử kiểm định khác, đổi hai phía thành một phía.
- Không báo cáo những gì đã thử: phần phương pháp chỉ mô tả con đường cuối cùng, như thể đó là kế hoạch từ đầu.
Nhà thống kê Andrew Gelman gọi hiện tượng gần giống là "khu vườn những lối rẽ": ngay cả khi người làm nghiên cứu chỉ chạy một phân tích, nếu lựa chọn phân tích đó được quyết định sau khi nhìn dữ liệu, thì kết quả vẫn mang rủi ro tương tự, vì với dữ liệu khác họ đã có thể rẽ sang lối khác.
Vì sao p-hacking làm hỏng cả một lĩnh vực, không chỉ một bài báo
Mỗi kết quả dương tính giả được công bố trở thành nền móng cho các nghiên cứu sau. Người khác trích dẫn nó, xây giả thuyết mới dựa trên nó, đôi khi đưa nó vào sách giáo khoa hoặc chính sách. Khi các nhóm độc lập thử làm lại và không thấy hiệu ứng, cả một chuỗi công trình bị lung lay. Từ khoảng đầu những năm 2010, nhiều lĩnh vực, nổi bật là tâm lý học xã hội và một số ngành y sinh, đã trải qua giai đoạn được gọi là "khủng hoảng lặp lại", khi các dự án làm lại quy mô lớn cho thấy một phần đáng kể kết quả nổi tiếng không tái hiện được với cùng độ lớn.
P-hacking không phải nguyên nhân duy nhất. Thiên lệch công bố, tức xu hướng tạp chí và tác giả ưu tiên kết quả "có ý nghĩa", cỡ mẫu nhỏ, và áp lực phải có bài cũng góp phần. Nhưng p-hacking là mắt xích mà từng người làm nghiên cứu, kể cả học sinh, có thể tự kiểm soát. Nếu bạn biết dự án của mình đã thử mười cách phân tích, việc trung thực báo cáo cả mười là đóng góp nhỏ nhưng thật cho chất lượng khoa học.
Với người đọc, bài học là: một kết quả đơn lẻ, bất ngờ, từ mẫu nhỏ, có p chỉ vừa chạm dưới 0,05, là loại kết quả cần thêm nghiên cứu lặp lại trước khi tin. Một tập hợp p-value tập trung dày đặc ngay dưới 0,05 trong một lĩnh vực cũng là dấu hiệu mà các nhà nghiên cứu dùng để nghi ngờ có p-hacking trên diện rộng.
Dấu hiệu nhận ra khi đọc một bài báo
Bạn không thể biết chắc một bài báo có p-hacking hay không, nhưng có những dấu hiệu khiến bạn nên đọc chậm lại. Bảng dưới liệt kê dấu hiệu, lý do đáng chú ý, và câu nên tự hỏi.
| Dấu hiệu | Vì sao đáng chú ý | Câu nên tự hỏi |
|---|---|---|
| Nhiều giá trị p chỉ vừa dưới 0,05 | Phân bố tự nhiên ít khi dồn sát ngưỡng như vậy | Tác giả có thể đã thử bao nhiêu cách? |
| Kết quả chính khác với mục tiêu ghi ở phần mở đầu | Có thể đã đổi thước đo sau khi xem dữ liệu | Đây có phải kết quả đã định từ trước? |
| Hiệu ứng chỉ xuất hiện ở một nhóm nhỏ được chọn ra | Phân tích dưới nhóm dễ cho kết quả may rủi | Có lý do từ trước để chia nhóm như vậy không? |
| Cỡ mẫu không tròn và không có giải thích | Có thể đã dừng thu khi kết quả đẹp | Cỡ mẫu được quyết định thế nào? |
| Không nhắc đến đăng ký trước hay kế hoạch phân tích | Không có mốc để so con đường đã đi | Có bản kế hoạch công khai nào không? |
| Bảng hỏi rất dài, chỉ báo cáo vài câu | Có thể đã chọn lọc kết quả đẹp | Những câu còn lại cho kết quả gì? |
Một dấu hiệu đơn lẻ không chứng minh điều gì; nhiều nghiên cứu tốt vẫn có cỡ mẫu lẻ hay phân tích dưới nhóm có lý do chính đáng. Nhưng khi ba bốn dấu hiệu cùng xuất hiện trong một bài với kết quả gây chú ý, bạn nên chờ thêm bằng chứng trước khi trích dẫn.
Giữ dự án của bạn sạch p-hacking: sáu thói quen
Những thói quen dưới đây áp dụng được cho cả dự án khoa học kỹ thuật của học sinh lẫn bài tập nghiên cứu của sinh viên năm đầu. Chúng không đòi hỏi phần mềm hay kỹ năng thống kê cao.
- Viết kế hoạch trước khi thu dữ liệu: một trang ghi câu hỏi chính, kết quả chính sẽ đo bằng gì, so sánh nhóm nào, dùng phép tính nào, thu bao nhiêu mẫu. Ghi ngày, gửi cho giáo viên hướng dẫn để có mốc thời gian.
- Quyết định cỡ mẫu từ trước và thu đủ rồi mới phân tích, không xem trộm kết quả giữa chừng để quyết định dừng.
- Đặt quy tắc loại dữ liệu từ trước, ví dụ "loại phiếu trả lời trong dưới hai phút", và áp dụng trước khi xem kết quả.
- Tách phân tích chính và phân tích khám phá: những gì nằm ngoài kế hoạch vẫn được làm, nhưng ghi rõ là khám phá, cần kiểm lại.
- Báo cáo tất cả những gì đã thử, kể cả kết quả không có ý nghĩa, trong một bảng phụ lục ngắn.
- Khi làm nhiều phép so sánh, nói rõ số lượng và cân nhắc một phép hiệu chỉnh đơn giản như Bonferroni: chia ngưỡng 0,05 cho số phép so sánh; với 10 phép, ngưỡng mới là 0,005.
Trong nghiên cứu chuyên nghiệp, hình thức tương ứng là đăng ký trước nghiên cứu trên các hệ thống công khai, và một số tạp chí nhận đăng "báo cáo đã đăng ký", tức duyệt bài dựa trên kế hoạch trước khi có kết quả. Với dự án học sinh, một trang kế hoạch có chữ ký giáo viên đã đủ tinh thần đó.
Dùng AI như người phản biện kế hoạch phân tích
AI hữu ích ở bước trước khi có dữ liệu: rà kế hoạch để chỉ ra những chỗ còn mơ hồ có thể dẫn đến lối rẽ sau này. Câu lệnh mẫu: "Dưới đây là kế hoạch phân tích cho dự án khảo sát của em. Hãy đóng vai người phản biện khó tính, liệt kê những chỗ còn để ngỏ lựa chọn sau khi có dữ liệu (cách đo kết quả chính, quy tắc loại phiếu, cách chia nhóm, số phép so sánh), và gợi ý cách chốt từng chỗ ngay từ bây giờ. Không viết lại kế hoạch hộ em."
Sau khi có kết quả, đừng dùng AI theo kiểu "tìm giúp những mối liên hệ có ý nghĩa trong bảng số liệu này". Đó chính là p-hacking được tự động hoá: AI sẽ chạy hoặc mô tả hàng chục phép so sánh và trả lại những cái đẹp nhất, còn bạn không còn đếm được đã thử bao nhiêu. Nếu muốn khám phá dữ liệu, hãy làm điều đó công khai, ghi rõ là phân tích khám phá, và nói số phép đã chạy.
Khi dán dữ liệu vào chatbot để nhờ kiểm tra, hãy xoá tên, lớp, số điện thoại và mọi thông tin nhận dạng người trả lời khảo sát. Với dữ liệu của học sinh vị thành niên, tốt nhất chỉ đưa các con số tổng hợp. Và nhớ khai báo việc dùng AI trong báo cáo theo hướng dẫn của trường hoặc cuộc thi.
Câu hỏi thường gặp
P-hacking có phải là gian lận không?
Không phải lúc nào cũng vậy. Phần lớn trường hợp là vô tình, do người làm nghiên cứu không biết các lựa chọn phân tích linh hoạt làm tăng kết quả dương tính giả. Tuy nhiên, cố ý thử nhiều cách rồi giấu đi những cách không đạt là hành vi thiếu liêm chính, và bịa hoặc sửa số liệu thì là gian lận thật sự.
Phân tích khám phá có xấu không?
Không. Khám phá dữ liệu là cách tốt để tìm ý tưởng mới. Điều quan trọng là gọi đúng tên: kết quả khám phá là giả thuyết cần kiểm lại bằng dữ liệu mới, không phải phát hiện đã được xác nhận. Vấn đề chỉ nảy sinh khi kết quả khám phá được trình bày như thể là kế hoạch từ đầu.
Hiệu chỉnh Bonferroni có nhược điểm gì?
Bonferroni đơn giản nhưng khá khắt khe: khi số phép so sánh nhiều, ngưỡng mới rất nhỏ, dễ bỏ sót hiệu ứng thật. Có các phương pháp hiệu chỉnh khác ít khắt khe hơn. Với người mới, điều quan trọng hơn chọn phương pháp là báo cáo trung thực số phép so sánh đã làm.
Đăng ký trước nghiên cứu là gì?
Đăng ký trước là việc công bố kế hoạch nghiên cứu, gồm câu hỏi, cách đo, cỡ mẫu và cách phân tích, lên một hệ thống công khai có dấu thời gian trước khi thu dữ liệu. Nhờ đó người đọc so được kế hoạch với những gì thực sự được báo cáo. Thử nghiệm lâm sàng ở nhiều nước bắt buộc đăng ký trước.
Nếu dự án của em không ra kết quả có ý nghĩa thì sao?
Đó vẫn là một kết quả. Báo cáo trung thực rằng với dữ liệu đã thu, chưa thấy khác biệt rõ, kèm giải thích về cỡ mẫu và giới hạn, cho thấy bạn hiểu nghiên cứu. Hội đồng chấm các cuộc thi khoa học thường đánh giá cao quá trình và sự trung thực hơn là một con số p đẹp.
Làm sao biết một bài báo đã đăng ký trước?
Bài báo đã đăng ký trước thường ghi mã đăng ký ở phần tóm tắt hoặc phần phương pháp, kèm tên hệ thống đăng ký. Bạn có thể tra mã đó để xem kế hoạch gốc và so với kết quả được báo cáo, đặc biệt là xem kết quả chính có bị đổi hay không.