Một kết quả từ nghiên cứu cỡ mẫu nhỏ, chưa được nhóm nào khác lặp lại, nên được coi là một giả thuyết thú vị chứ chưa phải một phát hiện, nhất là khi hiệu ứng lớn đến bất ngờ. Mẫu nhỏ dễ cho kết quả cực đoan do may rủi, và những kết quả cực đoan lại dễ được công bố, đưa tin nhất. Khi người khác làm lại, hiệu ứng thường nhỏ đi hoặc biến mất.
Hiện tượng này lớn đến mức giới khoa học có hẳn một cái tên cho nó: khủng hoảng tái lập. Bài này giải thích vì sao mẫu nhỏ nguy hiểm, cơ chế khiến kết quả ban đầu bị phóng đại, những gì các dự án lặp lại quy mô lớn đã cho thấy, và những dấu hiệu bạn có thể tự nhận ra để biết khi nào nên chờ thêm bằng chứng. Phần thống kê được giữ ở mức trực giác; các khái niệm như giá trị p, khoảng tin cậy có bài riêng ở danh mục thống kê để đọc hiểu.
Vì sao mẫu nhỏ dễ cho kết quả cực đoan
Hãy tung một đồng xu mười lần. Ra tám lần mặt ngửa không có gì lạ, chuyện đó xảy ra khá thường xuyên. Bây giờ tung một nghìn lần. Ra tám trăm lần ngửa thì gần như chắc chắn đồng xu có vấn đề. Cùng một tỷ lệ tám phần mười, nhưng ý nghĩa hoàn toàn khác, vì với mẫu nhỏ, may rủi có thể đẩy tỷ lệ đi rất xa khỏi giá trị thật.
Ví dụ giả định trong giáo dục: nếu so tỷ lệ học sinh đạt điểm cao giữa các trường, những trường có ít học sinh nhất thường chiếm cả các vị trí cao nhất lẫn thấp nhất. Không phải vì trường nhỏ dạy giỏi hơn hay kém hơn, mà vì với vài chục học sinh, chỉ vài em xuất sắc hoặc vài em ốm hôm thi là đủ làm tỷ lệ thay đổi mạnh. Người nhìn bảng xếp hạng dễ rút ra kết luận “trường nhỏ tốt hơn” rồi đầu tư theo hướng đó, trong khi điều họ thấy chủ yếu là dao động ngẫu nhiên.
Áp vào nghiên cứu: một thử nghiệm với hai mươi người có thể cho thấy một phương pháp cải thiện trí nhớ ba mươi phần trăm, đơn giản vì nhóm can thiệp tình cờ có vài người làm bài tốt hơn hẳn hôm đó. Với hai nghìn người, những may rủi như vậy bị pha loãng, và con số tiến gần hơn đến hiệu quả thật, có thể nhỏ hơn nhiều.
Lời nguyền người chiến thắng và chiếc ngăn kéo hồ sơ
Mẫu nhỏ một mình chưa đủ gây ra vấn đề hệ thống. Nó trở nên nguy hiểm khi kết hợp với cách kết quả được chọn lọc để công bố. Giả sử mười nhóm nghiên cứu nhỏ cùng thử một phương pháp không có tác dụng gì. Do may rủi, một hai nhóm sẽ thấy hiệu quả lớn. Những nhóm đó có kết quả “đáng công bố”, còn các nhóm khác thấy không có gì, cất dữ liệu vào ngăn kéo. Người đọc chỉ thấy những bài thành công.
Hiện tượng các nghiên cứu có kết quả rõ ràng dễ được công bố hơn những nghiên cứu không tìm thấy gì được gọi là sai lệch xuất bản, đôi khi được ví như vấn đề chiếc ngăn kéo hồ sơ. Nó dẫn đến một hệ quả gọi là lời nguyền người chiến thắng: nghiên cứu đầu tiên công bố một hiệu ứng thường ước lượng hiệu ứng đó lớn hơn thật, vì chính nhờ ước lượng lớn mà nó vượt qua được rào chắn để được công bố.
Thêm một yếu tố nữa là sự linh hoạt trong phân tích. Khi nhà nghiên cứu có thể chọn đo nhiều kết cục, chia nhóm nhiều kiểu, loại hoặc giữ một vài số liệu ngoại lai, thì cơ hội tìm được một kết quả “có ý nghĩa” tăng lên dù không có hiệu ứng thật. Hầu hết những lựa chọn này không phải gian lận, mà là những quyết định nhỏ có vẻ hợp lý vào lúc đó. Mẫu càng nhỏ, những quyết định nhỏ càng có sức ảnh hưởng lớn.
Khủng hoảng tái lập: các dự án lặp lại đã cho thấy gì
Từ đầu những năm 2010, nhiều nhóm bắt đầu làm một việc ít được khen thưởng trong khoa học: làm lại một cách có hệ thống những nghiên cứu đã công bố. Một dự án hợp tác lớn trong tâm lý học, công bố kết quả năm 2015, đã lặp lại khoảng một trăm nghiên cứu đăng trên các tạp chí uy tín. Tỷ lệ kết quả được lặp lại thành công thấp hơn nhiều so với kỳ vọng, khoảng từ một phần ba đến dưới một nửa tuỳ tiêu chí đánh giá, và hiệu ứng trong các lần lặp lại trung bình nhỏ hơn đáng kể so với bản gốc.
Tâm lý học không phải ngành duy nhất. Các báo cáo tương tự xuất hiện ở nghiên cứu ung thư tiền lâm sàng, kinh tế học thực nghiệm và một số lĩnh vực khác, với mức độ khác nhau. Điều đáng chú ý là chính cộng đồng khoa học tự phát hiện và công khai vấn đề này, rồi bắt tay sửa.
Cần hiểu đúng: một lần lặp lại thất bại không chứng minh nghiên cứu gốc sai hay gian lận. Có thể lần lặp lại khác bối cảnh, khác mẫu, hoặc chính lần lặp lại gặp may rủi theo chiều ngược. Điều dự án lặp lại cho thấy là một kết quả đơn lẻ, nhất là từ mẫu nhỏ, không nên được coi là chắc chắn, dù đã đăng trên tạp chí tốt.
Hiệu ứng nhỏ dần theo thời gian: đọc một chuỗi nghiên cứu cùng chủ đề
Nếu theo dõi một chủ đề qua nhiều năm, bạn có thể thấy một mẫu hình quen thuộc. Nghiên cứu đầu tiên, thường nhỏ, báo cáo một hiệu ứng ấn tượng và được đưa tin rộng rãi. Vài năm sau, các nghiên cứu lớn hơn cho hiệu ứng nhỏ hơn. Đến khi có tổng quan hệ thống, kết luận thường là “có thể có hiệu ứng nhỏ” hoặc “chưa thấy hiệu ứng rõ ràng”. Ít ai đưa tin về giai đoạn cuối này.
Ví dụ giả định: một phương pháp học từ vựng mới được báo cáo giúp nhớ gấp đôi trong một lớp ba mươi học sinh. Hai nghiên cứu sau ở nhiều trường cho mức cải thiện khiêm tốn hơn nhiều, một nghiên cứu khác không thấy khác biệt. Người chỉ đọc tin đầu tiên sẽ có ấn tượng rất khác người đọc cả chuỗi. Vì vậy, khi tìm hiểu một chủ đề, hãy sắp các nghiên cứu theo thời gian và theo cỡ mẫu. Nếu nghiên cứu càng lớn thì hiệu ứng càng nhỏ, đó là dấu hiệu kết quả ban đầu đã bị phóng đại. Bạn có thể nhờ AI dựng bảng so sánh từ các tóm tắt bạn đã tự tìm và dán vào, rồi kiểm lại từng con số.
Lặp lại một nghiên cứu nghĩa là gì
Khi tin tức nói “kết quả đã được xác nhận” hay “không lặp lại được”, hiểu loại lặp lại giúp bạn đánh giá đúng sức nặng của thông tin đó.
| Loại | Làm gì | Nếu thành công thì nói lên điều gì |
|---|---|---|
| Kiểm lại phân tích | Dùng chính dữ liệu gốc, chạy lại phân tích | Phân tích không có lỗi, chưa nói gì về may rủi của mẫu |
| Lặp lại trực tiếp | Làm lại đúng quy trình với một mẫu mới | Kết quả không chỉ là may rủi của lần đầu |
| Lặp lại khái niệm | Kiểm cùng giả thuyết bằng cách đo hay thiết kế khác | Hiệu ứng không phụ thuộc một cách làm cụ thể |
| Lặp lại ở bối cảnh khác | Làm ở nước khác, nhóm tuổi khác, điều kiện khác | Kết quả có thể áp dụng rộng hơn |
Với người đọc ở Việt Nam, dòng cuối đặc biệt đáng chú ý. Một kết quả được lặp lại nhiều lần ở các nước phương Tây vẫn có thể khác khi áp vào học sinh, người lao động hay điều kiện sống ở Việt Nam. Thấy một nghiên cứu được làm trong bối cảnh gần với mình là thông tin quý.
Những dấu hiệu một kết quả nên được chờ xác nhận
Không dấu hiệu nào đủ để bác bỏ một nghiên cứu. Nhưng càng nhiều dấu hiệu, bạn càng nên giữ kết luận ở mức “thú vị, cần thêm bằng chứng”.
- Mẫu nhỏ, vài chục người hoặc ít hơn, mà kết luận lại áp cho mọi người.
- Hiệu ứng rất lớn so với những gì đã biết trong lĩnh vực, kiểu một can thiệp ngắn làm thay đổi mạnh hành vi lâu dài.
- Bài đo rất nhiều thứ nhưng chỉ nhấn mạnh một hai kết quả tích cực.
- Nghiên cứu không đăng ký kế hoạch trước, nên không biết kết cục chính có được chọn sau khi xem dữ liệu không.
- Chưa có nhóm độc lập nào làm lại, hoặc chỉ có chính nhóm tác giả làm lại.
- Cơ chế giải thích nghe khó tin hoặc chưa được kiểm chứng riêng.
- Kết quả “quá đẹp” để đưa tin, hợp với điều nhiều người muốn tin.
Khi gặp những dấu hiệu này, không cần kết luận nghiên cứu sai. Chỉ cần không vội thay đổi quyết định quan trọng dựa trên nó, và theo dõi xem sau một hai năm có nghiên cứu nào xác nhận không.
Kiểm một kết quả đã được lặp lại chưa, và áp dụng vào dự án của bạn
Phần này gồm hai việc: kiểm khi đọc, và rèn thói quen tốt khi tự làm một nghiên cứu nhỏ.
- Tìm bài gốc, ghi lại tên tác giả, năm, chủ đề chính.
- Tìm bằng công cụ tìm kiếm học thuật với tên chủ đề kèm các từ như “replication”, “failed to replicate”, hoặc tìm xem có tổng quan hệ thống nào về chủ đề đó.
- Xem các bài trích dẫn bài gốc. Công cụ tìm kiếm học thuật thường cho xem danh sách này; những bài lặp lại thường nằm trong đó.
- Nếu dùng chatbot, hỏi “có nghiên cứu nào lặp lại kết quả này chưa” chỉ như bước gợi ý. Nếu nó nêu tên bài cụ thể, phải tự tìm và mở bài đó. Chatbot rất dễ tạo ra những nghiên cứu lặp lại không có thật.
- Khi tự làm dự án, lặp lại thí nghiệm nhiều lần thay vì một lần, ghi lại mọi lần kể cả lần “hỏng”.
- Viết trước ra giấy em định đo gì và so sánh thế nào, trước khi bắt đầu thu số liệu. Đây là phiên bản đơn giản của việc đăng ký trước.
- Trong báo cáo, nêu rõ cỡ mẫu và nói thẳng rằng kết quả cần được kiểm thêm với mẫu lớn hơn.
Giới khoa học đang dùng nhiều cách để giảm vấn đề tái lập: đăng ký trước kế hoạch nghiên cứu, mô hình tạp chí chấp nhận bài dựa trên kế hoạch trước khi có kết quả, chia sẻ dữ liệu và mã phân tích, các nghiên cứu nhiều phòng thí nghiệm cùng làm. Học sinh và sinh viên tập những thói quen trên từ dự án đầu tiên là đang đi đúng hướng mà cả ngành đang đi.
Câu hỏi thường gặp
Bao nhiêu người thì gọi là cỡ mẫu đủ lớn?
Không có con số chung. Cỡ mẫu cần thiết phụ thuộc vào hiệu ứng mong đợi lớn hay nhỏ, mức dao động của số liệu và mức chắc chắn mong muốn. Hiệu ứng nhỏ cần mẫu rất lớn. Nghiên cứu tốt thường giải thích cách tính cỡ mẫu trong phần phương pháp.
Nghiên cứu nhỏ có vô dụng không?
Không. Nghiên cứu nhỏ rất cần để thử ý tưởng, kiểm tính khả thi, tìm hướng cho nghiên cứu lớn hơn. Nhiều nghiên cứu nhỏ cùng hướng còn có thể được gộp lại. Vấn đề chỉ nằm ở việc diễn giải một nghiên cứu nhỏ như thể đã là kết luận cuối cùng.
Khủng hoảng tái lập có làm khoa học mất uy tín không?
Nó cho thấy một số kết quả đã được tin quá sớm, nhưng cũng cho thấy khoa học có cơ chế tự sửa: chính các nhà khoa học phát hiện, công bố và thay đổi cách làm. Bài học cho người đọc là đặt niềm tin vào khối bằng chứng đã được lặp lại, không vào một nghiên cứu lẻ.
Sai lệch xuất bản có phát hiện được không?
Người làm tổng quan hệ thống có một số cách, như so các thử nghiệm đã đăng ký với các bài đã công bố, hoặc dùng biểu đồ xem các nghiên cứu nhỏ có lệch về một phía không. Người đọc phổ thông khó tự làm, nhưng có thể chú ý xem tổng quan có bàn về vấn đề này không.
Kết quả dự án của học sinh không như dự đoán thì có nên lặp lại đến khi đúng không?
Không nên lặp lại chỉ để có kết quả mong muốn rồi bỏ các lần trước. Đó chính là cách tạo ra kết quả giả. Hãy ghi lại tất cả, phân tích vì sao kết quả khác dự đoán, và trình bày trung thực. Một kết quả âm tính được giải thích tốt vẫn là một dự án tốt.
Một kết quả đã được lặp lại nhiều lần có thể bị bác bỏ sau này không?
Có thể, nhưng khả năng thấp hơn nhiều. Kết quả lặp lại ở nhiều nhóm, nhiều bối cảnh là nền móng tương đối vững. Nếu sau này bị điều chỉnh, thường là được làm rõ phạm vi áp dụng hơn là bị đảo ngược hoàn toàn.