Làm mù là giấu thông tin về việc ai hoặc mẫu nào thuộc nhóm nào khỏi những người có thể bị ảnh hưởng bởi thông tin đó, để kỳ vọng không lẫn vào kết quả. Người được giấu có thể là người tham gia, người làm thí nghiệm, người đo, hoặc người phân tích số liệu. Đây là một trong những kỹ thuật đơn giản nhất mà lại hiệu quả nhất để giữ cho một nghiên cứu trung thực.
Nhiều người nghĩ làm mù chỉ dành cho thử nghiệm thuốc trong bệnh viện. Thực ra một dự án học sinh về hạt đậu nảy mầm hay độ thấm nước của các loại vải cũng hưởng lợi rõ từ việc làm mù. Bài này giải thích vì sao kỳ vọng làm méo kết quả, các mức làm mù, cách làm bằng những vật dụng có sẵn ở trường, và cách xử lý khi không thể làm mù.
Kỳ vọng len vào kết quả bằng cách nào
Không ai cần cố ý gian lận để kết quả bị lệch theo mong muốn. Khi bạn tin rằng nhóm hạt đậu ngâm nước gạo sẽ nảy mầm tốt hơn, bạn có thể vô thức đếm một mầm còn nhú chưa rõ thành "đã nảy" ở nhóm đó, nhưng lại bỏ qua ở nhóm đối chứng. Khi đo chiều cao, thước có thể nghiêng thêm một chút. Khi đánh giá độ héo của lá theo mắt, ranh giới giữa "hơi héo" và "héo" trôi theo điều bạn chờ đợi. Mỗi lần chỉ lệch rất ít, nhưng cộng lại đủ tạo ra một khác biệt không có thật.
Người tham gia cũng bị ảnh hưởng. Trong nghiên cứu có người, biết mình đang nhận một biện pháp mới có thể khiến người ta cố gắng hơn, báo cáo cảm nhận tốt hơn, hoặc ngược lại thấy lo lắng hơn. Hiện tượng người bệnh cảm thấy đỡ hơn sau khi nhận một viên thuốc không có hoạt chất, gọi là hiệu ứng giả dược, là ví dụ nổi tiếng nhất. Học sinh không làm nghiên cứu y sinh, nhưng nguyên lý này áp dụng cho cả những dự án về phương pháp học hay sản phẩm tự làm có người dùng thử.
Làm mù cắt đường đi của kỳ vọng: nếu người đo không biết mẫu nào thuộc nhóm nào, họ không thể nghiêng về phía nào cả, dù muốn hay không.
Các mức làm mù
Tên gọi các mức có thể khác nhau tuỳ tài liệu. Điều quan trọng là ghi rõ trong báo cáo ai đã được giấu thông tin gì.
| Mức | Ai không biết phân nhóm | Ví dụ giả định | Bảo vệ khỏi |
|---|---|---|---|
| Mù đơn | Người tham gia | Học sinh dùng thử hai loại khăn lau bảng đựng trong túi giống nhau, không biết khăn nào là loại tự làm | Kỳ vọng của người tham gia |
| Mù người đánh giá | Người đo hoặc chấm kết quả | Bạn đo chiều cao cây chỉ thấy mã số trên chậu | Thiên lệch khi đo và đánh giá |
| Mù đôi | Cả người tham gia và người trực tiếp làm, đo | Cả người dùng thử lẫn người ghi nhận cảm nhận đều không biết túi nào chứa loại nào | Cả hai nguồn kỳ vọng trên |
| Mù người phân tích | Người xử lý số liệu | Bảng số liệu chỉ ghi nhóm X và nhóm Y, giải mã sau khi tính xong | Chọn cách phân tích theo kết quả mong muốn |
Với dự án học sinh, mù người đánh giá là mức dễ làm nhất và có giá trị nhất, vì phần lớn thí nghiệm của học sinh là trên cây, vật liệu hay hiện tượng, nơi người tham gia không có kỳ vọng nào. Mù người phân tích cũng làm được dễ dàng nếu nhóm có từ ba người trở lên.
Làm mù trong một thí nghiệm hạt đậu xanh nảy mầm
Ví dụ giả định: so sánh tỉ lệ nảy mầm của hạt đậu xanh ngâm nước thường và ngâm nước vo gạo, mỗi nhóm mười cốc, mỗi cốc hai mươi hạt. Nhóm có ba bạn.
- Phân vai: bạn A giữ bảng khoá mã và chuẩn bị mẫu; bạn B chăm sóc và đếm; bạn C phân tích số liệu.
- Mã hoá: bạn A dán số ngẫu nhiên lên hai mươi cốc giống hệt nhau, ghi vào bảng khoá mã số nào thuộc nhóm nào, rồi cất bảng đi.
- Chuẩn bị nước ngâm sao cho trông giống nhau: nếu nước vo gạo đục hơn rõ rệt, bạn A ngâm và gạn hạt ở chỗ khác, đưa cho bạn B những cốc hạt đã ngâm xong chỉ còn mã số.
- Chăm sóc và đếm: bạn B tưới và đếm hạt nảy mầm theo định nghĩa đã thống nhất, như rễ mầm dài ít nhất bằng chiều dài hạt, ghi kết quả theo mã số.
- Phân tích: bạn C nhận bảng số liệu theo mã, bạn A chỉ nói mã nào thuộc nhóm X, mã nào thuộc nhóm Y, chưa nói X là gì. Bạn C tính tỉ lệ nảy mầm hai nhóm.
- Giải mã: chỉ sau khi bạn C đã tính xong và cả nhóm thống nhất cách tính, bạn A mới công bố X và Y là nhóm nào.
- Ghi lại: sổ nhật ký ghi rõ ai giữ khoá, giải mã lúc nào, có lần nào lộ mã không.
Nhóm chỉ có hai người vẫn làm được mù người đánh giá: một người chuẩn bị và giữ khoá, người kia đếm. Nếu làm một mình, có thể nhờ bạn khác lớp hoặc người nhà dán mã giúp.
Làm mù khi đánh giá bằng mắt hoặc bằng cảm nhận
Những phép đo dễ bị kỳ vọng chi phối nhất. Là những phép đo cần phán đoán: chấm độ héo theo thang, nhận xét độ trong của nước sau khi lọc, đánh giá vết bẩn còn lại trên vải. Đo bằng cân hay thước ít bị ảnh hưởng hơn, nhưng vẫn có.
Viết thang đánh giá trước. Mô tả cụ thể từng mức, kèm ảnh mẫu nếu có. Ví dụ thang bốn mức cho độ héo của lá: tươi, rủ nhẹ ở mép, rủ cả lá, khô giòn. Thang càng rõ, chỗ cho kỳ vọng len vào càng hẹp.
Trộn thứ tự mẫu khi chấm. Đừng chấm hết nhóm một rồi mới tới nhóm hai, kể cả khi đã mã hoá. Xếp mẫu theo thứ tự ngẫu nhiên để người chấm không nhận ra quy luật.
Dùng hai người chấm độc lập. Hai người cùng chấm mà không bàn với nhau, sau đó so kết quả. Chỗ nào lệch nhiều thì xem lại định nghĩa. Mức đồng thuận giữa hai người cũng là thông tin đáng đưa vào báo cáo.
Chụp ảnh để chấm lại. Chụp mẫu kèm mã số, không có gì khác trong khung hình. Ảnh cho phép người khác chấm lại sau này hoặc kiểm tra khi có nghi vấn.
Khi không thể làm mù
Có những trường hợp không giấu được. So sánh cây trồng dưới mái che và cây để ngoài trời thì ai nhìn cũng biết. So sánh hai cách học, một cách có dùng thẻ ghi nhớ và một cách không, thì người học biết mình thuộc nhóm nào. Không làm mù được không có nghĩa là nghiên cứu vô giá trị, mà có nghĩa là bạn phải bù bằng cách khác.
Cách bù thứ nhất là chọn phép đo khách quan nhất có thể: cân khối lượng thay vì chấm bằng mắt, đếm số câu đúng trong một bài kiểm tra có đáp án thay vì nhận xét. Cách thứ hai là vẫn làm mù ở khâu nào làm được, như người phân tích số liệu không biết nhóm nào là nhóm nào. Cách thứ ba là viết thật rõ trong báo cáo rằng nghiên cứu không làm mù được ở khâu nào và điều đó có thể ảnh hưởng tới kết quả theo hướng nào.
Hội đồng chấm và người đọc nghiêm túc đánh giá cao sự thẳng thắn này. Một nghiên cứu nói rõ "người đo biết phân nhóm, vì vậy kết quả chấm độ héo có thể nghiêng về nhóm thực nghiệm" đáng tin hơn nhiều so với một nghiên cứu im lặng về chuyện đó.
Những cách làm lộ mã mà không để ý
Làm mù chỉ có tác dụng khi được giữ tới cuối. Dưới đây là những đường rò rỉ hay gặp trong dự án nhóm.
- Mã số theo quy luật dễ đoán, như số lẻ là nhóm thực nghiệm, số chẵn là đối chứng. Mã phải ngẫu nhiên.
- Hai nhóm khác nhau về hình thức: cốc khác màu, nước khác màu, mùi khác nhau. Cần làm cho trông giống nhau hoặc để người khác xử lý phần khác biệt.
- Xếp mẫu hai nhóm ở hai khu riêng, nhìn vị trí là biết.
- Bảng khoá mã để chung thư mục với bảng số liệu, mở ra là thấy.
- Người giữ khoá vô tình bình luận trong nhóm chat kiểu "nhóm kia có vẻ lên tốt đấy".
- Giải mã sớm "để xem thử" giữa chừng rồi tiếp tục đo. Một khi đã biết, không thể quên được.
Nếu lỡ lộ mã, đừng giấu. Ghi vào sổ nhật ký lúc nào lộ, ai biết, và trong báo cáo nói rõ các lần đo sau thời điểm đó không còn được làm mù.
AI hỗ trợ làm mù ở đâu và không nên dùng ở đâu
AI có thể giúp tạo bảng mã ngẫu nhiên, gợi ý cách làm cho hai loại mẫu trông giống nhau, hoặc soát kế hoạch xem còn chỗ nào lộ phân nhóm. Câu lệnh mẫu: "Kế hoạch thí nghiệm giả định của nhóm học sinh như sau [dán mô tả, không có tên người]. Hãy chỉ ra những chỗ người đếm hoặc người chấm có thể đoán được mẫu thuộc nhóm nào, và gợi ý cách khắc phục đơn giản với dụng cụ có ở trường."
Nếu dùng AI tạo bảng mã, người giữ khoá phải là người duy nhất xem kết quả, và nên lưu bảng ra một tệp riêng chứ không để trong cuộc trò chuyện dùng chung tài khoản với cả nhóm. Lịch sử trò chuyện cũng là một chỗ lộ mã.
Khi phân tích, nếu nhờ AI hỗ trợ tính toán, hãy đưa bảng số liệu chỉ có nhóm X và nhóm Y. Đừng kèm theo mô tả nhóm nào là nhóm thực nghiệm hay giả thuyết bạn mong đợi, vì AI cũng có xu hướng diễn giải theo hướng câu hỏi gợi ý. Giải mã xong mới viết phần bàn luận, và phần đó do bạn viết.
Câu hỏi thường gặp
Thí nghiệm trên cây có cần làm mù không?
Cây không có kỳ vọng, nhưng người đo thì có. Làm mù người đo và người phân tích vẫn rất có ích, nhất là khi phép đo cần phán đoán bằng mắt như đánh giá độ héo, màu lá hay đếm mầm. Đây là cách đơn giản để kết quả đáng tin hơn mà gần như không tốn chi phí.
Làm một mình thì làm mù thế nào?
Có thể nhờ một người khác như bạn bè, người nhà hoặc giáo viên dán mã ngẫu nhiên và giữ bảng khoá. Bạn chỉ làm việc với mẫu có mã số. Nếu thật sự không có ai giúp, hãy chọn phép đo khách quan nhất và ghi rõ trong báo cáo rằng nghiên cứu không làm mù được.
Mù đôi có bắt buộc trong dự án học sinh không?
Không bắt buộc. Mù đôi chủ yếu cần thiết khi có người tham gia có thể bị ảnh hưởng bởi kỳ vọng. Với thí nghiệm trên vật liệu hay cây trồng, mù người đánh giá là đủ. Điều quan trọng là ghi rõ đã làm mù ai, ở khâu nào.
Hiệu ứng giả dược có liên quan gì tới dự án học sinh?
Nếu dự án có người dùng thử, như thử một phương pháp ghi nhớ hay một sản phẩm tự làm, người biết mình đang dùng thứ mới có thể báo cáo cảm nhận tốt hơn thực tế. Học sinh không làm nghiên cứu về thuốc hay sức khoẻ, nhưng nguyên lý kỳ vọng ảnh hưởng tới cảm nhận vẫn áp dụng.
Lỡ biết mẫu nào thuộc nhóm nào giữa chừng thì sao?
Ghi lại trung thực thời điểm lộ mã và ai đã biết. Nếu có thể, nhờ người khác chưa biết đảm nhận phần đo còn lại. Trong báo cáo, nói rõ phần số liệu nào được đo khi còn làm mù và phần nào không, để người đọc tự đánh giá.
Có thể nhờ AI chấm ảnh mẫu thay người để tránh thiên lệch không?
AI chấm ảnh có thể không bị kỳ vọng của bạn chi phối, nhưng có sai số riêng và cách chấm của nó khó kiểm tra. Nếu thử, hãy so kết quả AI với người chấm đã làm mù trên một phần mẫu, và vẫn giữ người chấm làm phép đo chính. Ghi rõ cách làm trong báo cáo.