Tháp bằng chứng là một hình vẽ xếp các loại nghiên cứu theo mức độ đáng tin khi trả lời câu hỏi "cái này có gây ra cái kia không": đáy là ý kiến chuyên gia và báo cáo từng ca, giữa là các nghiên cứu quan sát, gần đỉnh là thử nghiệm ngẫu nhiên có đối chứng, trên cùng là tổng quan hệ thống và phân tích gộp. Càng lên cao, thiết kế nghiên cứu càng loại được nhiều cách giải thích khác cho kết quả.
Chiếc tháp hữu ích cho người mới vì nó cho một câu hỏi đầu tiên để hỏi mọi tuyên bố khoa học: kết luận này đến từ loại nghiên cứu nào. Nhưng nó cũng hay bị dùng máy móc, như thể cứ thử nghiệm ngẫu nhiên là đúng còn nghiên cứu quan sát là bỏ đi. Bài này đi qua từng tầng, lý do mỗi tầng đứng ở vị trí đó, những chỗ chiếc tháp gây hiểu lầm, và cách nhờ AI xếp một nghiên cứu vào tháp mà không để AI quyết định thay bạn.
Các tầng của tháp bằng chứng, từ đáy lên đỉnh
Mỗi tầng là một kiểu thiết kế nghiên cứu. Cột giữa cho biết kiểu đó trả lời tốt loại câu hỏi nào, cột cuối là điểm yếu khiến nó không đứng cao hơn được. Các tầng được trình bày theo dạng phổ biến trong y học; ngành khác có thể chia khác đôi chút.
| Tầng | Trả lời tốt điều gì | Điểm yếu chính |
|---|---|---|
| Ý kiến chuyên gia, bài bình luận | Gợi ý hướng suy nghĩ, tổng kết kinh nghiệm nghề | Không có dữ liệu hệ thống, dễ mang thiên kiến cá nhân |
| Báo cáo ca, loạt ca | Phát hiện hiện tượng lạ, tác dụng phụ hiếm lần đầu | Không có nhóm so sánh, không biết điều đó có phổ biến không |
| Nghiên cứu cắt ngang | Mô tả tỷ lệ một tình trạng tại một thời điểm | Không biết cái nào xảy ra trước, cái nào sau |
| Nghiên cứu bệnh – chứng | Tìm yếu tố liên quan đến một kết cục hiếm | Dễ sai do người tham gia nhớ lại không chính xác |
| Nghiên cứu đoàn hệ | Theo dõi một nhóm theo thời gian, thấy yếu tố đi trước kết cục | Vẫn có thể bị biến gây nhiễu chi phối |
| Thử nghiệm ngẫu nhiên có đối chứng | Kiểm một can thiệp có gây ra thay đổi hay không | Tốn kém, mẫu có thể không giống người ngoài đời |
| Tổng quan hệ thống, phân tích gộp | Gom mọi nghiên cứu tốt về một câu hỏi, xem bức tranh chung | Chỉ tốt bằng những nghiên cứu được gom vào |
Đọc bảng theo chiều dọc bạn sẽ thấy một mạch: mỗi tầng ở trên giải quyết được một điểm yếu của tầng ngay dưới. Báo cáo ca thiếu nhóm so sánh, nghiên cứu quan sát thêm nhóm so sánh nhưng không kiểm soát được ai rơi vào nhóm nào, thử nghiệm ngẫu nhiên giải quyết chỗ đó bằng cách bốc thăm, và tổng quan hệ thống giải quyết chuyện một nghiên cứu lẻ có thể ra kết quả may rủi.
Vì sao thử nghiệm ngẫu nhiên đứng gần đỉnh
Điểm mạnh của thử nghiệm ngẫu nhiên nằm ở một thao tác rất đơn giản: người tham gia được chia vào nhóm can thiệp hay nhóm đối chứng bằng cách bốc thăm, chứ không do họ tự chọn hay do nhà nghiên cứu chọn. Khi mẫu đủ lớn, phép bốc thăm làm hai nhóm giống nhau về gần như mọi mặt, kể cả những đặc điểm mà không ai nghĩ tới để đo. Vì vậy, nếu cuối cùng hai nhóm khác nhau, lời giải thích hợp lý nhất còn lại là do can thiệp.
So sánh với một nghiên cứu quan sát về cùng câu hỏi để thấy khác biệt. Giả sử bạn muốn biết uống sữa buổi tối có giúp học sinh ngủ ngon hơn không. Nếu chỉ hỏi xem em nào có thói quen uống sữa, rồi so giấc ngủ, bạn sẽ gặp vấn đề: những gia đình duy trì thói quen uống sữa buổi tối có thể cũng là những gia đình giữ giờ ngủ đều, ít cho con dùng điện thoại khuya. Giấc ngủ tốt hơn có thể đến từ những điều đó chứ không từ sữa. Bốc thăm em nào uống, em nào không, sẽ cắt đứt mối liên hệ này.
Tuy vậy, bốc thăm chỉ giải quyết một loại sai sót. Thử nghiệm vẫn có thể hỏng nếu nhiều người bỏ giữa chừng, nếu người đánh giá biết ai thuộc nhóm nào và vô tình chấm lệch, hay nếu mẫu chỉ gồm những người rất khác với người bạn quan tâm. Vị trí gần đỉnh là vị trí của thiết kế được thực hiện tốt, không phải phần thưởng tự động cho mọi nghiên cứu có chữ "ngẫu nhiên" trong tiêu đề.
Năm chỗ chiếc tháp dễ gây hiểu lầm
Thiết kế không đồng nghĩa với chất lượng. Một thử nghiệm ngẫu nhiên với ba mươi người, bỏ cuộc một nửa, có thể cho bằng chứng yếu hơn một nghiên cứu đoàn hệ theo dõi hàng chục nghìn người trong nhiều năm. Tháp cho biết thiết kế nào có tiềm năng mạnh hơn, còn từng nghiên cứu phải được đọc riêng.
Có câu hỏi không thể hoặc không được làm thử nghiệm. Không ai được phép bốc thăm bắt một nhóm người hút thuốc nhiều năm để xem họ có mắc bệnh không. Mối liên hệ giữa thuốc lá và ung thư phổi được xác lập chủ yếu nhờ các nghiên cứu quan sát lớn, nhất quán, lặp lại ở nhiều nước. Với những câu hỏi về tác hại, bằng chứng quan sát tốt thường là tốt nhất có thể có.
Tác dụng phụ hiếm nằm ngoài tầm của thử nghiệm. Một thử nghiệm vài nghìn người không đủ để thấy một tác dụng phụ chỉ xảy ra ở một trên một trăm nghìn người. Những tín hiệu loại này thường xuất hiện đầu tiên từ báo cáo ca, tức tầng thấp nhất của tháp.
Phân tích gộp có thể gộp cả rác. Nếu các nghiên cứu được gom vào đều nhỏ, thiết kế lỏng, hoặc chỉ những nghiên cứu có kết quả đẹp mới được công bố, phép gộp sẽ cho một con số trông rất chắc chắn nhưng lệch. Đỉnh tháp đòi hỏi người làm tổng quan đánh giá kỹ từng nghiên cứu thành phần.
Tháp chỉ dành cho câu hỏi nhân quả. Câu hỏi "học sinh cảm thấy thế nào khi phải học thêm buổi tối" cần phỏng vấn sâu, tức nghiên cứu định tính, và chiếc tháp không có chỗ cho nó. Điều đó không làm nghiên cứu định tính kém giá trị; nó chỉ trả lời một loại câu hỏi khác.
Từ chiếc tháp đến cách đánh giá hiện đại: độ chắc chắn của bằng chứng
Chính vì những điểm yếu trên, giới nghiên cứu y học đã chuyển dần từ việc chỉ nhìn tầng tháp sang đánh giá độ chắc chắn của cả khối bằng chứng. Một khung được dùng rộng rãi là GRADE. Thay vì nói "có thử nghiệm ngẫu nhiên nên đáng tin", người đánh giá bắt đầu từ thiết kế, rồi hạ bậc hoặc nâng bậc tuỳ theo chất lượng thật.
Theo cách tiếp cận này, bằng chứng có thể bị hạ bậc vì nguy cơ sai lệch trong cách làm nghiên cứu, vì các nghiên cứu cho kết quả không nhất quán với nhau, vì nghiên cứu trả lời một câu hỏi hơi khác câu hỏi bạn thật sự quan tâm, vì kết quả thiếu chính xác do mẫu nhỏ, hoặc vì có dấu hiệu nhiều nghiên cứu không thuận lợi đã không được công bố. Ngược lại, bằng chứng quan sát có thể được nâng bậc khi hiệu ứng rất lớn, hoặc khi thấy rõ liều càng cao thì tác động càng mạnh. Kết quả cuối cùng thường được diễn đạt bằng bốn mức: cao, trung bình, thấp, rất thấp.
Bạn không cần thuộc các quy tắc chi tiết của GRADE để hưởng lợi từ tinh thần của nó. Chỉ cần đổi câu hỏi trong đầu từ "đây là loại nghiên cứu gì" thành "mình chắc chắn đến mức nào, và vì sao không chắc hơn được". Câu hỏi thứ hai buộc bạn nhìn vào cỡ mẫu, cách làm, sự nhất quán giữa các nghiên cứu, thay vì dừng ở cái nhãn. Khi đọc các bản khuyến cáo y khoa của các tổ chức chuyên môn, bạn sẽ thấy cách diễn đạt mức độ chắc chắn này xuất hiện thường xuyên.
Nhờ AI xếp một nghiên cứu vào tháp: quy trình sáu bước
AI làm tốt việc nhận diện thiết kế từ phần tóm tắt và giải thích thuật ngữ. Nó làm kém việc phán một nghiên cứu cụ thể tốt hay dở, vì thường chỉ thấy phần bạn dán vào và hay trả lời quá tự tin. Quy trình dưới đây chia việc cho hợp.
- Tìm và mở chính bài nghiên cứu, không phải bài báo tường thuật lại. Đọc ít nhất phần tóm tắt và phần phương pháp.
- Dán phần tóm tắt và phương pháp vào chatbot với câu lệnh, ví dụ: "Đây là tóm tắt và phần phương pháp của một nghiên cứu. Hãy cho biết đây là kiểu thiết kế nào trong tháp bằng chứng, chỉ ra câu nào trong đoạn văn cho thấy điều đó, và nêu ba điểm yếu điển hình của kiểu thiết kế này."
- Đối chiếu câu AI trích với văn bản gốc. Nếu AI nói "nghiên cứu có chia ngẫu nhiên" mà bạn không tìm thấy chữ đó trong đoạn dán vào, coi như AI đoán.
- Hỏi tiếp: "Với kiểu thiết kế này, những thông tin nào trong bài sẽ khiến bằng chứng mạnh lên hoặc yếu đi?" Dùng danh sách AI đưa ra làm bảng kiểm để bạn tự đọc tiếp bài.
- Tự trả lời bảng kiểm: cỡ mẫu bao nhiêu, theo dõi bao lâu, bao nhiêu người bỏ cuộc, người tham gia là ai. Ghi câu trả lời kèm vị trí trong bài.
- Viết một câu kết luận của riêng bạn theo mẫu: "Đây là [kiểu thiết kế], bằng chứng ở mức [mức độ] vì [lý do]." Câu này là của bạn, không phải của AI.
Nếu bài nghiên cứu có thông tin của người bệnh hay người tham gia, phần tóm tắt công bố đã được ẩn danh nên dán được. Nhưng nếu bạn đang làm việc với dữ liệu thô của một nhóm nghiên cứu, đừng dán bảng dữ liệu có tên, số điện thoại hay địa chỉ của người tham gia vào bất kỳ chatbot nào.
Áp dụng tháp khi đọc tin sức khoẻ hằng ngày
Phần lớn người đọc sẽ không bao giờ tự làm tổng quan hệ thống. Cái tháp có ích nhất ở việc phản xạ nhanh khi gặp một tuyên bố. Dưới đây là cách dịch từng loại nguồn hay gặp trên báo và mạng xã hội sang tầng tháp, kèm mức tin tương ứng. Ví dụ là giả định.
- "Bác sĩ X cho biết loại hạt này rất tốt cho tim": ý kiến chuyên gia, tầng đáy. Có thể đúng, nhưng chưa phải bằng chứng; hãy hỏi ý kiến đó dựa trên nghiên cứu nào.
- "Một bệnh nhân hồi phục kỳ diệu sau khi dùng bài thuốc": báo cáo ca, thậm chí chưa đạt mức báo cáo ca vì không được ghi chép theo chuẩn y khoa. Không cho biết tỷ lệ người dùng mà không khỏi.
- "Người uống cà phê sống lâu hơn": gần như chắc chắn là nghiên cứu quan sát. Cần hỏi người uống cà phê còn khác người không uống ở những điểm nào.
- "Thử nghiệm trên hai trăm người cho thấy thuốc giảm triệu chứng": thử nghiệm ngẫu nhiên nếu có chia ngẫu nhiên. Tiếp tục hỏi về cỡ hiệu ứng, thời gian theo dõi, và ai tài trợ.
- "Tổng hợp ba mươi nghiên cứu kết luận chưa thấy lợi ích rõ": tổng quan hệ thống. Thường là nguồn đáng dựa nhất, dù kết luận nghe kém hấp dẫn hơn tin "kỳ diệu".
Một mẹo nhỏ: tin càng giật gân thì càng hay đến từ tầng thấp, còn bằng chứng ở đỉnh tháp thường kết luận thận trọng, kiểu "có thể có lợi ích nhỏ" hay "chưa đủ bằng chứng". Sự thận trọng đó không phải là yếu, mà là dấu hiệu người viết đã cân nhắc toàn bộ dữ liệu.
Câu hỏi thường gặp
Tổng quan hệ thống khác bài tổng quan thông thường ở chỗ nào?
Bài tổng quan thông thường do tác giả tự chọn những nghiên cứu mình biết hoặc thấy phù hợp, nên dễ thiên lệch. Tổng quan hệ thống đặt trước câu hỏi, cách tìm kiếm và tiêu chí chọn nghiên cứu, ghi rõ để người khác có thể làm lại, rồi đánh giá chất lượng từng nghiên cứu được chọn.
Nghiên cứu quan sát có bao giờ đáng tin hơn thử nghiệm ngẫu nhiên không?
Có. Khi thử nghiệm nhỏ, làm lỏng hoặc theo dõi quá ngắn, còn nghiên cứu quan sát rất lớn, theo dõi lâu, kiểm soát kỹ các yếu tố gây nhiễu và cho kết quả nhất quán ở nhiều quần thể, thì khối bằng chứng quan sát có thể thuyết phục hơn. Cần xét từng trường hợp.
Tháp bằng chứng có dùng được cho nghiên cứu giáo dục, xã hội không?
Tinh thần chung dùng được: thiết kế nào loại được nhiều cách giải thích khác thì mạnh hơn cho câu hỏi nhân quả. Nhưng trong giáo dục và xã hội, thử nghiệm ngẫu nhiên khó làm hơn, nghiên cứu định tính quan trọng hơn, nên đừng áp chiếc tháp y học một cách cứng nhắc.
Khi AI nói một nghiên cứu "có độ tin cậy cao", có nên tin không?
Không nên nhận nguyên câu đó. AI thường chỉ thấy phần tóm tắt và hay đánh giá dựa trên nhãn thiết kế. Hãy yêu cầu nó chỉ ra căn cứ trong văn bản, rồi tự kiểm cỡ mẫu, tỷ lệ bỏ cuộc và nguồn tài trợ trước khi kết luận.
Học sinh làm dự án khoa học có cần quan tâm tháp bằng chứng không?
Có ích, nhưng theo hướng khác: giúp các em hiểu dự án của mình thuộc kiểu thiết kế nào và nói trung thực về giới hạn. Một dự án quan sát ở trường không cần giả vờ là thử nghiệm, chỉ cần nêu rõ nó cho phép kết luận đến đâu.
Một nghiên cứu ở đỉnh tháp có thể bị lật lại sau này không?
Có thể. Tổng quan hệ thống phản ánh những gì đã được công bố đến thời điểm làm. Khi có thử nghiệm mới lớn hơn, chất lượng hơn, kết luận có thể đổi. Vì vậy các tổ chức làm tổng quan thường cập nhật định kỳ và ghi ngày tìm kiếm tài liệu.