Độ nhạy là tỷ lệ phép thử báo dương trong số những trường hợp thật sự có điều cần tìm; độ đặc hiệu là tỷ lệ phép thử báo âm trong số những trường hợp thật sự không có. Cả hai đều có thể rất cao, nhưng khi điều cần tìm hiếm gặp, phần lớn kết quả dương tính vẫn có thể là báo nhầm. Hiện tượng này gọi là bỏ qua tỷ lệ nền, và nó là một trong những lỗi suy luận phổ biến nhất, kể cả ở người có học vấn cao.
Bài này dùng bảng hai nhân hai đơn giản để giải thích cơ chế, kèm hai ví dụ giả định: một xét nghiệm sàng lọc và một công cụ phát hiện văn bản do AI viết. Đây là kiến thức để đọc hiểu nghiên cứu và tin tức, không phải hướng dẫn tự diễn giải kết quả xét nghiệm của bạn; việc đó luôn cần bác sĩ.
Bốn ô của bảng hai nhân hai
Mọi phép thử nhằm phân loại "có" hoặc "không", từ xét nghiệm y khoa, máy dò kim loại ở sân bay, bộ lọc thư rác đến công cụ phát hiện đạo văn, đều có thể mô tả bằng một bảng bốn ô. Hàng là sự thật: trường hợp thật sự có hoặc không. Cột là kết quả phép thử: báo dương hoặc báo âm. Bốn ô là dương tính thật, âm tính giả, dương tính giả và âm tính thật.
Độ nhạy nhìn theo hàng "thật sự có": trong số những trường hợp có, bao nhiêu phần trăm được phép thử bắt được. Độ nhạy 90% nghĩa là cứ 100 trường hợp có thì 90 được báo dương, 10 bị bỏ sót thành âm tính giả. Độ đặc hiệu nhìn theo hàng "thật sự không": trong số những trường hợp không có, bao nhiêu phần trăm được báo âm. Độ đặc hiệu 95% nghĩa là cứ 100 trường hợp không có thì 95 được báo âm đúng, 5 bị báo nhầm thành dương tính giả.
Cả hai con số này là đặc tính của phép thử và thường được báo cáo trong các nghiên cứu đánh giá phép thử. Nhưng người cầm kết quả lại quan tâm đến một câu hỏi khác: "Kết quả của mình dương tính, vậy khả năng mình thật sự có là bao nhiêu?" Câu này nhìn theo cột, không theo hàng, và con số trả lời nó, gọi là giá trị dự báo dương, phụ thuộc rất mạnh vào tỷ lệ nền, tức mức độ phổ biến của điều cần tìm trong nhóm được thử.
Ví dụ giả định: xét nghiệm sàng lọc trên 10.000 người
Giả định một phép xét nghiệm sàng lọc có độ nhạy 90% và độ đặc hiệu 95%, dùng cho 10.000 người trong một nhóm mà tỷ lệ mắc một bệnh là 1%. Điền bảng theo thứ tự: trước hết chia theo sự thật, sau đó áp độ nhạy và độ đặc hiệu.
| Xét nghiệm báo dương | Xét nghiệm báo âm | Tổng | |
|---|---|---|---|
| Thật sự mắc (1%) | 90 (dương tính thật) | 10 (âm tính giả) | 100 |
| Thật sự không mắc (99%) | 495 (dương tính giả) | 9.405 (âm tính thật) | 9.900 |
| Tổng | 585 | 9.415 | 10.000 |
Nhìn cột "báo dương": có 585 người nhận kết quả dương tính, nhưng chỉ 90 người thật sự mắc. Giá trị dự báo dương là 90 chia 585, khoảng 15%. Nói cách khác, với tỷ lệ nền 1%, một người nhận kết quả dương tính từ phép thử "chính xác 90 – 95%" này có khoảng 85% khả năng là báo nhầm. Ngược lại, nhìn cột "báo âm": 9.405 trên 9.415 người là đúng, giá trị dự báo âm hơn 99,8%.
Đây là lý do trong y khoa, kết quả sàng lọc dương tính thường được theo sau bởi một xét nghiệm khẳng định khác, và việc diễn giải luôn thuộc về bác sĩ. Con số trong bảng là giả định để minh hoạ cơ chế, không mô tả bất kỳ xét nghiệm thật nào.
Tỷ lệ nền thay đổi, ý nghĩa của kết quả thay đổi theo
Giữ nguyên phép thử với độ nhạy 90% và độ đặc hiệu 95%, nhưng dùng nó cho một nhóm khác, nơi tỷ lệ mắc là 20%, chẳng hạn những người đã có triệu chứng và được bác sĩ chỉ định thử. Trên 10.000 người, có 2.000 người mắc, phép thử bắt được 1.800. Trong 8.000 người không mắc, có 400 người bị báo nhầm. Tổng số kết quả dương là 2.200, trong đó 1.800 là thật. Giá trị dự báo dương lúc này khoảng 82%.
Cùng một phép thử, cùng độ nhạy và độ đặc hiệu, nhưng giá trị dự báo dương nhảy từ 15% lên 82% chỉ vì nhóm được thử khác nhau. Đây là điểm cốt lõi mà nhiều người bỏ qua: độ chính xác của một phép thử không tự nó cho biết một kết quả dương tính đáng tin đến đâu. Phải biết thêm phép thử được dùng cho ai.
Khi đọc tin "một xét nghiệm mới chính xác 99%", câu cần hỏi là 99% theo nghĩa nào: độ nhạy, độ đặc hiệu, hay tỷ lệ phân loại đúng nói chung? Và nó sẽ được dùng cho nhóm nào? Một phép thử phân loại đúng 99% trên một nhóm mà điều cần tìm chỉ chiếm 0,1% vẫn có thể cho phần lớn kết quả dương là báo nhầm. Tỷ lệ phân loại đúng nói chung còn có thể đánh lừa theo cách khác: một "phép thử" luôn báo âm cũng đúng 99,9% trên nhóm đó, nhưng hoàn toàn vô dụng.
Ví dụ gần với học sinh: công cụ phát hiện văn bản do AI viết
Cơ chế trên áp dụng nguyên vẹn cho các công cụ tự nhận là phát hiện được văn bản do AI viết, thứ nhiều học sinh, sinh viên và giáo viên đang gặp. Giả định một công cụ có độ nhạy 90% và độ đặc hiệu 95%, dùng để kiểm 1.000 bài luận của một khối lớp, trong đó thật ra chỉ 50 bài, tức 5%, do AI viết. Công cụ bắt được 45 bài AI. Trong 950 bài học sinh tự viết, có khoảng 47 bài bị gắn cờ nhầm. Trong 92 bài bị gắn cờ, chỉ khoảng một nửa thật sự do AI viết.
Nói cách khác, với các con số giả định này, một học sinh bị công cụ gắn cờ có khoảng 50% khả năng là bị oan. Nếu học sinh trong khối ít dùng AI hơn, giá trị dự báo dương còn thấp hơn. Thực tế, độ chính xác của các công cụ loại này thay đổi theo ngôn ngữ, độ dài văn bản và cách viết, và nhiều người làm giáo dục đã lưu ý rằng chúng có thể gắn cờ nhầm văn bản của người viết bằng ngôn ngữ thứ hai hoặc có văn phong đơn giản.
Bài học cho giáo viên và học sinh: kết quả của công cụ phát hiện chỉ nên là một gợi ý để trao đổi thêm, chẳng hạn hỏi về quá trình viết, xem bản nháp, nghe học sinh giải thích ý, không phải bằng chứng để kết luận. Với học sinh, giữ lại bản nháp và ghi chú trong quá trình làm bài là cách tốt nhất để chứng minh bài là của mình.
Đọc một nghiên cứu đánh giá phép thử: bốn điểm cần soi
Phép thử được đánh giá trên ai. Một phép thử thường trông chính xác hơn khi được đánh giá trên hai nhóm khác hẳn nhau, chẳng hạn người bệnh đã rõ ràng so với người hoàn toàn khoẻ mạnh, thay vì trên đúng loại người sẽ dùng nó ngoài đời, nơi có nhiều trường hợp nhẹ và khó phân biệt. Hiện tượng này được gọi là thiên lệch phổ bệnh. Khi đọc, xem phần phương pháp mô tả người tham gia được chọn thế nào.
Đối chiếu với tiêu chuẩn nào. Độ nhạy và độ đặc hiệu chỉ có nghĩa khi so với một cách xác định sự thật đáng tin, gọi là tiêu chuẩn tham chiếu. Nếu tiêu chuẩn tham chiếu cũng không hoàn hảo, hoặc chỉ một phần người tham gia được kiểm bằng tiêu chuẩn đó, các con số có thể bị lệch.
Ngưỡng cắt được chọn khi nào. Nhiều phép thử cho ra một con số liên tục, rồi chọn một ngưỡng để chia dương và âm. Nếu ngưỡng được chọn sau khi xem dữ liệu để cho kết quả đẹp nhất, độ chính xác báo cáo thường cao hơn khi dùng thật.
Có khoảng tin cậy không. Một độ nhạy 90% tính trên 20 người bệnh có khoảng tin cậy rất rộng. Tìm số người trong từng hàng của bảng bốn ô; nếu bài không cho, đó là thông tin thiếu cần ghi lại khi trích dẫn.
Tự tính giá trị dự báo dương bằng tần suất tự nhiên
Công thức Bayes có thể làm nhiều người ngại, nhưng cách đếm theo "tần suất tự nhiên" trên một nhóm tưởng tượng gồm 1.000 hoặc 10.000 người cho cùng kết quả và dễ kiểm hơn. Bạn làm theo năm bước:
- Chọn một nhóm tưởng tượng có số tròn, ví dụ 10.000 trường hợp.
- Nhân với tỷ lệ nền để biết bao nhiêu trường hợp thật sự có; phần còn lại là không có.
- Nhân số trường hợp có với độ nhạy để được số dương tính thật.
- Nhân số trường hợp không có với (1 trừ độ đặc hiệu) để được số dương tính giả.
- Giá trị dự báo dương bằng dương tính thật chia cho tổng dương tính thật và dương tính giả.
Cách đếm này được các nhà nghiên cứu về tâm lý ra quyết định như Gerd Gigerenzer đề xuất từ lâu, vì nhiều thí nghiệm cho thấy con người suy luận đúng hơn hẳn khi thông tin được trình bày bằng số đếm thay vì xác suất có điều kiện. Khi đọc một nghiên cứu về phép thử, hãy tự vẽ bảng bốn ô với một tỷ lệ nền hợp lý cho nhóm bạn quan tâm.
Nhờ AI dựng bảng và tự kiểm lại
AI giúp rất nhanh ở việc dựng bảng bốn ô và thử nhiều tỷ lệ nền khác nhau. Câu lệnh mẫu: "Một phép thử có độ nhạy 90% và độ đặc hiệu 95%. Hãy dựng bảng hai nhân hai trên nhóm 10.000 trường hợp cho ba mức tỷ lệ nền 1%, 5% và 20%, tính giá trị dự báo dương và giá trị dự báo âm cho mỗi mức, ghi rõ phép nhân ở từng ô, không làm tròn trước bước cuối."
Sau đó tự kiểm ít nhất một mức bằng tay theo năm bước ở trên. Kiểm thêm hai điều: tổng mỗi hàng có đúng bằng số trường hợp có và không có không, tổng bốn ô có bằng 10.000 không. Những lỗi AI hay mắc trong dạng bài này là nhân nhầm độ đặc hiệu thay vì 1 trừ độ đặc hiệu, hoặc đổi chỗ hàng và cột. Nếu kết quả cho giá trị dự báo dương cao bất thường ở tỷ lệ nền thấp, hãy nghi ngờ lỗi đó.
Một câu lệnh hữu ích khác cho người đọc tin: "Đoạn tin dưới đây nói về một xét nghiệm hoặc công cụ phát hiện. Hãy chỉ ra tin có nêu độ nhạy, độ đặc hiệu, tỷ lệ nền hay không, và liệt kê những thông tin còn thiếu để đánh giá một kết quả dương tính." Đừng dán kết quả xét nghiệm cá nhân của bạn hay người thân vào chatbot; câu hỏi về kết quả của chính mình nên mang tới bác sĩ.
Câu hỏi thường gặp
Độ nhạy cao và độ đặc hiệu cao, cái nào quan trọng hơn?
Tuỳ mục đích. Khi bỏ sót là nguy hiểm, như sàng lọc một bệnh nặng có thể điều trị sớm, người ta ưu tiên độ nhạy cao rồi dùng phép thử khác để khẳng định. Khi báo nhầm gây hậu quả lớn, như kết luận một người gian lận, độ đặc hiệu cao quan trọng hơn. Thường hai con số đánh đổi nhau.
Ngụy biện tỷ lệ nền là gì?
Đó là lỗi suy luận khi người ta chỉ dựa vào thông tin cụ thể trước mắt, như một kết quả dương tính, mà bỏ qua mức độ phổ biến chung của sự việc. Các nhà tâm lý học Daniel Kahneman và Amos Tversky đã mô tả nhiều thí nghiệm cho thấy lỗi này rất phổ biến, kể cả ở người được đào tạo bài bản.
Giá trị dự báo âm có bị ảnh hưởng bởi tỷ lệ nền không?
Có, theo chiều ngược lại. Khi tỷ lệ nền thấp, giá trị dự báo âm rất cao, nên kết quả âm tính khá đáng tin. Khi tỷ lệ nền cao, giá trị dự báo âm giảm xuống, và một kết quả âm tính không còn chắc chắn loại trừ được như trước.
Làm lại phép thử lần hai có giúp không?
Thường có, nếu hai lần thử độc lập với nhau. Người có kết quả dương ở lần một thuộc một nhóm có tỷ lệ nền cao hơn hẳn, nên lần thử thứ hai đáng tin hơn. Đó là lý do có các phép thử khẳng định. Tuy vậy, nếu hai lần dùng cùng một phép thử, sai số có thể lặp lại, nên quyết định cụ thể cần chuyên gia.
Độ chính xác tổng thể khác độ nhạy và độ đặc hiệu thế nào?
Độ chính xác tổng thể là tỷ lệ phân loại đúng trên toàn bộ trường hợp, gộp cả hai hàng. Nó dễ gây hiểu lầm khi tỷ lệ nền rất thấp hoặc rất cao, vì phép thử chỉ cần đoán theo nhóm đông là đã đạt con số cao. Bài nghiên cứu tốt luôn báo cáo riêng độ nhạy và độ đặc hiệu.
Học sinh bị công cụ phát hiện AI gắn cờ nhầm nên làm gì?
Bình tĩnh trao đổi với giáo viên, đưa ra bản nháp, ghi chú, lịch sử chỉnh sửa tài liệu, và sẵn sàng giải thích ý tưởng trong bài bằng lời. Có thể đề nghị giáo viên cân nhắc rằng công cụ có tỷ lệ báo nhầm. Thói quen lưu bản nháp từ đầu giúp những trao đổi như vậy dễ dàng hơn nhiều.