Mọi phép đo đều có sai số; điều làm hỏng một nghiên cứu không phải là có sai số, mà là sai số lệch về một phía mà người làm không biết. Sai số ngẫu nhiên làm kết quả lúc cao lúc thấp và có thể giảm bằng cách đo nhiều hơn. Sai số hệ thống, hay thiên lệch, đẩy kết quả về một hướng, và đo bao nhiêu lần nó vẫn ở đó.
Phần lớn thiên lệch sinh ra ngay ở khâu thiết kế, lúc bạn quyết định chọn ai, đo bằng gì, hỏi thế nào, và rất khó sửa sau khi số liệu đã thu. Bài này liệt kê các kiểu thiên lệch người mới hay gặp khi tự làm nghiên cứu nhỏ, cách nhận ra chúng trong bản kế hoạch, và một danh sách kiểm tra để dùng trước khi bắt đầu. Các ví dụ đều là giả định.
Sai số ngẫu nhiên và sai số hệ thống
Hình dung một chiếc cân nhà bếp. Mỗi lần cân cùng một túi gạo, con số nhảy lên xuống vài gam do tay đặt không đều, mặt bàn hơi rung. Đó là sai số ngẫu nhiên: lúc dư lúc thiếu, cân nhiều lần rồi lấy trung bình thì các chênh lệch triệt tiêu bớt. Giờ giả sử chiếc cân bị lệch, lúc trống vẫn chỉ hai mươi gam. Mọi lần cân đều dư hai mươi gam. Cân một trăm lần rồi lấy trung bình vẫn dư hai mươi gam. Đó là sai số hệ thống.
Trong nghiên cứu, sai số hệ thống không chỉ đến từ dụng cụ. Nó đến từ cách chọn người tham gia, cách đặt câu hỏi, cách người đo nhìn nhận, thậm chí cách người nghiên cứu quyết định dừng thu số liệu. Điều nguy hiểm là nó không để lại dấu vết trong bảng số: số liệu vẫn trông gọn gàng, độ phân tán vẫn nhỏ, chỉ có điều cả bảng lệch khỏi sự thật.
Vì vậy chiến lược với hai loại sai số khác nhau. Sai số ngẫu nhiên xử lý bằng cỡ mẫu và đo lặp. Sai số hệ thống phải chặn từ thiết kế: chọn mẫu đúng cách, chia nhóm ngẫu nhiên, làm mù, chuẩn hoá cách đo, hiệu chỉnh dụng cụ. Danh mục này có bài riêng cho chọn mẫu và làm mù; bài này nhìn tổng thể để bạn biết các lỗ hổng nằm ở đâu.
Bảy kiểu thiên lệch hay gặp trong nghiên cứu nhỏ
Tên gọi trong tài liệu có thể khác, nhưng các cơ chế dưới đây là nền tảng.
| Thiên lệch | Chuyện gì xảy ra | Ví dụ giả định | Cách chặn từ thiết kế |
|---|---|---|---|
| Chọn lựa | Người hoặc mẫu được chọn khác hệ thống với tổng thể | Khảo sát thói quen đọc sách bằng cách phát phiếu ở thư viện | Chọn ngẫu nhiên từ danh sách đầy đủ |
| Đo lường | Dụng cụ hoặc cách đo lệch về một phía | Đo độ ồn bằng hai điện thoại khác đời cho hai nhóm lớp | Dùng cùng một dụng cụ, hiệu chỉnh trước |
| Nhớ lại | Người trả lời nhớ sai, nhất là chuyện lâu | Hỏi số giờ ngủ trung bình trong cả học kỳ trước | Hỏi về khoảng thời gian gần, hoặc ghi nhật ký |
| Mong muốn xã hội | Người trả lời chọn đáp án được khen | Hỏi có vứt rác đúng chỗ không | Phiếu ẩn danh, câu hỏi trung tính, quan sát hành vi |
| Người quan sát | Kỳ vọng của người đo ảnh hưởng tới cách đo | Người đo biết chậu nào được bón thêm | Làm mù người đo |
| Rơi rụng | Người bỏ dở khác với người ở lại | Học sinh ngủ kém bỏ nộp nhật ký giữa chừng | Kế hoạch giữ liên lạc, báo cáo số người bỏ dở |
| Báo cáo chọn lọc | Chỉ trình bày kết quả đẹp | Đo năm chỉ số, chỉ báo cáo chỉ số có khác biệt | Ghi trước chỉ số chính, báo cáo đủ mọi chỉ số đã đo |
Đọc bảng, bạn sẽ thấy thiên lệch không phải chuyện của người gian dối. Một nhóm học sinh rất trung thực vẫn có thể dính cả bảy kiểu nếu không nghĩ tới chúng từ trước. Ghi tên từng kiểu vào phần rà soát của kế hoạch là cách đơn giản để không quên.
Giảm sai số từ dụng cụ và cách đo
Hiệu chỉnh trước khi dùng. Cân thì kiểm bằng một vật đã biết khối lượng, như gói hàng có ghi khối lượng tịnh. Nhiệt kế thì kiểm bằng nước đá đang tan. Ghi kết quả hiệu chỉnh vào sổ.
Một dụng cụ cho mọi nhóm. Nếu phải dùng nhiều dụng cụ, chia đều cho các nhóm hoặc luân phiên theo lịch, đừng gán mỗi dụng cụ cho một nhóm.
Một người đo, một cách đo. Viết quy trình đo ngắn gọn: đo ở đâu, đặt dụng cụ thế nào, đọc số lúc nào. Nếu nhiều người đo, cho họ đo thử cùng mẫu và so kết quả trước.
Đo lặp và ghi đủ. Mỗi mẫu đo hai ba lần, ghi mọi lần đo chứ không chỉ ghi số trung bình. Số liệu thô giúp phát hiện lần đo bất thường.
Đo ở cùng điều kiện. Cùng giờ trong ngày, cùng vị trí. Độ ồn của lớp học lúc ra chơi và lúc đang kiểm tra là hai thế giới khác nhau.
Ghi đơn vị và độ chia nhỏ nhất. Thước chia tới milimét thì không ghi kết quả tới phần mười milimét. Ghi rõ đơn vị ở đầu mỗi cột trong sổ.
Rà một bản thiết kế giả định để tìm thiên lệch
Ví dụ giả định: nhóm học sinh muốn biết lớp học ở tầng một có ồn hơn lớp học ở tầng ba không. Kế hoạch ban đầu là đo bằng ứng dụng đo âm thanh trên điện thoại vào giờ ra chơi.
- Chọn lựa: chọn lớp nào để đo? Nếu chỉ đo hai lớp gần cầu thang vì tiện, kết quả có thể phản ánh cầu thang chứ không phải tầng. Sửa: bốc thăm vài lớp ở mỗi tầng.
- Đo lường: hai bạn dùng hai điện thoại khác nhau, mỗi bạn phụ trách một tầng. Sửa: dùng chung một máy cho cả hai tầng, hoặc đổi máy giữa các lần đo.
- Điều kiện đo: giờ ra chơi mỗi lớp mỗi khác. Sửa: đo trong giờ học, cùng tiết, cùng khoảng thời gian, đặt máy ở cùng vị trí trong lớp.
- Người quan sát: người đo đã tin tầng một ồn hơn, có thể bấm đo đúng lúc xe chạy qua. Sửa: đặt máy ghi liên tục trong mười phút cố định thay vì bấm tay.
- Báo cáo chọn lọc: định đo cả độ ồn trung bình và độ ồn cao nhất. Sửa: ghi trước chỉ số chính là độ ồn trung bình, chỉ số phụ vẫn báo cáo đầy đủ.
- Biến gây nhiễu: lớp tầng một có thể gần cổng trường hoặc sân bóng. Sửa: ghi lại vị trí từng lớp so với nguồn ồn để bàn trong phần kết quả.
Sau sáu câu hỏi này, kế hoạch trở nên chặt hơn hẳn mà không tốn thêm tiền. Lưu ý ứng dụng điện thoại không phải máy đo chuẩn; nghiên cứu nhỏ vẫn dùng được nếu chỉ so sánh tương đối và dùng cùng một máy, nhưng cần ghi rõ giới hạn đó.
Thiên lệch từ chính người nghiên cứu
Kiểu thiên lệch khó thấy nhất nằm trong đầu người làm. Thiên lệch xác nhận là xu hướng chú ý tới thông tin ủng hộ điều mình tin và lướt qua thông tin trái chiều. Nó biểu hiện thành những quyết định nhỏ: bỏ một mẫu "bất thường" ở nhóm đối chứng nhưng giữ mẫu bất thường ở nhóm thực nghiệm, dừng thu số liệu khi thấy kết quả đẹp, hoặc đổi câu hỏi nghiên cứu sau khi xem số liệu sao cho khớp với điều đã tìm thấy.
Cách phòng hiệu quả nhất là viết kế hoạch chi tiết trước khi bắt đầu, ghi ngày, và gửi cho giáo viên hướng dẫn một bản. Kế hoạch nêu rõ câu hỏi, chỉ số chính, cỡ mẫu, thời điểm dừng, quy tắc loại mẫu, cách phân tích. Khi số liệu về, bạn làm đúng như đã viết. Nếu phải đổi điều gì, ghi lý do và ngày đổi. Các nhà khoa học chuyên nghiệp có cơ chế đăng ký kế hoạch nghiên cứu trước với cùng tinh thần này.
Thói quen thứ hai là tìm kiếm chủ động lời giải thích khác. Mỗi khi thấy một kết quả, tự hỏi: nếu giả thuyết của mình sai, điều gì khác có thể tạo ra đúng kết quả này. Viết ra ít nhất hai khả năng. Phần bàn luận của bạn sẽ chắc chắn hơn nhiều khi đã tự trả lời trước những câu hội đồng có thể hỏi.
Danh sách kiểm tra trước khi thu số liệu
Dán danh sách này vào trang đầu sổ nghiên cứu và đánh dấu từng mục trước ngày bắt đầu.
- Tổng thể đã viết rõ, cách chọn mẫu đã ghi, có danh sách hoặc quy tắc chọn cụ thể.
- Nhóm được chia ngẫu nhiên, danh sách phân nhóm được lưu, không tạo lại nhiều lần.
- Dụng cụ đã hiệu chỉnh, mọi nhóm dùng cùng dụng cụ hoặc luân phiên.
- Quy trình đo viết ra giấy, người đo đã thử và thống nhất định nghĩa.
- Người đo hoặc người phân tích không biết phân nhóm, nếu làm được.
- Câu hỏi trong phiếu đã soát lỗi dẫn dắt, hỏi về khoảng thời gian gần.
- Chỉ số chính, thời điểm dừng, quy tắc loại mẫu đã ghi trước.
- Có kế hoạch giữ liên lạc và ghi lại người bỏ dở.
- Danh sách biến có thể gây nhiễu và cách ghi nhận chúng.
- Kế hoạch đã gửi giáo viên hướng dẫn, có ngày tháng.
AI cũng có thiên lệch: hỏi sao cho trung tính
Khi nhờ AI rà thiết kế, nhớ rằng chatbot có xu hướng chiều theo cách bạn đặt câu hỏi. Hỏi "thiết kế của em đã tốt chưa" thường nhận về lời khen kèm vài góp ý nhẹ. Hỏi "thiết kế này có những thiên lệch nào" thì nhận về danh sách vấn đề. Câu hỏi thứ hai hữu ích hơn nhiều cho mục đích rà soát.
Một câu lệnh mẫu trung tính: "Dưới đây là kế hoạch nghiên cứu giả định [dán kế hoạch, không có tên người, tên trường]. Với từng kiểu thiên lệch sau: chọn lựa, đo lường, nhớ lại, mong muốn xã hội, người quan sát, rơi rụng, báo cáo chọn lọc, hãy cho biết kế hoạch có rủi ro không, ở bước nào, và mức độ cao hay thấp. Nếu không có rủi ro, ghi rõ là không."
Đọc câu trả lời như ý kiến của một người ngoài không biết trường bạn: có điểm đúng, có điểm không áp dụng. Tự quyết định sửa gì và ghi lại trong sổ những góp ý nào bạn nhận, những góp ý nào bạn bỏ qua và vì sao. Đừng nhờ AI đoán kết quả trước khi thu số liệu, vì lời đoán đó dễ trở thành một kỳ vọng mới.
Câu hỏi thường gặp
Sai số và thiên lệch khác nhau thế nào?
Sai số là chênh lệch giữa giá trị đo được và giá trị thật, có thể ngẫu nhiên hoặc hệ thống. Thiên lệch là sai số hệ thống, luôn đẩy kết quả về một hướng. Sai số ngẫu nhiên giảm được bằng cách đo nhiều lần, còn thiên lệch phải chặn từ thiết kế vì đo thêm không làm nó biến mất.
Có nghiên cứu nào hoàn toàn không có thiên lệch không?
Gần như không. Mục tiêu là nhận diện các thiên lệch quan trọng, giảm chúng tới mức có thể bằng thiết kế, và nói rõ phần còn lại trong báo cáo. Một nghiên cứu thẳng thắn về giới hạn của mình đáng tin hơn một nghiên cứu tuyên bố không có giới hạn nào.
Làm sao biết dụng cụ đo của mình có bị lệch không?
Kiểm bằng một chuẩn đã biết: cân một vật có khối lượng ghi sẵn, đo nhiệt độ nước đá đang tan, đo một vật có chiều dài biết trước. Nếu lệch, ghi lại mức lệch và hiệu chỉnh, hoặc đổi dụng cụ. Ghi kết quả kiểm tra vào sổ nghiên cứu để người khác có thể xem lại.
Loại bỏ số liệu bất thường có phải là gian lận không?
Không nhất thiết, nếu bạn có quy tắc loại bỏ được viết trước khi xem số liệu, áp dụng như nhau cho mọi nhóm, và báo cáo rõ đã loại bao nhiêu mẫu, vì sao. Loại mẫu sau khi thấy nó làm kết quả xấu đi, chỉ ở một nhóm, là sai lệch nghiêm trọng.
Thiên lệch mong muốn xã hội có tránh được không?
Giảm được chứ khó tránh hẳn. Dùng phiếu ẩn danh, bỏ phiếu vào hộp chung, đặt câu hỏi trung tính không gợi ý đáp án được khen, và khi có thể thì quan sát hành vi thực tế thay vì chỉ hỏi. Trong báo cáo, nói rõ những câu hỏi nào dễ bị ảnh hưởng.
Có nên nhờ AI kiểm tra thiên lệch trong kế hoạch không?
Nên, như một người đọc thứ hai. Hỏi theo kiểu liệt kê rủi ro thay vì hỏi kế hoạch đã tốt chưa, và không dán thông tin nhận diện người tham gia. Góp ý của AI cần được bạn lọc lại theo điều kiện thực tế, và quyết định sửa gì vẫn là của bạn cùng giáo viên hướng dẫn.