Trong khoảng mười lăm năm qua, nhiều lĩnh vực đã tiến hành các dự án làm lại một cách có hệ thống những nghiên cứu đã công bố. Kết quả gây chú ý: một tỉ lệ đáng kể không cho ra kết quả như bản gốc.
Điều này thường được gọi là khủng hoảng về khả năng lặp lại, và cách hiểu đúng về nó ảnh hưởng tới cách đọc mọi kết quả khoa học.
Lặp lại nghĩa là gì
Cần phân biệt hai thứ hay bị gộp:
Phân tích lại cho ra cùng con số. Dùng chính dữ liệu gốc và chạy lại theo mô tả trong bài. Nghe như chuyện hiển nhiên, nhưng nhiều nghiên cứu không qua được bước này — vì mô tả phương pháp không đủ chi tiết, hoặc vì dữ liệu không còn.
Làm lại nghiên cứu và ra cùng kết luận. Thu dữ liệu mới theo cùng thiết kế. Đây là phép thử thật của một kết quả khoa học.
Một kết quả không qua được phép thử thứ hai không đương nhiên sai — có thể nó chỉ đúng trong điều kiện hẹp hơn người ta tưởng. Và đó chính là thông tin có giá trị.
Vì sao nhiều kết quả không lặp lại được
Gian lận có tồn tại nhưng nó chiếm phần nhỏ. Bốn nguyên nhân phổ biến hơn nhiều, và cả bốn đều là các thực hành từng được coi là bình thường:
Mẫu nhỏ. Nghiên cứu cỡ mẫu nhỏ chỉ phát hiện được khác biệt lớn; khi nó báo cáo một khác biệt, ước lượng về độ lớn thường bị thổi phồng. Làm lại với mẫu lớn hơn cho ra hiệu ứng nhỏ hơn nhiều, hoặc không có.
Thử nhiều rồi báo cáo cái ra kết quả. Đo mười biến, phân tích theo nhiều cách, rồi viết bài về cái cho kết quả có ý nghĩa. Mỗi bước một mình có vẻ hợp lý; cộng lại thì xác suất tìm ra một kết quả "có ý nghĩa" hoàn toàn do ngẫu nhiên trở nên rất cao.
Đổi giả thuyết sau khi đã xem dữ liệu — trình bày một phát hiện tình cờ như thể đó là điều được dự đoán từ đầu.
Sai lệch xuất bản. Nghiên cứu không tìm ra gì ít được đăng, nên tài liệu công bố nghiêng về phía các kết quả dương tính — kể cả khi phần lớn nghiên cứu về cùng câu hỏi không tìm ra gì.
Những gì đang được làm để sửa
Đây là phần ít được nhắc tới hơn phần vấn đề, và nó cho thấy khoa học đang tự điều chỉnh:
Đăng ký trước. Nhà nghiên cứu công bố giả thuyết, thiết kế và kế hoạch phân tích trước khi thu dữ liệu, ở một nơi lưu trữ công khai. Việc này làm rõ đâu là kiểm định giả thuyết đã định và đâu là khám phá tình cờ.
Đăng ký kèm bình duyệt trước. Tạp chí nhận hay từ chối dựa trên câu hỏi và thiết kế, trước khi biết kết quả — nên bài được đăng bất kể kết quả dương hay âm.
Hình thức này giải quyết trực tiếp vấn đề sai lệch xuất bản, và nó đang lan rộng.
Chia sẻ dữ liệu và mã phân tích, cho phép người khác kiểm.
Các nghiên cứu nhiều nhóm cùng làm — cùng một câu hỏi được nhiều phòng thí nghiệm độc lập thực hiện theo một quy trình thống nhất, cho cỡ mẫu lớn và kiểm được tính ổn định qua các bối cảnh.
Coi trọng hơn việc công bố kết quả âm tính và các nghiên cứu lặp lại.
Cách đọc một kết quả mới
Bốn câu hỏi, dùng được cho mọi lĩnh vực:
Cỡ mẫu bao nhiêu? Với kết quả gây chú ý từ một nghiên cứu nhỏ, phản ứng hợp lý là chờ.
Đây là nghiên cứu đầu tiên hay đã có nhiều nghiên cứu cùng hướng? Một kết quả đơn lẻ là một quan sát; kết luận hình thành từ nhiều nghiên cứu độc lập.
Có đăng ký trước không? Nếu có, và nếu kết quả báo cáo khớp với kế hoạch đã đăng ký, độ tin cậy cao hơn hẳn.
Đã có ai làm lại chưa, và kết quả thế nào? Với các kết quả quan trọng, câu này tra được.
Điều này không có nghĩa là khoa học không đáng tin
Đây là kết luận sai mà nhiều người rút ra, và nó cần được nói rõ.
Việc phát hiện ra vấn đề này là khoa học đang hoạt động: các nhà nghiên cứu tự kiểm lĩnh vực của mình, công bố kết quả không thuận lợi, và thay đổi cách làm việc. Rất ít hệ thống tri thức nào làm được điều đó.
Và các kết luận đã được nhiều nghiên cứu độc lập ủng hộ qua nhiều thập kỷ vẫn vững — chúng không nằm trong nhóm bị nghi ngờ.
Cách đọc cân bằng: thận trọng với các kết quả đơn lẻ gây chú ý, và tin vào các kết luận đã được lặp lại nhiều lần. Đó cũng chính là cách các nhà nghiên cứu đọc lĩnh vực của họ.
Với người làm nghiên cứu
Bốn việc trong tầm tay của mọi nhóm, kể cả nhóm nguồn lực hạn chế:
Tính cỡ mẫu trước khi thu, và báo cáo kết quả kể cả khi không tìm ra gì.
Đăng ký trước kế hoạch phân tích — miễn phí và mất khoảng một giờ.
Nói rõ phần nào là kiểm định giả thuyết và phần nào là khám phá.
Chia sẻ dữ liệu và mã ở mức quy định cho phép.
Bốn việc này không tốn kinh phí và chúng làm công trình của bạn đứng vững hơn theo thời gian — vốn là điều quan trọng hơn cả việc được đăng nhanh.
Kết quả không lặp lại được có nghĩa là sai không?
Không đương nhiên — có thể nó chỉ đúng trong điều kiện hẹp hơn người ta tưởng, và đó cũng là thông tin có giá trị.
Nguyên nhân chính là gì?
Không phải gian lận mà là mẫu nhỏ, thử nhiều cách rồi báo cáo cái ra kết quả, đổi giả thuyết sau khi xem dữ liệu, và sai lệch xuất bản.
Đăng ký trước là gì?
Công bố giả thuyết, thiết kế và kế hoạch phân tích trước khi thu dữ liệu, để phân biệt rõ kiểm định giả thuyết đã định với khám phá tình cờ.
Đọc một kết quả mới thế nào?
Hỏi cỡ mẫu bao nhiêu, đây là nghiên cứu đầu tiên hay đã có nhiều nghiên cứu cùng hướng, có đăng ký trước không, và đã có ai làm lại chưa.
