Khi một chủ đề có nhiều nghiên cứu cho kết quả khác nhau, một bài tổng hợp các nghiên cứu đó có giá trị hơn bất kỳ nghiên cứu đơn lẻ nào.
Đó là nguyên tắc chung và nó đúng — với điều kiện bài tổng hợp được làm đúng cách. Không phải bài nào có chữ "tổng quan" cũng như vậy.
Ba loại bài tổng hợp
Chúng khác nhau nhiều và hay bị gộp làm một:
Tổng quan theo chủ đề. Một chuyên gia viết về hiện trạng lĩnh vực, dựa trên các công trình họ biết. Hữu ích để nắm bức tranh chung và để biết các khái niệm — nhưng việc chọn bài nào để bàn phụ thuộc vào người viết, nên nó không phải một bằng chứng tổng hợp.
Rà soát có hệ thống. Tìm kiếm theo quy trình đã định trước, với tiêu chí đưa vào và loại ra rõ ràng, và mô tả đầy đủ cách tìm. Mục tiêu là không bỏ sót và không chọn lọc.
Phân tích tổng hợp. Đi thêm một bước: gộp số liệu từ các nghiên cứu để ra một ước lượng chung.
Hai loại sau có sức nặng khác hẳn loại đầu — và khác biệt nằm ở quy trình, không ở nhãn.
Vì sao chúng có sức nặng
Ba lý do:
Một nghiên cứu đơn lẻ có thể sai do ngẫu nhiên. Nhiều nghiên cứu độc lập cùng chỉ một hướng thì khả năng đó giảm mạnh.
Cỡ mẫu gộp lớn hơn nhiều, nên ước lượng chính xác hơn.
Chúng cho thấy kết quả có ổn định qua các bối cảnh không — và sự ổn định đó là thứ quyết định một phát hiện có dùng được ở nơi khác hay không.
Sáu điểm cần kiểm
Câu hỏi có được nêu rõ trước không? Một rà soát tốt nêu câu hỏi và tiêu chí trước khi tìm — nhiều nơi nay yêu cầu đăng ký đề cương công khai trước khi bắt đầu.
Cách tìm có được mô tả đầy đủ không? Tìm ở đâu, bằng từ khoá gì, trong khoảng thời gian nào. Nếu không mô tả, người đọc không biết bài nào đã bị bỏ sót.
Tiêu chí đưa vào và loại ra là gì, và bao nhiêu bài bị loại ở mỗi bước.
Chất lượng các nghiên cứu được đưa vào có được đánh giá không? Đây là điểm quyết định: gộp mười nghiên cứu kém không cho ra một kết luận tốt. Một rà soát nghiêm túc đánh giá chất lượng từng nghiên cứu và xem kết quả có đổi khi chỉ tính các nghiên cứu chất lượng cao không.
Các nghiên cứu có đủ giống nhau để gộp không? Nếu chúng đo các thứ khác nhau, trên các nhóm khác nhau, bằng các cách khác nhau — thì con số gộp có thể vô nghĩa.
Có kiểm thiên lệch công bố không? Xem dưới.
Thiên lệch công bố
Đây là vấn đề lớn nhất của mọi bài tổng hợp và nó cần được hiểu rõ.
Các nghiên cứu tìm thấy kết quả có ý nghĩa dễ được đăng hơn các nghiên cứu không tìm thấy gì. Hệ quả: các bài đã đăng không phải một mẫu đại diện của các nghiên cứu đã được thực hiện.
Nếu một bài tổng hợp chỉ gộp các bài đã đăng, nó sẽ cho ra một ước lượng cao hơn thực tế — đôi khi cao hơn nhiều.
Ba việc một bài tổng hợp tốt làm:
Tìm cả các nghiên cứu chưa đăng — luận án, báo cáo, kết quả từ các đăng ký nghiên cứu.
Dùng các phép kiểm để phát hiện dấu hiệu thiên lệch.
Nêu rõ mức độ tin cậy sau khi tính tới điều này.
Một bài không đề cập gì tới thiên lệch công bố là một bài bỏ qua yếu tố lớn nhất ảnh hưởng tới kết luận của nó.
Đọc kết luận cho đúng
Bốn nguyên tắc:
Xem số nghiên cứu được gộp và tổng cỡ mẫu. Một phân tích tổng hợp từ ba nghiên cứu nhỏ không mạnh hơn nhiều so với một nghiên cứu lớn tốt.
Xem độ lớn hiệu ứng, không chỉ xem có ý nghĩa hay không.
Xem mức không đồng nhất. Nếu các nghiên cứu cho kết quả rất khác nhau, con số gộp là một trung bình che mất điều quan trọng — và lúc đó câu hỏi đáng quan tâm là vì sao chúng khác nhau.
Xem các nghiên cứu được gộp thuộc bối cảnh nào. Một kết luận tổng hợp từ các nghiên cứu ở một nhóm nước không tự động áp dụng cho nơi khác.
Khi hai bài tổng hợp cho kết luận khác nhau
Điều này xảy ra và nó không phải nghịch lý. Ba nguyên nhân thường gặp:
Tiêu chí đưa vào khác nhau — một bài chặt hơn, một bài rộng hơn.
Khoảng thời gian khác nhau — bài mới có thêm các nghiên cứu mới.
Cách xử lý chất lượng khác nhau — một bài loại các nghiên cứu yếu, một bài gộp hết.
Cách đọc: so hai bảng nghiên cứu được đưa vào. Chúng thường giải thích được hầu hết khác biệt.
Với người viết một bài tổng hợp
Ba việc quyết định chất lượng:
Viết đề cương trước và đăng ký nếu lĩnh vực có cơ chế đó — nó ràng buộc bạn với các quyết định đã đặt trước khi thấy kết quả.
Hai người sàng lọc độc lập, rồi đối chiếu. Một người làm thì các quyết định đưa vào hay loại ra không kiểm chứng được.
Báo cáo đầy đủ theo chuẩn của lĩnh vực — số bài tìm được, số loại ở mỗi bước và lý do, bảng các nghiên cứu được đưa vào.
Một điều nên nhớ
Bài tổng hợp là dạng bằng chứng mạnh — nhưng nó không tạo ra thông tin mới. Nó chỉ tốt bằng các nghiên cứu nó gộp lại.
Nếu lĩnh vực chỉ có các nghiên cứu nhỏ, thiết kế yếu, thì một bài tổng hợp của chúng cũng không cho một kết luận chắc — và một bài tổng hợp tốt sẽ nói rõ điều đó thay vì đưa ra một con số nghe dứt khoát.
Ba loại bài tổng hợp khác nhau thế nào?
Tổng quan theo chủ đề phụ thuộc vào lựa chọn của người viết; rà soát có hệ thống tìm theo quy trình định trước; phân tích tổng hợp còn gộp số liệu để ra ước lượng chung.
Điểm nào quyết định chất lượng một bài rà soát?
Việc có đánh giá chất lượng từng nghiên cứu được đưa vào không — gộp mười nghiên cứu kém không cho ra một kết luận tốt.
Thiên lệch công bố là gì?
Các nghiên cứu có kết quả ý nghĩa dễ được đăng hơn, nên các bài đã đăng không phải mẫu đại diện — và bài tổng hợp chỉ gộp bài đã đăng sẽ cho ước lượng cao hơn thực tế.
Khi hai bài tổng hợp cho kết luận khác nhau thì sao?
So hai bảng nghiên cứu được đưa vào — tiêu chí, khoảng thời gian và cách xử lý chất lượng khác nhau giải thích được hầu hết khác biệt.
