Khi xem hồ sơ một nhà nghiên cứu, người trong ngành không đếm bài. Họ hỏi một câu khác: những bài này thay đổi điều gì trong lĩnh vực. Có bốn kiểu trả lời thường gặp.
Kiểu một: kết quả mới về thực nghiệm hoặc quan sát
Tìm ra một hiện tượng chưa ai ghi nhận, đo được thứ trước đó chưa đo được, hoặc phát hiện một mối liên hệ trong dữ liệu.
Giá trị của loại này phụ thuộc vào độ chắc của bằng chứng: cỡ mẫu, cách kiểm soát yếu tố gây nhiễu, và việc có ai lặp lại được kết quả hay không.
Kiểu hai: phương pháp hoặc công cụ mới
Một cách đo mới, một thuật toán, một quy trình thí nghiệm, một bộ dữ liệu công khai. Loại này ít gây chú ý tức thời nhưng thường có ảnh hưởng dài nhất, vì nó cho phép người khác làm được việc họ chưa làm được.
Dấu hiệu của đóng góp phương pháp mạnh: nhiều nhóm khác dùng lại, và nó trở thành công cụ tiêu chuẩn được nhắc trong phần phương pháp của bài khác.
Kiểu ba: tổng hợp và hệ thống hoá
Bài tổng quan có hệ thống, phân tích tổng hợp, hoặc bài đưa ra khung lý thuyết gộp các kết quả rời rạc thành một cách hiểu chung.
Loại này thường có nhiều trích dẫn, nên dễ bị đánh giá cao hơn mức đóng góp thật nếu chỉ nhìn con số. Ngược lại, một bài tổng hợp tốt có thể định hình lại cả một lĩnh vực.
Kiểu bốn: phủ định hoặc điều chỉnh cái đã tin
Bài chỉ ra một kết quả cũ không lặp lại được, hoặc một phương pháp phổ biến có sai lệch hệ thống. Đây là loại khó công bố nhất và thường ít trích dẫn hơn, nhưng cần thiết cho sự trung thực của ngành.
Người nghiên cứu có kinh nghiệm đánh giá rất cao loại này trong hồ sơ, vì nó cho thấy tác giả dám đi ngược dòng và làm việc cẩn thận.
Vì sao trích dẫn không phải thước đo duy nhất
Trích dẫn tích lũy chậm, nên bài mới luôn bất lợi. Trích dẫn khác nhau rất nhiều giữa các ngành. Một bài có thể bị trích dẫn nhiều vì gây tranh cãi hoặc vì dùng làm ví dụ về cái sai.
Ngược lại, có công trình ảnh hưởng lớn tới thực hành — một hướng dẫn điều trị, một tiêu chuẩn kỹ thuật, một phần mềm được dùng rộng rãi — mà số trích dẫn không phản ánh.
Cách đọc một bài để thấy đóng góp
Đọc câu cuối của phần mở đầu: phần lớn bài viết tốt nói rõ ở đó họ làm được gì mới.
Xem phần hạn chế. Bài trung thực nói rõ giới hạn; bài né phần này thường có vấn đề về độ chắc.
Kiểm tính tái lập: có công khai dữ liệu và mã không, phương pháp mô tả đủ để người khác làm lại không. Đây là tiêu chí ngày càng được coi trọng và là chỗ phân biệt rõ nghiên cứu cẩn thận với nghiên cứu vội.
Bài ở tạp chí uy tín cao thì chắc là đóng góp lớn?
Không chắc. Tạp chí uy tín lọc tốt hơn nhưng vẫn có bài ít ảnh hưởng, và có đóng góp quan trọng nằm ở tạp chí chuyên ngành hẹp ít người ngoài biết tới.
Vì sao bài phủ định kết quả cũ lại khó công bố?
Vì nhiều tạp chí ưu tiên kết quả mới và dương tính. Điều này đang được cải thiện với các tạp chí chuyên về tái lập và với yêu cầu đăng ký trước thiết kế nghiên cứu.
Người ngoài ngành có đánh giá được đóng góp không?
Khó, và đó chính là lý do các hội đồng bổ nhiệm phải xin thư nhận xét từ chuyên gia trong ngách hẹp.
Đóng góp phương pháp nên trình bày thế nào trong hồ sơ?
Nêu rõ ai đang dùng lại nó: nhóm nào, bao nhiêu công trình, có trở thành công cụ tiêu chuẩn trong ngành hay chưa. Bằng chứng sử dụng lại mạnh hơn số trích dẫn.
