Các chỉ số đo lường hoạt động khoa học được dùng ở mọi nơi: xét chức danh, phân bổ kinh phí, xếp hạng, tuyển dụng.
Chúng có giá trị thật khi được dùng đúng cách, và các giới hạn của chúng đã được nghiên cứu kỹ — phần lớn vấn đề đến từ việc dùng một chỉ số cho mục đích nó không được thiết kế để phục vụ.
Các chỉ số phổ biến đo gì
Số công bố — đo khối lượng, không đo chất lượng hay mức độ đóng góp.
Số trích dẫn — đo mức độ được nhắc tới. Một bài được trích dẫn nhiều có thể vì nó quan trọng, vì nó gây tranh cãi, vì nó cung cấp một phương pháp ai cũng dùng, hoặc vì nó sai và mọi người dẫn ra để phản bác.
Các chỉ số kết hợp số bài và số trích dẫn — có ưu điểm là không bị một bài nổi bật kéo lên, và có nhược điểm là tăng theo thời gian làm nghề nên không so được giữa các giai đoạn sự nghiệp.
Các chỉ số về tạp chí — đo mức trích dẫn trung bình của các bài trong tạp chí đó. Điểm quan trọng nhất: đây là chỉ số của tạp chí, không phải của bài. Phân bố trích dẫn trong một tạp chí rất lệch — một số ít bài chiếm phần lớn trích dẫn, nên chỉ số trung bình không dự báo được cho một bài cụ thể.
Việc dùng chỉ số tạp chí để đánh giá một bài hoặc một người là cách dùng sai phổ biến nhất, và nó đã bị nhiều tuyên bố quốc tế về đánh giá nghiên cứu khuyến nghị bỏ.
Vì sao không so được giữa các lĩnh vực
Bốn nguyên nhân, và chúng đủ lớn để mọi so sánh liên ngành trực tiếp đều vô nghĩa:
Thói quen trích dẫn khác nhau — số tài liệu tham khảo trung bình của một bài chênh nhau nhiều lần giữa các lĩnh vực.
Quy mô cộng đồng khác nhau. Một lĩnh vực có mười nghìn người làm cho ra nhiều trích dẫn hơn một lĩnh vực có năm trăm người, ở cùng mức chất lượng.
Nhịp công bố khác nhau — một số lĩnh vực ra bài nhanh, một số cần nhiều năm cho một công trình.
Hình thức công bố chính khác nhau. Ở một số lĩnh vực, sách hoặc kỷ yếu hội nghị là hình thức chính, và chúng thường không được các cơ sở dữ liệu đếm đầy đủ.
Hệ quả với chính sách: một tiêu chuẩn về số bài áp chung cho mọi ngành sẽ dễ với ngành này và gần như bất khả với ngành khác.
Khi chỉ số thành mục tiêu
Đây là cơ chế quan trọng nhất cần hiểu: một chỉ số đang phản ánh tốt một thứ sẽ mất khả năng đó khi nó trở thành mục tiêu được thưởng phạt.
Các hành vi phản ứng đã được ghi nhận:
Chia nhỏ một công trình thành nhiều bài để tăng số lượng.
Tự trích dẫn quá mức, và các nhóm trích dẫn lẫn nhau có tổ chức.
Thêm tên đồng tác giả không có đóng góp để mỗi người có thêm một dòng.
Chọn đề tài an toàn, cho kết quả nhanh thay vì các câu hỏi khó cần nhiều năm.
Gửi bài tới nơi dễ đăng thay vì nơi cộng đồng chuyên ngành đọc.
Điểm đáng chú ý: phần lớn các hành vi này không vi phạm quy định nào. Chúng là phản ứng hợp lý với hệ đánh giá — và điều đó có nghĩa vấn đề nằm ở hệ đánh giá, không ở từng cá nhân.
Cách dùng chỉ số cho đúng
Năm nguyên tắc, được nêu trong nhiều khuyến nghị quốc tế về đánh giá nghiên cứu:
Không dùng chỉ số tạp chí để đánh giá một bài hoặc một người.
Luôn so trong cùng lĩnh vực và cùng giai đoạn sự nghiệp.
Dùng nhiều chỉ số, không dùng một. Và đọc chúng cùng với nội dung công việc.
Đọc bài, không chỉ đếm. Với các quyết định quan trọng — tuyển dụng, xét chức danh, cấp kinh phí lớn — việc đọc vài công trình tiêu biểu cho thông tin mà không chỉ số nào thay được.
Tính tới bối cảnh — nguồn lực, các giai đoạn gián đoạn, khối lượng giảng dạy, và loại đóng góp không nằm trong bài báo.
Những gì chỉ số không đo
Danh sách này dài hơn người ta thường nghĩ, và nó gồm nhiều thứ có giá trị nhất trong nghề:
Chất lượng giảng dạy và số người được đào tạo.
Công sức xây dựng một nhóm, một chương trình, một cơ sở dữ liệu dùng chung.
Việc bình duyệt, biên tập, tham gia hội đồng.
Các đóng góp cho thực tiễn không qua bài báo — một quy trình được áp dụng, một tư vấn chính sách, một tài liệu hướng dẫn được dùng rộng.
Việc chia sẻ dữ liệu và mã, vốn làm người khác làm được nhiều hơn.
Và các nghiên cứu không cho kết quả — vốn là phần lớn công việc thật trong khoa học.
Với người đang bị đánh giá bằng các chỉ số này
Ba điều thực tế:
Biết hệ thống của mình đo gì và lập kế hoạch với hiểu biết đó — điều này không phải thoả hiệp mà là thực tế.
Đừng để nó quyết định hoàn toàn việc chọn đề tài. Giữ ít nhất một hướng bạn theo đuổi vì nó đáng làm.
Nêu bối cảnh trong hồ sơ. Nếu bạn có giai đoạn gián đoạn, khối lượng giảng dạy lớn, hoặc làm trong điều kiện hạn chế, viết ra — phần lớn hội đồng tính tới điều đó khi được nêu, và không tính khi không được nêu.
Và với người ngồi trong hội đồng: yêu cầu ứng viên mô tả đóng góp của mình thay vì chỉ nộp danh sách là thay đổi nhỏ nhất có tác dụng lớn nhất trong cả bài này.
Chỉ số tạp chí có dùng để đánh giá một bài được không?
Không — đó là chỉ số của tạp chí, và phân bố trích dẫn trong một tạp chí rất lệch nên nó không dự báo được cho một bài cụ thể.
Vì sao không so chỉ số giữa các lĩnh vực?
Vì thói quen trích dẫn, quy mô cộng đồng, nhịp công bố và hình thức công bố chính khác nhau đủ lớn để mọi so sánh trực tiếp đều vô nghĩa.
Điều gì xảy ra khi chỉ số thành mục tiêu?
Xuất hiện các hành vi phản ứng — chia nhỏ công trình, tự trích dẫn quá mức, thêm tên không đóng góp, chọn đề tài an toàn — phần lớn không vi phạm quy định nào.
Chỉ số không đo những gì?
Giảng dạy và đào tạo, công sức xây nhóm và cơ sở dữ liệu chung, việc bình duyệt và hội đồng, đóng góp cho thực tiễn, và các nghiên cứu không cho kết quả.
