Ai được giải, đề tài nào được cấp kinh phí, bài nào được đăng — các quyết định này đều do một nhóm người đưa ra trong một cuộc họp.
Hiểu cách các cuộc họp đó diễn ra giúp hai việc: chuẩn bị hồ sơ tốt hơn, và đọc kết quả với đúng mức tin cậy.
Các loại hội đồng
Bốn loại, khác nhau về mức độ chuyên môn hẹp:
Hội đồng chuyên ngành hẹp — mọi thành viên cùng lĩnh vực. Đánh giá chuyên môn sâu nhưng dễ có xung đột lợi ích vì ai cũng biết nhau.
Hội đồng liên ngành — thành viên từ nhiều lĩnh vực. Ít xung đột hơn nhưng phần lớn thành viên không đủ chuyên môn để đánh giá sâu từng hồ sơ.
Hội đồng có người ngoài ngành — đại diện xã hội, người sử dụng kết quả.
Bình duyệt phân tán — mỗi hồ sơ gửi cho vài người đọc riêng, không họp chung. Cách này dùng phổ biến cho bài báo.
Quy trình điển hình
Năm bước:
Sàng lọc hành chính — đủ điều kiện, đủ hồ sơ. Một tỷ lệ đáng kể bị loại ở bước này vì lý do hình thức, không vì nội dung.
Phân công người đọc chính. Mỗi hồ sơ có một hoặc hai người đọc kỹ; các thành viên khác đọc lướt.
Đây là điểm quan trọng nhất trong toàn bộ quy trình: người đọc chính ảnh hưởng lớn tới kết quả, vì cả hội đồng dựa phần nhiều vào nhận xét của họ.
Chấm điểm độc lập trước khi họp.
Họp thảo luận — tập trung vào các hồ sơ có điểm chênh nhau nhiều giữa các thành viên.
Xếp hạng và chọn theo số suất.
Những gì thực sự ảnh hưởng tới quyết định
Sáu yếu tố, xếp theo mức ảnh hưởng thực tế:
Chất lượng công trình.
Độ rõ ràng của hồ sơ. Thành viên hội đồng đọc nhiều hồ sơ trong thời gian ngắn. Một hồ sơ khó theo dõi bị đánh giá thấp hơn giá trị thật của nó — điều này không công bằng nhưng nó có thật, và nó nằm trong tầm kiểm soát của người nộp.
Mức độ khớp với tiêu chí đã công bố. Hồ sơ mạnh nhưng không đáp ứng một tiêu chí nêu rõ thường bị loại.
Người đọc chính là ai — người cùng hướng nghiên cứu đánh giá khác người ở nhánh khác.
Có ai trong hội đồng biết người nộp không. Ảnh hưởng theo cả hai chiều, và nó là lý do các quy định về xung đột lợi ích tồn tại.
Số suất. Cùng một hồ sơ có thể đỗ năm này và trượt năm khác chỉ vì số lượng hồ sơ mạnh năm đó khác nhau. Đây là yếu tố mà người nộp thường không tính tới khi đọc kết quả.
Xung đột lợi ích
Các quan hệ thường được coi là xung đột: cùng cơ quan, từng là người hướng dẫn hoặc người được hướng dẫn, có công bố chung trong vài năm gần đây, có quan hệ gia đình, hoặc đang cạnh tranh trực tiếp.
Cách xử lý thông thường: khai báo, rồi rút khỏi việc đánh giá hồ sơ đó — rời phòng họp khi hồ sơ được bàn, không chỉ không chấm điểm.
Vấn đề thực tế: trong các cộng đồng chuyên môn nhỏ, hầu như ai cũng biết nhau. Áp dụng quy định một cách cứng nhắc thì không còn ai đủ chuyên môn để đánh giá. Cách xử lý phổ biến là mở rộng hội đồng ra ngoài cơ sở hoặc ra ngoài nước, và minh bạch về các quan hệ.
Các thiên lệch đã được ghi nhận
Bốn loại, và biết chúng giúp cả người thiết kế quy trình lẫn người nộp hồ sơ:
Thiên lệch theo danh tiếng. Hồ sơ từ người đã có tên hoặc từ cơ sở lớn được đánh giá cao hơn ở cùng một chất lượng. Đây là lý do một số nơi áp dụng đánh giá ẩn danh.
Thiên lệch theo hướng nghiên cứu. Hội đồng gồm người làm hướng A thường đánh giá hồ sơ hướng A cao hơn — không vì thiên vị mà vì họ hiểu rõ giá trị của nó hơn.
Thiên lệch với đề tài rủi ro. Hồ sơ có khả năng tạo đột phá nhưng khả năng thất bại cao thường thua hồ sơ chắc chắn nhưng ít mới. Nhiều chương trình tài trợ nay có kênh riêng cho nhóm này.
Ảnh hưởng của người nói trước. Trong cuộc họp, ý kiến đầu tiên định khung cho cả cuộc thảo luận. Việc chấm điểm độc lập trước khi họp là biện pháp chống lại điều này.
Làm hội đồng hoạt động tốt hơn
Năm việc:
Tiêu chí cụ thể và có trọng số, công bố trước.
Chấm điểm độc lập trước khi họp, và ghi lại điểm ban đầu.
Thành phần đa dạng về cơ sở, về hướng nghiên cứu, về thế hệ.
Nhận xét bằng văn bản gửi lại cho người nộp, kể cả khi không được chọn. Đây là việc tốn công nhất và có giá trị nhất — nó biến một lần trượt thành một lần học được điều gì.
Có cơ chế phản hồi khi người nộp thấy quy trình có vấn đề.
Đọc kết quả thế nào
Ba điều với người nộp hồ sơ:
Không được chọn không đồng nghĩa với công trình kém. Với các chương trình cạnh tranh cao, phần lớn hồ sơ bị loại đều là hồ sơ tốt.
Đọc nhận xét để tìm điểm sửa được — và phân biệt giữa nhận xét về nội dung với nhận xét về cách trình bày. Loại thứ hai sửa dễ và hiệu quả ngay.
Nộp lại là chuyện bình thường. Nhiều hồ sơ thành công ở lần thứ hai hoặc thứ ba, và các hội đồng không coi việc nộp lại là điểm trừ.
Điểm nào quan trọng nhất trong quy trình hội đồng?
Việc phân công người đọc chính — cả hội đồng dựa phần nhiều vào nhận xét của họ.
Vì sao độ rõ ràng của hồ sơ ảnh hưởng lớn?
Vì thành viên hội đồng đọc nhiều hồ sơ trong thời gian ngắn, nên hồ sơ khó theo dõi bị đánh giá thấp hơn giá trị thật của nó.
Xử lý xung đột lợi ích trong cộng đồng nhỏ thế nào?
Mở rộng hội đồng ra ngoài cơ sở hoặc ngoài nước và minh bạch về quan hệ — áp dụng cứng nhắc thì không còn ai đủ chuyên môn để đánh giá.
Không được chọn có nghĩa là công trình kém không?
Không — với các chương trình cạnh tranh cao, phần lớn hồ sơ bị loại đều là hồ sơ tốt, và số suất từng năm cũng ảnh hưởng tới kết quả.
