爭鳴與探討：科研評價應遵循什么基本原則

CFP

【爭鳴與探討】

全國第四輪學科評估方案中的科研評價部分，特別是“A類期刊”的增列與取消，一時成為熱議話題。事實上，科研評價是世界性難題，最近幾年，國際學術界提出了科研評價方面的兩個“宣言”——“萊頓宣言”和“舊金山宣言”。放在世界的范圍內，如何看待這次學科評估中某些新鮮嘗試呢？有哪些可取之處和不足之處？“A類期刊”的取消不意味著相應的探索和思考也被取消。

“萊頓宣言”糾偏“量化至上”

“萊頓宣言”（The Leiden Manifesto for research metrics）的提出源于2014年在荷蘭萊頓召開的一次國際會議，美國佐治亞理工學院的公共政策教授Diana Hicks等提出了合理利用科學評價指標的七條原則，后來擴充為十條，并于2015年4月發表在《自然》雜志上。

“萊頓宣言”的十條原則，簡言之，第一，量化評估應當支撐質化的專家評估，而不是取而代之；第二，衡量績效應基于機構、團隊和個人的科研使命；第三，保護卓越的本地化的相關研究；第四，保持數據采集和分析過程的公開、透明和簡單；第五，允許被評估者驗證數據和分析；第六，考慮發表和引用的學科差異；第七，對個人研究的評價應基于其綜合作品的質性評價；第八，應避免評估指標的不當的具體性和虛假的精確性；第九，識別認清評價指標對科研系統的影響；第十，定期審查評價指標并加以改進。

按筆者的理解，這十大原則可以歸為四個方面。

第一方面，即總的原則是：基于指標的量化評估是第二位的，是輔助性的，而同行評價的質性評估是第一位，是主導性的。量化指標可以降低同行評價中的偏見，促進更加深入的審議，提高同行評價的質量，但量化指標不應取代評估者基于充分信息基礎上的判斷。評估者仍然需要對其評估負責，而不是完全讓“數據說話”了事（第一條原則）。所以，“萊頓宣言”并不提倡科研評價要用量化指標，更不提倡把量化指標作為主導甚至是唯一指標。“萊頓宣言”只是說在用到起輔助作用的量化指標時需要注意的一些原則。

第二方面，在總的原則指導下，運用科研評價指標做具體評價工作時的下位原則，即要充分考慮科研活動本身是創造性的、個性化的、獨特性的等特點，所以需要在評價過程中特別注意科研活動的使命的差異（第二條原則）、地域性的差異（第三條原則）、學科性的差異（第六條原則）、個體性的差異（第七條原則）。這些差異容易被量化指標遮蔽，所以需要在評價中采用綜合計量或者質性評估辦法。

第三方面，關于科研評價指標的具體數據采集和分析的要求，要公開透明（第四條原則）、可以復核驗證（第五條原則）。

第四方面，對科研評價指標的態度，要理解實質內涵（第八條原則）、警惕負面影響（第九條原則）、不斷改進完善（第十條原則）。

“萊頓宣言”每一條都內涵豐富，指向明確。與之對比，可以發現，我國科學評價工作還大有改進空間。

“舊金山宣言”糾偏“以刊評文”

“舊金山宣言”（The San Francisco Declaration on Research Assessment，DORA）的提出源于2012年12月美國細胞生物學學會年會期間，一些學術期刊的編輯和出版者提出關于科研評價的建議，在此基礎上形成了“舊金山宣言”，2013年5月，78個科學組織的155位科學家簽署了這份宣言。“舊金山宣言”引發了世界科學界的廣泛關注，《科學》雜志撰寫社論支持“舊金山宣言”，認為影響因子最重要的危害是可能妨礙創新，它引導科學家關注發高影響因子的文章，追逐所謂的“熱點”，而不是潛心科研創新。

“舊金山宣言”并不像“萊頓宣言”那樣包含相當寬泛的內容，它只是針對期刊的計量指標（主要是期刊影響因子）而提出的，呼吁科學界停止使用期刊影響因子來評價科學家及其工作。內容包括總體建議以及對資助機構、研究機構、出版機構、計量指標提供機構以及科研人員的建議，共計18條。總體建議是：“停止使用期刊影響因子等期刊計量指標作為替代指標，來評價單個研究論文或學者個體的貢獻，或者是作為聘用、晉升、資助等方面的依據。”其他區分對象的建議都是圍繞著總建議展開的。

期刊影響因子是20世紀50年代由湯姆森路透公司開發出來的，其最初提出的目的是為幫助圖書館評估和挑選決定訂購哪種期刊，但是現在影響因子已經被廣泛應用于評價個人和研究機構的水平和貢獻。期刊影響因子的含義是某期刊前兩年發表的論文在統計當年的被引用總次數除以該期刊在前兩年內發表的論文總數。可見它只是期刊的評價指標，并非科研工作本身的評價指標，影響因子不具有對學術質量精確評價的功能，所以不能單憑影響因子就斷言論文優劣。“舊金山宣言”倡導的就是評估科研工作要回歸到科研工作本身的價值中去，而不是基于刊載的期刊。

“A類期刊”弊大于利

回到開篇的話題。客觀地講，這次學科評估方案在完善科研評價方面積極探索，其價值取向和工作方向與“萊頓宣言”所倡導的內容是比較契合的。比如在評估方案和相關說明中，提出“學術論文質量”采用“三結合”評價組合。一是堅持質量與數量相結合，采用代表性論文，在“比總量”與“比人均”之間找到平衡點；二是堅持主觀與客觀相結合，通過量化指標統計進行客觀評價外，還通過“代表性論文”進行專家主觀評價；三是堅持國內與國外相結合，要求包含一定比例的中文期刊，強化中國論文評價話語權。這背后的指導思想都是“萊頓宣言”提倡的摒棄“唯量化指標論”，采用更加綜合的評價方式。

“萊頓宣言”的第三條原則特別提到，要保護卓越的本地化的研究。研究的卓越不等同于在國際期刊上發表英文論文。一些偏重于本國或者區域性的課題的研究，往往并不被知名的英文期刊所青睞。“只有基于高質量的本地語言期刊的指標才能正確評價和推動卓越的本地化的研究。”這高度契合了這次評估中強化國內研究論文地位的思想。

但“A類期刊”的取消仍有許多值得反思和總結的地方。無論如何，“A類期刊”的設定其本質依然是“以刊評文”，這是“舊金山宣言”所明確反對的。“以刊定質”，而不是用學術質量本身來評價科學研究，已經日益遭到越來越多人的反思、質疑、批評和抵制，這個時候又祭出這桿大旗，似有逆向而動之嫌。真正需要下功夫的是如何在同行評價和代表作評價方面拿出切實可行的操作辦法，而不是繼續在“看刊物、數數量”的道路上越走越遠，那樣只能帶來更多的浮躁。更為重要的是，教育行政部門在主導此事，其“指揮棒的力量”不會隨評估結束而結束，而會長久發揮作用。量化指標的推出在世界范圍內幾乎都是“民間”行為，鮮見教育行政部門直接推動設立。無論是從“管辦評分離”“放管服”的角度，還是從落實創新發展理念、推進“兩個一流建設”的角度，推出“A類期刊”都是弊大于利。