數據分析可以增強對科學論文的審查,但出版商必須首先同意公開此類信息。
同行評議是一件吃力不討好的工作。整個學術界每年要花7000萬個小時代表學術期刊為同行審稿。這些工作一般沒有經濟回報,也很少能得到應有的認可。
共享同行評議及其背后的數據有助于期刊杜絕學術出版中的造假、低效和系統性偏見。
xubingruo/Getty Images
有些人這么做是為了了解領域內的最新發展;有些人則單純地認為這是自己的職責義務。不管出于什么原因,如果沒有他們的貢獻,學術出版業可能無以為繼。
近年來,一些科學家開始將自己的審稿工作貼到網上,主要是想讓自己的付出得到認可。
Publons等網站讓研究人員可以發布他們的完整審稿報告,或是列出他們為之做過審稿工作的期刊。雖然成立才七年,但是Publons已經擁有170多萬用戶。
Publons的流行說明學術界希望審稿工作能得到越來越多的重視,并希望資助機構等各方給予這項工作應有的肯定。這在“不發表就出局”的學術文化中非常關鍵,但同行評議背后的數據同樣有著巨大的價值。
共享同行評議數據還能幫助期刊杜絕學術發表領域內的欺詐、低效和系統性偏見。實際上,公開同行評議應當成為學術出版界的默認做法,即公開審稿內容,并在特定情況下公開審稿人姓名。
支持率上升
公開同行評議的模式已然取得了一些支持。部分學術期刊在線公開審稿報告的做法已經持續好幾年了,如跨學科出版物F1000 Research和醫療期刊BMC Medicine。
近期一項針對3000多名研究人員的調查發現,大部分調查對象都認為公開審稿應該成為主流做法,但前提是審稿人保持匿名。
即使是這樣,也能讓大家對這個向來不透明的運作流程有更多的認識。
例如,Publons上發表的一項對30多萬篇審稿報告的字數統計分析發現,物理學家的審稿意見通常比心理學家、地球和空間科學審稿人和生命科學審稿人的審稿意見要短。
可想而知,如果能夠展開更深入的分析,就能對不同科學領域的審稿質量差異有更清晰的認識。但眼下只有少數期刊允許公開它們的同行評議報告,并公布審稿人的身份。
Publons在2017年執行的一項分析顯示,在約3700本開展同行評議的期刊中,當時只有約2%的期刊允許公開審稿內容。
同行評議數據還能幫助消除偏見。去年,一項研究調查了生物醫學期刊eLife近2.4萬篇投稿的同行評議數據,發現女性和非西方人在審稿人中的占比嚴重不足。
只有約五分之一的審稿人為女性,不到2%的審稿人來自發展中國家。(在期刊編輯和集體署名論文的“通訊作者”中,女性和非西方國家研究人員的占比也偏低——通訊作者通常為一個研究團隊中最資深的科學家,是研究人員夢寐以求的榮譽。)
eLife的調查結果并不完全在意料之外,其他期刊可能也存在類似的情況。盡管如此,eLife還是做出了正確的決定:主動披露數據并讓審稿過程接受公開監督。
基于這些數據,eLife就能向前一步,主動消除潛在偏見,讓整個審稿流程更加公平。而對于許多別的期刊來說,它們的同行評議流程將繼續以充其量不過是道聽途說的信息為決策引導。
呼喚透明度
可能有人會說,出版商和期刊可以對同行評議流程展開內部分析,而且也許有的已經在這么做了。但為了真正實現透明化,讓期刊的決策有理有據,更明智的做法是直接公開相關數據。
公開發表同行評議數據也許還能幫助期刊應對學術出版的另一個問題:同行評議造假。
舉例來說,已有少數作者被發現使用捏造的郵箱地址冒充外部專家來為自己審稿。
超過500項研究由于此類同行評議操縱行為而被撤回,這些研究大部分來自中國科學家。
僅僅是公開同行評議的完成時間,都能讓讀者對審稿的嚴謹性有一個具體的概念——比如審稿人何時收到審稿邀請,何時提交完整的審稿報告。
增加透明度還能防止審稿人竊取論文以自己的名義發表,要求作者引用他們的研究來換取正面的審稿意見,或是其他有違學術倫理的做法。
反對意見主要集中在保密性對于同行評議完整性的重要性上——如果將審稿意見發布,尤其是要求審稿人以簽名的方式公開身份,可能會讓他們在審稿時避重就輕。
還有一些人則擔心公開審稿意見可能會讓審稿人一開始就拒絕這項工作,或是因為擔心被問責而花更多的時間進行審稿。
但是,近期有一項研究分析了全球最大的學術出版商愛思唯爾(Elsevier)旗下5本期刊的逾1.8萬篇審稿報告,結果發現同時發布論文原稿和審稿報告并不會影響整個審稿流程,雖然只有約8%的審稿人愿意在報告上簽名。
這項研究還發現,公開審稿報告并不會花去審稿人更多的時間,不會導致同意做同行評議的審稿人減少,也不會影響審稿人接收還是拒絕論文的決定。
因此,愛思唯爾在今年2月表示他們正在考慮讓旗下更多的期刊公開同行評議。
改變將至
即使審稿報告和審稿人身份無法公開,期刊也能以研究為目的,與外部研究人員共享這些數據。
或者,他們可以在不違背保密性的情況下公開其他能夠回答某些重要問題的數據,比如審稿流程需要耗費多長時間,編輯平均需要聯系多少研究人員才能找到一位愿意審稿的審稿人,以及審稿人的地理位置分布如何。
當然,公開審稿流程背后的數據無法解決同行評議的所有問題。此外,不公開審稿意見和審稿人在某些情況下可能確有必要。但是規范應該從完全不透明向必要時不透明轉變。
這種轉變絕非易事。在關于愛思唯爾的公開同行評議試驗的研究中,研究人員先后用了兩年時間咨詢法律專家,才獲得了同行評議流程的具體數據。
為了進一步簡化將來的流程,上述研究的作者之一、意大利米蘭大學的社會學家Flaminio Squazzoni與同事開發了一種標準方法,希望能給出版商用來分享同行評議數據。
他寫道,“根據我們的經驗,毫無保留地公開同行評議流程信息的期刊,可以改進整個出版行業的透明度和問責制度,同時還能保障作者、審稿人、編輯和研究人員的利益。”
希望學術出版商能聽到這些聲音。
近年來,國家有關部門針對科研評價和教師評價等出臺了一系列文件,其中一個重要的政策就是強化代表作同行評議制度。這預示著我國高校教師評價將從以往關注發表的數量,向關注成果的質量等方面轉變。至于代表作評價制......
前不久,某美國華人學者在社交媒體發文,公開批評國內某高校。因為自己所帶的一位訪問學者是某高校在讀博士生,由于博士論文外審有意見,導致其錯過校內學位評審時間,最終無法拿到博士學位。原本該學者要為這位博士......
每到年底,相信不少高校教師或科研工作者工作者都會和小編一樣,花上不少時間和心思定制祝福信息。當然,信息的去向都是領域內知名專家或論文評審人:“踏上學術道路的那一刻起,同行評議就無處不在,不知什么時候成......
近日,有消息稱美國某大學已開始對一名“大腕”級PI展開嚴肅學術不端調查,并已暫封其實驗室。 該指向嫌疑較大的是美國東北大學教授托馬斯•韋伯斯特(Th......
數據分析可以增強對科學論文的審查,但出版商必須首先同意公開此類信息。同行評議是一件吃力不討好的工作。整個學術界每年要花7000萬個小時代表學術期刊為同行審稿。這些工作一般沒有經濟回報,也很少能得到應有......
《天文和天體物理學研究》(RAA)主編、中科院院士汪景琇,近年接到不止一位美國年輕天文學者希望成為RAA審稿人的請求,希望他以主編身份出具一份確認信,以幫助這些年輕學者獲得更多認可。1665年,同行評......
同行評議,是用于評價科學工作的一種組織方法。這種方法常常被科學界用來判斷工作程序的正確性,確認結果的可靠性以及對有限資源的分配,諸如期刊論文、科研項目、學術獎勵等活動。當前,同行評議是對科研項目和成果......
圖片來源:TheRoyalSociety作為國內地球系統模式軟件工程方向的一位青年學者,劉利已經評審過若干篇該領域國際核心期刊的稿件。“在最后提交審稿意見時,審稿人可以選擇匿名評審或者在文章結尾的致謝......
近日所發生的107篇中國作者論文被國際期刊撤稿事件引發了人們的關注,作為2015年撤稿事件的延續,此次的107篇論文被撤銷的原因在于一些“論文黑中介”在推薦評審專家時,將專家的郵箱“偷梁換柱”,從而炮......
大規模撤稿、中國作者、同行評議過程造假、第三方機構操縱,由這些關鍵詞構成的施普林格出版集團4月20日的聲明,除了一次性撤銷發表在《腫瘤生物學》上的107篇論文這個創紀錄的數字,并無新意。從2015年起......