科學資助機構拒絕用AI進行同行評議

原文地址：http://news.sciencenet.cn/htmlnews/2023/7/504916.shtm

4月初，美國匹茲堡大學神經學家Greg Siegle在一次會議上聽到了他覺得“非常可怕”的事情。一位美國國立衛生研究院(NIH)的同行評議專家說，人工智能(AI)工具ChatGPT已成為他起草審查報告時不可或缺的工具，并表示，ChatGPT可以節省大量時間：起草審查報告可能只需將提案的部分內容(如摘要、目標和研究策略)粘貼到AI中，然后要求其評估信息即可。

  ?

圖片來源：A.MASTIN/SCIENCE

然而據《科學》報道，NIH和其他資助機構卻對這一做法表示反對。6月23日起，NIH禁止使用ChatGPT等在線生成AI工具用于“分析和制定同行評議評論”。在類似舉措中，澳大利亞研究委員會(ARC)也在7月7日禁止使用AI生成同行評議。

其他機構也在制定對策。NIH一位發言人說，他們已經成立了一個內部工作組，研究是否可以適當使用AI作為價值審查過程的一部分，如果是的話，可能需要什么“護欄”。

ChatGPT和其他大型語言模型在龐大的信息數據庫上進行訓練，以生成近乎人類編寫的文本。這促使擔心倫理和事實準確性的科學出版商限制使用這些模型來撰寫論文，包括《科學》在內的一些出版商和期刊也禁止審稿人使用它們。

對于資助機構來說，保密是最重要的問題。當提案的一部分被輸入在線AI工具時，這些信息就成為其訓練數據的一部分。NIH擔心數據將被發送、保存、查看或使用。

批評人士還擔心，AI撰寫的評論容易出錯，因為它們取材于現有信息，對非主流觀點有偏見，且缺乏推動科學創新的創造力。NIH官員在博客中寫道:“NIH所看重的原創性思想在這個過程中喪失了，并且同質化了，甚至可能構成剽竊。”

在澳大利亞，一名研究人員運營的匿名Twitter賬戶ARC_Tracker報告稱，一些科學家收到的評論似乎是由ChatGPT撰寫的。ARC_Tracker說，有些人把部分提案粘貼到ChatGPT上，也得到了類似的評價。

ARC_Tracker的所有者說，科學家可能認為ChatGPT產生了有意義的反饋，但它本質上是在重復提案。不可否認，一些審稿人也會這樣做。但是，適當的審查應該能夠提供洞察力、批評、知情意見和專家評估，與提案中已有內容的總結之間存在很大的區別。

然而，一些研究人員表示，AI提供了一個改善同行評議過程的機會。美國愛荷華大學精神病遺傳學家Jake Michaelson說，審稿人可以使用這些工具來檢查他們的評論，看看他們是否忽略了提案中的某些內容，以幫助他們評估自己領域之外的工作。“最終，我認為AI將成為同行評議過程的第一線，人類專家將補充AI評審。我寧愿讓ChatGPT-4來審核我的提案，也不愿讓一個懶惰的審稿人來審核。”

隨著時間的推移，形勢可能會發生變化。幾位科學家在NIH的博客上指出，一些生成式AI模型可以離線工作，并且不會違反機密性。NIH回應，它希望為“快速發展的領域提供額外的指導”。