超過70％的科研人員都有過重復別人試驗，并且失敗的經歷

　　超過70%的科研人員都有過重復別人試驗，并且失敗的經歷，超過一半的科研人員在重復自己試驗時也曾遭遇過失敗。這就是《自然》（Nature）雜志針對1576名科研人員所做的在線網絡調查得到的結果，該調查的主題就是——科研試驗的可重復性（reproducibility）。

　　該調查發現，我們對待試驗可重復性的態度經常是互相矛盾的。雖然有52%的被調查者都認為，試驗可重復性在目前是一個比較大的問題，但是只有不到31%的人認為，無法重復出那些已發表論文中報道的結果就意味著該結果極有可能是錯誤的，大部分被調查者都表示，他們愿意相信論文的真實性。

　　有多少科學文獻的結果是可重復的，關于這個問題，我們沒有太多的數據，即便有，也都是不太樂觀的。在這方面，最著名的相關分析是針對心理學和腫瘤生物學文獻的，結果發現這兩個領域的可重復性分別只有40%和10%。不過這次我們的被訪者都比較樂觀，其中有73%的人認為，在他們各自的研究領域，至少超過一半的論文是可以被信任的，其中物理學家和化學家的信心是最高的。

　　美國馬里蘭州約翰霍普金斯大學Bloomberg公共衛生學院（Johns Hopkins Bloomberg School of Public Health in Baltimore, Maryland）的微生物學家Arturo Casadevall認為，本次調查結果反映了真實的情況，他評論道：“目前，學界對于什么是科研試驗的可重復性，科研試驗的可重復性究竟應該是什么樣等問題，就是沒有一個一致的看法。認清這個現狀還只是第一步，接下來，就應該發現具體的問題，并就此問題達成共識。”

　　英國布里斯托大學（University of Bristol, UK）的生理心理學家Marcus Munafozai一直非常關注科研試驗的可重復性問題，他認為，科學研究無法重復是一件非常重大的事情。據他介紹，他還在上學時就曾經嘗試重復一些論文里報道的、簡單的試驗，結果沒能成功。因此，他對科研產生了信任危機，后來他發現，這是一種非常普遍的感覺。

　　問題并不在于清除已發表論文中那些無法重復的研究。Munafo認為，做最前沿的科研就意味著，很多時候，得到的結果可能并不是那么確定的。他們希望有新的發現，但同時，假陽性率也別太高。

　　可重復性的范圍

　　不過要想從那么多錯誤的實驗中找出真正的科研發現可并不容易。雖然在參與我們網絡調查的科研人員當中，絕大部分人都有過沒能重復出別人實驗結果的失敗經歷，但是只有不到20%的被調查者表示，有無法重復出他們實驗的失敗者曾經與他們聯系過（詳見“通過數字來認識可重復危機”）。美國細胞生物學會（American Society for Cell Biology）也曾經開展過類似的網絡調查（詳見go.nature.com/kbzs2b），一共有接近900人參與了該調查，他們的調查結果與我們的結果也基本類似。這可能是因為，開展這種對話比較困難。因為如果向原作者尋求幫助，那有可能會被人嘲笑，比如說他們能力不夠，也有可能會透露自己的研究計劃。

　　少部分被訪者表示，曾經想過要發表重復研究的結果。如果實驗沒能重復出來，科研人員們通常會認為是有合理原因的。而且，雜志社也不太愿意發表陽性的重復結果，當然也不太愿意發表陰性的研究結果。實際上，有多名曾經發表過重復實驗失敗工作的被訪者都表示，雜志編輯和審稿人都要求他們淡化與原始研究的對比。

　　不過，還是有24%的被訪者表示，他們發表過成功復制別人試驗的研究結果，13%的人也發表過沒能成功復制別人試驗的研究結果。總體而言，投稿被接受的機會還是比被拒稿的機會大一些，只有12%的被訪者表示沒能發表成功復制別人試驗的研究結果，10%的被訪者表示沒能發表無法成功復制別人試驗的研究結果。

　　美國德克薩斯理工大學健康科學中心（Texas Tech University Health Sciences Center in Amarillo）的Abraham Al-Ahmad也參與了本次調查，他曾經投過一篇稿子，試圖解釋為什么干細胞技術到他們實驗室就不管用了。他原本以為會收到一峰冷冰冰的拒稿信，可沒想到稿件被接收了。Al-Ahmad認為他們成功的原因可能是，編輯們認為他們的這篇論文解決了一部分問題。

　　還有一些人認為，要成功發表一篇重復性的研究工作離不開以下幾點，即運氣、堅持，和編輯的喜好。醫藥開發顧問Michael Adams也是本次網絡調查的被調查者之一，據他介紹，他們有一篇文章證明了一個糖尿病動物模型存在嚴重的缺陷，但是被拒稿6次，有一部分原因就是該工作并沒有發現新的藥物作用靶點。但是另外一個證明某種藥物治療Chagas病（Chagas disease）效果不佳的研究就很快被接收了。

　　糾正手段

　　1/3的被訪者表示，近五年來，他們實驗室都有非常具體的操作規程，來提高試驗結果的可重復性。不過這個比例的變動范圍很大，醫學類是最高的，達到了41%，而物理和工程學類是最低的，只有24%。自由文本反應（Free-text responses）表明，自己重復試驗，或者讓實驗室里的其他人來重復，是最常用的確保手段。其它常用手段還包括加強實驗記錄，以及對實驗步驟進行標準化管理等。

　　不過上述這些手段都算不上是根本性的保證方法。英國一名要求匿名的生物化學專業畢業生表示，在她們實驗室，因為重復實驗，所以時間和實驗試劑都要額外多付出一倍，解決一些棘手實驗問題的時間還需要另算。雖然重復實驗能夠確保實驗結果的可靠性，但是因為需要付出這么大的代價，所以她只會為創新性的項目，或者預期之外的實驗結果進行重復試驗。

　　美國弗吉尼亞大學（University of Virginia, Charlottesville）研究平滑肌細胞的博士后Laura Shankman表示，如何整合各種試驗技術，這就是一個項目。以她們實驗室為例，在短短一段時間里，就進進出出了好幾個博士后和研究生，還留在實驗室里的人就很難確保實驗的一致性。因此，她們實驗室決定花一些時間專門來重復之前發表過的試驗結果，結果發現，實驗室里的標準操作流程已經慢慢發生了改變。Shankman認為，整個實驗室一體化，而不是一個個地解決試驗失敗的問題，這樣從總體來看會節省實驗室的開支，但這卻是一項長期的投資。

　　美國Bryan健康科學學院（Bryan College of Health Sciences in Lincoln, Nebraska）的計算生物學家Irakli Loladze估計，即便是他們這種純理論工作，為了確保試驗可重復性而投入的額外工作，平均每個項目花費的時間也會增加30%。他們要確保從原始數據到最終試驗圖表的每一個步驟都是可追溯的。但是這些工作很快就變成了他們工作中的一部分。據Loladze介紹，可重復性就好像刷牙。這對你肯定是有好處的，但是需要花時間，花精力。可一旦你開始了，它就會變成一種習慣。

　　而被宣傳得最廣、用來提高科學研究可重復性的方法就是預注冊（pre-registration）方法，即科研人員在試驗開始之前就向第三方說明他們的科學假設，以及數據分析計劃等科研方案，以防日后出現有選擇性的統計學結果。但是只有不到12個人提到了這種方案。澳大利亞墨爾本大學（University of Melbourne in Australia）專門研究道德決定（moral decision-making）問題的研究生Hanne Watkins就曾經這么做過。據Watkins介紹，在收集完數據只會再回過頭想想最初的研究問題，這能防止她掉進兔子洞（going down a rabbit hole）。雖然這個過程比較費時間，不過與獲得倫理委員會的同意，或者設計調查問卷相比，也不算什么。“如果這個研究從最開始在方向上就是正確的，那接下來就順著這條道路走下去就行了。”

　　試驗無法重復的原因

　　我們這次網絡調查也詢問了這樣一個問題，即為什么科研試驗無法重復。超過60%的被調查者都提到了以下兩點原因，即論文發表的壓力和選擇性報道（selective reporting）。超過一半的人指出，他們在實驗室里就沒有開展足夠的重復試驗，此外，還存在監管不嚴，統計效力不夠等問題。還有一些人提到了試劑的不穩定性和高難度的試驗技術等因素。

　　不過美國威斯康星大學麥迪遜分校（University of Wisconsin–Madison）的發育生物學家Judith Kimble認為，這都不是最根本的原因，對基金和職位的激烈競爭才是最根本的原因，同時，越來越多的行政事務也逐漸擠占了科研人員大量的科研時間。Kimble評價道：“每個人都在被擠占。成本已經超越了任何一項科研項目。如果研究生所在的實驗室里高年資的人沒時間培訓低年資的人，那么那些低年資的學生就只能夠自己干了，這樣下去就會越來越糟。”

　　我們能改變什么

　　本次被調查者被要求對11種不同的方案進行排序，看看如何才能夠提高科研成果的可重復性。一千多人（超過90%）都認為，更好的試驗設計、更科學的統計學分析，以及更好的監管和指導這三點是最重要的，遠遠超過其它因素，比如基金或教學補助等刺激計劃等。不過即便被選擇率最低的雜志審核也獲得了69%的支持。

　　我們這次網絡問卷調查的方式是綜合了給《自然》雜志的讀者發郵件、在網站和社交媒體上投放廣告等方式，所以我們的受訪者可能更傾向于對科研結果可重復性更加關注的人群。不過美國斯坦福大學（Stanford University in California）研究科研可靠性問題的John Ioannidis認為，他們這次的研究還是表明，有志于解決這個問題的雜志社、科研項目資助者、科研機構應該攜起手來，共同解決這個問題。Ioannidis表示，大家一定會歡迎他們這么干的。大約有80%的被訪者認為，雜志社和資助者應該擔負起更多的責任。

　　Munafo認為，大家都意識到這個問題，并且能夠積極地想辦法解決這個問題，這樣很好。“我們也已經在包括主流媒體在內的各個渠道廣泛討論過這個問題，所以趕緊行動起來才是關鍵。如果我們現在不做，機會稍縱即逝，錯過了這個好機會，大家就不會再有興趣解決這個問題了。”