實驗難以複現,頂級期刊的科研論文也不可(kě)信嗎?
科研是嚴謹的,相信每個(gè)科研人(rén)都希望能夠嚴絲合縫的按照經典文獻中的內(nèi)容學會(huì)方法,将結果複現。但(dàn)經常會(huì)出現已經按照文獻中的實驗步驟要求反複進行(xíng)了實驗,卻總得(de)不到想要複現的實驗結果的情況。那(nà)麽問題來(lái)了!文獻的實驗步驟合理(lǐ)嗎,科研思路是對的嗎?
有(yǒu)人(rén)曾統計(jì)過1975年-2010年發表在PubMed(全球最權威的醫(yī)學類文獻數(shù)據庫)上(shàng)的論文。數(shù)據顯示1975-1990年沒被撤回的論文概率在千分之一內(nèi),而2010年已經達到了百分之一,整整提升了一個(gè)數(shù)量級。這意味着比起三十多(duō)年前,頂級醫(yī)學學術(shù)期刊上(shàng)無法複現實驗的事件整整提升了10倍!這也間(jiān)接的導緻在科研界,作(zuò)者捏造實驗數(shù)據的說法甚嚣塵上(shàng),那(nà)麽實際上(shàng)真的盡是如此嗎,為(wèi)什麽會(huì)有(yǒu)這樣的現象出現呢?下面我們來(lái)簡析一下為(wèi)什麽paper裏的實驗難以複現。
一、社會(huì)科學研究難以複現
Nature子刊Nature Human Behaviour曾發表了這樣一篇論文,這是一個(gè)由40多(duō)位研究者組成的團隊,他們對2010年到2015年發表在Nature和(hé)Science上(shàng)的21項社會(huì)科學研究進行(xíng)了重複實驗,但(dàn)僅僅複現了其中13項。
為(wèi)了測試初始論文的結果,研究人(rén)員在進行(xíng)的重複測試中不僅增加了受試人(rén)數(shù),還(hái)采取了多(duō)種統計(jì)方法進行(xíng)分析。這些(xiē)研究的初始作(zuò)者還(hái)對新研究的實驗拟定進行(xíng)了反饋,提供了他們曾使用過的數(shù)據、軟件和(hé)代碼。最終,在這21個(gè)重複實驗中,研究人(rén)員發現隻有(yǒu)13個(gè)實驗能與初始研究有(yǒu)着相同方向上(shàng)的顯著效應;而且觀察到的效應量級大(dà)約隻有(yǒu)初始研究中的一半。在未能複現的8個(gè)研究中,有(yǒu)一些(xiē)甚至有(yǒu)很(hěn)大(dà)的社會(huì)影(yǐng)響。比如在2011年發表在Science上(shàng)的一項研究,這項研究聲稱數(shù)字搜索引擎改變了人(rén)們記憶信息的方式,即對于那(nà)些(xiē)在網絡上(shàng)容易搜索到的信息,人(rén)們反而很(hěn)難記住。這個(gè)結論曾經被廣泛報道(dào),媒體(tǐ)也鼓吹說搜索引擎可(kě)以為(wèi)我們的認知卸載,就是所謂的“谷歌(gē)效應”。但(dàn)在複現實驗中,研究者并沒有(yǒu)發現類似的效應。通(tōng)過這21項實驗複現,研究人(rén)員認為(wèi),這些(xiē)已發表的研究結論存在系統性的偏差。
二、可(kě)重複性危機由來(lái)已久
可(kě)重複性危機(Repoducibility Crisis)不是第一次出現了,這是讓學界頭疼的老大(dà)難問題。Nature雜志(zhì)曾經針對1576名科研人(rén)員做(zuò)過一項調查,90%以上(shàng)的受訪者表示科學界存在可(kě)重複性危機,而且其中一半以上(shàng)認為(wèi)可(kě)重複性危機已經到了嚴重地步。其中70%的研究人(rén)員曾經試圖重現其他科學家(jiā)的研究卻以失敗告終。甚至有(yǒu)過半的研究者,連自己曾經做(zuò)過的實驗也無法複現。針對科學界可(kě)重複性危機,Science雜志(zhì)的名譽副主編BarBara Basny表示,未能複現的論文并不意味原始實驗是錯誤的。因為(wèi)規則(protocol)存在差異,研究樣本也存在差異,不是每一篇論文在發表時(shí)都是完美的。
三、難以複現的主要原因
全球生(shēng)物标準研究所(GBSI,The Global Biological Standards Institute)首任主席Leonard Freedman在接受The Scientist 采訪時(shí)談到:科研結果難以複現的兩個(gè)重要因素可(kě)能是生(shēng)物試劑和(hé)參考資料本身存在錯誤;其次還(hái)有(yǒu)一個(gè)嚴重的問題就是研究設計(jì)或實驗設計(jì)的不規範。也就是說,實驗的最終結果與論文不一,就說明(míng)有(yǒu)些(xiē)條件可(kě)能存在差别,問題在于,你(nǐ)是否能發現這些(xiē)差别在哪裏。NIH專家(jiā)Francis S. Collins 等認為(wèi),在做(zuò)實驗設計(jì)時(shí)若忽略了某些(xiē)細節如單雙盲、随機、重複、樣本數(shù)量和(hé)性别等因素都會(huì)與實驗數(shù)據可(kě)靠性産生(shēng)千絲萬縷的聯系。實驗中的每一個(gè)小(xiǎo)錯誤都可(kě)能導緻實驗失敗,所以一定要養成仔細核查的習慣。“科研已經如此艱難”,還(hái)要承擔随時(shí)被推翻的風險。在科研過程中,确保其他人(rén)可(kě)以重複實驗結果也至關重要,一方面關系到自己的學術(shù)聲譽,另一方面可(kě)重複的實驗也可(kě)以促進科學的進步,推動領域的發展。以科學的方法看待複現“失敗”,能提供巨大(dà)的研究機會(huì),加強協作(zuò),制(zhì)定更加完善的研究計(jì)劃,這或許也是一種新的機遇。