學術界算力不足，限制人工智能創新

一項針對全球數十家機構學者的調查顯示，許多大學的科研人員對可供他們用于人工智能研究的算力資源有限感到沮喪。

據《自然》報道，科研人員接觸不到最先進的計算系統，可能會阻礙他們開發大型語言模型和進行其他人工智能研究的能力。

特別是，學術界研究人員有時沒有足夠的資源獲得強大的圖形處理器（GPU）——通常用于訓練人工智能模型的計算機芯片，其成本可能高達數千美元。相比之下，大型科技公司的研究人員預算更高，可以在GPU上投入更多。

英偉達的H100 GPU是人工智能研究中備受追捧的芯片。圖片來源：英偉達

“每增加一塊GPU，都會增加更多算力。”該研究作者之一、美國布朗大學的計算機科學家Apoorv Khandelwal說，“那些行業巨頭也許擁有數千塊GPU，但學術界可能只有幾塊。”

美國非營利性人工智能研究機構EleutherAI的執行董事Stella Biderman表示：“學術界和行業之間的差距很大，但它本應該小得多。”對這種差異的研究“非常重要”。

為了評估學術界可用的算資源，Khandelwal和同事調查了35個機構的50名科研人員。在受訪者中，66%的人對算力的滿意度為3分或更低（滿分為5分）。“他們一點也不滿意。”Khandelwal說。

大學對使用GPU有不同的設定。在有些大學，可能有一個由院系和學生共享的中央計算集群，科研人員可以在那里申請GPU時間。其他機構可能會購買機器供實驗室成員直接使用。

一些科研人員表示，他們必須等待數天才能使用GPU，并指出，在項目截止日期前后等待時間特別長。

調查結果還突顯了全球在獲取方面的差距。例如，一位受訪者提到了在中東難以找到GPU。只有10%的受訪者表示，他們可以使用英偉達的H100 GPU，這是為人工智能研究設計的強大芯片。

這一障礙極大加劇了預訓練過程的難度，即向大型語言模型輸入海量數據集的過程變得尤為困難。“由于成本高昂，大多數學者甚至不敢涉足預訓練領域的研究。”Khandelwal指出，算力匱乏可能會嚴重制約這一領域的未來發展。

“為了長遠的發展，擁有一個健康、有競爭力的學術研究環境至關重要。”該研究作者之一、美國布朗大學的計算機科學和語言學學者Ellie Pavlick說，“相比之下，在行業研究中往往存在顯著的商業壓力，這有時會促使他們急于求成，減少了對未知領域的探索。”

該團隊還深入探究了科研人員如何在算力資源有限的情況下進行更高效的利用。他們測算了在使用1至8塊GPU的低資源硬件環境下，預訓練多個大型語言模型所需的時間。盡管面臨資源限制，科研人員仍成功訓練出多個模型，但這一過程耗時更長，并要求他們必須采用更為高效的方法。