<li id="omoqo"></li>
  • <noscript id="omoqo"><kbd id="omoqo"></kbd></noscript>
  • <td id="omoqo"></td>
  • <option id="omoqo"><noscript id="omoqo"></noscript></option>
  • <noscript id="omoqo"><source id="omoqo"></source></noscript>
  • 發布時間:2023-07-07 10:19 原文鏈接: 對于大模型的思考,可以再“非線性”一點

      科幻作家江波曾說,人們總是用線性方式思考問題。比如當改良蒸汽機出現后,人們就會期望得到更大、更實用的機器,但現實比小說更科幻的是,技術突破常常以“非線性”方式來到人們身邊。

      從某種角度來說,今年引爆世界的大語言模型就是以“非線性”方式一下子進入了人類視野,以至于今年的世界人工智能大會上,幾乎所有關于人工智能(AI)的討論都繞不開這個選項。在昨天舉行的世界人工智能大會科學前沿全體會議上,對于大模型以及有望到來的通用人工智能(AGI),與會專家提醒,在考慮它們對人類社會帶來的影響方面,不妨讓思維“非線性”一點。

      大模型或許會改變城市格局

      大模型的浪潮才剛剛開始,一個無法忽視的問題是,這是一個需要投入巨大資源、消耗巨大算力的賽道。在全球進入“雙碳”時代的背景下,模型在算力層面對能源和環境的影響尤為值得關注。

      由此,2017年圖靈獎得主,美國藝術與科學院(AAAS)、國家科學院(NAS)、國家工程院(NAE)院士大衛·帕特森在會上提出一個“好問題”:如果人們制造計算機的能耗大于計算的能耗,人們還需要耗費大量資源去建造更快的計算機嗎?

      要回答這個問題,當務之急是要計算出計算機在工作時需要消耗多少能量,包括計算本身消耗的能量以及配電、冷卻方面的能量消耗。不少科學家做了相關實驗,發現訓練不同深度學習語言模型的二氧化碳當量從0.012至284噸不等。比如在不做超參數調整的情況下,訓練一個基于Bert的模型的碳排放相當于一次環美飛行的碳排量。帕特森自己的研究顯示,多數公司在運行深度學習神經網絡模型時所消耗的能源和算力要多于模型訓練階段。

      當大算力成為一種競爭力,按照“非線性”思考方式,帕特森提醒那些氣候涼爽的高原以及擁有豐富水利資源的區域將迎來新的發展機遇。由于計算這件事在不同區域所產生的碳足跡不同,擁有“算力友好型”稟賦的區域可以借此獲得發展機會,甚至改變現有的城市格局。

      與其“卷”紅海,不如尋求新突破

      模型架構好比建筑框架,從設計之初就是為了貼合應用需求。復旦大學計算機科學技術學院教授邱錫鵬認為,大模型越是發展,現在的Transformer模型架構的不適應就越發突出。比如現行架構是沒有記憶的,處理長輸入需要非常高的計算量。因此,最好的方式并非在現行架構中繼續“卷”下去,而是為大模型量體裁衣設計新的架構。

      事實上,芯片架構也需要創新。當下市場主流芯片架構有英特爾公司的X86和ARM公司的ARM,前者善于處理大數據,后者處理快數據為主,兩者分別支撐起個人電腦及移動互聯網(手機)時代的主流芯片架構。

      相比之下,帕特森更推崇開源架構RISC-V。正是因為開創了一種系統、定量的方法來設計和評價計算機體系結構,并對RISC微處理器行業產生了持久影響,他被授予2017年圖靈獎。據介紹,RISC-V的平均指令數只有X86和ARM的1/10,且架構可以隨意更改,可滿足從智能手表、智能汽車到5G基站、服務器的各種不同性能需求。更重要的是,RISC-V不隸屬于任何一家公司,任何企業、團隊和個人都可以免費用它來設計芯片。

      此外,大模型雖然帶火了GPU(圖形處理器),但正如它的名字,GPU是為了圖像處理而發明的,而且恰巧碰上了機器學習的發展浪潮。在邱錫鵬看來,與其用線性思維去“卷”GPU,不如開發更適合人工智能的硬件,或許會有新的突破。

      用電影闡述AI,更要試用AI

      AI能幫電影人解決什么問題?《流浪地球》系列科幻影片導演郭帆說,《流浪地球2》劇組整體有3萬人,最多一場戲時2000多人在現場,現行條件下沒有一個劇組能協調好這么多人。他期望AI能給出解決方案,比如未來只需要少量人員來現場,其他人通過AI協同,可以在不同地點共同完成一件事。

      作為一個用電影闡述AI的新生代導演,郭帆用實際行動證明自己對AI有著很深的思考。他表示,未來半年內,他們將嘗試在劇本、拍攝、后期、宣傳、發行等20多個電影工業化環節上“試用AI”。

      用線性思維來看,郭帆稱得上是做到了擁抱新技術的最佳電影人,但他帶給人們的驚喜不止于此。“我們還要考慮到觀影模式的變化,如果未來人們是戴著頭顯看電影的,我們能否拿出足夠優秀的作品。”他說。

      好在清華大學智能產業研究院院長、中國工程院外籍院士張亞勤的回答稍稍給郭帆吃下一顆定心丸。他表示,從《阿凡達》《泰坦尼克號》的制作經驗來看,雖然計算機技術發揮了越來越大的作用,但真正拿出創意的仍然是人。因此不管電影形態如何變化,作為工具的大模型只會變得更順手,它能夠讓更多人更快地將創意變成現實。

    相關文章

    對于大模型的思考,可以再“非線性”一點

    科幻作家江波曾說,人們總是用線性方式思考問題。比如當改良蒸汽機出現后,人們就會期望得到更大、更實用的機器,但現實比小說更科幻的是,技術突破常常以“非線性”方式來到人們身邊。從某種角度來說,今年引爆世界......

    新疆理化所在紅外非線性光學材料研究方面取得進展

    紅外非線性光學晶體作為激光頻率轉換的關鍵器件,在全固態激光器中具有廣泛的應用。當前商用的中遠紅外非線性光學晶體主要包括類金剛石結構的AgGaS2(AGS)、AgGaSe2和ZnGeP2等化合物。然而,......

    集成光量子器件中單光子阻塞新原理揭示

    記者21日從中國科學技術大學了解到,該校郭光燦院士團隊鄒長鈴研究組,提出了在單個光學模式中利用極弱的光學非線性實現光子阻塞的新原理和新方案,并分析了其在集成光學芯片上實現的實驗可行性。相關成果日前發表......

    科學家觀察到室溫三階非線性霍爾效應

    近日,南洋理工大學教授高煒博和新加坡科技設計大學教授楊聲遠課題組在II型外爾(Weyl)半金屬TaIrTe4(碲化銥鉈)中觀察到了顯著的室溫三階非線性霍爾效應,為其在新型量子材料中的應用提供了可能。相......

    新型深紫外非線性光學晶體研究取得進展

    非線性光學晶體因其頻率轉換性能廣泛,被用于擴展激光光源的頻率。然而,對于深紫外波段的激光光源的迫切需求,使得探索新一代性能更優異的深紫外非線性光學晶體成為當前研究的重點和熱點。在中國科學院戰略性先導科......

    福建物構所磷屬紅外非線性光學晶體研究獲進展

    紅外非線性光學晶體能夠通過頻率轉換作用,產生中紅外可調諧激光。目前,紅外非線性光學晶體的應用主要有硫鎵銀、硒鎵銀和磷鍺鋅,但是由于其存在的缺陷,已不能滿足運用需要。因此,急需探索性能更優異的中紅外非線......

    福建物構所無金屬紫外非線性光學晶體研究獲進展

    非線性光學晶體因其頻率轉換性能廣泛應用于擴展激光光源的頻率。而對于紫外波段的激光光源的迫切需求,使得探索新一代的性能更加優異的紫外非線性光學晶體成為當前研究的重點和熱點。中國科學院福建物質結構研究所中......

    物構所發現具有大的線性和非線性光學效應的亞銻硼酸鹽

    倍頻效應(非線性光學效應)和雙折射(線性光學效應)是現代光學中兩種極為重要的性能,可以應用到諸多領域。許多研究結果都顯示含有孤對電子的陽離子對倍頻效應和雙折射性能有顯著的增強作用。然而,這兩種光學性能......

    利用孤對電子誘導策略實現從中心到非心的晶體結構轉變

    中遠紅外二階非線性光學(MFIR-NLO)晶體材料在資源探測、光電對抗、空間反導、國防通訊等方面有著重要的應用。目前商業化的MFIR-NLO晶體材料(例如,AgGaQ2(Q=S,Se)和ZnGeP2等......

    我國學者成功制備硫酸碘酸氧鈮非線性光學晶體

    非線性光學材料在全固態激光器、醫療、通訊、精密制造、核聚變等領域具有不可替代的作用,通過合理設計合成新型高性能非線性光學材料是該領域的研究熱點和難點。引入易產生二階姜泰勒效應的結構單元,可有效獲得非中......

    <li id="omoqo"></li>
  • <noscript id="omoqo"><kbd id="omoqo"></kbd></noscript>
  • <td id="omoqo"></td>
  • <option id="omoqo"><noscript id="omoqo"></noscript></option>
  • <noscript id="omoqo"><source id="omoqo"></source></noscript>
  • 1v3多肉多车高校生活的玩视频