文斐：研究解決大型語言模型的存儲瓶頸問題

原文地址：http://news.sciencenet.cn/htmlnews/2023/4/497858.shtm

“由于半導體器件的物理限制，摩爾定律已經難以為繼；今后計算機芯片的效率提升將主要來源于體系架構的創新。”華南理工大學計算機科學與工程學院原院長、廣東省計算機學會理事長韓國強對《中國科學報》表示，文博士的工作是該方向的成功案例之一。他的工作對未來內存及存儲系統，高效率計算系統的研發都有較大的指導和借鑒意義。

記者了解到，韓國強提到的文博士是指文斐。他本科畢業于華南理工大學，2020年在美國德克薩斯農工大學（Texas A&M University）獲得計算機工程博士學位。他曾于2015年在惠普實驗室（HP Labs）任研究員，目前在美國高通公司研究中心擔任高級機器學習工程師一職，主要從事下一代機器學習的硬件架構及設計。他的研究興趣包括AI芯片架構設計、內存及存儲系統、以及FPGA（現場可編程邏輯門陣列，一種可以靈活載入新邏輯功能的大規模數字集成電路）加速等。

  ?

文斐就讀于美國德克薩斯農工大學期間留影。受訪者 供圖

開發出混合內存系統仿真平臺

去年11月誕生的ChatGPT，在今年2月一路“狂飆”，爆火“出圈”，成為目前為止最為強大的通用人機對話系統。作為由OpenAI訓練的對話式大規模語言模型，ChatGPT不僅引爆了打工人的焦慮，也攪動了人們對AI產業期望的一池春水。

ChatGPT屬于大型語言模型，其他的模型還有BERT、T5等。“大型語言模型通常包含百億級別的神經元（或參數），因此對計算機系統的內存構成重大挑戰。決定大型語言模型運行的性能瓶頸也通常在于存儲系統。”文斐對《中國科學報》表示。

據他介紹，最近幾年涌現的新型非易失性存儲器（Non-volatile Memory，簡稱NVM），如PCM、Memristor、MRAM、ReRAM有望解決該性能瓶頸問題。NVM提供了更高的存儲密度及容量。同時，NVM不需要一直通電，因此有更好的靜態功耗。

此外，NVM可以用于發展新型的存內計算架構，從根本上減少數據從CPU到內存之間的傳輸，降低延時及能耗。“然而，NVM也有其劣勢。對比傳統的DRAM內存，其讀寫速度較慢，而且NVM設備的壽命有寫入次數限制。因而，混合型內存系統可以較好地同時利用這兩種內存設備的優點。”文斐說。

在研究混合內存問題的過程中，文斐開創性地搭建了基于FPGA的硬件仿真平臺。傳統的計算機體系研究通常使用基于軟件的仿真器，例如gem5。然而，這種仿真器通常只能仿真CPU內部結構，而缺乏對外部IO及總線互連的支持，同時仿真速度極為緩慢。

而文斐所提出的基于FPGA的混合內存硬件仿真平臺，相對于此前的軟件仿真實現了9280倍的加速，使研究人員能夠輕松研究和評估新的內存結構設計，從而大大加速類似的存儲系統研究課題。

研究成果具有價值和獨創性

近年來，文斐在計算機硬件類的國際期刊DAC、IEEE-TCAD、FPL等發表了多篇文章，首次較為系統地解決了混合型內存系統的數據管理問題。

據韓國強介紹，文斐通過智能識別程序內存的訪問模式，動態管理數據在混合內存設備上的空間分配以及移動；在此基礎上結合軟硬一體設計優化，能在極少影響性能的前提下大幅節省功耗。同時他提出的基于FPGA的模擬實驗方法也較傳統軟件仿真更為精確可信。

實驗數據表明，文斐設計的智能混合內存在系統閑置時，只需傳統內存系統1/8的能耗，即使在負載時，平均也可以降低約40%的內存系統功耗。而內存系統的功耗通常占到超算系統中14%左右。以中國最新的神威太湖超算系統為例，其一年的利用率為50%，電費高達6千萬。如果使用智能混合內存，則電費一項可預計節省530萬元。

“我相信文博士的工作已經在推動新型計算機技術的發展。”美國科羅拉多州立大學電子與計算機工程學院院長Sudeep Pasricha認為，“文博士的研究工作已在業內具有相當影響力。DAC、IEEE-TCAD及FPL等著名學術會議及期刊發表文博士的論文也彰顯了其研究成果的價值和獨創性。”

據了解，文斐設計的智能內存管理硬件模塊（hardware memory management unit，簡稱HMMU），可以自動識別模型中每片數據的訪問模式（access patterns），從而優化其在混合內存（hybrid memory）中的分配位置。比如，頻繁訪問的數據會自動分配到DRAM以獲取更快的讀取響應；而體積巨大且訪問較少的數據則會被分配到NVM中以節省能耗。

在HMMU的基礎上，文斐進一步開發了OpenMem系統，可以從軟件代碼的分析結果中得到全局和更長期的數據訪問模型，同時兼顧HMMU探測到的短期數據訪問模型，從而更進一步優化混合內存的性能、功耗以及設備壽命。

“文斐的工作提供了巧妙而創造性的方法來改善計算設備的功能，以規避芯片的物理限制。由于這一點，他在該領域的持續參與對于下一代計算系統的發展很關鍵。”加州大學河濱分校電子與計算機工程學院教授曾泓瑋說。