給人工智能裝上一雙“人的眼睛”

近年來，隨著人工智能的飛速發展，以無人駕駛、具身智能等為代表的智能無人系統正在被不斷地推廣和應用。人們希望這些系統可以在現實世界中更加自如地活動，更加準確地給人類提供幫助，但要達到這一目的有一個前提，那就是這些智能無人系統能更真切地“看”到這個世界，并能夠更準確、迅速地對周圍環境的變化作出反應。

換句話說，它們需要一雙更加敏捷的“眼睛”。

不久前，清華大學精密儀器系類腦計算研究團隊便聚焦類腦視覺感知芯片技術，提出了一種基于視覺原語的互補雙通路類腦視覺感知新范式。在此基礎上，該團隊成功研制出世界上首款類腦互補視覺芯片“天眸芯”，大大提升了人工智能的信息采集效率。

近日，該研究成果以封面文章的形式，刊登于《自然》雜志。

“魚”與“熊掌”不可兼得

清華大學類腦計算研究團隊成立于2013年。自成立之初，該團隊便將發展人工通用智能作為科研目標。

“這個目標我們從來沒有變過，但路還要一步一步走。”團隊成員、清華大學精密儀器系教授趙蓉告訴《中國科學報》。最初，他們想到人工通用智能首先需要對數據進行高效計算。于是，團隊經過多年刻苦攻關，于2019年成功研制出世界首款異構融合類腦芯片“天機芯”，這是該團隊的成果第一次登上《自然》雜志封面。

“天機芯”的研發成功，給人工通用智能提供了一顆足夠強大的“大腦”，但僅有“腦子”，而沒有準確且及時的數據傳入是不行的，人類對外界的信息采集中，有90%都依賴于視覺。于是，研究團隊將目光對準了人工智能的視覺感知領域，他們想知道，目前的視覺芯片是否存在一些尚待解決的問題。

這樣的問題很快就被他們找到了。

“人工智能在復雜環境下的信息采集主要靠傳感器完成。具體在視覺感知領域，幾乎所有的傳感器在采集信息時，都是希望將目標區域內的所有信息一網打盡，似乎信息收集越全，人工智能對周圍環境的感知力越強。”受訪時，團隊帶頭人、清華大學精密儀器系教授施路平表示。

雖然現有的傳感器可以憑借越來越高的分辨率海量地采集數據，但從傳感器到數據終端之間的傳輸網絡帶寬卻是有限。于是，數據的激增和網絡的局限之間形成了一種明顯的矛盾。

“這就像我們可以購買很多輛汽車，但如果道路不拓寬，這些汽車就會在道路上擁堵，無法快速到達目的地。”施路平說。

此外，與信息大量采集和大量傳輸相伴的，還有軟硬件能耗的激增以及信息采集動態范圍（最大可測光強與最小可測光強的比值）的受限。

“分辨率、速度、精度/動態范圍，這三者就像‘魚’和‘熊掌’一樣，在傳統技術條件下，幾乎不可能兼得，一方性能的提升會導致其余兩者性能的下降，進而導致視覺出現失真、失效或高延遲的問題，嚴重影響了系統的穩定性和安全性。”趙蓉說。

這個問題，施路平團隊是如何解決的呢？

做兩套視覺系統

據施路平介紹，現階段發展人工通用智能的方法主要有兩種，一種基于電腦思維，另一種基于人腦思維。兩種方法各有優缺點，但都代表人腦處理信息的部分模式。

“在研發‘天機芯’時，我們最大的收獲便是創造了一種將兩種思維方式相互融合的類腦計算思維架構，‘天機芯’最終的研發成功便是建立在此架構之上。”施路平說。

研究團隊對于視覺芯片研發的出發點，同樣來自于將計算思維與人腦思維的相結合。

趙蓉解釋說，與機器類似，人體的視覺系統同樣存在“信息量”與“帶寬”不可兼得的問題，但在漫長的演化過程中，人體找到了該問題的最佳解決方式——雙通路互補的視覺系統。

“人體的視覺細胞分為兩類——視錐細胞和視桿細胞，這兩類細胞具有不同的特點。”趙蓉說，視桿細胞擁有很高的感光度，對弱光反應靈敏，但只能提供粗糙的視覺質量，不能感受顏色；視錐細胞擁有較低的感光度，但可以提供較高的視覺質量，使我們看到顏色。大腦通過功能互補的雙通路進行視覺信息處理，其中一個通路主要負責處理顏色、細節等高精度的信息，但處理速度相對較慢，另一個通路主要負責處理突發事情，能夠做出快速反映，但精度不高。

“當一個足球快速向你飛來時，你會迅速發覺有物體運動，但完全不會注意到足球的任何細節；等足球停止運動，足球的所有細節都會呈現你眼前。”趙蓉說，正是這雙通路視覺系統的相互配合，才使得人眼可以既準確又快速地觀察到物體，能夠在極端場景下完成信息處理并做出應對。

施路平團隊所提出的類腦視覺感知新范式便借鑒了人類視覺系統的這一基本原理。

具體而言，他們將開放世界的視覺信息拆解為不同表達類型，并通過對這些信息的組合，模仿人視覺系統的特征，形成兩條優勢互補、信息完備的視覺感知通路。

“具體而言，這套系統會首先模仿人眼，將收集到的周圍場景分解成很多元素，如物體運動、輪廓、色彩以及不同區域的對比度等，之后模仿人腦的處理機制，將這些信息分配到不同的‘處理通路’中。”趙蓉說，這就像工廠的多個流水線，再通過模仿人腦響應機制，對相關信息進行連接和協同，最終實現信息的高效、穩定傳輸。

“這相當于給機器人裝上了一雙人的眼睛。”趙蓉說。

未完成的工作

基于上述新范式，施路平團隊幾經攻關，成功研制出世界首款類腦互補視覺芯片——“天眸芯”。

據介紹，該芯片可在極低的帶寬（降低90%）和功耗代價下，實現每秒10000幀的高速、10比特（bit）的高精度、130分貝（dB）的高動態范圍的視覺信息采集，不僅突破了傳統視覺感知范式的性能瓶頸，而且能夠高效應對各種極端場景，確保系統的穩定性和安全性。

在“天眸芯”的研發基礎上，團隊還自主設計了高性能軟件和算法，并在開放環境車載平臺上進行了性能驗證。在多種極端場景下，該系統均實現了低延遲、高性能的實時感知推理。

據介紹，研究人員還開發了一套集成“天眸芯”的汽車駕駛感知系統，以評估其在開放道路上行駛時面對極端情況（如強光干擾、光線強烈變化、突然出現異常物體）時的反應。結果表明，天眸芯可以有效適應極端光環境并提供領域先進的多級感知能力。

“‘天眸芯’的成功研制，不僅為智能革命的發展提供了一個強大的技術支持，還為自動駕駛、具身智能等重要應用開辟了新的道路。”施路平表示，將這一科研成果進一步推向應用，是目前該團隊的一個重要研究方向。

趙蓉告訴《中國科學報》，一項技術真正與實際應用相結合，甚至產生商業價值，才可以稱得上真正完成了研發的全鏈條。接下來，團隊將推動“天眸芯”的落地應用。

同時，該團隊也在針對將“天眸芯”與“天機芯”進行結合，并最終將其成功“植入”機器人的身體開展工作。“人工通用智能肯定是要在實際的機器人身上展現的。”趙蓉說。

當然，在機器人視覺傳輸領域，現有的“天眸芯”雖然在“類人”的層面已經有了很大進步，但跟真正的人眼視覺系統相比，仍尚有很多差距。彌補這些差距也將是該團隊的重要工作。

“總之，要實現團隊成立之初立下的目標，我們還有太多工作要做。”施路平說。

相關論文信息：https://doi.org/10.5281/zenodo.10775253