原文地址：http://news.sciencenet.cn/htmlnews/2023/5/500126.shtm
“‘紫東太初’2.0全模態大模型可融入3D、視頻、傳感信號等更多模態數據，并優化語音、視頻和文本的融合認知及常識計算等功能，進一步突破感知、認知和決策的交互屏障。”5月6日，在華為昇騰AI開發者峰會上，中科院自動化研究所研究員、武漢人工智能研究院院長王金橋透漏，“目前，‘紫東太初’多模態大模型已開源部分功能，后續計劃正式發布‘紫東太初’2.0全模態大模型。”
?
王金橋在作報告。中科院自動化所供圖
以多模態技術助推通用人工智能
從嬰幼兒開始，人類的認知學習就建立在對現實世界圖像、聲音和文字等多種模態信息的基礎之上。因此，突破模態限制的通用大模型是人工智能融入現實世界的必然。
2019年開始，中科院自動化研究所在語音、文本、圖像等單模態大模型研究和應用基礎上，瞄準多模態大模型領域開始聯合攻關，并于2021年7月正式發布了全球首個千億參數多模態大模型“紫東太初”，以多模態技術探索通用人工智能（AGI）發展道路。
區別于以文本為主的大部分語言大模型，“紫東太初”大模型在研發之初即堅持以多模態技術為核心，利用“圖-音-文”等更多類型數據進行跨模態的統一表征和學習，實現了圖像、文本、語音三模態數據間的“統一表示”與“相互生成”，使人工智能大模型的理解和生成能力更加接近人類，為貫通多模態人工智能行業應用提供了創新基礎。
從感知到認知再上臺階
當前世界已經進入數字物聯時代。在“紫東太初”1.0應用推廣過程中，除了需要處理海量語音、圖像和文本等互聯網信息外，更需要處理多種傳感器、3D點云及視頻等物聯網海量數據，才能滿足現實生產力的提高。針對數字物聯時代的新需求與新趨勢，中科院自動化研究所探索全模態大模型體系架構和基礎算法，持續推動“紫東太初”技術和應用發展。
“在文本、圖片、音頻、視頻的基礎上，‘紫東太初’2.0全模態大模型可融入3D、視頻、傳感信號等更多模態數據，并優化語音、視頻和文本的融合認知以及常識計算等功能。”王金橋說，“‘紫東太初’2.0可實現不同模態的統一表征和學習，讓人工智能從感知世界進化為認知世界，延伸出更加強大的通用能力。”
打造全棧國產化通用人工智能底座
全棧國產化通用人工智能平臺對我國實現人工智能領域科技自立自強、占領科技創新高地具有重要戰略意義。
“從立項開始，我們就以自研算法為核心，以全棧國產化基礎軟硬件昇騰AI平臺為基礎，依托武漢人工智能計算中心算力支持，真正意義上實現了國產人工智能大模型的可控、可信、可用，有力地促進了國產全棧式基礎軟硬件的發展。”王金橋說。
目前，由自動化牽頭打造的多模態人工智能產業聯合體已陸續吸納產學研各界近70家成員單位。圍繞多模態大模型技術及應用，“紫東太初”大模型已在手語教學、法律咨詢、交通出行、廣電、醫療機器人、醫學影像判讀等數十個行業場景領域已展現出廣闊的落地潛力。
在法律咨詢行業，“紫東太初”大模型僅用0.546秒就可對法律案件進行拆解、提取關鍵事件，在辦公效率方面實現了案件分析速度的百倍速提升，有效解決律師整體資源匱乏、服務成本高的問題；在智慧交通領域，基于“紫東太初”大模型構建了面向公路路網孿生仿真、調度、養護、節能、服務等全周期、全天候、安全安心的數智平臺，道路通行率有效提升30%；在醫療領域，基于“紫東太初”打造的MicroNeuro顱內微創手術機器人系統已完成國際首例深位顱內活檢手術，支持視覺、觸覺的跨模態融合，大模型的升級也將加速優化針對神經外科手術場景的自主理解……