科學家回信|朱松純：人工智能一定會產生威脅嗎

原文地址：http://news.sciencenet.cn/htmlnews/2023/9/508316.shtm

編者按：日前，“學習強國”學習平臺與中國科學報社聯合發起“科學家回信”活動，邀請廣大讀者向自己心中向往尊敬的科學家、科技工作者提問、留言。活動啟動后，“學習強國”“科學網App”收到了讀者的踴躍留言。我們精選了讀者戴戈的提問，請北京通用人工智能研究院院長朱松純發出第二十一期回信。

以求索之問激發科學探討，以互動回應碰撞科學新知，“學習強國”“科學網App”愿成為公眾與科學的信使，歡迎你繼續在評論區留言。

  ?

讀者戴戈：如何避免和防范人工智能高速發展所產生的對人類的威脅?

朱松純：近幾個月來，以大語言模型（LLM）為基礎的生成式人工智能（AIGC）應用GPT系列產品因其能夠通過學習大量人類語言來完成對話、撰寫郵件、視頻腳本、文案、翻譯和編寫代碼等原本只有人類可以完成的復雜任務，引發廣泛關注成為了網絡熱點，同時也讓很多人工智能研究領域的專業名詞進入公眾視野。

AI的快速發展在一定程度上能夠為社會經濟發展起到助推作用。本輪AI熱潮以生成式人工智能（AIGC）技術為代表，它將在自動化和效率提升、個性化和定制化服務等方面發揮優勢作用。例如，在數據分析、內容生成、編程和設計等領域，生成式人工智能可以快速生成大量高質量的內容、代碼等，提高生產效率，促進社會經濟發展。

實現通用人工智能是人工智能研究的初心也是終極目標，但在現有大模型的基礎上繼續擴大參數規模并不能實現通用人工智能。由于ChatGPT表現出了一定的泛化性和通用性，微軟等硅谷科技公司有人認為大語言模型是實現通用人工智能的途徑，國內則掀起了“all in GPT”的浪潮，開始了“百模大戰”，并認為通用人工智能將很快實現，但國際主流學術界對此并不認可。美國加州伯克利大學的知名學者Stuart Russell表示，“關于ChatGPT，更多數據和更多算力不能帶來真正的智能”；紐約大學教授Gary Marcus認為“AI研究不應該關注過去內容的保存，而應該探索建立具有價值表達和推理能力的智能”；OpenAI CEO也公開表示“大模型的研究已經到頭了沒有未來，AI研究需要新思路”。

如果我們把實現通用人工智能看作“探月工程”，大模型現在取得的成就如同登上了珠峰，雖然也是了不起的成就但并不能實現終極目標。ChatGPT產生的轟動效應讓“通用人工智能”這個專業術語進入大眾視野，讓原來在學術界認為無法企及的目標變得并非想象中那么遙不可及，因此，未來要格外重視真正的通用人工智能的發展。

人工智能的高速發展一定會對人類產生威脅嗎？

在科技行業開啟大模型軍備競賽的同時，很多科技公司、文化傳媒行業開始裁員或收緊外包服務的新聞也不絕于耳，公眾開始擔心起自己的工作崗位，甚至擔心未來人工智能會控制人類。前不久，數千名學者聯名呼吁暫停AI研發至少6個月，要討論出AI安全治理框架，某些公司和國家甚至開始禁用ChatGPT以防止核心數據外泄。

這充分說明一方面人工智能作為新一輪科技革命和產業變革的重要驅動力量其蘊含的巨大潛能正在慢慢顯露，另一方面其風險也愈發讓人擔憂。因此，我們在大力發展通用人工智能的同時，也需要積極應對新挑戰，主動防范、化解新技術帶來的數據安全、倫理、法律以及社會治理等方面的風險。

其實，人們對人工智能威脅論的擔心，核心是對“大模型”的不信任。人之間的信任有兩個層次，第一個層次是對能力的信任。例如我們從小到大經歷的各種考試，就是在證明我們有各種各樣的能力。第二個層次是對價值觀的認同。人與人之間信任的核心是價值觀認同。

首先，從能力的角度看，ChatGPT在語言空間上打破了以往只能實現單一功能的局限性，表現出了多用途的能力，但同時又在很簡單的問題上犯錯誤。究其根本在于其工作原理是基于統計學原理進行的工作，是全新一代的“知識表示和調用方式”，其表現高度依賴數據標注和訓練模型，并不真正具備因果推理、數理邏輯推理、事實判斷等認知方面的能力。GPT生成的內容只能從Ta“見過”的問題和答案中去找，然后用統計概率的方式計算出一個最有可能的答案輸出給用戶。因此，對于見過的問題，GPT準確率非常高，但對于陌生問題準確率很差，甚至出現一本正經胡說八道的情況。例如，當我們問GPT4，“請講述一下林黛玉倒拔垂楊柳的故事”，Ta煞有介事地講了一個故事如下圖：

  ?

由此可見，GPT其實并不理解用戶給出的問題，也不理解《紅樓夢》與《水滸》之間的關系。由于Ta做不到理解人的意圖、理解文本之間的關系，Ta產生的海量信息是不可信的，這些不可信的信息會讓原本明確的概念變得似是而非，原本比較清晰的認知變得模糊，就像在大腦里形成了一團“腦霧”，進而給社會帶來“認知眩暈”等問題，影響人們作出正確的判斷，引發一系列社會安全、倫理等方面的挑戰。

第二，從價值觀的角度來看，大模型能否理解人類的價值取向，決定了大模型能否安全可信地應用到關系國計民生的重要領域。當前大模型不具備人類的認知和推理能力，更缺乏人類的情感和“價值觀”，即缺“心”，也無法與人類用戶進行有效的溝通，很難取得人類的信任。

因此，當一個擁有一些強大且不確定的能力和不知道價值取向的新鮮事物橫空出世的時候，公眾難免會感到受到威脅。從另一個角度講，正因為當前的人工智能在能力和價值兩個層面上還不能取得人的信任，Ta也很難服務于人類社會。

為機器立“心”，讓AI獲取人的信任

當前，“大數據”范式人工智能的三大核心要素是：數據、算力和模型，但由于大模型先天具有模型不可解釋、數據存在泄露風險、不具備認知架構、缺乏因果與數理推理能力等局限性，因此并不能通往“通用人工智能”。

通用人工智能需要在復雜動態的物理和社會環境中滿足三個關鍵要求：（1）處理無限任務，包括那些沒有預先定義的任務；（2）具備自主性，能夠像人類一樣自主產生并完成任務；（3）具備價值系統，由價值驅動完成各種任務；其核心是“認知架構”，有了認知架構，智能體才能與人在共同的情景之中、擁有共同的常識、遵守共同的行動規范、形成共同的價值觀，進而獲得人類信任。

我們認為，未來通用人工智能的發展，應在中國傳統哲學思想和價值觀的指導下，從“心”出發，讓AI由“價值驅動”而非“數據驅動”；走“小數據，大任務”這一原創核心技術路線，探索統一的認知架構，“為機器立心”，實現智能體與人的“四個對齊”（在共同的情景之中、擁有共同的常識、遵守共同的行動規范、形成共同的價值觀），才能讓冷冰冰的AI擁有與人類相通的情感、道德與倫理，獲取人類的信任，進而真正融入人類社會，造福人類。