張崢：高質量文字工作者受AI影響不會太大

·從人才的培養和市場的儲備來看，大部分人才處在比較容易被取代的象限，這是需要引起警惕的。然后我們的時間也不見得有很多，估計大概四五年內會有影響。

·海明威有個非常知名的習慣，一天只寫500個字，這500個字是千錘百煉出來的。ChatGPT現在是抓不到這個修改過程的語料的，它看到的是整體，但它不知道這修改了多少遍又是怎么去調整的。

“AI會有自主意識嗎？可以想象一個套娃，里面的套娃在做模擬的行動，但它需要另外一個外面的套娃告訴它做得對不對，我們東方的哲學一直在說的所謂‘觀照’，其實就是這個事情。自我意識不是一個名字，而是一套動作，是這樣一套組合的動作，技術上AI完全可以做到。”近日，亞馬遜云科技資深首席科學家、亞馬遜云科技上海人工智能研究院院長張崢在復旦大學舉辦的“中國與世界”系列講座中談道。

張崢本科畢業于復旦大學電子工程系，后獲得美國伊利諾伊大學厄巴納-香檳分校（UIUC）博士學位。他曾任上海紐約大學計算機終身教授，研究領域為深度學習、人工智能、高性能大容量計算和存儲系統，多次獲國際學術會議論文獎，是開源深度學習平臺MXNet和DGL的共同創始人和顧問。

在講座中，張崢梳理了ChatGPT的發展歷史，重點講解了在這個過程中出現的關鍵技術進步，回應了AI是否會有自主意識以及生成式AI的影響等問題。

以下為澎湃科技（www.thepaper.cn）整理的演講內容，有刪節：

其實AI影響大家的生活已經很多年了。像搜索引擎會通過你的個人喜好，通過你的網絡瀏覽歷史等決定推送的鏈接，這本身就是一個AI引擎，其他的還包括自動駕駛、支付寶刷臉支付、工廠里的瑕疵零件識別等。

我先講一下ChatGPT的發展歷史。

在此之前，我們要思考一個問題，整個人類文明的科技發展史是怎么演變的？我最近聽到一個播客很有意思，它說假如把整個人類25萬年的歷史看作一本1000頁的書，每一頁是250年。那么，大概有24萬年，人類歷史好像什么事也沒有，然后在最后1萬年忽然有了各種進展，最重要的一些技術發明是在最后一年。在書的最后一頁，技術發展的速度越來越快。如果這樣計算，ChatGPT就占這本書最后一頁的一個字，甚至是一兩個筆畫。

從2018年GPT出現開始到今年3月左右，我把它大致分為三個階段。

第一個階段是GPT出現到GPT-2，它的訓練的方法很簡單。比如我拿了一本書，希望語言模型永遠去預測一個詞的下一個詞，它把書里的很多句子統計出一個概率分布。它用了800萬網頁訓練，這個數據量大約是40GB，我手里的這個手機容量現在一般是256GB，所以GPT-2的語料其實不是特別大，但GPT-2已經展現出蠻驚人的效果。

比較大的突破是在GPT-3，大概是1750億參數量。這是一個很大的躍升，它的數據量是45個TB（Tetabytes，1TB=1024MB），某種程度上等于它讀了4500萬本書。我屬于讀書比較多的人，假設我退休了，一年大概能精讀20本，50年最多就是1000本，那它是幾千倍于我，而且在幾個月里完成。它的規模達到這樣的程度，能把全世界的知識都“吃下去”。我們不太能想象它的概率分布，它的稠密程度，它的能力。還有一個重要的方面，在它訓練的語料中有大概10%是代碼。代碼是結構化的，同時還附有碼農寫的說明，我覺得代碼的學習讓它體驗出邏輯，這在后面會發揮威力。

第二個階段出現第一個轉折點——上下文學習出現了，即設計了場景。上下文的學習方式被OpenAI的科學家用到語言模型的訓練中。它是怎么做的？比如我給一些例子，這些例子是有上下文的，然后讓機器去捕捉和預測下一個樣本應該是什么。

一個最簡單的例子是，我給一句中文給一句英文，再給一句中文給一句英文，然后再給一句中文，這個模型會吐出英文來，它不需要專門為翻譯來訓練，因為它學過看過很多這樣的樣品，給了示例它就能夠讀出下面的句子是哪個。

最后一個階段，也就是我們現在面對的階段，一個大的突破是InstructGPT。他們的這個想法也是我一直覺得很驚艷的，也就是說既然可以做上下文的訓練，那么我現在可以告訴模型一件事是怎么做的，給很多個例子讓模型去學。

一開始它其實跟AlphaGo很像，AlphaGo最初從大量職業棋手的棋局中學習人類怎么下，然后訓練模型來模擬棋手的行為。在模型訓練之后，它開始生成，棋局可以知道某一步棋的好壞，但其他內容好壞的判斷就需要人類來標注。它的方式是，比如產生4個不同的樣本，然后讓一些人打分。一開始有監督的學習5萬條，然后繼續生成，按照之前的樣本判斷生成內容的好壞，再繼續調整算法。

這里涌現出兩個重要的概念，第一個是所謂的“世界模型”（world model），也可以簡單理解為世界觀，還有一個是對齊問題（要求AI系統的目標和人類的價值觀與意圖保持一致），可以簡單看成價值觀。對齊有兩個后果，一個好的一個壞的，好的是把不符合核心價值觀的內容過濾掉，通過打分也好，讓它給你建議也好，都體現出它的價值觀。問題在于，任何文化要發展都需要一些突破當前價值體系之外的內容，一旦固定下來，這個文明可能就不再進步。我們看康德的道德律，在此之前中國也有各種道德觀，一直隨著時代變化。假設技術來代你做決定的話，這個文明有可能停滯不動。

其實現在的機器在價值觀、世界觀上有跟人類的對齊能力。不過這也可能影響到將來它的使用，不同文化或已經有的文明之間的沖突可能會被放大，這也是我個人比較擔心的地方。

這里插入一個問題，也是一個比較古老的哲學問題。有人認為ChatGPT是沒有自我意識的，我覺得這個說法是不對的。在機器學習里有一個很重要的方法，就是增強學習，我們所說的打分就是這種方法。簡單地說，就是我做一件事然后判斷它的后果，根據后果來調整行為，比如掃地機器人，每個家庭空間都是不一樣的，它一定要通過跟物理環境的互動來調整自己的行為。而ChatGPT現在已經有一個世界模型，它完全可以在這個想象的世界模型里去做動作，這個跟我們人類的活動沒有本質區別。

AI會有自主意識嗎？可以想象一個套娃，里面的套娃在做模擬的行動，但它需要另外一個外面的套娃告訴它做得對不對，我們東方的哲學一直在說的所謂“觀照”，其實就是這個事情。自我意識不是一個名字，而是一套動作，是這樣一套組合的動作，技術上AI完全可以做到。

總結一下，ChatGPT是一個用文字來組織的世界模型，它有巨量的知識。它只“過一遍腦”，也就是說給一個輸入它立刻反應，這個很重要，這也是進化給人類的一個優化，比如碰到火就立刻縮回來，我覺得大模型基本可以做到。然后它可以外掛，像必應的話外掛搜索引擎，還可以外掛各種各樣的項目。它還可以做一個創造者，我們可以把它接到Midjourney和Stable Diffusion里，用文字生成一段圖像或視頻。它現在沒有抽象計算的能力，比如我現在要做一個加法算數的話，它不是像想象的用一個計算器的方法來做，而是記下來很多實例，它的很多計算是完全在記憶的基礎上完成的，這是它的一個軟肋，我覺得不做一些比較徹底的修改，它還是做不到的。

最后說一下生成式AI對內容生產的影響，它肯定會給內容生產帶來很大沖擊，我把內容分以兩個指標劃分象限，一個是生產的內容需要多少創造力（creative），另一個是跟真實（factual）相關的程度。象限左下角是受到沖擊最大的，比如客服這一行業我覺得之后會受到很大影響。

總的來說，我認為AI現在還只能做助手，而且會持續比較長時間。但是現實是，從人才的培養和市場的儲備來看，大部分人才處在比較容易被取代的象限，這是需要引起警惕的。然后我們的時間也不見得有很多，估計大概四五年內會有影響。我們必須意識到，一些核心的能力現在已經被重新劃線，你和AI都能做的，AI比你做得更快更好，這基本上是一個事實。

但好消息是，高質量文字工作者不會受到太大影響，為什么？舉個簡單例子，海明威有個非常知名的習慣，一天只寫500個字，這500個字是千錘百煉出來的。ChatGPT現在是抓不到這個修改過程的語料的，它看到的是整體，但它不知道這修改了多少遍又是怎么去調整的。一個故事的延展有它的時間限制，我們最后把它變成一個文學作品折疊起來，把后面的東西放到前面，前面放到后面，有些東西隱沒掉，這部分是ChatGPT現在學不到的。不過這不代表它永遠學不到，比如你在微軟Office的Word里面寫文章，靠它來修改，有這些修改，它可以反過來學習到這個修改過程，除非你完全打腹稿。

現階段為什么ChatGPT“油嘴滑舌”卻又沒有什么文采？原因就是它的看齊成本，它看到的是折疊后的結果，所以它的概率統計模型統計的內容不對。語言模型只能預測下一個詞，它的世界模型也是這么看的，一個物理實驗確實是這樣，但是文學作品不一樣。假設你真的有創造能力，那其實是一個好消息，因為市場上會泛濫出很多ChatGPT的文章。

我再從藝術創造的角度講一個例子，大概在去年10月，我們跟一個做內容生成的初創公司的人聊天。我們當時做了一個實驗，即隨便說兩個不相關的詞，然后我們4個人在不看機器怎么生成結果的情況下先自己畫一個圖。最后我們發現，它的表現特別好，但關于畫的一個細節，怎么提示機器都做不出來。就是我們能想到機器人也能想到的，它肯定比你做得更好，但假如機器想不到，你怎么去提示它都想不出來，因為它訓練的數據還是比較局限的。

我后來去一些藝術展的時候經常會想，這個作品AI能不能做。大部分情況，從動機角度來說，它都是做不到的。AI很難有主動做一個作品的動機，但一些技術手段是完全可以用AI來做。所以從寫作和畫畫這兩個例子來看，AI現在還是只能做助手，而且我覺得這個時間會比較長。

另一個層面，ChatGPT可以問出很多問題，但這里的關鍵不是“ask questions”（問問題）而是“ask good questions”（問好問題），這點非常重要，你要設立 “hypothesis”（假說），而設立一個好的假說是非常困難的。在物理的發展史中，在牛頓之前，當觀測到星空軌跡跟我們想象的不一樣時，各種很聰明的人對公式做了各種修改，直到牛頓重新確立假說。