清華大學實驗室“道子智能繪畫系統”背后的科學藝術之路

雷鋒網按：2018 全球人工智能與機器人峰會（CCF-GAIR）在深圳召開，峰會由中國計算機學會（CCF）主辦，雷鋒網(公眾號：雷鋒網)、香港中文大學（深圳）承辦，得到了寶安區政府的大力指導，是國內人工智能和機器人學術界、工業界及投資界三大領域的頂級交流盛會，旨在打造國內人工智能領域最具實力的跨界交流合作平臺。

雷鋒網CCF-GAIR 2018 延續前兩屆的“頂尖”陣容，提供 1 個主會場和 11 個專場（仿生機器人專場，機器人行業應用專場，計算機視覺專場，智能安全專場，金融科技專場，智能駕駛專場，NLP 專場，AI+ 專場，AI 芯片專場，IoT 專場，投資人專場）的豐富平臺，意欲給三界參會者從產學研多個維度，呈現出更富前瞻性與落地性相結合的會議內容與現場體驗。

大會最后一天的AI+專場匯聚了美國德州農工大學數據挖掘實驗室主任、計算機學院終身教職系列助理教授胡俠，永輝云計算聯合創始人兼CTO胡魯輝，乂學教育首席科學家崔煒，中興力維首席技術官曹友盛，清華大學未來實驗室博士后、博云視覺聯合創始人高峰等重量級嘉賓。他們分別就各自在零售、教育、安防、藝術等領域的人工智能探索與實踐做了精彩分享。

其中，高峰作為最后一位演講嘉賓壓軸登場，分享了對于“科學與藝術跨界融合”的獨到見解。他從機器人Erica和達芬奇的蒙娜麗莎說起，一路娓娓道來。

高峰認為，科學和藝術不僅可以而且很有必要相通與交融，并對這一理念進行積極實踐，開發出了“道子智能繪畫系統”。“道子”學習大量國畫名家的作品后，可以創作出極具風格的國畫作品。

為了比較這套系統在中國畫風格遷移與市面上其他主流風格遷移模型的效果水平，高峰所在的團隊還專門邀請了近百位專業畫家和評論家進行主觀評價實驗，最終證明“道子”系統確實比其他現有模型表現更好。這一研究成果成功被國際多媒體領域頂級會議ACM Multimeda 2018所錄用發表。

不過高峰也表示，AI無法取代人類的藝術創作，而且目的也不是取代人類藝術家，因為人類的藝術創作是文明中不可缺少的重要組成部分。機器創作的藝術也許屬于機器的文明，人類創作的藝術才屬于人類文明。

他介紹，未來他希望“道子”能逐步建立屬于自己的情感和記憶機制，更有真性情。目前道子創作的藝術主要還是給人類看的，希望以后它可以不必顧及人類的感受，創作更不受限制，發揮自己的想象力創造出給機器看的藝術，從而創造屬于機器自己的文明和藝術。

以下是他的全部演講內容，雷鋒網做了不改變原意的整理與編輯：

大家好，我是清華大學未來實驗室的博士后高峰，今天和大家分享一下關于人工智能與藝術的跨界探索與思考。我的報告題目是“科學與藝術的跨界融合”。

首先，科學與藝術可以互相融合嗎？是水火不容？還是水乳交融？我們都知道，在考大學的時候，通常一個學生要么選理科要么選文科，或者干脆就是當藝術生參加藝考，這給我們一種錯誤的印象，就是科學和藝術是兩個相互孤立的不相關領域。

考上大學之后，學理科的人會突然發現一件很郁悶的事，就是很難找到女朋友，自己也不夠浪漫，不夠多才多藝，所以就特別羨慕學藝術的男生，然而他們卻不知道，其實學藝術的更羨慕你們能找到工作。于是最終文理科之間形成了一種互相羨慕嫉妒恨的不友好鄙視鏈。

其實，從有人類文明那天起科學和藝術就從未分離過，物理學家李政道認為：“藝術和科學的共同基礎是人類的創造力，它們追求的目標都是真理的普遍性。”畫家吳冠中認為“科學探索宇宙之奧秘，藝術探索感情之奧秘，奧秘與奧秘間隱有通途。”

左邊這是日本科學家做的機器人Erica，右邊這是意大利文藝復興時期藝術家達芬奇畫的年輕版蒙娜麗莎，它們一個是科學的產物一個是藝術的產物，但卻似乎有著某種奇妙的相似之處，或許是她們微笑的方式，或許是它們都在探索真理。

有趣的是右邊這幅畫的作者達芬奇本身也是一名杰出的科學家，下面這個是他設計的一些科學手稿，而左邊這個Erica機器人的作者黑石浩也經常受邀一些藝術展覽，他本人也很奇怪，覺得自己明明是科學家，為什么這多藝術方面的展覽邀請他，其實他做的這些機器人本來就已經是藝術了。下面這張獲獎的攝影作品拍的也是這個Erica機器人。所以科學與藝術是可以跨界互融的。

并且有人統計過，在近百年諾貝爾獎中，有41%的獲獎者屬于交叉學科。尤其在20世紀最后25年，95項自然科學獎中，交叉學科領域有45項，占獲獎總數的47.4%，也就是將近一半。所以說科學與藝術是可以并且很有必要相通與交融的。

本著交叉跨學科創造價值的初衷，在2017年12月，清華大學校長邱勇成立了未來實驗室，由我的合作導師徐迎慶教授擔任實驗室主任，我是未來實驗室第一個博士后，未來實驗室本著不斷創新、探索未來領域，突破學科壁壘的使命感，深入展開跨學科交叉研究與學術交流，產生引領性原始創新重大研究成果，推動學科建設和發展。我們的主要研究方向包括：未來智造、未來教育與醫療、未來人機物融合、未來人居、和未來材料。所以我的目標就是模糊掉科學與藝術之間的界限。

下面我介紹一下我這五年來做的一個人工智能繪畫系統，之前該系統一直沒有一個貼切的名字，最近想出來他叫“道子”似乎比較合適，就是我國唐代著名畫家，被譽為中國畫圣的“吳道子”名字中的道子。所以全稱就是“道子智能繪畫系統”。相信大家都很好奇它的繪畫水平如何，到底能畫成什么鬼樣子，下面一起來欣賞一下它創作的中國畫作品。

這是道子在學習了數百張徐悲鴻畫的馬和真實馬的照片后，畫出的馬的繪畫圖像作品。我們可以看出這已經完全不是某些手機風格化濾鏡所能夠達到的專業水準和程度了，它不但學習到了徐悲鴻對于馬蹄子、尾巴、鬃毛等地方的藝術化水墨處理習慣，還保留了真實馬的姿態內容，可以說是真的很智能了。學計算機的同行可能知道，在計算機圖像領域，風格遷移技術是一個經典問題，做油畫、卡通風格遷移的多，而做中國水墨畫風格遷移的很少，因為中國水墨畫的變形比較大，難度比較高，但是中國畫是我們民族傳統文化資源的重要組成部分，是我們的國寶，我覺得值得在人工智能時代用技術去繼承和發展。道子的這些人工智能繪畫是中國傳統文化資源在當下時代的創新探索。試圖體現筆墨在當下的時代性全新演繹。

這里展示的是大概的原理，最左邊是一張馬的照片，最右邊是一張徐悲鴻畫的馬，中間是道子系統生成的繪畫圖像。以馬蹄部分為例，道子確實學習到了徐悲鴻的藝術變形習慣，雖然照片上的馬蹄是一團黑，但生成的繪畫上馬蹄卻用了留白和墨線勾輪廓的技法，能做到這一點我也很驚訝。另外馬的鬃毛部分也和輸入照片有了很大不同，按照徐悲鴻的風格習慣對于鬃毛的長度和飄逸程度都做了藝術夸張的表現手法。總體來說確實將徐悲鴻的一些風格很好地學習到了。并成功運用到了繪畫創作中。

所以道子的價值主要體現在它是中國傳統文化資源（也就是中國畫）在當下人工智能時代的創新探索，通過計算機科學與繪畫藝術的跨界，開拓了人與機器共同創作藝術的新模式，提高民族文化自信心，促進中國文化向世界輸出，推動文化產業的良性發展。

當然，也許大家心里還是會覺得，這和手機里某風格化濾鏡還是沒啥本質區別。實際上還是有一些的，因為我們專注于研究傳統中國畫中的風格技法和審美方式，對留白、筆墨、線條等三方面做了專門的深入優化設計，使得我們的道子系統更懂中國畫。為了比較我們這套系統在中國畫風格遷移與市面上其他主流風格遷移模型的效果水平，我們專門邀請了近百位專業畫家和評論家進行主觀評價實驗，最終我們的道子系統確實比其他現有的更好，這部分的研究成果也成功被國際多媒體領域頂級會議ACM Multimeda 2018所錄用發表。當然話說回來，手機里的藝術風格化軟件或濾鏡也很好，比如美圖秀秀、Prisma什么的，我自己也很喜歡使用，如果在座有來自這些或其他軟件應用的同事們，也歡迎找我洽談合作，把道子工程化后嵌入你們的軟件里。

這是道子在學習了數百張山水畫家黃賓虹作品后，根據風景照片創作的繪畫圖像。我們可以看到，房子、山、以及遠山處理的都比較有點意思。說實話，這要是給我這張照片，讓我按照黃賓虹的畫法畫的話，我也確實畫得不會比這個更好。

很多人問我為什么要創造道子人工智能繪畫系統，故事要追溯到5年以前，雖然我從小到大都是學理科的，也得過英國高級數學競賽金獎，從本科到博士都讀的是純計算機科學專業，但我從三歲開始就用幾乎所有的業余時間畫畫，所以我的繪畫水平在專業畫家里也不算弱，這是我2013年畫的古典寫實油畫，除了西方古典寫實油畫以外，我還畫中國傳統工筆畫。

這是我畫的中國工筆畫。所以周圍的朋友們每當追女友、結婚或是搬新家的時候，都習慣性地找我，想讓我給他們畫畫，重點是還不想給錢，這一點讓我也很煩，于是我就想能不能讓人工智能學會我的畫風來替我免費畫畫？

于是就有了道子這個人工智能繪畫系統。后來越做越深入，越做越著迷，也漸漸發現這件事不但能讓更多人了解中國傳統繪畫文化，提高文化自信心，還能夠促進中國文化向世界輸出，推動文化產業的良性發展。力求打造一個最懂中國畫的AI系統，探索中國傳統文化資源在當下人工智能時代的創新可能性。

道子系統是從我們在實驗室養活河蝦開始的，這個交叉領域的特定任務的基準數據集較少，缺乏優質數據集平臺，于是我們決定親自構建數據集和采集圖像數據。為了采集到鮮活生動的河蝦自然圖像，我設計建造一個專門的小型水族箱圖像采集環境，可以拍攝到沒有陰影的特定角度的活蝦照片。這是一些設計圖紙，這是最終建造的圖像采集環境。最終我們采集到了一些很高質量的齊白石畫的這種蝦的自然圖像。還有泰國斗魚的自然圖像。然后我們又找到了160張齊白石畫的蝦，還有1905張齊白石其他繪畫圖像。

 基于這些數據設計了一個神經網絡，能夠將一幅畫的內容與風格剝離開，從而進行自然圖像到藝術圖像的風格遷移。后來我們又訓練了徐悲鴻的馬和黃賓虹的山水畫等不同的風格模型。

風格遷移技術一直是計算機科學圖像領域的一個經典問題，基于紋理轉換、CNN、GAN等技術理論的模型有很多很多，而我們這個主要是專注于中國畫的風格研究，包括我們對留白、筆墨、線條等三方面做了專門的優化，使得我們的道子系統更懂中國畫。道子大概的原理是將一幅繪畫圖像的風格與內容剝離成兩個獨立元素，進行量化。以畫一幅蝦的水墨畫為例，未經藝術處理的蝦的自然圖像（蝦的照片）可以看作是“內容”，而畫家的個人風格習慣或者說藝術處理方法可以看作是“風格”，由內容加風格最終產生了根據蝦的自然圖像藝術風格化之后的水墨畫蝦。當內容與風格相互剝離之后，我們就可以把任何已知畫家的風格賦予一幅自然照片，使之在保留照片內容的基礎上生成具有該畫家風格的藝術圖像。

 有幾個關鍵的代表性事件，道子系統開始于2013年，大約在2014年時候道子成為了北京大學藝術長廊項目的繪畫講解員，前來參觀北京大學藝術長廊的觀眾可以通過下載我們的App，對展出的繪畫以圖搜圖進行擴展閱讀了解更多信息。

之后2016年開始，道子系統正式上崗中國美術家協會，為美協舉辦的所有全國性比賽進行查重及版權保護工作。在此之前，中國美協長期受到一稿多投的困擾，苦于沒有有效的監管手段，很多繪畫參賽者反復畫同一幅畫或稍加篡改后投稿，屢次違規入選或得獎，違背了比賽鼓勵創新的初衷和比賽規則，但卻靠人力很難甄別，自從道子系統上崗以來有效解決了該問題。到了2017年，我們的論文被國際多媒體領域頂級會議ACM Multimedia 2017錄用并作口頭報告，2018年我們的最新成果再一次在ACM Multimedia 2018錄用，連續兩年在這方面國際領先。

前不久我們的道子系統還為意大利前總理倫奇畫了像，由我親自贈送，得到了倫奇的欣賞并且贊不絕口。

很多專業畫家得知了道子系統以后，都很焦慮，問我是不是想用人工智能取代人類畫家。其實不是的，人類畫家與道子之間目前是共同創作藝術的關系，其中人類畫家主要負責取材和構圖，而道子負責藝術風格化。在沒有道子之前這三個步驟通常都是由人類畫家完成，而現在有了道子的輔助，人類畫家可以開拓想象力、創造力，共同創作出更滿意和有創新性的藝術作品。

隨著人工智能的發展，越來越多聲稱可以創作藝術的AI系統，但它們無法取代人類的藝術創作，而且目的也不是取代人類藝術家，因為人類的藝術創作是文明中不可缺少的重要組成部分，機器創作的藝術也許屬于機器的文明，而我們人類創作的藝術才屬于人類文明。

未來，我希望道子逐步建立屬于自己的情感和記憶機制，讓它更有真性情。另外目前道子創作的藝術主要還是給人類看的，我希望以后它可以不必顧及人類的感受，創作更不受限制，發揮自己的想象力創造出給機器看的藝術，從而創造屬于機器自己的文明和藝術。

最后，向大家展示一幅我和道子共同創作的人工智能藝術作品，它的名字叫做《人工智能技術挽救了一場人間悲劇》，這是一個發生在真實中的故事，我的創業公司博云視覺參與的青島公安的智能安防項目中，2018年1月21日下午5點，青島某公安分局接到報警電話，有一位母親在廣場上專心玩手機的時候孩子丟了，人工智能安防平臺立刻調取了事發地點周邊攝像頭視頻，對報警時間前后時段視頻進行圖像搜索，發現這個丟了的孩子是被一個有犯罪前科的男子拐走上了一輛黑色轎車，隨后對此黑色轎車進行目標追蹤，發現停在一家旅館樓下，立刻部署警力在該旅館將此嫌疑人抓獲，救出被拐兒童。挽救了一個差點破碎的家庭，避免了一場人間悲劇的發生。這整個過程由于人工智能技術的輔助，從報案到抓捕在一小時內完成，如果嫌疑人逃離市區，就很難追蹤抓捕了。我們在這個案件破獲中使用到的圖像搜索和目標追蹤技術和我們做的風格遷移用到的神經網絡非常接近，所以說人工智能技術在很多場景中都可以得到應用，我把這個破案的場景用人工智能技術做成了一幅繪畫作品，原汁原味地表達了當下人工智能技術與人類社會的關系，人工智能技術雖然不像我們想象的那么全能，甚至有些時候像個白癡一樣毫無智能，但在某些時候它確實挽救了一些人間悲劇的發生。

我們團隊的主要骨干大概有二十多人，包含計算機科學家、藝術家、工程師、藝術理論研究者等等。除了我以外還有北京大學的段凌宇教授、王亦洲教授、清華大學的徐迎慶教授，他們都是計算機視覺領域的權威專家。另外還有北京大學的周辰博士、麻岱遷、何斌、樓燚航、白燕、劉之博、蘇嘉俊、王一同、王秋斯，他們是優秀的計算機算法研究者，主要負責算法開發迭代工作；還有來自中國傳媒大學的郭子淳博士，他是優秀的導演和藝術哲學研究者，主要負責AI藝術理論的梳理與研究；還有來自我的創業公司“博云視覺”的馮棟博士、陳杰博士、張永祥、梁良、馮陽、侯簫，他們是優秀的軟件工程師，負責系統軟件的開發實現。以及來自天津美術學院的新銳工筆畫家郭泉、中國美術學院的魏倩穎，主要負責繪畫相關數據的標注與整理。

以上是我的全部分享，謝謝大家。