肖仰華：很高興有機(jī)會(huì)跟大家一起分享《基于知識(shí)圖譜的可解釋人工智能：機(jī)遇與挑戰(zhàn)》。
剛才劉總的報(bào)告中提到了機(jī)器和人類將來要互相擁抱，互相擁抱的前提是互信，機(jī)器要相信我們，我們要相信機(jī)器。這個(gè)相信指的是，比如機(jī)器給我們做一個(gè)決策案或者治療方案，我們能夠相信機(jī)器給出的結(jié)果。當(dāng)前，機(jī)器顯然還不能給出合理的解釋， AI系統(tǒng)作出的決策仍然缺乏可解釋性。正因?yàn)榭山忉屝缘娜狈?，?dǎo)致人類對(duì)機(jī)器產(chǎn)生的結(jié)果無法采信?？梢栽O(shè)想一下，如果我們都不相信機(jī)器的行為和決策，那么機(jī)器為人類生活提供的服務(wù)將大打折扣。所以需要增強(qiáng)人工智能的可信性和可解釋性。
AI的可解釋性問題要從深度學(xué)習(xí)談起。這幾年我們見證了深度學(xué)習(xí)的一系列突破。深度學(xué)習(xí)的進(jìn)展本質(zhì)上是由大數(shù)據(jù)喂養(yǎng)出來的。大數(shù)據(jù)時(shí)代，海量高質(zhì)量的帶標(biāo)注數(shù)據(jù)，使深度學(xué)習(xí)模型可以學(xué)習(xí)到非常有效的層次化特征表示，從而使得深度學(xué)習(xí)成為可能。以云計(jì)算為代表的大規(guī)模分布式計(jì)算平臺(tái)以及GPU、FPGA等硬件能力的提升為深度學(xué)習(xí)提供了必要的計(jì)算基礎(chǔ)設(shè)施。大數(shù)據(jù)喂養(yǎng)下的深度學(xué)習(xí)取得了顯著進(jìn)展，機(jī)器在圖像、語音識(shí)別等感知能力方面甚至超越人類。在深度學(xué)習(xí)的推動(dòng)下，自然語言處理方面也取得了顯著進(jìn)展。
然而，深度學(xué)習(xí)的一個(gè)廣為詬病的問題是其不透明性，不可解釋性。深度學(xué)習(xí)模型是一種端到端的學(xué)習(xí)，接受大樣本作為訓(xùn)練輸入，所習(xí)得的模型本質(zhì)上是神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的參數(shù)。其預(yù)測過程，是相應(yīng)參數(shù)下的計(jì)算過程，比如說輸入一張狗的圖片，機(jī)器做出是否是狗的判斷。深度學(xué)習(xí)的學(xué)習(xí)和預(yù)測過程是不透明的，模型究竟學(xué)到了什么有效特征，使得它做出這樣一個(gè)判斷，這個(gè)過程缺乏可解釋性。深度學(xué)習(xí)的不透明性問題，有時(shí)又被稱為深度學(xué)習(xí)的黑盒（“Black box”）問題，最近受到了廣泛關(guān)注?！?/span>Nature》、《Science》以及《MIT Technology Review》最近都有文章討論這一問題，都指出深度學(xué)習(xí)的發(fā)展需要打開這個(gè)黑盒。喬治亞理工的Mark Riedl認(rèn)為如果AI系統(tǒng)不能回答Why問題，解釋這些系統(tǒng)何以產(chǎn)生特定的結(jié)果，這些AI系統(tǒng)就只能束之高閣。
深度學(xué)習(xí)的黑盒問題吸引了各界人士廣泛的研究興趣，學(xué)術(shù)界與工業(yè)界都在努力打開深度學(xué)習(xí)或者AI系統(tǒng)的黑盒子。這些工作都可以被視作是可解釋人工智能的研究范疇，也就是Explainable AI或者簡稱為XAI。XAI吸引了很多學(xué)術(shù)團(tuán)體和政府的關(guān)注，最有代表性的就是David Gunning所領(lǐng)導(dǎo)的美國軍方DAPRA可解釋AI項(xiàng)目，他們旨在建設(shè)一套全新的且具有更好可解釋性、以及更易為人所理解的機(jī)器學(xué)習(xí)模型。比如在貓的識(shí)別任務(wù)中，新模型不僅僅告訴你這是一只貓，而且還告訴你模型是因?yàn)橛^察到了貓所特有的爪子和耳朵等做出這是貓的判斷。
XAI在我看來，不單單是對(duì)于解決深度學(xué)習(xí)可解釋性問題具有重要意義，它將在整個(gè)AI里都扮演著非常重要的角色。因?yàn)?，我個(gè)人認(rèn)為理解和解釋將來會(huì)是整個(gè)后深度學(xué)習(xí)時(shí)代人工智能最為核心的使命。在深度學(xué)習(xí)時(shí)代，我們的模型某種程度上只“知其然”而不知其“所以然”。這就好比中醫(yī)看病，根據(jù)以往的經(jīng)驗(yàn)做診斷。當(dāng)然，無論是現(xiàn)代中醫(yī)還是傳統(tǒng)中醫(yī)也都在尋求理論解釋，但是仍然很難全面達(dá)到西醫(yī)的解釋水平。很顯然，我們不可能對(duì)只知其然而不知其所以然的AI系統(tǒng)完全采信。所以AI勢必要從只“知其然”走向“知其所以然”。我們希望XAI能夠解釋過程，也能夠解釋結(jié)果。只有能夠解釋過程和結(jié)果，才能使人類信任它。還有很多機(jī)器學(xué)習(xí)模型，我們知道任何模型都不可能100%準(zhǔn)確，一定會(huì)產(chǎn)生錯(cuò)誤，對(duì)于產(chǎn)生這些特定錯(cuò)誤的原因，我們也在尋求解釋。更重要的是，未來我們的AI醫(yī)生所做的任何治療方案，都必須配備解釋，否則人類不可能為它的診斷買單。在電商以及更多商業(yè)場景下，可解釋的推薦顯得尤為重要，我們相信，將來如果電商不只是給用戶推薦一個(gè)商品，而且還能告訴用戶為什么推薦這個(gè)商品，這樣的推薦更有說服力。比如說用戶去訂酒店的時(shí)候，可以告訴用戶推薦這個(gè)酒店的理由，或是離用戶會(huì)場較近，或是價(jià)格便宜。再比如說用戶搜索“二段奶粉”，平臺(tái)可以告訴用戶喝此段奶粉的嬰兒每天需要飲用多少水，用多大容量的水杯保證每天用水量，從而推薦水杯給用戶，如果平臺(tái)做到有解釋的推薦，相信銷量肯定會(huì)大有提升。
可解釋人工智能非常重要，很多人都在嘗試解決這一問題，不同的學(xué)術(shù)團(tuán)體根據(jù)各自的特長在做相應(yīng)的努力。比如最近剛過學(xué)者提出Information Bottleneck的理論，這實(shí)質(zhì)上是信息論的學(xué)者，嘗試從信息論角度解決這個(gè)問題。我本人是從事知識(shí)庫和知識(shí)圖譜研究的，所以我的出發(fā)點(diǎn)是闡述從知識(shí)圖譜的角度看XAI有什么機(jī)會(huì)。我的基本觀點(diǎn)是，知識(shí)圖譜為XAI帶來重大機(jī)遇。首先要了解知識(shí)圖譜是什么？剛才也有學(xué)者提過，知識(shí)圖譜是一種語義網(wǎng)絡(luò)，包含大量實(shí)體和概念及其之間的語義關(guān)系。相對(duì)于傳統(tǒng)的知識(shí)表示，知識(shí)圖譜具有海量規(guī)模、語義豐富、結(jié)構(gòu)友好、質(zhì)量精良等優(yōu)點(diǎn)。知識(shí)圖譜的這些優(yōu)點(diǎn)使其成為機(jī)器理解語言的重要的背景知識(shí)，使機(jī)器語言認(rèn)知成為可能。當(dāng)前，自然語言“理解”仍是個(gè)很遙遠(yuǎn)的目標(biāo)，現(xiàn)在只能談得上是處理。為什么談不上理解，就是因?yàn)闆]有背景知識(shí)。正是在知識(shí)圖譜的支撐下，機(jī)器才能理解搜索關(guān)鍵字，從而實(shí)現(xiàn)從搜索直接通往答案，我們才能做到大數(shù)據(jù)的精準(zhǔn)分析，未來我們才可能實(shí)現(xiàn)機(jī)器智腦。
知識(shí)圖譜對(duì)于XAI的重要作用可以套用Edward Feigenbaum的一句話名言來闡述。圖靈獎(jiǎng)獲得者，知識(shí)工程創(chuàng)始人Edward Feigenbaum有個(gè)觀念：“Knowledge is the power in AI system”。我認(rèn)為Knowledge is thepower in XAI system。知識(shí)圖譜中所富含的實(shí)體、概念、屬性、關(guān)系等信息，使解釋成為可能。比如C羅是一個(gè)實(shí)體，運(yùn)動(dòng)員是他的一個(gè)概念，他曾經(jīng)獲得“金球獎(jiǎng)”這個(gè)獎(jiǎng)項(xiàng)，這就是知識(shí)圖譜的基本構(gòu)成。為什么知識(shí)圖譜對(duì)可解釋AI有幫助？我們先來看一下人是怎么解釋的。對(duì)于問題，“鯊魚為什么那么可怕”？人類給出的解釋可能是“鯊魚是食肉動(dòng)物”，這實(shí)質(zhì)是用概念在解釋。而“為什么鳥兒會(huì)飛翔？”人類的解釋則可能是“鳥兒有翅膀”，這實(shí)質(zhì)上使用屬性在解釋。還有最近的熱門問題，“為什么鹿晗和關(guān)曉彤刷屏了”，因?yàn)?/span>“關(guān)曉彤是鹿晗女朋友”，大家都知道是因?yàn)樗麄児_了戀愛關(guān)系，引得鹿晗粉絲一片嘩然。這里的解釋實(shí)質(zhì)上是用關(guān)系在解釋。我們或許會(huì)進(jìn)一步追問，為什么人類傾向于用概念、關(guān)系和屬性做解釋？這是因?yàn)槿魏谓忉尪际窃谡J(rèn)知基本框架下進(jìn)行的。人類認(rèn)識(shí)世界理解事物的過程，其實(shí)就是在用概念、屬性和關(guān)系去認(rèn)知世界的過程。概念、屬性、關(guān)系是理解和認(rèn)知的基石。
基于上面的認(rèn)識(shí)，我們開始利用知識(shí)圖譜進(jìn)行解釋的一些探索性研究工作。首先簡單介紹一下我們即將用到的兩類知識(shí)圖譜。
一是Probase和Probase+。Probase是一個(gè)大規(guī)模isA知識(shí)庫，是從大規(guī)模web語料中通過pattern抽取得到的。比如針對(duì)“Domestic animals such as cats and dogs”，通過such as模式，可以抽取出Cat is a domesticanimal以及Dog is a domesticanimal這樣的isA知識(shí)。Probase+是在Probase基礎(chǔ)之上，通過補(bǔ)全和糾錯(cuò)，進(jìn)而得到了一個(gè)更大規(guī)模的isA知識(shí)庫。
第二我們將用到的知識(shí)庫是DBpedia和CN-DBpedia。它們都是關(guān)于實(shí)體的結(jié)構(gòu)化知識(shí)庫，比如<復(fù)旦大學(xué)，位于,上海市楊浦區(qū)>這樣的三元組事實(shí)。CN-DBpedia是DBpedia的中文版本，是由我所在的復(fù)旦大學(xué)知識(shí)工場實(shí)驗(yàn)室研發(fā)并且維護(hù)的。后續(xù)我將介紹的解釋研究，主要就是基于這兩類知識(shí)庫。
先介紹如何利用Probase／Probase+讓機(jī)器理解和解釋概念。在互聯(lián)網(wǎng)上有很多新概念（Concept）、新品類（Category）。通常機(jī)器仍難以理解或解釋這些概念或者類別。比如對(duì)于Bachelor（單身漢）這個(gè)概念，我們?nèi)耸窃趺唇忉尩哪?？我們可能?huì)用一組屬性來解釋，比如{未婚、男性}。
我們在這個(gè)任務(wù)中的基本目標(biāo)就是為每個(gè)概念和類別自動(dòng)產(chǎn)生這樣的屬性解釋。利用DBpedia這樣的知識(shí)庫，為每個(gè)概念或類別自動(dòng)生成一組屬性加以解釋。最終我們?yōu)?/span>DBpedia中的6萬多個(gè)概念自動(dòng)生成了它們的屬性解釋。
我們緊接著看看如何利用知識(shí)圖譜讓機(jī)器理解一組實(shí)體，并進(jìn)而做出推薦。如果我跟你說百度和阿里，你自然會(huì)想到騰訊，因?yàn)樗鼈兯追QBAT，都是中國的互聯(lián)網(wǎng)巨頭，都是IT大公司。假如我們先在亞馬遜上搜索iphone8，緊接著搜索三星S8，那么亞馬遜應(yīng)該給我推薦什么呢？最好是推薦華為P10一類的手機(jī)。因?yàn)楦鶕?jù)用戶的搜索，我們能夠推斷出用戶大致是在搜索高端智能手機(jī)，如果平臺(tái)推薦一些中低端廉價(jià)手機(jī)，用戶可能就會(huì)不滿意。
這種推薦是建立在實(shí)體理解基礎(chǔ)上，我們希望用概念去解釋實(shí)體，從而準(zhǔn)確把握用戶搜索意圖。通過顯式地給出概念，系統(tǒng)可以展示對(duì)于搜索實(shí)體的理解。比如說搜索阿里和騰訊，系統(tǒng)不僅推薦百度，還可以給出因?yàn)樗鼈兌际腔ヂ?lián)網(wǎng)巨頭這樣的解釋。我們利用Probase知識(shí)庫提供背景知識(shí)，提出了一個(gè)基于相對(duì)熵的模型來產(chǎn)生概念解釋以及尋找最佳推薦實(shí)體。
接下來介紹如何利用知識(shí)庫讓機(jī)器解釋詞袋（Bag of words）。在進(jìn)行文本處理，特別是主題模型時(shí)，我們經(jīng)常碰到詞袋。一個(gè)主題往往表達(dá)為一組詞，我們經(jīng)常困惑于不知道這組詞說明了什么。在社交媒體上也大量存在各類詞袋，比如Flickr上圖片的tag，微博用戶的標(biāo)簽等等都是詞袋。我們通過一個(gè)真實(shí)的例子來說明讓機(jī)器解釋詞袋的任務(wù)，比如一個(gè)圖片的標(biāo)簽是“新郎”、“新娘”、“婚紗”、“慶典”這些詞，很顯然我們?nèi)藢?duì)于這組標(biāo)簽的理解是婚禮，我們希望機(jī)器也能自動(dòng)為這組詞產(chǎn)生“婚禮”這樣的解釋。
這里忽略方法細(xì)節(jié)。我們利用Probase等知識(shí)庫，提出了一個(gè)基于最小描述長度的模型，來為輸入詞袋產(chǎn)生一組易于理解的概念標(biāo)簽，用以解釋這個(gè)詞袋。
最后一個(gè)任務(wù)是解釋維基百科中的鏈接實(shí)體。我們知道百科數(shù)據(jù)很重要，百科中每個(gè)詞條的解釋文本中會(huì)提及大量相關(guān)實(shí)體，這些實(shí)體通過超鏈接連接到相應(yīng)詞條。我們的基本任務(wù)是能否解釋每個(gè)百科實(shí)體與其鏈接實(shí)體之間的關(guān)系。比如在有關(guān)SQL的詞條中，往往會(huì)提到E. F. Codd。事實(shí)上E.F.Codd是關(guān)系數(shù)據(jù)庫理論的奠基人，是SQL發(fā)明的關(guān)鍵人物。我們能否產(chǎn)生一個(gè)解釋來說明為何E. F. Codd出現(xiàn)在SQL的鏈接實(shí)體中？
我們將這個(gè)問題建模成可解釋的聚類問題，我們先將所有鏈接實(shí)體聚類，并自動(dòng)生成一個(gè)概念標(biāo)簽解釋每個(gè)類，從而解釋為何一個(gè)鏈接實(shí)體出現(xiàn)在某個(gè)特定實(shí)體的描述頁面中。
雖然我們在基于知識(shí)圖譜的可解釋人工智能方面開展了初步研究，但仍然面臨巨大挑戰(zhàn)。總體來說，可解釋人工智能的路還非常遙遠(yuǎn)，具體要面臨哪些挑戰(zhàn)呢？我認(rèn)為有這幾個(gè)挑戰(zhàn)：一是對(duì)于解釋和理解的認(rèn)知仍然很匱乏。我們?nèi)绻氚呀忉尯屠斫獾哪芰x予機(jī)器，我們首先要反思自身，理解人是怎么解釋現(xiàn)象，人是如何理解世界的。但是，我們在哲學(xué)、心理學(xué)、認(rèn)知科學(xué)等層面，對(duì)于人類的理解和解釋的認(rèn)知十分有限，尤其是對(duì)于日常生活中的理解和解釋機(jī)制更為有限。當(dāng)前哲學(xué)領(lǐng)域理解和解釋的研究主要還是聚焦在科學(xué)研究過程中的理解和解釋，而人類日常生活的理解和解釋對(duì)于人工智能技術(shù)而言則具有更重要的參考意義，對(duì)于服務(wù)機(jī)器人融入人類的生活具有重要意義。但遺憾的是，我們對(duì)日常生活中的理解與解釋仍知之甚少。
第二個(gè)挑戰(zhàn)就是，大規(guī)模常識(shí)的獲取及其在XAI中的應(yīng)用。常識(shí)就是大家都知道的知識(shí)，比如說人會(huì)走、魚會(huì)游等等。我們的解釋通常會(huì)用到一些常識(shí)，當(dāng)問題涉及到常識(shí)的時(shí)候，這個(gè)問題的解釋就會(huì)變得非常困難。因?yàn)槟壳皩?duì)機(jī)器而言，常識(shí)仍然十分缺乏。常識(shí)缺乏的根本原因在于我們很少會(huì)提及常識(shí)。正因?yàn)榇蠹叶贾莱ＷR(shí)，故而沒必要提及，以至于語料中也不會(huì)顯式提及常識(shí)。這樣一來，所有基于文本抽取的方法就會(huì)失效。常識(shí)獲取仍是當(dāng)前知識(shí)庫構(gòu)建的瓶頸問題。但是常識(shí)獲取也不是真的一點(diǎn)辦法也沒有，在大數(shù)據(jù)的某些角落里，還是會(huì)提及常識(shí)的?？傮w而言，常識(shí)的獲取以及在XAI里怎么用是有很大難度的。
XAI的第三個(gè)挑戰(zhàn)是數(shù)據(jù)驅(qū)動(dòng)與知識(shí)引導(dǎo)深度融合的新型機(jī)器學(xué)習(xí)模型，或者說是如何將符號(hào)化知識(shí)有機(jī)融入基于數(shù)據(jù)的統(tǒng)計(jì)學(xué)習(xí)模型中。這不僅是XAI的核心問題，也是當(dāng)前整個(gè)人工智能研究的重大問題之一。要想對(duì)于機(jī)器學(xué)習(xí)，特別是深度學(xué)習(xí)的過程，進(jìn)行顯式解釋，我們需要將符號(hào)化知識(shí)植入到數(shù)值化表示的神經(jīng)網(wǎng)絡(luò)中去，用符號(hào)化知識(shí)解釋習(xí)得深度神經(jīng)網(wǎng)絡(luò)的中間表示與最終結(jié)果。符號(hào)化知識(shí)與深度學(xué)習(xí)模型的有機(jī)融合是降低深度學(xué)習(xí)模型的樣本依賴，突破深度學(xué)習(xí)模型效果的天花板的關(guān)鍵所在。目前這一問題雖然受到了普遍關(guān)注，但仍然缺乏有效手段。
總結(jié)一下，在這次報(bào)告中我想表達(dá)的觀點(diǎn)包括：一、以深度學(xué)習(xí)為代表的大數(shù)據(jù)人工智能獲得巨大進(jìn)展。二、深度學(xué)習(xí)的不透明性、不可解釋性已經(jīng)成為制約其發(fā)展的巨大障礙。三、理解與解釋是后深度學(xué)習(xí)時(shí)代AI的核心任務(wù)。四、知識(shí)圖譜為可解釋人工智能提供全新機(jī)遇。五、“解釋”難以定義，常識(shí)獲取與應(yīng)用，深度學(xué)習(xí)和符號(hào)主義的融合對(duì)XAI提出巨大挑戰(zhàn)。
最后把亞里士多德的一句名言“Knowing yourself is the beginning of all wisdom”送給大家。研究可解釋人工智能的前提是梳理清晰人類自身的認(rèn)知機(jī)制。認(rèn)清我們自己，才能將人類的能力賦予機(jī)器。我相信重新審視人類自我將是在未來人工智能研究過程中經(jīng)常遇到的情形。
謝謝大家！
聯(lián)系客服
