自大約10年前開始崛起以來，人工智能背后的神經(jīng)網(wǎng)絡(luò)技術(shù)從數(shù)據(jù)中學(xué)習(xí)和識別模式的能力越來越強，從電子郵件到藥物發(fā)現(xiàn)，這種能力已經(jīng)改變了一切;但這種能力也帶來了一個神秘的警告:現(xiàn)代深度學(xué)習(xí)網(wǎng)絡(luò)之所以能夠成功地自學(xué)駕駛汽車和發(fā)現(xiàn)保險欺詐正正是因為其自身的復(fù)雜性，但這種復(fù)雜性也使得它們的內(nèi)部工作復(fù)雜得幾乎不可能被理解(即使是人工智能專家)。如果訓(xùn)練一個人工神經(jīng)網(wǎng)絡(luò)來識別患者患上肝癌與精神分裂癥的風(fēng)險(2015年在紐約西奈山醫(yī)院就有一個這樣的人工智能，“Deep Patient”)，我們沒有辦法分辨這個神經(jīng)網(wǎng)絡(luò)究竟在關(guān)注著哪些數(shù)據(jù)，這種“知識”牽涉到許多層人工神經(jīng)元，每一層都有成百上千的神經(jīng)連接。
隨著越來越多的行業(yè)試圖用人工智能來實現(xiàn)自動化或增強決策能力，這個所謂的“黑匣子”問題看起來更像是一個根本性缺陷，而不像是一個技術(shù)怪癖。DARPA的“XAI”項目(“可解釋的AI，explainable AI”縮寫)正在積極研究這個問題，人工智能的可解釋性已經(jīng)從機器學(xué)習(xí)研究的邊緣轉(zhuǎn)移到了研究的中心。Kim說:“人工智能正處于非常關(guān)鍵的時刻，人類在試圖決定這項技術(shù)對我們是否有益，如果我們不解決這個可解釋性問題，我認(rèn)為我們不會推進(jìn)這項技術(shù)，我們可能會放棄人工智能?！?/p>
Kim和她在Google Brain的同事最近開發(fā)了一個名為“概念激活向量測試”(TCAV)的系統(tǒng)，她將其描述為“人類的翻譯”，它允許用戶詢問一個黑匣子AI一個特定的、高水平的概念在其推理中發(fā)揮了多大作用。例如，如果一個機器學(xué)習(xí)系統(tǒng)被訓(xùn)練去識別圖像中的斑馬，那么一個人就可以利用TCAV系統(tǒng)來確定機器學(xué)習(xí)系統(tǒng)在做決定時，“條紋”這個概念在機器學(xué)習(xí)系統(tǒng)中的權(quán)重有多少。
TCAV最初是在訓(xùn)練識別圖像的機器學(xué)習(xí)模型上進(jìn)行測試的，但它也適用于以文本和某些數(shù)據(jù)可視化訓(xùn)練(腦電圖波形)的機器學(xué)習(xí)模型?！八韧ㄓ糜趾唵巍憧梢园阉迦朐S多不同的模型中，”Kim說。
Kim接受了采訪，探討了可解釋性的含義、用途以及重要性。以下是經(jīng)過編輯的采訪內(nèi)容。
問:您的職業(yè)生涯專注于機器學(xué)習(xí)的“可解釋性”，但是這個術(shù)語到底是什么意思呢?
可解釋性有兩個分支。一個分支是科學(xué)的可解釋性:如果你把神經(jīng)網(wǎng)絡(luò)作為研究對象，那么你就可以進(jìn)行科學(xué)實驗來真正理解模型血淋淋的細(xì)節(jié)，它是如何反應(yīng)的，以及諸如此類的事情。
可解釋性的第二個分支，也是我一直關(guān)注的，是負(fù)責(zé)任的人工智能的可解釋性。你不需要完全理解人工智能模型，但最起碼你要理解得足夠多去安全地使用這個工具，這就是我們的目標(biāo)。
問:但如果您并不完全了解一個系統(tǒng)的工作原理，那您怎么能對它有信心呢?
我來打個比方，假設(shè)我后院有一棵樹，我想把它砍倒，我可能會用鏈鋸來完成這項工作，但現(xiàn)在我不完全明白鏈鋸的工作原理，不過說明書上說:“這些是你需要小心的事項，以免割傷你的手指。”所以，有了這本說明書，我寧愿用電鋸也不愿用手鋸，因為手鋸雖然更容易理解，但用手鋸砍一棵樹會讓我花上5個小時的時間。”
問:您知道什么是“切割”，即使您并不完全知道這個機制如何實現(xiàn)切割。
是的?？山忉屝缘诙€分支的目標(biāo)是:我們對一個工具的理解是否能到達(dá)一個僅僅能讓我們安全使用這個工具的程度?我們可以通過確認(rèn)有用的人類知識在工具中的反映來建立這種理解。
問:“反映人類知識”如何能讓類似黑匣子般的人工智能更容易理解?
這里再舉一個例子，如果醫(yī)生使用機器學(xué)習(xí)模型來進(jìn)行癌癥診斷，醫(yī)生會想知道這個模型并沒有在數(shù)據(jù)中提取我們不想注意到的隨機相關(guān)性。確保這一點的一種方法是確認(rèn)機器學(xué)習(xí)模型正在做醫(yī)生會做的事情，也就是說，醫(yī)生自身的診斷知識會反映在模型中。
因此，如果醫(yī)生正在觀察細(xì)胞標(biāo)本來診斷癌癥，他們可能會在標(biāo)本中尋找一種叫做“融合腺體”的東西。他們可能還會考慮患者的年齡，以及患者過去是否接受過化療，這些都是醫(yī)生在診斷癌癥時會關(guān)心的因素或概念，如果我們能證明機器學(xué)習(xí)模型也在關(guān)注這些因素，這個模型就變得更容易理解，因為它反映了醫(yī)生的人類知識。
問:這就是TCAV的功能嗎?揭示機器學(xué)習(xí)模型使用哪些高級概念來做決策?
是的。在此之前，可解釋性方法僅從“輸入特征”的角度解釋神經(jīng)網(wǎng)絡(luò)在做什么。我這話是什么意思?如果你有一幅圖像，每一個像素都是一個輸入特征。事實上，揚·勒丘恩(早期深度學(xué)習(xí)的先鋒，目前是Facebook人工智能研究主管)曾表示，他認(rèn)為這些模型的可解讀性已經(jīng)非常高了，因為你可以看到神經(jīng)網(wǎng)絡(luò)中的每個節(jié)點和這些輸入的數(shù)值特性。這對于計算機來說是很清晰，但是對人類來說就不是這么回事了。我不會跟你說，“看看像素100到200，RGB值分別是0.2和0.3?！蔽抑粫f:“這有一張狗的照片，它的毛很蓬松?！边@才是人類交流的方式，我們通過概念交流。
問:TCAV如何在輸入特性和概念之間執(zhí)行這種轉(zhuǎn)換?
讓我們回到一個醫(yī)生使用機器學(xué)習(xí)模型的例子，這個模型已經(jīng)被訓(xùn)練過用來識別潛在癌癥細(xì)胞的圖片。而作為醫(yī)生，你可能想知道“融合腺體”這個概念對模型預(yù)測癌癥陽性有多大的影響。首先你要收集一些有腺體融合例子的圖像，比如說20張，然后將這些標(biāo)記好的示例插入到模型中。
然后TCAV在內(nèi)部所做的流程叫做“敏感性測試”。當(dāng)我們插入這些融合腺體的標(biāo)記圖片時，癌癥的陽性預(yù)測概率會增加多少?你將其用0到1之間的數(shù)字來描述，這就是你的 TCAV 分?jǐn)?shù)。如果概率增加，那這是模型的一個重要概念，如果沒有，那這對模型來說就不是一個重要的概念。
問:“概念”是一個模糊的術(shù)語，有沒有概念是不能利用TCAV系統(tǒng)的呢?
如果你不能使用你數(shù)據(jù)集的某個子集來表達(dá)你的概念，那么它就不能使用這個系統(tǒng)。如果您的機器學(xué)習(xí)模型是基于圖像進(jìn)行訓(xùn)練的，那么這個概念必須是可視的。比方說，我想要在視覺上直觀地表達(dá)“愛”的概念，那這就真的很難。
我們還仔細(xì)驗證了這個概念。我們有一個統(tǒng)計測試程序，如果概念向量對模型的影響與隨機向量相同，它就會拒絕這個概念向量。如果你的概念沒有通過這個測試，TCAV會說:“我不知道，這個概念看起來對模型并不重要?！?/p>
問:TCAV的本質(zhì)是創(chuàng)造人類對AI的信任，而不是創(chuàng)造對AI的真正理解嗎?
它不是，我會解釋為什么，因為這是一個很好的區(qū)別。
我們從認(rèn)知科學(xué)和心理學(xué)的反復(fù)研究中得知，人類非常容易上當(dāng)受騙。這意味著欺騙一個人去相信某些東西其實是很容易的。而機器學(xué)習(xí)的可解釋性目標(biāo)正好相反，它在告訴你一個系統(tǒng)是不是不安全，它是在揭示真相，所以用“信任”這個詞并不恰當(dāng)。
問:所以可解釋性的關(guān)鍵在于揭示人工智能推理中的潛在缺陷嗎?
是的，沒錯。
問:它如何暴露這些缺陷?
你可以使用TCAV詢問一個訓(xùn)練過的模型一些不相關(guān)的概念?；氐结t(yī)生使用人工智能預(yù)測癌癥的例子，醫(yī)生們可能會突然想，“看起來這臺機器對很多帶有藍(lán)色偽影的圖像給出了癌癥的陽性預(yù)測，我們認(rèn)為那個因素不應(yīng)該被考慮進(jìn)去?！币虼耍绻麄冊谒{(lán)色這方面獲得了TCAV高分，他們就發(fā)現(xiàn)了自己的機器學(xué)習(xí)模型中的一個問題。
問:TCAV被設(shè)計成連接到現(xiàn)有的無法解釋的AI系統(tǒng)上，那為什么不從一開始就使AI系統(tǒng)變得可以解釋，而不是現(xiàn)在的這些黑匣子?
可解釋性研究有一個分支關(guān)注于構(gòu)建固有可解釋性的模型，這些模型反映人類如何推理。但我認(rèn)為:現(xiàn)在到處都已經(jīng)有人工智能模型，它們已經(jīng)構(gòu)建好了，而且已經(jīng)被賦予重任，但它們從一開始就沒有考慮過可解釋性，這就是事實，我們在谷歌就有很多這種人工智能模型。當(dāng)然你也可以說“可解釋性非常有用，讓我來為你建立另一個模型來代替你已有的模型吧?！钡绻阋堑眠@樣做的話那我只能祝你好運了。
那么你會怎么做呢?我們?nèi)匀恍枰冗^這個決定這項技術(shù)是否對我們有益的關(guān)鍵時刻。這就是為什么我采用“培訓(xùn)后”的可解釋方法。如果你有一個別人給你的模型，但是你不能改變它，那么為了能夠安全地使用它，你要怎么去解釋它的行為?這，就是TCAV所做的工作。
問:TCAV可以讓人類詢問AI某些概念對它是否重要。但如果我們不知道該問什么呢?如果我們想讓人工智能系統(tǒng)自己解釋自己呢?
我們現(xiàn)在正在著手的工作可以自動為你發(fā)現(xiàn)概念。我們稱它為DTCAV (Discover TCAV)。但實際上我認(rèn)為讓人類參與其中、讓機器與人類進(jìn)行對話才是可解釋性的關(guān)鍵。
很多時候，在高風(fēng)險的應(yīng)用中，這些領(lǐng)域的專家們已經(jīng)有了他們所關(guān)心的概念。我們在Google Brain的醫(yī)學(xué)應(yīng)用中可以看到這種重復(fù)，他們不希望得到某組概念，他們想告訴模型他們自己感興趣的概念。我們和一位治療糖尿病視網(wǎng)膜病變(糖尿病視網(wǎng)膜病變是一種眼科疾病)的醫(yī)生合作，當(dāng)我們告訴她TCAV的時候，她很興奮，因為她已經(jīng)有了很多關(guān)于這個模型可能做什么的假設(shè)，現(xiàn)在她可以測試那些確切的問題。這實際上是一個巨大的優(yōu)勢，也是一種以用戶為中心的協(xié)作機器學(xué)習(xí)方式。
問:您認(rèn)為如果沒有可解釋性，人類可能會放棄人工智能技術(shù)。但考慮到人工智能的強大，您真的認(rèn)為這是一種現(xiàn)實的可能性嗎?
是的，我是這樣認(rèn)為的，專家系統(tǒng)就是這樣的前車之鑒，(在上世紀(jì)80年代)我們發(fā)現(xiàn)，它們執(zhí)行某些任務(wù)的成本低于人工操作員。但是現(xiàn)在還有人在用專家系統(tǒng)嗎?一個都沒有，在那之后我們進(jìn)入了人工智能的冬天。
現(xiàn)在看來不太可能，那是因為人工智能領(lǐng)域的炒作和資本在作祟。但從長遠(yuǎn)來看，我認(rèn)為人類可能會做出自己決定，也許是出于恐懼，也許是缺乏證據(jù)，這個決定會認(rèn)為這項技術(shù)不適合我們，這不是不可能的。
本報告利用前瞻資訊長期對人工智能行業(yè)市場跟蹤搜集的一手市場數(shù)據(jù)，采用與國際同步的科學(xué)分析模型，全面而準(zhǔn)確地為您從行業(yè)的整體高度來架構(gòu)分析體系。本報告主要分析了...
聯(lián)系客服
