摘要 以深度學(xué)習(xí)為代表的人工智能技術(shù)在信息領(lǐng)域的應(yīng)用，極大地提高了信息的利用效率和挖掘價(jià)值，深刻的影響了各領(lǐng)域的業(yè)務(wù)形態(tài)，同時(shí)也引發(fā)了監(jiān)管部門(mén)和用戶對(duì)這一新技術(shù)運(yùn)用中出現(xiàn)的 “算法黑箱”問(wèn)題關(guān)切和疑慮。如何對(duì)相關(guān)算法、模型、及其給出的結(jié)果進(jìn)行合理的解釋成為數(shù)據(jù)科學(xué)家亟需解決的問(wèn)題。 一、為什么智能算法需要可解釋 1.來(lái)自人工智能的挑戰(zhàn) 自AlphaGo戰(zhàn)勝人類頂尖圍棋手之后，人工智能這一概念真正成為了社會(huì)各界關(guān)注的焦點(diǎn)，也為各國(guó)政府所重視。一方面可以給我們帶來(lái)諸多便利，比如可能為我們提供醫(yī)療、法律、金融等方面的建議或決策，也可能直接操控汽車、無(wú)人機(jī)，甚至大規(guī)模殺傷性武器[1]。但另一方面，它也被用來(lái)“做壞事”甚至危害人類。如某些網(wǎng)站利用人工智能算法進(jìn)行“大數(shù)據(jù)殺熟”，2017年也發(fā)生了全國(guó)首例利用人工智能技術(shù)進(jìn)行網(wǎng)絡(luò)詐騙的案件。2015年德國(guó)大眾公司甚至發(fā)生了機(jī)器人“殺人事件”[2]。歐盟已經(jīng)要求所有算法解釋其輸出原理[3]，這意味著不可解釋的算法模型將成為非法使用[3,4]。
2.可解釋是人工智能發(fā)展的必然選擇
在時(shí)下熱議的人工智能相關(guān)倫理、算法歧視、算法正確性、安全性等問(wèn)題中，有一個(gè)問(wèn)題被時(shí)常提起，即以深度學(xué)習(xí)算法為代表的人工智能算法的可解釋性問(wèn)題。人類理性的發(fā)展歷程使我們相信，如果一個(gè)判斷或決策是可以被解釋的，我們將更容易了解其優(yōu)點(diǎn)與不足，更容易評(píng)估其風(fēng)險(xiǎn)，知道其在多大程度上、在怎樣的場(chǎng)合中可以被信賴，以及我們可以從哪些方面對(duì)其進(jìn)行不斷改善，以盡量增進(jìn)共識(shí)、減少風(fēng)險(xiǎn)，推動(dòng)相應(yīng)領(lǐng)域的不斷發(fā)展。這樣的思維范式或許是誕生在人工智能時(shí)代之前的稍顯過(guò)時(shí)的思維模式?；蛟S隨著科技和社會(huì)的發(fā)展，未來(lái)會(huì)演化出新的思維范式，但目前這仍然是我們最成熟、最具共識(shí)、最可信賴的思維模式 [1]。
二、可解釋性方法概述
17年ICML會(huì)議上來(lái)自谷歌的科學(xué)家給出一個(gè)關(guān)于可解釋性的定義是“Interpretation is the process of giving explanations to Human”[5]。許多模型及應(yīng)用不可解釋性的原因主要來(lái)源于對(duì)問(wèn)題和任務(wù)了解得還不夠充分。那么只要在使用模型的過(guò)程中，只要是能夠提供給我們關(guān)于數(shù)據(jù)或模型的可以理解的信息，有助于我們更充分的發(fā)現(xiàn)知識(shí)、理解和解決問(wèn)題的方法，那么都可以歸類為可解釋性方法。同時(shí)，這篇文章將可解釋性方法按進(jìn)行的過(guò)程劃分為如下三類：在建模之前的可解釋性方法、建立本身具備可解釋性的模型和建模后使用可解釋性方法對(duì)模型作出解釋，下面對(duì)這三大類方法分別作介紹。
三、建模前：在建模之前的可解釋性方法
在建模之前的可解釋性方法主要涉及一些數(shù)據(jù)預(yù)處理或數(shù)據(jù)展示的方法機(jī)器學(xué)習(xí)解決的是從數(shù)據(jù)中發(fā)現(xiàn)知識(shí)和規(guī)律的問(wèn)題，如果我們對(duì)想要處理的數(shù)據(jù)特征所知甚少，指望對(duì)所要解決的問(wèn)題本身有很好的理解是不現(xiàn)實(shí)的，在建模之前的可解釋性方法的關(guān)鍵在于幫助我們迅速而全面地了解數(shù)據(jù)分布的特征，從而幫助我們考慮在建模過(guò)程中可能面臨的問(wèn)題并選擇一種最合理的模型來(lái)逼近問(wèn)題所能達(dá)到的最優(yōu)解。
數(shù)據(jù)可視化就是一類非常重要的建模前可解釋性方法。很多對(duì)數(shù)據(jù)挖掘稍微有些了解的人可能會(huì)認(rèn)為數(shù)據(jù)可視化是數(shù)據(jù)挖掘工作的最后一步，大概就是通過(guò)設(shè)計(jì)一些好看又唬人的圖表或來(lái)展示你的分析挖掘成果。但實(shí)際上真正要研究一個(gè)數(shù)據(jù)問(wèn)題之前，通過(guò)建立一系列方方面面的可視化方法來(lái)建立我們對(duì)數(shù)據(jù)的直觀理解是非常必須的，特別是當(dāng)數(shù)據(jù)量非常大或者數(shù)據(jù)維度非常高的時(shí)候，比如一些時(shí)空高維數(shù)據(jù)，如果可以建立一些一些交互式的可視化方法將會(huì)極大地幫助我們從各個(gè)層次角度理解數(shù)據(jù)的分布。
四、建模中：建立本身具備可解釋性的模型
建立本身具備可解釋性的模型是最關(guān)鍵的一類可解釋性方法，同樣也是一類要求和限定很高的方法，具備可解釋性的模型大概可以分為以下幾種模型[6]。
基于規(guī)則的模型，比如我們提到的非常經(jīng)典的決策樹(shù)模型。這類模型中任何的一個(gè)決策都可以對(duì)應(yīng)到一個(gè)邏輯規(guī)則表示。但當(dāng)規(guī)則表示過(guò)多或者原始的特征本身就不是特別好解釋的時(shí)候，基于規(guī)則的方法有時(shí)候也不太適用。
基于單個(gè)特征的方法主要是一些非常經(jīng)典的回歸模型，比如線性回歸、邏輯回歸、廣義線性回歸、廣義加性模型等。這類模型除了結(jié)構(gòu)比較簡(jiǎn)單之外，更重要的是回歸模型及其一些變種擁有非常堅(jiān)實(shí)的統(tǒng)計(jì)學(xué)基礎(chǔ)，上百年來(lái)無(wú)數(shù)統(tǒng)計(jì)學(xué)家探討了在各種不同情況下的模型參數(shù)估計(jì)與修正、假設(shè)檢驗(yàn)、邊界條件等等問(wèn)題，使得他們?cè)诟鞣N不同情況下都能使具有有非常好的可解釋性。
基于實(shí)例的方法主要是通過(guò)一些代表性的樣本來(lái)解釋聚類/分類結(jié)果的方法。比如可以為每一個(gè)聚類簇中選出代表性樣例和重要的子空間。
基于稀疏性的方法主要是利用信息的稀疏性特質(zhì)，將模型盡可能地簡(jiǎn)化表示。比如LDA方法，根據(jù)層次性的單詞信息形成了層次性的主題表達(dá)，這樣一些小的主題就可以被更泛化的主題所概括，從而可以使我們更容易理解特定主題所代表的含義。
基于單調(diào)性的方法在很多機(jī)器學(xué)習(xí)問(wèn)題中，有一些輸入和輸出之間存在正相關(guān)/負(fù)相關(guān)關(guān)系，如果在模型訓(xùn)練中我們可以找出這種單調(diào)性的關(guān)系就可以讓模型具有更高的可解釋性。比如醫(yī)生對(duì)患特定疾病的概率的估計(jì)主要由一些跟該疾病相關(guān)聯(lián)的高風(fēng)險(xiǎn)因素決定，找出單調(diào)性關(guān)系就可以幫助我們識(shí)別這些高風(fēng)險(xiǎn)因素。
五、建模后：使用可解釋性方法對(duì)模型作出解釋
建模后的可解釋性方法主要是針對(duì)具有黑箱性質(zhì)的深度學(xué)習(xí)模型而言的， 深度學(xué)習(xí)的黑箱性主要來(lái)源于其高度非線性性質(zhì)，每個(gè)神經(jīng)元都是由上一層的線性組合再加上一個(gè)非線性函數(shù)的得到，人們無(wú)法像理解線性回歸的參數(shù)那樣通過(guò)統(tǒng)計(jì)學(xué)基礎(chǔ)假設(shè)來(lái)理解神經(jīng)網(wǎng)絡(luò)中的參數(shù)含義及其重要程度、波動(dòng)范圍。但實(shí)際上我們是知道這些參數(shù)的具體值以及整個(gè)訓(xùn)練過(guò)程的，所以神經(jīng)網(wǎng)絡(luò)模型本身其實(shí)并不是一個(gè)黑箱，其黑箱性在于我們沒(méi)辦法用人類可以理解的方式理解模型的具體含義和行為，而神經(jīng)網(wǎng)絡(luò)的一個(gè)非常好的性質(zhì)在于神經(jīng)元的分層組合形式，這讓我們可以用物質(zhì)組成的視角來(lái)理解神經(jīng)網(wǎng)絡(luò)的運(yùn)作方式。主要分為以下幾類的工作：隱層分析方法、模擬/代理模型、敏感性分析方法[7,8,9]。
隱層分析方法:該方法通過(guò)對(duì)隱層運(yùn)用一些可視化方法來(lái)將其轉(zhuǎn)化成人類可以理解的有實(shí)際含義的圖像以展示神經(jīng)網(wǎng)絡(luò)中每層都學(xué)到的概念。我們都知道典型的CNN模型的一個(gè)完整卷積過(guò)程是由卷積-激活-池化（pooling）三個(gè)步驟組成的，也可以通過(guò)反池化-反激活-反卷積這樣的一個(gè)逆過(guò)程，并借助特征可視化幫助我們理解CNN的每一層究竟學(xué)到了什么東西[7]。此外，文獻(xiàn)[]提出了一種網(wǎng)絡(luò)切割的方法以提取CNN的語(yǔ)義概念[8]。
模擬/代理模型：該類方法是針對(duì)黑箱模型，使用蒸餾（Model distillation）技術(shù)得到新的可解釋模型，訓(xùn)練這兩個(gè)模型使他們的結(jié)果近似。但這類算法也存在很大的局限性，比如模型本身并不能被“蒸餾”，或者原始模型與蒸餾后的模型差異很大導(dǎo)致可解釋性模型的意義不再存在。
敏感性分析方法：用于定量描述模型輸入變量對(duì)輸出變量的重要性程度的方法。是令每個(gè)屬性在可能的范圍變動(dòng)，研究和預(yù)測(cè)這些屬性的變化對(duì)模型輸出值的影響程度。我們將影響程度的大小稱為該屬性的敏感性系數(shù)，敏感性系數(shù)越大，就說(shuō)明屬性對(duì)模型輸出的影響越大。一般來(lái)講對(duì)于神經(jīng)網(wǎng)絡(luò)的敏感性分析方法可以分為變量敏感性分析、樣本敏感性分析兩種，變量敏感性分析用來(lái)檢驗(yàn)輸入屬性變量對(duì)模型的影響程度，樣本敏感性分析用來(lái)研究具體樣本對(duì)模型的重要程度，也是敏感性分析研究的一個(gè)新方向。在金融領(lǐng)域，將敏感性分析與局部特征探索方法（主要是樹(shù)類模型），能夠有效解決金融領(lǐng)域普遍存在先驗(yàn)知識(shí)不足問(wèn)題[12]。
六、結(jié)束語(yǔ)
《火的禮物：人類與計(jì)算技術(shù)的終極博弈》一書(shū)中提到“火使我們的生活更加舒適、健康和愉快。而它同時(shí)也擁有巨大的破壞力，有可能因?yàn)橐馔?，也可能是故意縱火”,對(duì)于深度學(xué)習(xí)亦是如此。期待通過(guò)算法研究者、政府、法律等多方面的共同努力，我們可以更好地掌握人工智能算法，來(lái)幫助我們解決各種難題，建設(shè)更加美好的社會(huì)。
參考文獻(xiàn)
[1] 打破人工智能算法黑箱.張吉豫.https://36kr.com/p/5123323
[2] 預(yù)言成真！人工智能已參與犯罪危害人類社會(huì)！如何加緊遏制新民晚報(bào)https://baijiahao.baidu.com/s?id=1627686939432654294&wfr=spider&for=pc
[3] 人工智能的算法黑箱與數(shù)據(jù)正義 https://blog.csdn.net/UFv59to8/article/details/79947730
[4] 算法黑箱，是潘多拉的盒子？算法與信息（之二）. http://www.sohu.com/a/323823906_550962
[5] Interpretable Machine Learning: The fuss, the concrete and the questions. Been Kim. Google Brain. ICML 2017 Tutorial.
[6] Interpretable Machine Learning. https://christophm.github.io/interpretable-ml-book/index.html
[7]深度學(xué)習(xí)的可解釋性研究（一） 讓模型具備說(shuō)人話的能力. https://zhuanlan.zhihu.com/p/37223341.
[8] 深度學(xué)習(xí)的可解釋性研究（二）不如打開(kāi)箱子看一看. https://zhuanlan.zhihu.com/p/38151985
[9] 深度學(xué)習(xí)的可解釋性研究（三）是誰(shuí)在撩動(dòng)琴弦. https://zhuanlan.zhihu.com/p/38568075
[10]Zeiler M D, Fergus R . Visualizing and Understanding Convolutional Networks[M]// Computer Vision ECCV 2014. Springer.
[11] David Bau, Bolei Zhou, Aditya Khosla, et al. Network Dissection: Quantifying Interpretability of Deep Visual Representations[J]. 2017:3319-3327.
[12] 深度學(xué)習(xí)的技術(shù)在金融行業(yè)中的應(yīng)用. https://blog.csdn.net/sinat_22510827/article/details/9029431
本文來(lái)源：數(shù)學(xué)與人工智能
聯(lián)系客服
