本文由《中國電化教育》授權(quán)發(fā)布
作者：盧宇 章志 王德亮 陳鵬鶴 余勝泉
隨著人工智能技術(shù)的快速發(fā)展，以深度學(xué)習(xí)為代表的復(fù)雜人工智能模型開始被逐步應(yīng)用于各類智能教學(xué)系統(tǒng)和平臺。然而，這類復(fù)雜人工智能模型通常需要從海量數(shù)據(jù)中學(xué)習(xí)隱含特征與規(guī)律，導(dǎo)致其決策過程的不透明性，通常難以向用戶提供清晰且易理解的解釋，進而容易引起用戶的不信任，也可能帶來不易察覺的錯誤隱患。該研究首先介紹了當(dāng)前可解釋人工智能技術(shù)及其基本方法，并以學(xué)習(xí)者模型的解釋作為教育領(lǐng)域的典型案例。在此基礎(chǔ)上，研究梳理和提出了可解釋人工智能在微觀、中觀和宏觀三個層面的教育應(yīng)用模式，即檢驗教育模型、輔助理解系統(tǒng)與支持教育決策。最后，該研究對可解釋人工智能在教育中的應(yīng)用提出了具體建議和展望。
關(guān)鍵詞：人工智能教育應(yīng)用；可解釋人工智能；學(xué)習(xí)者模型；深度學(xué)習(xí)；智能導(dǎo)學(xué)系統(tǒng)
1
引言
2017年國務(wù)院出臺《新一代人工智能發(fā)展規(guī)劃》，明確提出利用人工智能等新一代信息技術(shù)構(gòu)建智能學(xué)習(xí)與交互式學(xué)習(xí)的新型教育體系[1]。人工智能技術(shù)開始逐步被應(yīng)用到各類智能教學(xué)系統(tǒng)與平臺中，也逐步滲透到線上與線下多種典型教育場景中。由于教育場景與教學(xué)主體本身的多樣性與復(fù)雜性，人工智能教育應(yīng)用通常需要基于大規(guī)模、長周期與多模態(tài)的教育數(shù)據(jù)，開展深入分析并構(gòu)建精準(zhǔn)模型。然而，傳統(tǒng)的統(tǒng)計分析與建模方法，已很難處理和勝任這類任務(wù)。隨著人工智能技術(shù)的快速演進和發(fā)展，以深度神經(jīng)網(wǎng)絡(luò)為代表的人工智能模型在計算機視覺、自然語言處理等領(lǐng)域均展現(xiàn)出明顯優(yōu)于傳統(tǒng)模型的性能。這類內(nèi)部網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜的人工智能模型通常在高維數(shù)據(jù)空間上具備良好的信息表征與隱含特征提取能力，因此也逐漸成為人們研發(fā)各類智能教育系統(tǒng)與應(yīng)用的首選。
然而，在性能提升的同時，這類人工智能模型由于其內(nèi)部結(jié)構(gòu)與決策過程的復(fù)雜性與不透明性，通常難以提供清晰且易理解的說明和依據(jù)。換言之，模型的使用者甚至構(gòu)建者只能看到模型輸出的結(jié)果，但難以理解模型運行的基本邏輯。這種“黑箱”性質(zhì)使得模型的輸出結(jié)果易受到質(zhì)疑，并可能帶來不可控的安全隱患與非故意偏見，進而引起用戶對模型所在系統(tǒng)或平臺決策和服務(wù)的不信任。例如在醫(yī)療領(lǐng)域，缺乏可解釋性的自動輔助診斷人工智能模型及系統(tǒng)，難以得到患者和醫(yī)生的足夠信任，導(dǎo)致了其目前仍沒有在醫(yī)院大規(guī)模推廣和應(yīng)用。在教育領(lǐng)域，復(fù)雜人工智能模型決策過程的不透明性，可能出現(xiàn)不易被察覺的連續(xù)錯誤輸出，導(dǎo)致其不合理的決策結(jié)果(例如錯誤推薦學(xué)習(xí)路徑或教學(xué)資源)，從而誤導(dǎo)學(xué)習(xí)者并嚴(yán)重影響其學(xué)習(xí)效果和效率。另外，即使是決策正確的復(fù)雜人工智能模型，由于其不透明的運行過程，容易直接引發(fā)普通學(xué)習(xí)者、教師甚至智能教學(xué)系統(tǒng)和平臺設(shè)計者的不信任感，從而極大影響其一線實踐和應(yīng)用。這也是人工智能模型，尤其是基于深度神經(jīng)網(wǎng)絡(luò)的各類智能教學(xué)系統(tǒng)與平臺，尚沒有被大規(guī)模應(yīng)用的重要原因之一。
近年來，學(xué)術(shù)界和工業(yè)界也開始重點關(guān)注如何提升復(fù)雜人工智能模型及其所屬系統(tǒng)的透明性，建立用戶與模型之間的信任關(guān)系，以促進實際部署。這一領(lǐng)域也被稱為可解釋人工智能(Explainable Artificial Intelligence)。具體而言，可解釋人工智能聚焦于人工智能模型的可解釋性?？山忉屝源砟Ｐ拖蛉祟惤忉尰虺尸F(xiàn)可理解的術(shù)語的能力，是人類與模型決策之間的接口。它既能夠被人們理解，也可以準(zhǔn)確的協(xié)助代理決策模型[2]。目前，可解釋人工智能尚沒有完全統(tǒng)一的概念和標(biāo)準(zhǔn)，但所提出的技術(shù)方法已經(jīng)在醫(yī)學(xué)、生物等領(lǐng)域取得良好的應(yīng)用表現(xiàn)[3]。
與其它領(lǐng)域相比，教育領(lǐng)域也亟需可解釋人工智能技術(shù)。當(dāng)前各類智能教育系統(tǒng)和平臺，逐步開始采用基于深度學(xué)習(xí)等技術(shù)的學(xué)習(xí)者模型、推薦模型以及自動批閱模型等，這些復(fù)雜人工模型通常直接決定了系統(tǒng)和平臺的智能性與服務(wù)質(zhì)量。同時，復(fù)雜人工智能模型也開始被應(yīng)用于大規(guī)模教育數(shù)據(jù)的分析與挖掘中。由于這些模型的設(shè)計主要源于自然語言處理、商品推薦等領(lǐng)域，并未過多考慮教育領(lǐng)域應(yīng)用的實際特點[4]，因此可能做出不符合教育規(guī)律和常識的錯誤決策，并且這些結(jié)果不易被察覺和發(fā)現(xiàn)(例如錯誤估計學(xué)習(xí)者的學(xué)習(xí)狀態(tài)或持續(xù)推薦不必要的學(xué)習(xí)資源)。另外，教育領(lǐng)域的普通教師和學(xué)習(xí)者通常不具備技術(shù)背景和知識，當(dāng)復(fù)雜人工智能模型做出負(fù)面但正確的決策時(例如判斷學(xué)習(xí)者知識點掌握薄弱或教師教學(xué)存在問題)，也容易引起這些使用者的直接質(zhì)疑和不信任，且難以向其進行解釋和直接說明[5]。
2
可解釋人工智能的基本方法
在可解釋人工智能領(lǐng)域，研究者們將人工智能模型的可解釋性分為事前(Ante-hoc)可解釋性與事后(Post-hoc)可解釋性。具備事前可解釋性的模型通常結(jié)構(gòu)直觀清晰，用戶能夠通過檢查模型的組件(如線性回歸模型中的特征權(quán)重、決策樹中的路徑、注意力權(quán)重矩陣)理解其決策過程、工作機制，這類模型因此也被稱為白盒模型。具備事后可解釋性的模型通常結(jié)構(gòu)復(fù)雜，模型的輸入與輸出是非線性關(guān)聯(lián)的，其決策過程、工作機制無法被用戶直接理解。例如以循環(huán)神經(jīng)網(wǎng)絡(luò)為代表的深度神經(jīng)網(wǎng)絡(luò)模型等，這類模型因此也被稱為黑盒模型。
可解釋人工智能技術(shù)是能夠?qū)θ斯ぶ悄苣Ｐ瓦M行解釋的技術(shù)方法，也被稱為解釋方法。針對事后可解釋性，現(xiàn)有的解釋方法可分為全局(Global)解釋方法與局部(Local)解釋方法兩類。全局解釋方法旨在理解所建立的復(fù)雜機器學(xué)習(xí)模型的整體決策邏輯，包括該模型通過大量數(shù)據(jù)訓(xùn)練后學(xué)到的規(guī)則、模型開展決策的方式等。知識提取、激活最大化等都是較為典型的全局解釋方法[6]。然而在實際應(yīng)用中，由于模型結(jié)構(gòu)或算法的復(fù)雜性以及垂直領(lǐng)域應(yīng)用場景的多元性，對大多數(shù)復(fù)雜的機器學(xué)習(xí)模型提供全局解釋通常比較困難。與全局解釋方法不同，局部解釋方法專注于闡釋機器學(xué)習(xí)模型對每一個輸入樣本的決策依據(jù)[7]。具體而言，該類方法以模型當(dāng)前的輸入數(shù)據(jù)為基礎(chǔ)和導(dǎo)向，分析和量化輸入數(shù)據(jù)各維度特征對最終決策結(jié)果的貢獻，從而實現(xiàn)對模型的解釋。常見的局部解釋方法包括局部近似、反向傳播和特征反演等[8]。與全局解釋方法相比，局部解釋方法的研究和實際應(yīng)用更加深入和廣泛。例如，在局部解釋方法中，反向傳播解釋方法可以充分利用需要被解釋的模型結(jié)構(gòu)特性，實現(xiàn)較為簡單且計算效率較高。反向傳播解釋方法的基本思想是利用深度神經(jīng)網(wǎng)絡(luò)的反向傳播機制，將機器學(xué)習(xí)模型的決策信號從輸出層逐層通過神經(jīng)元反向傳播回模型的輸入層，并進而推導(dǎo)當(dāng)前輸入各維度特征的重要性。另外，依據(jù)適用范圍的不同，解釋方法也可以被分為模型相關(guān)(Model-specific)解釋方法和模型無關(guān)(Model-agnostic)解釋方法[9]。模型相關(guān)解釋方法需要利用模型結(jié)構(gòu)中的信息(如神經(jīng)網(wǎng)絡(luò)中的局部梯度信息)才能對模型進行解釋，只能用于某類特定的人工智能模型。模型無關(guān)解釋方法不依賴于模型結(jié)構(gòu)中的信息，并能夠?qū)θ魏稳斯ぶ悄苣Ｐ瓦M行解釋。
在教育領(lǐng)域，通常需要依據(jù)復(fù)雜模型或系統(tǒng)的特點，采取合適的可解釋人工智能技術(shù)對其進行解釋。當(dāng)模型具備事前可解釋性時，通常可以采用自解釋[10]等方式。否則，需要選取和采用事后解釋方法，對模型或系統(tǒng)進行分析和闡釋。
3
可解釋人工智能的典型教育應(yīng)用案例
4
可解釋人工智能在教育中的三種應(yīng)用模式
基于可解釋人工智能技術(shù)，可以將復(fù)雜人工智能模型的各個輸入項對模型預(yù)測結(jié)果的影響進行量化，從而實現(xiàn)對模型和所在系統(tǒng)的解釋。在此基礎(chǔ)上，對解釋結(jié)果進行進一步分析，可以驗證所構(gòu)建模型是否存在與教育規(guī)律相悖的問題。如果存在，可以及時檢查訓(xùn)練數(shù)據(jù)和訓(xùn)練方法，必要時調(diào)整模型本身。如果模型得到驗證，可以利用分析結(jié)果對模型進行功能闡述與說明，從而提高用戶對模型和系統(tǒng)的理解與信任程度。充分合理的解釋說明，還可以進一步支持教師進行教學(xué)策略的選擇和相關(guān)教育管理者的決策。
因此，我們梳理并形成了可解釋人工智能在教育中的三種典型應(yīng)用模式。如圖4所示，現(xiàn)有可解釋人工智能的技術(shù)方法(包括全局解釋方法與局部解釋方法)可以直接用于典型教育場景中(涵蓋了線上與線下教育)的各類人工智能模型(包括黑盒模型或白盒模型)。解釋模型所產(chǎn)生的結(jié)果，可以服務(wù)于不同的受益對象，從而形成了不同的教育應(yīng)用模式?？傮w而言，應(yīng)用模式可以分為微觀、中觀和宏觀三個層面：(1)在微觀層面，解釋結(jié)果能夠針對模型本身進行分析，解釋模型的重要邏輯，從而幫助對模型本身進行檢驗和改進；(2)在中觀層面，解釋結(jié)果能夠?qū)σ羊炞C模型所在系統(tǒng)的規(guī)則進行闡述和說明，從而輔助相關(guān)用戶(包括教師和學(xué)習(xí)者)的理解，提高其對模型與相應(yīng)系統(tǒng)的信任程度；(3)在宏觀層面，解釋結(jié)果可以對教育問題進行發(fā)現(xiàn)，從而幫助和支持教育管理者進行有效決策。
參考文獻：
[1] 國務(wù)院.國務(wù)院關(guān)于印發(fā)新一代人工智能發(fā)展規(guī)劃的通知[EB/OL].http://www.gov.cn/zhengce/content/2017-07/20/content_5211996.htm,2017-07-20.
[2] Li H.Deep Learning for Natural Language Processing:Advantages and Challenges [J].National Science Review,2017,5(1):24-26.
[3] 孔祥維,唐鑫澤等.人工智能決策可解釋性的研究綜述[J].系統(tǒng)工程理論與實踐,2021,41(2):524-536.
[4] 肖睿,肖海明等.人工智能與教育變革：前景、困難和策略[J].中國電化教育,2020,(4):75-86.
[5] 劉桐,顧小清.走向可解釋性：打開教育中人工智能的“黑盒”[J].中國電化教育,2022,(5):82-90.
[6][8] 紀(jì)守領(lǐng),李進鋒等.機器學(xué)習(xí)模型可解釋性方法、應(yīng)用與安全研究綜述[J].計算機研究與發(fā)展,2019,56(10):2071-2096.
[7] Hall M.,Harborne D.,et al.A Systematic Method to Understand Requirements for Explainable AI (XAI) Systems [A].Proceedings of the IJCAI Workshop on Explainable Artificial Intelligence [C].Macau:International Joint Conferences on Artificial Intelligence,2019.21-27.
[9] Adadi A.,Berrada M.Peeking Inside the Black-Box:A Survey on Explainable Artificial Intelligence (XAI) [J].IEEE Access,2018,6:52138-52160.
[10][21] Conati C.,Barral O.,et al.Toward Personalized XAI:A Case Study in Intelligent Tutoring Systems [J].Artificial Intelligence,2021,298(9):1-15.
[11] Lu Y.,Wang D.,et al.Towards Interpretable Deep Learning Models for Knowledge Tracing [A].Proceeding of International Conference on Artificial Intelligence in Education [C].Cham:Springer,2020.185-190.
[12] Lu Y.,Wang D.,et al.Does Large Dataset Matter?An Evaluation on the Interpreting Method for Knowledge Tracing [A].Proceedings of the 29th International Conference on Computers in Education [C].Taiwan:Asia-Pacific Society for Computers in Education,2021.63-68.
[13] 盧宇,王德亮等.智能導(dǎo)學(xué)系統(tǒng)中的知識追蹤建模綜述[J].現(xiàn)代教育技術(shù),2021,31(11):87-95.
[14] Feng M.,Heffernan N.,et al.Addressing the Assessment Challenge with an Online System that Tutors as It Assesses [J].User Modeling and User-Adapted Interaction,2009,19(3):243-266.
[15] Rai A.Explainable AI:From Black Box to Glass Box [J].Journal of the Academy of Marketing Science,2020,48(1):137-141.
[16] 王萍,田小勇等.可解釋教育人工智能研究：系統(tǒng)框架、應(yīng)用價值與案例分析[J].遠程教育雜志,2021,39(6):20-29.
[17] Schramowski P.,Stammer W.,et al.Making Deep Neural Networks Right for the Right Scientific Reasons by Interacting with their Explanations [J].Nature Machine Intelligence,2020,2(8):476-486.
[18] Yang C.,Rangarajan A.,et al.Global Model Interpretation via Recursive Partitioning [A].20th International Conference on High Performance Computing and Communications [C].Exeter:IEEE,2018.1563-1570.
[19] Beck J..Difficulties in Inferring Student Knowledge from Observations (and why you should care) [A].Educational Data Mining:Supplementary Proceedings of the 13th International Conference of Artificial Intelligence in Education [C].Los Angeles:IOS Press,2007.21-30.
[20] Staggers N.,Norcio A.F.Mental Models:Concepts for Human-Computer Interaction Research [J].International Journal of Man-Machine Studies,1993,38(4):587-605.
[22] Kirill Y.,Bek K.,et al.Application of Machine Learning Black Boxes Explainers in the Development of a Recommendatory System for Improving the Quality of School Education [A].Proceeding of the 17th International Scientific Conference on Information Technologies and Management [C].Riga:ISMA University of Applied Sciences,2019.60-63.
[23] Ledeboer T.S.Interpretable Student Performance Prediction [D].Netherland:Eindhoven University of Technology,2019.
[24] 胡欽太,伍文燕等.深度學(xué)習(xí)支持下多模態(tài)學(xué)習(xí)行為可解釋性分析研究[J].電化教育研究,2021,42(11):77-83.
盧宇：副教授，博士，博士生導(dǎo)師，研究方向為人工智能技術(shù)及其教育應(yīng)用。
章志：在讀碩士，研究方向為學(xué)習(xí)者模型及其解釋方法。
王德亮：在讀碩士，研究方向為學(xué)習(xí)者模型及其解釋方法。
陳鵬鶴：講師，博士，碩士生導(dǎo)師，研究方向為人工智能技術(shù)及其教育應(yīng)用。
余勝泉：教授，博士，博士生導(dǎo)師，研究方向為人工智能教育應(yīng)用、移動教育與泛在學(xué)習(xí)、區(qū)域性教育信息化、信息技術(shù)與課程整合。
聯(lián)系客服
