您想知道的人工智能干貨，第一時(shí)間送達(dá)
講者丨David Harel
整理丨熊宇軒
導(dǎo)讀：設(shè)想一下，現(xiàn)在我們要建造一種工廠機(jī)器人，能移動(dòng)物體、組裝零件、抬起物體。機(jī)器學(xué)習(xí)專(zhuān)家自然會(huì)采用深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)一類(lèi)的AI技術(shù)；而另一類(lèi)專(zhuān)家則會(huì)使用可執(zhí)行規(guī)范（Executable Specification，例如：規(guī)則、流程圖、方案、過(guò)程代碼），即傳統(tǒng)的建模技術(shù)。雖然作為主流范式的機(jī)器學(xué)習(xí)大行其道，但人工智能系統(tǒng)的可驗(yàn)證性、可解釋性也存在一定的挑戰(zhàn)。相較之下，基于狀態(tài)機(jī)、編碼、場(chǎng)景的傳統(tǒng)建模技術(shù)卻可以高效、魯棒地完成一些深度學(xué)習(xí)系統(tǒng)不擅長(zhǎng)的任務(wù)。而以色列科學(xué)與人文科學(xué)院院長(zhǎng)、智源學(xué)術(shù)顧問(wèn) David Harel 教授認(rèn)為，我們應(yīng)該將人工智能與傳統(tǒng)建模技術(shù)融合起來(lái)，使二者互為補(bǔ)充。2022 年 1月 18 日，David 教授帶來(lái)了題為「Combining Modeling and AI: Enhancing Deep Learning with Classical Specifications」的報(bào)告，對(duì)比了機(jī)器學(xué)習(xí)與傳統(tǒng)建模方法各自存在的優(yōu)勢(shì)和不足，介紹了將二者結(jié)合的方法論，舉例說(shuō)明了如何將這種融合方法應(yīng)用于網(wǎng)絡(luò)擁塞控制，并為該領(lǐng)域未來(lái)的發(fā)展指出了方向。本文整理自智源大師講座，視頻回看地址（或點(diǎn)擊閱讀原文）：https://event.baai.ac.cn/activities/232機(jī)器學(xué)習(xí) V.S 傳統(tǒng)建模假設(shè)我們要建造能夠移動(dòng)物體、組裝零件、抬起物體等動(dòng)作的工廠機(jī)器人。為此，機(jī)器學(xué)習(xí)專(zhuān)家希望只使用人工智能技術(shù)（例如：深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)、規(guī)劃）；而另一類(lèi)專(zhuān)家希望只使用可執(zhí)行規(guī)范（Executable Specification，例如：規(guī)則、流程圖、方案、過(guò)程代碼），即傳統(tǒng)的建模技術(shù)。這兩類(lèi)專(zhuān)家都可以很好地做出工程原型，但是監(jiān)管機(jī)構(gòu)和安全專(zhuān)家并不相信機(jī)器學(xué)習(xí)給出的結(jié)論始終正確，他們很難驗(yàn)證其性能；同時(shí)，專(zhuān)家認(rèn)為傳統(tǒng)建模方法過(guò)于簡(jiǎn)單，它們使用了很多假設(shè)分支結(jié)構(gòu)，無(wú)法處理一些隨機(jī)出現(xiàn)的特殊問(wèn)題。此外，對(duì)這兩類(lèi)方法進(jìn)行新的測(cè)試都十分困難，其經(jīng)濟(jì)成本十分高昂，也十分耗時(shí)。David Harel 教授認(rèn)為，我們應(yīng)該將人工智能與傳統(tǒng)建模技術(shù)融合起來(lái)，使二者互為補(bǔ)充。例如，在建造一個(gè)自動(dòng)駕駛汽車(chē)時(shí)，我們可以訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)來(lái)識(shí)別交通信號(hào)和車(chē)道線(xiàn)，而在識(shí)別出紅綠燈信號(hào)后，通過(guò)傳統(tǒng)建模（編碼）的方式為系統(tǒng)設(shè)定可以進(jìn)行的動(dòng)作則相較于訓(xùn)練 AI 模型完成這些動(dòng)作更加簡(jiǎn)單。目前，深度學(xué)習(xí)和經(jīng)典建模技術(shù)的前沿進(jìn)展差別很大，但它們可以很好地互補(bǔ)。如上圖所示，深度學(xué)習(xí)擅長(zhǎng)完成一些難以詳細(xì)指定、但人類(lèi)可以很輕易地完成的認(rèn)知任務(wù)，而經(jīng)典的建模技術(shù)卻難以勝任這類(lèi)任務(wù)。人們?cè)鴩L試通過(guò)規(guī)則來(lái)識(shí)別交通標(biāo)志，但是光照、觀測(cè)角度等因素的變化使該任務(wù)變得十分困難。傳統(tǒng)的反應(yīng)式系統(tǒng)（銀行取款機(jī)、電子表、航空器等）涉及對(duì)各種事件的反應(yīng)，事件之間也存在復(fù)雜的影響，經(jīng)典建模方式在這些方面取得了成功，而如何通過(guò)人工智能技術(shù)針對(duì)此類(lèi)任務(wù)進(jìn)行相應(yīng)的規(guī)劃還有待探索。如今，如何更好地將領(lǐng)域的專(zhuān)家知識(shí)和表征引入深度學(xué)習(xí)系統(tǒng)是有待研究的課題，而使用經(jīng)典建模方式則需要領(lǐng)域?qū)＜腋嬖V系統(tǒng)何時(shí)應(yīng)該/不應(yīng)該做什么，有時(shí)這是很有意義的。最重要的一點(diǎn)是，深度學(xué)習(xí)模型是「黑盒」，我們很難驗(yàn)證深度學(xué)習(xí)模型輸出的結(jié)果符合我們的期望，因此研究如何驗(yàn)證人工智能系統(tǒng)的輸出是目前一個(gè)十分火熱的研究領(lǐng)域。另一方面，我們可以對(duì)狀態(tài)機(jī)、編碼、規(guī)則等傳統(tǒng)建模技術(shù)的結(jié)果進(jìn)行驗(yàn)證，盡管驗(yàn)證的過(guò)程往往較為復(fù)雜。此外，深度學(xué)習(xí)的內(nèi)在工作機(jī)理還有待探索，有時(shí)我們并不知道此類(lèi)模型為何會(huì)得到相應(yīng)的結(jié)果，深度學(xué)習(xí)模型的「可解釋性」成為了一個(gè)重要的研究課題。而當(dāng)我們使用傳統(tǒng)建模方法時(shí)，可以清晰地觀察到系統(tǒng)在運(yùn)行過(guò)程中每一步上變量的變化、輸出的結(jié)果，從而為最終得到的結(jié)果提供解釋。用例 1：將人工智能模塊（AI）嵌入傳統(tǒng)建模（ES）傳統(tǒng)建模方式往往無(wú)法囊括所有可能發(fā)生的情況。如上圖所示，橙色矩形代表整個(gè)工作空間，綠色橢圓代表能夠完美地完成所有工作的目標(biāo)系統(tǒng)，黑色虛線(xiàn)包圍的區(qū)域是我們使用傳統(tǒng)建模方法覆蓋的情況。為了彌平綠色橢圓和黑色虛線(xiàn)包圍部分的差異，我們需要構(gòu)建一個(gè)子系統(tǒng)（例如，深度學(xué)習(xí)網(wǎng)絡(luò)）來(lái)探測(cè)黑色虛線(xiàn)的邊界條件。這樣一來(lái)，我們可以通過(guò)「差異處理器」（例如，深度學(xué)習(xí)網(wǎng)絡(luò)）來(lái)處理傳統(tǒng)建模方法沒(méi)有囊括的情況。具體而言，對(duì)于可執(zhí)行規(guī)范 Spec_0（例如，固定的帶標(biāo)記的機(jī)器人路線(xiàn)），我們將其與目標(biāo)系統(tǒng)進(jìn)行對(duì)比，會(huì)得到可執(zhí)行規(guī)范沒(méi)有囊括的反例 E_X（例如，有人站在機(jī)器人前面，使機(jī)器人感到困惑）。接著，我們將 E_X 泛化為 Spec_0 難以處理的「差異條件」C（例如，路線(xiàn)被阻塞，標(biāo)記不可見(jiàn)）。為了處理這些傳統(tǒng)建模系統(tǒng)沒(méi)有囊括的情況，我們構(gòu)建人工智能組件 D_C 在運(yùn)行時(shí)探測(cè)這種條件 C（例如，檢測(cè)是否存在障礙物，或標(biāo)記是否消失了）。我們可以進(jìn)一步構(gòu)建一個(gè)人工智能組件 H_C 來(lái)處理?xiàng)l件 C 發(fā)生的情況（例如，使用人工智能系統(tǒng)繞過(guò)障礙，并返回路線(xiàn)，或者直接安全地停下來(lái)）。在此基礎(chǔ)之上，我們通過(guò)將規(guī)則「當(dāng) D_C 檢測(cè)到差異條件時(shí)，暫停 Spec_0，并執(zhí)行 H_C 」用于 Spec_0 來(lái)構(gòu)建 Spec_1。我們將不斷重復(fù)上述環(huán)節(jié)，驗(yàn)證系統(tǒng)的輸出結(jié)果，不斷改進(jìn)系統(tǒng)，直到不再出現(xiàn) 反例 E_X。用例 2：使用傳統(tǒng)建模組件簡(jiǎn)化人工智能系統(tǒng)如上圖所示，橙色矩形仍然代表整個(gè)工作空間，橢圓為目標(biāo)系統(tǒng)，我們可以簡(jiǎn)單地使用深度神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)該目標(biāo)系統(tǒng)。此時(shí)，為了簡(jiǎn)化整體的系統(tǒng)，我們可以通過(guò)基于規(guī)則的 ES 解決方案來(lái)高效地應(yīng)對(duì)某些情況，并類(lèi)似地構(gòu)建一個(gè)邊界情況探測(cè)器。這樣一來(lái)，我們可以將大的人工智能系統(tǒng)劃分成較小的人工智能組件，通過(guò)它們解決 ES 系統(tǒng)沒(méi)有囊括的情況。具體而言， 我們首先需要為實(shí)現(xiàn)目標(biāo)系統(tǒng)構(gòu)架一個(gè)人工智能解決方案 AI_0（例如，訓(xùn)練機(jī)器人處理大量的任務(wù)和條件）。接著，我們要判斷 AI_0 是否過(guò)于復(fù)雜，或可信度不高。如果該系統(tǒng)過(guò)于復(fù)雜或可信度不高，我們要找出能夠通過(guò)傳統(tǒng)建模方法處理的條件 C（例如，以簡(jiǎn)短、清晰、直接的方式傳遞零件）。我們還要構(gòu)建一個(gè)人工智能模塊或傳統(tǒng)建模模塊 D_C 在運(yùn)行時(shí)檢測(cè) C 是否還成立。如果 C 成立，則構(gòu)建一個(gè)傳統(tǒng)建模模塊 H_C 來(lái)處理 C（例如，夾取部件、以已知速度行駛預(yù)定距離、停下、移交物體）。在排除了所有 D_C 成立的情況后，使用 AI_0 的訓(xùn)練集從頭訓(xùn)練一個(gè)新的模型 AI_0-without-c。構(gòu)建融合的解決方案 AI_1：執(zhí)行 AI_0-without-c。如果 D_C 成立，則暫停并執(zhí)行 H_C。我們不斷重復(fù)上述過(guò)程，并對(duì)模型的復(fù)雜度和可信度進(jìn)行評(píng)估，從而不斷改進(jìn)系統(tǒng)。我們可以通過(guò)各種各樣的方式將人工智能系統(tǒng)和傳統(tǒng)建模系統(tǒng)結(jié)合起來(lái)：（1）流水線(xiàn)。從深度學(xué)習(xí)過(guò)程中分離出一些傳統(tǒng)建模模塊，在它們之間傳遞一些中間結(jié)果。（2）分治法。為各個(gè)組件分配一些子任務(wù)。例如，通過(guò)人工智能系統(tǒng)檢測(cè)交通信號(hào)，通過(guò)傳統(tǒng)建模方式做出決策。（3）保護(hù)性封裝。通過(guò)規(guī)則約束或覆蓋深度學(xué)習(xí)的「黑盒」決策（4）知識(shí)輔助的神經(jīng)網(wǎng)絡(luò)訓(xùn)練。通過(guò)傳統(tǒng)建模方式在程序中編碼領(lǐng)域?qū)＜业闹R(shí)，對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行選擇；計(jì)算強(qiáng)化學(xué)習(xí)的獎(jiǎng)勵(lì)和懲罰。舉例而言，我們?cè)?jīng)將深度強(qiáng)化學(xué)習(xí)與規(guī)則相結(jié)合，用于網(wǎng)絡(luò)擁塞控制。在該場(chǎng)景下，多個(gè)發(fā)信方共享一個(gè)通信鏈路，他們起初將自己的發(fā)信速率調(diào)至最大吞吐量，這種決策是去中心化、未經(jīng)過(guò)協(xié)調(diào)的。Jay 等人于 2019 年提出通過(guò)深度強(qiáng)化學(xué)習(xí)的方式應(yīng)對(duì)該問(wèn)題；Eliyahu、Katz 等人于 2021 年形式化驗(yàn)證了領(lǐng)域?qū)＜抑付ǖ纳疃壬窠?jīng)網(wǎng)絡(luò)的性能。然而，上述工作仍然存在一些不足之處，我們很難保證發(fā)信方能夠公平傳輸信號(hào)，也很難形式化地確保系統(tǒng)具有我們所期望的公平性和安全性。為了解決上述問(wèn)題，我們嘗試將人工智能模型與傳統(tǒng)建模方法相結(jié)合。我們將領(lǐng)域?qū)＜业闹R(shí)轉(zhuǎn)化為一些與公平性相關(guān)的規(guī)則，例如：不能連續(xù)三次提升傳輸速率。在一個(gè) ad-hoc 網(wǎng)絡(luò)中，我們將規(guī)則「硬編碼」在強(qiáng)化學(xué)習(xí)訓(xùn)練過(guò)程中。之后，我們將這一方法泛化到了更多的應(yīng)用中，例如：使用基于場(chǎng)景的規(guī)劃（SBP）來(lái)指定、合成規(guī)則；迭代式地進(jìn)行訓(xùn)練和驗(yàn)證，直到深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到我們使用 SBP 給出的規(guī)則和屬性。此類(lèi)方法在早期的可執(zhí)行規(guī)范、訓(xùn)練和驗(yàn)證過(guò)程中都展現(xiàn)出了一定的優(yōu)勢(shì)，它使得深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練時(shí)間較短、性能較好，對(duì)對(duì)抗攻擊具有更好的魯棒性，并且更易于驗(yàn)證。此外，我們還在實(shí)驗(yàn)中驗(yàn)證了此類(lèi)方法對(duì)于其它系統(tǒng)、問(wèn)題、規(guī)則的適用性。正如本文前面提到的兩個(gè)用例，我們不僅希望提供具體的算法和工具，我們還希望提出一些將經(jīng)典建模方法與深度學(xué)習(xí)結(jié)合起來(lái)的方法論，優(yōu)化定義好的度量標(biāo)準(zhǔn)。這樣，我們希望啟發(fā)他人何時(shí)應(yīng)該使用哪種技術(shù)，這樣的方法會(huì)得到怎樣的效果，如何檢測(cè)到不斷加入的改進(jìn)的來(lái)的回報(bào)產(chǎn)生了衰減（例如，使用太多簡(jiǎn)單的規(guī)則，使系統(tǒng)難以管理）。同時(shí)，我們也希望這套方法能夠適用于各種當(dāng)下和未來(lái)的學(xué)習(xí)、建模技術(shù)上。此外，我們還希望從以下角度研究如何定義、評(píng)價(jià)此類(lèi)技術(shù)：（1）使用性能。準(zhǔn)確率、精度、訓(xùn)練集大小、要求被滿(mǎn)足的比例（2）可驗(yàn)證性（3）可解釋性（4）開(kāi)發(fā)成本（5）可維護(hù)性，等。「相對(duì)驗(yàn)證技術(shù)」是一個(gè)重要的研究方向。有時(shí)，由于我們將人工智能系統(tǒng)與許多其它建模模塊結(jié)合，無(wú)法驗(yàn)證整體的系統(tǒng)，我們需要采用一些相對(duì)比較的方法，在整體的建模方法中陳述和證明系統(tǒng)的有效性，同時(shí)對(duì)學(xué)習(xí)部分的一些嚴(yán)格陳述進(jìn)行模塊化處理。在該領(lǐng)域中，我們需要關(guān)注的重點(diǎn)問(wèn)題包括：（1）選擇具有多種難度的應(yīng)用領(lǐng)域和具體問(wèn)題（2）獲取訓(xùn)練數(shù)據(jù)和領(lǐng)域知識(shí)（3）對(duì)可能的技術(shù)組合進(jìn)行迭代式的實(shí)現(xiàn)和評(píng)估（4）將分析結(jié)論轉(zhuǎn)化為方法、指導(dǎo)方針和度量標(biāo)準(zhǔn)（5）宣傳這些解決方案。David 教授團(tuán)隊(duì)在 AAAI 2019 的論文中對(duì)這一愿景進(jìn)行了闡述。在本次大師講座中，David 教授提出將傳統(tǒng)建模方式與人工智能模型相結(jié)合，使工程師們同時(shí)從這兩類(lèi)方法中獲益。盡管機(jī)器學(xué)習(xí)技術(shù)近年來(lái)取得了巨大的成功，但它們并不一定在所有情況下都是最優(yōu)的。此外，人工智能系統(tǒng)的可驗(yàn)證性、可解釋性也存在一定的挑戰(zhàn)。我們希望定義嚴(yán)格的、基于數(shù)學(xué)的方法，將傳動(dòng)建模方法的專(zhuān)業(yè)知識(shí)和表示與深度學(xué)習(xí)結(jié)合起來(lái)，使功能性、可驗(yàn)證性和可解釋性最大化，從而推動(dòng)復(fù)雜智能系統(tǒng)的發(fā)展。
本站僅提供存儲(chǔ)服務(wù)，所有內(nèi)容均由用戶(hù)發(fā)布，如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請(qǐng)
點(diǎn)擊舉報(bào)。
