本文轉(zhuǎn)自中科院神經(jīng)科學(xué)研究所（ID:ION-CAS)，刊載于中國科學(xué)院院刊（CASbulletin），作者：徐波, 劉成林, 曾毅 中科院腦智中心
人工智能學(xué)科自誕生之初便奠定了其模擬、延伸、擴(kuò)展人類智能的宏偉目標(biāo)。60 年來人工智能發(fā)展取得了巨大的成就，但是離學(xué)科誕生之初提出的實現(xiàn)人類水平智能的目標(biāo)仍然有很大的距離。以往人工智能的研究成果大多數(shù)屬于行為尺度模擬部分智能的計算模型。這是因為，一方面?zhèn)鹘y(tǒng)人工智能的主要研究者來自信息科學(xué)領(lǐng)域，另一方面腦科學(xué)研究以前還很難支持從更深入的機(jī)制上探索智能的本質(zhì)及其計算實現(xiàn)的機(jī)理。近年來，隨著腦與神經(jīng)科學(xué)領(lǐng)域新技術(shù)的不斷涌現(xiàn)，以及人工智能所依賴的深度學(xué)習(xí)、計算能力和數(shù)據(jù)發(fā)展，可以在更深刻的層面支持人工智能研究者對智能本質(zhì)的探索。類腦智能研究逐步引起學(xué)術(shù)界的廣泛注意，其核心是受腦啟發(fā)構(gòu)建機(jī)制類腦、行為類人的類腦智能計算模型。
本文將結(jié)合中科院自動化所“十一五”末以來在類腦智能研究方向的布局和研究實踐，從腦與神經(jīng)科學(xué)對人工智能的潛在啟發(fā)、新一代人工神經(jīng)網(wǎng)絡(luò)、記憶認(rèn)知功能模型以及腦區(qū)協(xié)同認(rèn)知模型等角度概述近年來類腦研究關(guān)聯(lián)現(xiàn)狀與發(fā)展，并對類腦智能研究發(fā)展提出思考。
1、腦與神經(jīng)科學(xué)對人工智能的潛在啟發(fā)
腦與神經(jīng)科學(xué)的進(jìn)展，特別是借助新技術(shù)與新設(shè)備的研究支持研究者通過不同的實驗方法（如生物解剖、電生理信號采集與分析、光遺傳技術(shù)、分子病毒學(xué)、功能影像分析等）得到對腦的多尺度、多類型的生物證據(jù)，正在嘗試從不同側(cè)面來揭示生物智能的結(jié)構(gòu)和功能基礎(chǔ)。從微觀神經(jīng)元、突觸工作機(jī)制及其特性，到介觀網(wǎng)絡(luò)連接模式，再到宏觀腦區(qū)間的鏈路及其協(xié)同特性，這些實驗及機(jī)理研究得到的有關(guān)腦的多尺度結(jié)構(gòu)與功能機(jī)制將對構(gòu)建未來類腦智能計算模型提供重要啟發(fā)。
在微觀層面，生物神經(jīng)元和突觸的類型、數(shù)目等在不同腦區(qū)中具有較大差異，且能夠根據(jù)任務(wù)的復(fù)雜性實現(xiàn)結(jié)構(gòu)和功能的動態(tài)適應(yīng)?，F(xiàn)有實驗結(jié)果表明，興奮性神經(jīng)元在前饋神經(jīng)網(wǎng)絡(luò)的應(yīng)用中表現(xiàn)出較好的分類效果[1]，而更加結(jié)構(gòu)多樣和功能復(fù)雜的抑制性神經(jīng)元由于計算資源和學(xué)習(xí)方法的限制，尚未能像興奮性神經(jīng)元一樣在人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和學(xué)習(xí)過程中展示出應(yīng)有的潛力，這將是未來值得探索的重要研究方向。突觸方面，如時序依賴的突觸可塑性（Spike-Timing Dependent Plasticity,STDP）是一類時序依賴的連接權(quán)重學(xué)習(xí)規(guī)則，突觸權(quán)值的變化主要依賴于細(xì)胞放電發(fā)生于突觸前神經(jīng)元和突觸后神經(jīng)元的先后時刻，通過對放電時間差與權(quán)重更新建立數(shù)學(xué)映射關(guān)系，來描述網(wǎng)絡(luò)中的神經(jīng)連接強(qiáng)度的變化情況。該原則的生物基礎(chǔ)已經(jīng)在眾多的生物實驗中被證實，可以分為二相STDP、三相STDP，以及部分類STDP機(jī)制，如電壓依賴的STDP等[2]。
在介觀層面，特異性的腦區(qū)內(nèi)部的連接模式和隨機(jī)性的網(wǎng)絡(luò)背景噪聲的有效融合，使得生物神經(jīng)網(wǎng)絡(luò)在保持了特定的網(wǎng)絡(luò)功能的同時，兼顧了動態(tài)的網(wǎng)絡(luò)可塑性。例如生物神經(jīng)網(wǎng)絡(luò)中的泊松背景噪聲對生物神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)和訓(xùn)練過程起到極大的促進(jìn)作用[3]。此外，腦與神經(jīng)科學(xué)研究者普遍認(rèn)為神經(jīng)元連接構(gòu)成的網(wǎng)絡(luò)結(jié)構(gòu)對認(rèn)知功能的實現(xiàn)具有決定性的支撐作用[4]。神經(jīng)元之間構(gòu)成的網(wǎng)絡(luò)基序及基序結(jié)構(gòu)的組合對神經(jīng)信息處理過程也發(fā)揮著決定性作用。由于神經(jīng)元類型的不同，使得神經(jīng)元之間的網(wǎng)絡(luò)連接更為復(fù)雜。例如實驗表明，有些神經(jīng)元傾向于與同類型的神經(jīng)元相連接，有些神經(jīng)元傾向于與其他類型的神經(jīng)元連接，而有些神經(jīng)元則只與其他類型的神經(jīng)元連接[5]。此外還發(fā)現(xiàn)，認(rèn)知功能相近的神經(jīng)元更容易形成突觸連接[6]。值得思考的問題是：不同的連接模式對應(yīng)的功能差異是什么？對于認(rèn)知功能的實現(xiàn)具有何種意義？實踐表明這些結(jié)論都對未來類腦神經(jīng)網(wǎng)絡(luò)的設(shè)計有重要的潛在啟發(fā)。
在宏觀層面，不同腦區(qū)之間的協(xié)同使得高度智能的類人認(rèn)知功能得以實現(xiàn)。如哺乳動物腦的強(qiáng)化學(xué)習(xí)認(rèn)知功能，長時、短時記憶功能等都是通過不同腦區(qū)功能的協(xié)同實現(xiàn)更為復(fù)雜的認(rèn)知功能。腦區(qū)之間的連接不僅決定信號的傳遞，而且反映了信息處理的機(jī)制。如腦區(qū)之間的前饋連接可能反映了信息的逐層抽象機(jī)制，而反饋連接則反映了相對抽象的高層信號對低層信號的指導(dǎo)或影響。此外，有些腦區(qū)負(fù)責(zé)融合來自不同腦區(qū)的信號，從而使對客觀對象的認(rèn)識更為全面（如顳極對多模態(tài)感知信號的融合），而有些腦區(qū)在接收到若干腦區(qū)的輸入后則負(fù)責(zé)在問題求解的過程中屏蔽來自問題無關(guān)腦區(qū)的信號。
要實現(xiàn)人類水平的智能，需要計算模型能夠融合來自微觀、介觀、宏觀多尺度腦結(jié)構(gòu)和信息處理機(jī)制的啟發(fā)。實現(xiàn)跨尺度機(jī)制的融合，才能夠?qū)嵸|(zhì)性顛覆現(xiàn)有計算模型，實現(xiàn)有深遠(yuǎn)影響的原始性創(chuàng)新。
2、新一代人工神經(jīng)網(wǎng)絡(luò)模型研究
雖然傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)在神經(jīng)元、突觸連接等方面初步借鑒了腦神經(jīng)系統(tǒng)在微觀尺度的概念和結(jié)構(gòu)，但是在信息處理機(jī)制上真正從腦科學(xué)借鑒的機(jī)制并不深刻。近年來發(fā)展起來的深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Network,DNN）模型抓住了人腦在腦區(qū)尺度進(jìn)行層次化信息處理的機(jī)制，在計算和智能模擬能力上取得重要突破，并在模式識別和人工智能應(yīng)用領(lǐng)域取得了巨大成功。
卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Nerwork,CNN）作為 DNN 的一種，是受生物視覺系統(tǒng)的啟示，將生物神經(jīng)元之間的局部連接關(guān)系（局部感受野）以及信息處理的層級結(jié)構(gòu)應(yīng)用到計算模型中[7]：當(dāng)具有相同參數(shù)的神經(jīng)元應(yīng)用到前一層的不同位置時，可以獲取具有某種不變性的特征。CNN 在從低層到高層的過程中感受野越來越大，逐漸模擬了低級的 V1 區(qū)提取邊緣特征，再到 V2 區(qū)的形狀或者目標(biāo)的部分等，再到更高層的 V4、IT 區(qū)等，高層的特征是低層特征的組合，從低層到高層的特征表示越來越抽象。研究者詳細(xì)對比了 DNN 的高層與靈長類動物 IT 區(qū)在物體識別任務(wù)中的關(guān)系[8, 9]，發(fā)現(xiàn) DNN 的高層能夠很好地反映出 IT 區(qū)的物體識別特性，證實了 DNN 與生物視覺系統(tǒng)在某種程度上的相似性。
基于 CNN 的深度學(xué)習(xí)方法在視覺、語音領(lǐng)域的諸多任務(wù)中均取得突破性的進(jìn)展，其端到端的建模和學(xué)習(xí)能力顛覆了傳統(tǒng)的“特征+分類器學(xué)習(xí)”的固有模式，使得特征和分類器不再有明確的界限，它們均能在 CNN 中一體化地學(xué)習(xí)。
神經(jīng)科學(xué)研究已證明腦皮層中反饋神經(jīng)元連接比前饋多得多，但反饋的神經(jīng)機(jī)制和作用尚待深入研究。傳統(tǒng)的深度神經(jīng)網(wǎng)絡(luò)模型里一般只有前饋連接，尚缺乏對反饋的建模。為了更好地模擬人腦，最近有很多研究探索如何將反饋引入神經(jīng)網(wǎng)絡(luò)模型。例如，Liang等人[10, 11]提出在 CNN 的卷積層加上層內(nèi)連接的方法，使每個單元可同時接收前饋和反饋的輸入；Wang等人[12]通過 topdown的反饋連接和乘法機(jī)制引入注意力模型；Cao 等人[13]在 CNN 的卷積層加上層間的反饋連接，將高級的語義和全局信息傳到下層，通過語義標(biāo)簽的反饋，可以激活特定的與目標(biāo)語義相關(guān)的神經(jīng)元，從而實現(xiàn)自頂向下的視覺注意，定位復(fù)雜背景中的潛在目標(biāo)。
強(qiáng)化學(xué)習(xí)是人類通過交互進(jìn)行學(xué)習(xí)的重要方式之一。Google DeepMind 團(tuán)隊將深度神經(jīng)網(wǎng)絡(luò)與強(qiáng)化學(xué)習(xí)融合[14]，構(gòu)建的深度強(qiáng)化學(xué)習(xí)模型可用于自動學(xué)習(xí)打 49 種電腦游戲。該模型借鑒了人類通過與環(huán)境進(jìn)行交互，自動學(xué)習(xí)選擇最佳策略、采取最佳行動的學(xué)習(xí)過程。在此基礎(chǔ)上開發(fā)的 AlphaGo 在與韓國圍棋棋手李世石的交戰(zhàn)中以 4:1的成績獲得勝利[15]。該團(tuán)隊巧妙地讓兩個圍棋機(jī)器人互相切磋棋藝，在交互中采用強(qiáng)化學(xué)習(xí)，對策略網(wǎng)絡(luò)和價值網(wǎng)絡(luò)進(jìn)行更新。強(qiáng)化學(xué)習(xí)在一定程度上解決了深度學(xué)習(xí)的大數(shù)據(jù)依賴問題，如在上述例子中，人類棋譜的數(shù)量是有限的，而強(qiáng)化學(xué)習(xí)產(chǎn)生了更多可供學(xué)習(xí)的棋局。此項工作還說明了不同功能網(wǎng)絡(luò)的協(xié)同，能夠提升智能系統(tǒng)的水平。
雖然現(xiàn)有 DNN 模型從某種尺度初步借鑒了人腦信息處理的部分原理，但總體而言依然是初步的嘗試。對腦信息處理機(jī)制的深度借鑒來提升現(xiàn)有模型仍然具有很大空間。目前在神經(jīng)元的類型、突觸的類型及其工作機(jī)理、網(wǎng)絡(luò)權(quán)重更新、網(wǎng)絡(luò)背景噪聲等方面，神經(jīng)生物學(xué)的研究都取得了可以被計算模型應(yīng)用的進(jìn)展。許多研究團(tuán)隊已經(jīng)構(gòu)建了一系列滿足不同尺度生物實驗證據(jù)和約束的計算模型，如生物神經(jīng)元模型[16, 17, 18]、生物突觸模型[19, 20]、生物脈沖神經(jīng)網(wǎng)絡(luò)計算模型[21]。這些都為未來脈沖神經(jīng)網(wǎng)絡(luò)（Spiking Neural Network,SNN）的進(jìn)一步研究奠定了堅實的基礎(chǔ)，提供了創(chuàng)新源泉。人腦的神經(jīng)系統(tǒng)存在很多反饋連接，例如自頂向下的視覺注意就是來自于從高級認(rèn)知腦區(qū)（如PFC、LIP 等）的腦活動到初級視覺腦區(qū)的反饋信號，現(xiàn)有模型中雖然有些神經(jīng)網(wǎng)絡(luò)引入了反饋的概念[10, 11]，但是反饋如何影響低層的輸入信號以及跨層的反饋等，模型中并沒有深入考慮。此外，DNN 的領(lǐng)域特異性強(qiáng)，擴(kuò)展和泛化能力相對較差，不同領(lǐng)域之間很難實現(xiàn)知識共享，而人類不同的感知模態(tài)之間存在著很強(qiáng)的相互作用，不同模態(tài)的知識能夠很好地共享。
通過與腦科學(xué)的緊密聯(lián)系和深度交叉，構(gòu)建更加類腦的神經(jīng)網(wǎng)絡(luò)計算模型和學(xué)習(xí)方法是類腦智能的研究方向之一。
3、基于記憶、推理和注意的認(rèn)知功能研究
認(rèn)知體系結(jié)構(gòu)研究是類腦認(rèn)知計算模型研究發(fā)展歷程上代表性的方向之一，其中最具代表性的成果是思維的自適應(yīng)控制（Adaptive Control of Thoughts）認(rèn)知體系結(jié)構(gòu)。該模型受到了從人工智能視角研究認(rèn)知科學(xué)的早期實踐者之一 Allen Newell 思想的影響[22]。該模型的特點是覆蓋了感知、決策、語言、運動等廣泛的認(rèn)知功能，模塊在行為層面模擬了對應(yīng)的腦區(qū)功能，并具備堅實的認(rèn)知心理學(xué)依據(jù)。然而該模型全部采用產(chǎn)生式實現(xiàn)認(rèn)知功能，本質(zhì)上是一個規(guī)則系統(tǒng)，且認(rèn)知功能間的協(xié)同并非自組織。由于其計算模型沒有采用神經(jīng)網(wǎng)絡(luò)，其介觀和微觀實現(xiàn)機(jī)理與人腦還存在較大區(qū)別，且很難處理大規(guī)?，F(xiàn)實世界問題。
近年來深度學(xué)習(xí)除了在視覺、語音信息處理領(lǐng)域的長足進(jìn)展與成功應(yīng)用外，在自然語言處理領(lǐng)域也取得了重要突破。不僅在文本語義特征表示方面具有明顯的優(yōu)勢[23, 24]，在關(guān)系分類[25]、情感識別[26]和信息檢索[27]等應(yīng)用任務(wù)中也優(yōu)于基于人工構(gòu)造特征的傳統(tǒng)方法。記憶（Memory）、推理（Reasoning）和注意（Attention）等機(jī)制逐漸成為神經(jīng)網(wǎng)絡(luò)領(lǐng)域的新研究熱點。
2015年12月，由Facebook人工智能研究院的JasonWeston
牽頭在人工智能領(lǐng)域頂級會議 NIPS2015上組織了一項關(guān)于記憶、推理和注意機(jī)制的研討會，簡稱 RAM（Memory,Reasoning,Attention）研討會[28]。參會者討論認(rèn)為，合理采用記憶、推理和注意機(jī)制，可以有效地解決人工智能的很多核心問題，并提出目前主要注意的問題。（1）記憶單元中存儲哪些內(nèi)容？（2）神經(jīng)記憶單元中記憶的表示形式？（3）記憶單元規(guī)模較大時如何進(jìn)行快速語義激活？（4）如何構(gòu)建層次化記憶結(jié)構(gòu)？（5）如何進(jìn)行層次化信息推理？（6）如何對冗余信息進(jìn)行遺忘或壓縮處理？（7）如何評價系統(tǒng)的推理和理解能力？（8）如何從人類或動物記憶機(jī)制中獲得啟發(fā)？[29]
Chaudhuri 和 Fiete[29]指出：“記憶”是指神經(jīng)系統(tǒng)中任何活動或連接變化的總稱，這種變化由信號刺激或大腦狀態(tài)觸發(fā)并且持續(xù)時間要長于觸發(fā)時間?！坝洃洝本哂凶赃m應(yīng)性，具有記憶單元的智能體可以從經(jīng)驗中學(xué)習(xí)，概括能力更佳，可以利用先驗信息在不完整數(shù)據(jù)中進(jìn)行更好地推理和預(yù)測。傳統(tǒng)方法將記憶分為“短時記憶”和“長時記憶”。從認(rèn)知神經(jīng)科學(xué)角度看，短時記憶是由刺激產(chǎn)生神經(jīng)元狀態(tài)的持續(xù)性變化，而長時記憶是指神經(jīng)元之間突觸的連接和強(qiáng)度變化[29]；從智能應(yīng)用角度看，短時記憶由當(dāng)前環(huán)境數(shù)據(jù)產(chǎn)生的狀態(tài)編碼更新和存儲，而長時記憶是對歷史信息進(jìn)行高度經(jīng)驗性概括的編碼，如概念、實體和結(jié)構(gòu)化知識的表示。
早期利用神經(jīng)網(wǎng)絡(luò)對信息進(jìn)行編碼記憶的模型注重于神經(jīng)記憶單元的結(jié)構(gòu)化設(shè)計，如在端到端編解翻譯模型中采用長短期記憶（LSTM）單元[30, 31]。該記憶單元采用累加器和門控神經(jīng)元進(jìn)行記憶細(xì)胞信息編碼的更新，其中遺忘門控神經(jīng)元決定細(xì)胞丟棄哪些編碼信息，輸入門控神經(jīng)元確定當(dāng)前時刻要更新的信息，狀態(tài)更新累加器神經(jīng)元由遺忘門和輸入門共同更新細(xì)胞狀態(tài)，而輸出門控神經(jīng)元則決定了當(dāng)前時刻細(xì)胞的輸出狀態(tài)。目前基于 LSTM 單元或其他相關(guān)改進(jìn)記憶單元已較好地應(yīng)用于各種編解碼任務(wù)，如對話系統(tǒng)[32]。
然而，神經(jīng)記憶模型將外部輸入信息壓縮到固定長度的向量化編碼中存在較大的局限性。當(dāng)外部信息量較大時，記憶編碼容易丟失細(xì)節(jié)信息，使得智能系統(tǒng)的語義解析能力變?nèi)鮗33, 34]。針對此問題，一種解決方案是增大記憶單元的編碼維度，如在機(jī)器翻譯任務(wù)中采用4 000 維以上神經(jīng)元[33]。該方法大大提高了神經(jīng)網(wǎng)絡(luò)模型的計算復(fù)雜度。
近兩年，幾位研究者從不同角度出發(fā)分別提出了采用非定長記憶單元和注意機(jī)制進(jìn)行信息動態(tài)提取和融合的解決方案[33, 35, 36]。其中，非定長記憶編碼是一種由輸入信息長度動態(tài)調(diào)整記憶編碼長度的模式，可改善傳統(tǒng)編解碼記憶模型中將輸入信息全部壓縮到一個固定長度編碼的局限性。采用非定長記憶編碼機(jī)制后，編碼端的記憶編碼量有所增加，若全部作為解碼端的輸入，反而會因為語義信息冗余而獲得較差性能。為此，研究者們相應(yīng)地提出了注意機(jī)制進(jìn)行動態(tài)地編碼信息融合。注意機(jī)制是由外部刺激引發(fā)注意轉(zhuǎn)變，從環(huán)境和非定長記憶編碼單元中選擇重要信息進(jìn)行融合，得到當(dāng)前時刻刺激下有限長度的語義向量。另外，在一些自動問答等任務(wù)中往往需要通過推理才能從記憶單元中挖掘到有用的語義信息，一些研究者又采用多輪注意機(jī)制迭代的方式從記憶單元中逐次激活語義信息完成推理，找到目標(biāo)信息[35, 37]。目前相關(guān)工作已分別在機(jī)器翻譯[33]、自動問答[35]和圖靈機(jī)模擬[36]等任務(wù)中取得了良好表現(xiàn)。
上述機(jī)制不但在自然語言處理領(lǐng)域存在深入研究和廣泛應(yīng)用的潛力，其中某些機(jī)制在其他認(rèn)知功能的建模方面也已取得了初步成果。例如注意機(jī)制在視覺信息處理的研究中已成為一個重要分支。人類視覺系統(tǒng)能夠在復(fù)雜場景中迅速地將注意力集中在顯著的視覺對象上，這個過程稱之為視覺選擇性注意。人類的視覺注意過程包括兩個方面：由刺激驅(qū)動的自下而上的視覺注意過程和由任務(wù)驅(qū)動的自上而下的視覺注意過程。目前的視覺注意計算模型集中在對自下而上的注意機(jī)制的建模，其中 Itti 的顯著圖模型[38, 39]最具有代表性，該模型將多種尺度下的多種特征通過中心-周邊算子得到顯著性度量結(jié)果。相對于自下而上的視覺注意計算模型，自上而下的視覺注意過程研究相對較少，其中的工作可以追溯到Y(jié)arbus 等人[40]，他們發(fā)現(xiàn)實驗者觀察照片時的眼動模式與被問的問題有關(guān)。有研究還發(fā)現(xiàn)大部分的注視點（fixation）集中在與任務(wù)相關(guān)的位置上。在自上而下的視覺注意計算模型方面主要的工作來自 Ittil 研究組[41, 42, 43]。
神經(jīng)網(wǎng)絡(luò)計算模型對推理、注意、記憶的借鑒雖然已在應(yīng)用層面取得了很好的效果，然而進(jìn)一步的發(fā)展還需要更為深刻地在機(jī)制與原理層面受腦研究的啟發(fā)。例如在推理方面，認(rèn)知神經(jīng)科學(xué)的研究就分別探討了不同形式的歸納推理、演繹推理的神經(jīng)機(jī)制[44, 45]。而對于記憶的探索，腦與神經(jīng)科學(xué)研究中也從不同視角對記憶進(jìn)行分門別類的研究，如發(fā)現(xiàn)支持長時記憶、短時記憶、工作記憶、陳述性記憶、程序性記憶等不同類型記憶的神經(jīng)環(huán)路和神經(jīng)機(jī)制上都具有較大差別[46]。對這些腦機(jī)制的深入探索與應(yīng)用必將為神經(jīng)網(wǎng)絡(luò)計算模型的進(jìn)一步發(fā)展帶來新的契機(jī)。
4、基于脈沖神經(jīng)網(wǎng)絡(luò)的腦區(qū)協(xié)同認(rèn)知模型研究
雖然來自神經(jīng)科學(xué)的啟發(fā)已在人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方面顯現(xiàn)出巨大潛力，但是僅借鑒神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)機(jī)制還不能夠完全支持實現(xiàn)類似于人腦的通用智能能力，其原因在于人類的認(rèn)知功能多種多樣，真正通用的類腦智能研究需要融合不同認(rèn)知功能對應(yīng)神經(jīng)機(jī)制和認(rèn)知行為機(jī)制的啟發(fā)，構(gòu)建面向通用智能的類腦認(rèn)知計算模型。
從神經(jīng)網(wǎng)絡(luò)出發(fā)的撓墻協(xié)同模型代表性工作是 2012年加拿大滑鐵盧大學(xué)研制的 SPAUN 腦模擬器[47]。SPAUN將 250 萬個神經(jīng)元模塊化地分割組織為 10 余個腦區(qū)，通過構(gòu)建不同的工作流實現(xiàn)了模擬筆跡、邏輯填空、工作記憶、視覺信息處理等能力。SPAUN 采用了簡化的 SNN，通過腦區(qū)之間模塊化的組織實現(xiàn)了特定認(rèn)知功能的初步建模。雖然相對其他模型而言，SPAUN 已經(jīng)部分接近真實大腦工作原理，但是該模型仍然具有極大的提升空間，主要表現(xiàn)在 3 個方面：（1）目前 SPAUN 感知區(qū)域全部用深度網(wǎng)絡(luò)代替，仍然是對感知功能粗略的建模；（2）SPAUN 針對不同的認(rèn)知任務(wù)繪制不同的工作流，不能自主決策任務(wù)的類型，不能對任務(wù)進(jìn)行自主建模；（3）SPAUN 腦區(qū)之間的連接是邏輯連接，沒有真正采用生物腦的約束，沒有實質(zhì)性地通過借助腦區(qū)之間的各種連接、腦的工作機(jī)制來提升智能水平。
人類多數(shù)高級認(rèn)知功能的實現(xiàn)都與腦皮層密切相關(guān)，許多認(rèn)知計算模型的研究希望構(gòu)建通用的皮層計算模型，并以此突破通用智能。其中分層時序記憶（HierarchicalTemporal Memory，HTM）模型便是其中的代表性工作[48]。該模型受皮層組織及皮層信息處理機(jī)制啟發(fā)，實現(xiàn)了對皮層的不同層次功能的初步建模。該模型整合了空間和時間編碼，與人類認(rèn)知功能更接近，可實現(xiàn)時序數(shù)據(jù)信息抽取和模態(tài)預(yù)測，目前已廣泛應(yīng)用于多種智能數(shù)據(jù)處理領(lǐng)域，如交通流量預(yù)測、股票交易數(shù)據(jù)預(yù)測、服務(wù)器流量預(yù)測等。然而，該模型對皮層層次所對應(yīng)功能只是進(jìn)行了粗略對應(yīng)，與真實皮層結(jié)構(gòu)仍有較大差距，且模型是對皮層微柱的建模，沒有腦區(qū)層次的啟發(fā)和協(xié)同機(jī)制，也沒有自動問題建模的能力，認(rèn)知功能的實現(xiàn)還無法達(dá)到自組織。
在構(gòu)建類腦認(rèn)知模型中，脈沖神經(jīng)網(wǎng)絡(luò)（SpikingNeural Network,SNN）被認(rèn)為是能接近仿生機(jī)制的神經(jīng)網(wǎng)絡(luò)模型，其模型基礎(chǔ)和運算方式與哺乳動物腦更為接近[49]。與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型最大的區(qū)別是：SNN 的神經(jīng)元以電脈沖的形式對信息進(jìn)行編碼，這更接近真實神經(jīng)元對信息的編碼方式。由于采用了此種方式進(jìn)行編碼，使得 SNN 能夠很好地編碼時間信息。考慮到 DNN 所忽略的很多生物規(guī)則可能恰恰是實現(xiàn)類腦智能的關(guān)鍵（如對于時間的編碼、抑制性神經(jīng)元在網(wǎng)絡(luò)中的特殊作用等），將這些生物規(guī)則加入到SNN 中將有可能使現(xiàn)有網(wǎng)絡(luò)獲得更強(qiáng)大的計算和任務(wù)適應(yīng)能力，這將是提升類腦神經(jīng)網(wǎng)絡(luò)模型最有效的手段與研究方向之一。
為了實現(xiàn)面向通用智能的類腦智能計算模型，中科院腦科學(xué)與智能技術(shù)卓越創(chuàng)新中心多個團(tuán)隊協(xié)同，圍繞SNN 自身模型的優(yōu)化和多腦區(qū)系統(tǒng)模型[47, 50]（圖 1）等，正在進(jìn)行類腦認(rèn)知計算模型的研制。在 SNN 優(yōu)化方面，將受生物現(xiàn)象啟發(fā)的部分學(xué)習(xí)規(guī)則加入到 SNN 的學(xué)習(xí)框架中來，以嘗試提升現(xiàn)有的 SNN 模型，并初見成效[51]。面向?qū)W習(xí)與記憶，構(gòu)建了前額葉與海馬區(qū)記憶模擬系統(tǒng)，面向感知-決策構(gòu)建了以基底神經(jīng)節(jié)若干腦區(qū)為核心的類腦強(qiáng)化學(xué)習(xí)系統(tǒng)。這些系統(tǒng)在微觀層面采用全脈沖神經(jīng)網(wǎng)絡(luò)實現(xiàn)，并引入了興奮性、抑制性神經(jīng)元模型、不同類型的突觸計算模型以及可塑性模型。在保持了結(jié)構(gòu)與機(jī)制類腦的基礎(chǔ)上，初步實現(xiàn)了認(rèn)知功能上表現(xiàn)出類人行為，如記憶模擬系統(tǒng)在實現(xiàn)記憶的同時表現(xiàn)出很好的抗噪性能，類腦強(qiáng)化學(xué)習(xí)系統(tǒng)在特定任務(wù)中學(xué)習(xí)效率接近人類被試平均水平。此外，還構(gòu)建了面向億級類腦神經(jīng)網(wǎng)絡(luò)建模的計算平臺，支持跨尺度的生物神經(jīng)網(wǎng)絡(luò)模擬與類腦認(rèn)知計算建模[52]（圖 2）。
圖1 鼠腦多尺度計算建模（包括213 個腦區(qū)、7 100 萬神經(jīng)元、腦區(qū)之間的連接權(quán)重依據(jù)生物實驗結(jié)果）
圖2 自主強(qiáng)化學(xué)習(xí)的多腦區(qū)協(xié)同計算模型應(yīng)用于無人機(jī)蔽障和機(jī)器人自主學(xué)習(xí)
多尺度、多腦區(qū)、多認(rèn)知功能融合的認(rèn)知計算模型與類人學(xué)習(xí)結(jié)合是實現(xiàn)類腦智能的一個重要方向，使智能系統(tǒng)不僅在模型結(jié)構(gòu)上類腦，而且具有類人終生學(xué)習(xí)的能力，從而自主產(chǎn)生智能認(rèn)知功能并不斷自適應(yīng)進(jìn)化。
5、關(guān)于類腦智能模型的進(jìn)一步思考
腦是自然界中最復(fù)雜的系統(tǒng)之一，由上千億（1011）神經(jīng)細(xì)胞（神經(jīng)元）通過百萬億（1014）突觸組成巨大網(wǎng)絡(luò)，實現(xiàn)感知、運動、思維、智力等各種功能。大量簡單個體行為產(chǎn)生出復(fù)雜、不斷變化且難以預(yù)測的行為模式（這種宏觀行為有時叫做涌現(xiàn)），并通過學(xué)習(xí)和進(jìn)化過程產(chǎn)生適應(yīng)，即改變自身行為以增加生存或成功的機(jī)會。類腦智能研究需要加強(qiáng)人工神經(jīng)網(wǎng)絡(luò)和生物神經(jīng)網(wǎng)絡(luò)在機(jī)構(gòu)、功能和學(xué)習(xí)機(jī)制上的融合，尤其迫切需要圍繞兩個方向進(jìn)行科研攻關(guān)。
（1）迫切需要發(fā)展更加高效能的新一代人工神經(jīng)網(wǎng)絡(luò)模型。目前 DNN 一定程度上已經(jīng)借鑒了神經(jīng)系統(tǒng)的工作原理，并具備相對完整的編解碼、學(xué)習(xí)與訓(xùn)練方法，但從發(fā)展和應(yīng)用的眼光看，該類模型還存在巨大的提升空間。而大部分 SNN 在學(xué)習(xí)與訓(xùn)練算法方面更多地借鑒了神經(jīng)元、突觸等微觀尺度的機(jī)制，其在學(xué)習(xí)方式上更加接近于無監(jiān)督學(xué)習(xí)，計算效能也比深度網(wǎng)絡(luò)高出一個量級，但由于網(wǎng)絡(luò)訓(xùn)練只考慮了兩個神經(jīng)元之間的局部可塑性機(jī)制，對介觀（如神經(jīng)元網(wǎng)絡(luò)連接、皮層結(jié)構(gòu)）、宏觀尺度（如腦區(qū)之間的網(wǎng)絡(luò)連接）的借鑒非常缺乏，因此在性能上與 DNN 等模型還存在一定差距。兩個模型都需要不斷從腦科學(xué)中吸取營養(yǎng)并不斷融合，發(fā)展出性能更好、效能更高的新一代人工神經(jīng)網(wǎng)絡(luò)模型。
（2）迫切需要發(fā)展可自適應(yīng)的類腦學(xué)習(xí)方法與認(rèn)知結(jié)構(gòu)。在類人認(rèn)知行為的機(jī)器學(xué)習(xí)方面，越來越多的研究著眼于提高神經(jīng)網(wǎng)絡(luò)、認(rèn)知計算模型和智能系統(tǒng)的自適應(yīng)能力。讓機(jī)器像人一樣不斷地從周圍環(huán)境對知識、模型結(jié)構(gòu)和參數(shù)進(jìn)行學(xué)習(xí)和自適應(yīng)進(jìn)化，是機(jī)器學(xué)習(xí)的最高目標(biāo)，這種學(xué)習(xí)方式被稱為終生學(xué)習(xí)（Life-Long Learning）或永不停止的學(xué)習(xí)（Never-Ending Learning）[53, 54]，里面混合監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)、增量學(xué)習(xí)、遷移學(xué)習(xí)、多任務(wù)學(xué)習(xí)、交互學(xué)習(xí)等多種靈活方式。最新的基于生成模型的貝葉斯程序?qū)W習(xí)[55]體現(xiàn)了人腦普遍的個例學(xué)習(xí)能力。認(rèn)知科學(xué)認(rèn)為，一個概念的形成具有組合性和因果性，因此認(rèn)知一個新概念時用到了已有的經(jīng)驗積累，從而具有個例的舉一反三能力。貝葉斯程序?qū)W習(xí)借鑒了這些認(rèn)知科學(xué)里的概念，對字符圖像進(jìn)行筆畫的分解和組合性的學(xué)習(xí)和推理，讓程序?qū)W會如何學(xué)習(xí)，從而能舉一反三地辨認(rèn)新樣例和產(chǎn)生新字符，在一個特定的視角通過了視覺圖靈測試。發(fā)展可持續(xù)的類人學(xué)習(xí)機(jī)制，需要通過腦科學(xué)建立適合這類學(xué)習(xí)機(jī)制的認(rèn)知結(jié)構(gòu)；同時直接從大網(wǎng)絡(luò)中通過學(xué)習(xí)演化出類腦的認(rèn)知結(jié)構(gòu)則更是期望的基礎(chǔ)性突破。
6、結(jié)語
本文從類腦智能研究的視角論述了腦與神經(jīng)科學(xué)對未來人工智能的啟發(fā)，隨后介紹了近年來在神經(jīng)網(wǎng)絡(luò)計算模型方面取得的進(jìn)展與發(fā)展趨勢，并簡要介紹了中科院先導(dǎo)專項支持下的類腦智能計算模型與方法研究的設(shè)想與進(jìn)展。類腦智能計算模型研究需要腦與神經(jīng)科學(xué)、人工智能與計算科學(xué)、器件與系統(tǒng)的科研人員深度實質(zhì)性協(xié)同與融合，才能夠真正設(shè)計并實現(xiàn)出機(jī)制類腦、行為類人的通用類腦智能計算模型。
關(guān)鍵詞：類腦智能，人工神經(jīng)網(wǎng)絡(luò)，記憶，注意和推理，脈沖神經(jīng)網(wǎng)絡(luò)，多腦區(qū)協(xié)同，自主學(xué)習(xí)
參考文獻(xiàn)（略）
聯(lián)系客服
