效仿人類大腦神經(jīng)結(jié)構(gòu)的類腦計(jì)算由于其在人工智能領(lǐng)域高效率和低能耗的特性，有望成為未來的大數(shù)據(jù)芯片構(gòu)架，已經(jīng)成為世界各國激烈爭奪的新前沿和新制高點(diǎn)。大腦是一個不斷進(jìn)化的生命體器官，具有顯著的可塑性。大腦的可塑性包括神經(jīng)元的形成以及突觸的形成，統(tǒng)稱為神經(jīng)再生。這一現(xiàn)象在人類和其他動物中已經(jīng)被廣泛發(fā)現(xiàn)，并且對于生物體的持續(xù)學(xué)習(xí)和腦損傷后神經(jīng)回路的修復(fù)至關(guān)重要。
關(guān)于神經(jīng)再生的早期研究主要集中在歌唱鳥（sing bird），這緣于這類鳥兒即使在成年后仍可在一生中隨季節(jié)不斷更換自己的歌曲曲目。這種可以終身學(xué)習(xí)的能力對于行為能力的提高和神經(jīng)系統(tǒng)恢復(fù)具有重要意義。假設(shè)我們可以在神經(jīng)電子器件中模仿這類動態(tài)神經(jīng)再生行為，我們就可以制造出能夠終身學(xué)習(xí)的“活機(jī)器”。
另外，傳統(tǒng)中靜態(tài)的、固定功能的神經(jīng)器件網(wǎng)絡(luò)在人工智能訓(xùn)練領(lǐng)域也有著明顯的不足。這類模型通常在固定靜態(tài)數(shù)據(jù)上進(jìn)行訓(xùn)練，因此在實(shí)際應(yīng)用過程中當(dāng)新數(shù)據(jù)以不斷增加的方式呈現(xiàn)給神經(jīng)網(wǎng)絡(luò)時，它會干擾前期學(xué)習(xí)的知識，導(dǎo)致性能不佳，被稱為災(zāi)難性遺忘。近期理論研究結(jié)果表明，制備一種動態(tài)的、多功能的、可以實(shí)現(xiàn)人工突觸和人工神經(jīng)元等多種神經(jīng)功能動態(tài)轉(zhuǎn)換的器件網(wǎng)絡(luò)可能有效地解決這一難題。并且進(jìn)一步研究發(fā)現(xiàn)，在提供相同訓(xùn)練資源的情況下，動態(tài)網(wǎng)絡(luò)與靜態(tài)網(wǎng)絡(luò)相比顯示出更好的學(xué)習(xí)性能。
在此研究領(lǐng)域背景下，由普渡大學(xué)（PurdueUniversity）材料工程學(xué)院Shriram Ramanathan教授團(tuán)隊(duì)聯(lián)合美國賓夕法尼亞州立大學(xué)、能源部阿貢國家實(shí)驗(yàn)室和布魯克海文國家實(shí)驗(yàn)室、加州大學(xué)圣克拉拉分校等研究團(tuán)隊(duì)，通過納秒級電壓脈沖在鈣鈦礦強(qiáng)關(guān)聯(lián)氧化物中驅(qū)動質(zhì)子遷移，成功的展示了電子器件中的動態(tài)神經(jīng)再生：在單器件中按需展示神經(jīng)元、神經(jīng)突觸和記憶電容器等不同功能，并且實(shí)現(xiàn)這些功能的動態(tài)電壓脈沖轉(zhuǎn)換。該研究成果于2022年2月4日以 “Reconfigurable perovskite nickelate electronics for artificial intelligence”為題, 以Research Article的形式發(fā)表于頂級期刊Science 。
文章通訊作者為北京航空航天大學(xué)教授張海天 (原普渡大學(xué)Gilbreth Research Fellow)、普渡大學(xué)博士生Tae Joon Park以及普度大學(xué)教授Shriram Ramanathan。Hai-Tian Zhang、Tae Joon Park、A. N. M. Nafiul Islam, Dat S. J. Tran, Sukriti Manna, Qi Wang 為共同第一作者。在同一期Science雜志中還推出了觀點(diǎn)評述，專門介紹和討論了這一最新的研究結(jié)果并提出了建設(shè)性的意見。
圖1. 神經(jīng)再生電子器件的工作示意圖
圖1展示了這一神經(jīng)再生動態(tài)器件的工作示意圖。稀土鈣鈦礦鎳酸鹽（如SmNiO3和NdNiO3）是一類在氫離子摻雜時可以產(chǎn)生室溫電子相變的強(qiáng)關(guān)聯(lián)量子材料。在氫離子摻雜后，可以通過電場調(diào)控這類材料中的氫離子分布，實(shí)現(xiàn)動態(tài)多功能神經(jīng)器件?；诘谝恍栽淼哪M工作也表明，氫離子在鎳基相變材料中存在著大量的亞穩(wěn)態(tài)（~125個），并且不同亞穩(wěn)態(tài)的能量分布大不相同，其能量分布區(qū)間高達(dá)160 meV/atom 。因此這些不同的亞穩(wěn)態(tài)對鎳基相變材料能帶調(diào)控行為也差別巨大，可以達(dá)到~0.9 eV的禁帶寬度調(diào)控區(qū)間。分子動力學(xué)分析也發(fā)現(xiàn)氫離子在不同亞穩(wěn)態(tài)之間的電場遷移動力學(xué)行為大不相同，其遷移能壘可以低至~0.2 eV或者高達(dá)~0.7 eV。低的遷移能壘有利于實(shí)現(xiàn)人工神經(jīng)突觸的模擬型（analog）漸變電阻行為；高的遷移能壘有利于實(shí)現(xiàn)人工神經(jīng)元的數(shù)字型（digital）突變電阻行為，從而在同一器件中實(shí)現(xiàn)多種神經(jīng)功能的可編譯性轉(zhuǎn)化與調(diào)控。通過電場我們可以控制氫離子在這些亞穩(wěn)態(tài)之間遷移，實(shí)現(xiàn)多種類腦計(jì)算功能。
為了展示這一動態(tài)多功能類腦器件的應(yīng)用實(shí)例，我們在Reservoir Computing (RC) 框架（圖 1(c)）中使用基于NdNiO3（NNO）器件的實(shí)驗(yàn)數(shù)據(jù)進(jìn)行機(jī)器學(xué)習(xí)。RC，一般稱為儲備池計(jì)算或者蓄水池計(jì)算，是一種受大腦啟發(fā)的機(jī)器學(xué)習(xí)架構(gòu)，可以解決傳統(tǒng)遞歸神經(jīng)網(wǎng)絡(luò) (RNN) 中常見的訓(xùn)練復(fù)雜性和參數(shù)爆表問題。訓(xùn)練結(jié)果表明，基于NNO的器件在MNIST, Isolated Spoken Digits和ECG Heartbeat等多種學(xué)習(xí)任務(wù)和應(yīng)用場景中均可以用更少的資源實(shí)現(xiàn)高效學(xué)習(xí)。此外，這一器件的多功能動態(tài)電場轉(zhuǎn)換特性為它開啟了在下一代人工智能構(gòu)架中的新應(yīng)用，比如動態(tài)神經(jīng)網(wǎng)絡(luò)領(lǐng)域。Grow-When-Required (GWR) 網(wǎng)絡(luò)（“按要求增長”自組織神經(jīng)網(wǎng)絡(luò)）就是這樣一個很好的例子（圖 1(d) 和圖2），它根據(jù)競爭性 Hebbian 學(xué)習(xí)創(chuàng)建新節(jié)點(diǎn)及其互連，并且擴(kuò)展了自組織神經(jīng)網(wǎng)絡(luò)的概念。這一網(wǎng)絡(luò)通過以無監(jiān)督的方式添加或刪除網(wǎng)絡(luò)節(jié)點(diǎn)，以準(zhǔn)確地逼近輸入數(shù)據(jù)。在實(shí)際模擬學(xué)習(xí)過程中，基于NNO的動態(tài)神經(jīng)網(wǎng)絡(luò)在消耗同樣資源的情況下的識別準(zhǔn)確率最高可以比靜態(tài)網(wǎng)絡(luò)高250%。
圖2. 基于動態(tài)神經(jīng)器件實(shí)驗(yàn)數(shù)據(jù)的GWR動態(tài)神經(jīng)網(wǎng)絡(luò)模擬
動態(tài)神經(jīng)網(wǎng)絡(luò)作為新興的神經(jīng)網(wǎng)絡(luò)概念，可以使AI機(jī)器在復(fù)雜多變的環(huán)境中比傳統(tǒng)的靜態(tài)網(wǎng)絡(luò)做出更準(zhǔn)確的決策。與此同時，多功能神經(jīng)器件可以在芯片面積和功率受限的硬件環(huán)境中簡化計(jì)算任務(wù)和人工智能電路設(shè)計(jì)。這一多功能動態(tài)器件未來將在動態(tài)環(huán)境的人工智能領(lǐng)域具有潛在應(yīng)用，例如自動駕駛、機(jī)器人、虛擬和增強(qiáng)現(xiàn)實(shí)等。
最后，特別感謝阿貢國家實(shí)驗(yàn)室APS光源的Hua Zhou博士和布魯克海文國家實(shí)驗(yàn)室的Shaobo Cheng博士和Yimei Zhu博士以及伊利諾伊大學(xué)芝加哥分校的Nan Jiang教授對該工作的大力協(xié)助。
論文鏈接：
https://www.science.org/doi/10.1126/science.abj7943
評論鏈接：
https://www.science.org/doi/10.1126/science.abn6196
聯(lián)系客服
