中文字幕理论片,69视频免费在线观看,亚洲成人app,国产1级毛片,刘涛最大尺度戏视频,欧美亚洲美女视频,2021韩国美女仙女屋vip视频

打開(kāi)APP
userphoto
未登錄

開(kāi)通VIP,暢享免費(fèi)電子書等14項(xiàng)超值服

開(kāi)通VIP
哺乳動(dòng)物-腦啟發(fā)的神經(jīng)形態(tài)運(yùn)動(dòng)-認(rèn)知神經(jīng)實(shí)現(xiàn)跨模態(tài)知覺(jué)增強(qiáng)
蔣成鵬,
劉佳琪,
姚妮,
上大曲,
劉璐,
李悅,
陸陽(yáng) &
徐文濤
自然通訊 volume14, 文章編號(hào): 1344 (2023) 引用本文
4749 訪問(wèn)
24 阿爾特公學(xué)
指標(biāo)details
抽象
由于多感官刺激的組合,神經(jīng)和行為反應(yīng)的感知增強(qiáng)在許多動(dòng)物物種中以不同的感覺(jué)方式被發(fā)現(xiàn)。通過(guò)模擬獼猴眼前庭線索的多感官整合以增強(qiáng)獼猴的空間感知,展示了一種基于柔性多感官神經(jīng)形態(tài)裝置的生物啟發(fā)運(yùn)動(dòng)認(rèn)知神經(jīng)。開(kāi)發(fā)了一種快速、可擴(kuò)展和溶液處理的制造策略來(lái)制備納米顆粒摻雜二維(2D)納米片狀薄膜,具有優(yōu)異的靜電門控能力和電荷載流子遷移率。使用該薄膜制備的多輸入神經(jīng)形態(tài)器件具有歷史依賴性的可塑性、穩(wěn)定的線性調(diào)制和時(shí)空積分能力。這些特性可確保并行、高效地處理編碼為尖峰并分配不同感知權(quán)重的雙峰運(yùn)動(dòng)信號(hào)。運(yùn)動(dòng)認(rèn)知功能通過(guò)使用編碼尖峰的平均觸發(fā)率和設(shè)備的突觸后電流對(duì)運(yùn)動(dòng)類型進(jìn)行分類來(lái)實(shí)現(xiàn)。對(duì)人類活動(dòng)類型和無(wú)人機(jī)飛行模式的識(shí)別演示表明,運(yùn)動(dòng)認(rèn)知性能符合通過(guò)多感官整合增強(qiáng)感知的生物合理原理。我們的系統(tǒng)可以潛在地應(yīng)用于感官機(jī)器人和智能可穿戴設(shè)備。
介紹
多感官整合是一個(gè)將不同感官模式的輸入結(jié)合起來(lái)的過(guò)程。它對(duì)于在許多動(dòng)物物種中實(shí)現(xiàn)高水平的感知和認(rèn)知至關(guān)重要1,2,3.感官線索的組合有利于感知和認(rèn)知能力,以完成決策、記憶和學(xué)習(xí)任務(wù),這些任務(wù)通過(guò)對(duì)時(shí)空相關(guān)神經(jīng)尖峰的并行、高效和事件驅(qū)動(dòng)的感覺(jué)處理在神經(jīng)元和突觸的可塑網(wǎng)絡(luò)中實(shí)現(xiàn)4,5.對(duì)哺乳動(dòng)物的行為和心理實(shí)驗(yàn)表明,跨感官模式的多種線索組合可有效提高知覺(jué)表現(xiàn),包括神經(jīng)和行為反應(yīng)6,78.這些觀察結(jié)果表明,由于多感官整合引起的知覺(jué)增強(qiáng)可能為在神經(jīng)形態(tài)電子學(xué)中實(shí)施生物學(xué)原理提供指導(dǎo)。9,10,11,1213,14.
最近對(duì)神經(jīng)形態(tài)多感官系統(tǒng)的嘗試集中在感覺(jué)(主要是觸覺(jué)、視覺(jué)和聽(tīng)覺(jué))和記憶功能的融合上,通過(guò)使用人工突觸、人工神經(jīng)元或人工感覺(jué)神經(jīng)來(lái)實(shí)現(xiàn)聯(lián)想學(xué)習(xí)、記憶保留和模式識(shí)別(主要涉及人工神經(jīng)網(wǎng)絡(luò))。15,16,17,18 .然而,多感官統(tǒng)合中時(shí)空處理、知覺(jué)增強(qiáng)、逆效和知覺(jué)加權(quán)的基本原理尚未得到充分研究和與生物學(xué)規(guī)則的比較。神經(jīng)科學(xué)研究表明,一些哺乳動(dòng)物可以最佳地整合眼部和前庭信息來(lái)解決空間認(rèn)知任務(wù)6,19,20,并在雙峰感覺(jué)刺激下獲得優(yōu)于單峰感覺(jué)刺激下的行為反應(yīng)(例如準(zhǔn)確性和反應(yīng)時(shí)間)21.然而,將跨模態(tài)感覺(jué)輸入的使用與認(rèn)知功能相結(jié)合的運(yùn)動(dòng)或空間感知在神經(jīng)形態(tài)硬件中很少得到研究。預(yù)計(jì)在神經(jīng)形態(tài)運(yùn)動(dòng)感知系統(tǒng)中同時(shí)實(shí)現(xiàn)神經(jīng)元功能、認(rèn)知智能和多感官增強(qiáng)將是其向先進(jìn)機(jī)器人應(yīng)用發(fā)展的巨大飛躍。22, 可穿戴電子產(chǎn)品23和智能界面24,其中節(jié)能傳感和實(shí)時(shí)識(shí)別是非??扇〉摹?div style="height:15px;">
在這里,我們報(bào)告了一種生物啟發(fā)的運(yùn)動(dòng)認(rèn)知神經(jīng),它使用靈活的多感官神經(jīng)形態(tài)裝置來(lái)模擬不同感官線索的整合。開(kāi)發(fā)了一種簡(jiǎn)單且可擴(kuò)展的制備方法,以制備納米顆粒摻雜二維(2D)納米片的半導(dǎo)體薄膜。得益于二維材料的電荷捕獲效應(yīng)和制備方案的溶液處理特性,開(kāi)發(fā)了一種高性能的柔性神經(jīng)形態(tài)器件,具有歷史依賴性的可塑性、穩(wěn)定的線性調(diào)制和時(shí)空積分能力。加速度和角速度的雙峰運(yùn)動(dòng)信號(hào),編碼為時(shí)空尖峰序列并分配不同的感知權(quán)重(感官線索權(quán)重),被發(fā)送到雙柵突觸晶體管,從而實(shí)現(xiàn)多感官信息的并行和基于事件的處理。利用突觸電子設(shè)備的硬件輸出,該系統(tǒng)能夠完成運(yùn)動(dòng)識(shí)別任務(wù),包括人類活動(dòng)識(shí)別和無(wú)人機(jī)飛行模式識(shí)別。此外,其他類型的感覺(jué)線索(如視覺(jué)-前庭整合和振動(dòng)觸覺(jué)-前庭整合)的多感官整合也可以在我們的系統(tǒng)中實(shí)現(xiàn)。我們的系統(tǒng)在雙峰感覺(jué)條件下(整合了兩種感覺(jué)輸入)下的識(shí)別精度高于在單峰感覺(jué)條件下(每種感覺(jué)輸入都是分離的),并表現(xiàn)出反作用效,從而通過(guò)多感官整合復(fù)制了感知增強(qiáng)的生物學(xué)原理。
結(jié)果
仿生神經(jīng)形態(tài)運(yùn)動(dòng)認(rèn)知神經(jīng)
我們的生物啟發(fā)神經(jīng)形態(tài)運(yùn)動(dòng)認(rèn)知神經(jīng)的靈感來(lái)自運(yùn)動(dòng)和空間感知的感官線索的跨模態(tài)整合。在獼猴中,環(huán)境中的自我運(yùn)動(dòng)在內(nèi)耳前庭中調(diào)用慣性刺激,在視網(wǎng)膜中調(diào)用視覺(jué)刺激(圖)。1一)6,25.前庭慣性和視覺(jué)速度信息被轉(zhuǎn)換成攜帶不同時(shí)空模式的尖峰列車,然后通過(guò)感官知覺(jué)和認(rèn)知的過(guò)程在神經(jīng)元和突觸的網(wǎng)絡(luò)中進(jìn)行處理26.來(lái)自兩種不同感官模式的信息整合導(dǎo)致有關(guān)運(yùn)動(dòng)和空間感知的神經(jīng)和行為反應(yīng)增強(qiáng)。
無(wú)花果。1:生物啟發(fā)的神經(jīng)形態(tài)運(yùn)動(dòng)-認(rèn)知神經(jīng)與獼猴的眼-前庭跨模態(tài)感覺(jué)神經(jīng)的比較。
a 前庭和視網(wǎng)膜獲得的慣性和視覺(jué)速度信號(hào)在神經(jīng)元和突觸之間以時(shí)空模式的尖峰列車形式傳遞,最后傳遞到位于大腦各個(gè)皮質(zhì)和皮質(zhì)下區(qū)域的頭部方向細(xì)胞和角度-頭部-速度細(xì)胞,通過(guò)多感官增強(qiáng)實(shí)現(xiàn)運(yùn)動(dòng)和空間認(rèn)知的高級(jí)功能。b 由慣性測(cè)量單元 (IMU) 傳感器、靈活的尖峰編碼電路和靈活的多感官突觸晶體管構(gòu)建的仿生神經(jīng)形態(tài)運(yùn)動(dòng)認(rèn)知神經(jīng)。IMU傳感器中的加速度計(jì)和陀螺儀檢測(cè)到的加速度和角速度信號(hào)被編碼為兩個(gè)時(shí)空尖峰序列,然后發(fā)送到突觸晶體管的兩個(gè)柵極。運(yùn)動(dòng)認(rèn)知是使用硬件輸出以連續(xù)的、神經(jīng)形態(tài)的、基于事件的方式實(shí)現(xiàn)的。
在我們的系統(tǒng)中,加速度和角速度的運(yùn)動(dòng)信號(hào)分別由慣性測(cè)量單元(IMU)傳感器的加速度計(jì)和陀螺儀獲得(圖)。1b),其方式類似于眼前庭系統(tǒng)。首先,通過(guò)基于微控制器的柔性尖峰編碼電路,使用尖峰速率編碼方法,將對(duì)應(yīng)于兩種感官模式(加速度和旋轉(zhuǎn))的雙峰運(yùn)動(dòng)信號(hào)轉(zhuǎn)換為兩個(gè)時(shí)空尖峰序列(圖)。S1)19,27,28,然后這兩個(gè)尖峰序列通過(guò)為不同的感覺(jué)模式分配感知權(quán)重來(lái)傳輸?shù)饺嵝酝挥|晶體管的雙門。兩個(gè)尖峰序列的時(shí)間相關(guān)性和時(shí)間模式會(huì)影響突觸晶體管的突觸增強(qiáng)行為,從而影響器件輸出(突觸后電流)。通過(guò)這種方式,該設(shè)備實(shí)現(xiàn)了多感官整合功能。運(yùn)動(dòng)類型的識(shí)別是通過(guò)平均編碼尖峰的突觸前放電速率并以基于事件的方式讀取設(shè)備的突觸后電流來(lái)實(shí)現(xiàn)的,從而實(shí)現(xiàn)跨不同感官模式的運(yùn)動(dòng)信息的神經(jīng)形態(tài)認(rèn)知感知。
靈活的多感官突觸晶體管
突觸晶體管(圖。2a)具有由兩個(gè)側(cè)柵、藻酸鹽離子凝膠、納米顆粒摻雜的2D納米片通道(N型)和叉指源和漏極組成的雙柵極結(jié)構(gòu)。兩個(gè)側(cè)柵通過(guò)海藻酸鹽離子凝膠耦合到通道29,30和最終設(shè)備(圖。2b)通過(guò)SnO的旋涂法制備2-納米顆粒/鉬2-柔性基板上的納米片。離子凝膠是由海藻酸鈉的天然材料通過(guò)離子交聯(lián)制備的軟水凝膠。離子凝膠的頻率相關(guān)電容(圖)。S2)具有 1.03 μF cm 的大電容?2即使在 1 kHz 下,這歸因于由移動(dòng)離子誘導(dǎo)的雙電層 (EDL) 的形成31,32.在高頻外加電壓下形成EDL界面層有利于靜電調(diào)制。溶液處理制造協(xié)議允許在 100 英寸柔性基板上并行和大規(guī)模制備 4 個(gè)器件陣列(圖S3)。
無(wú)花果。2:突觸晶體管的表征和性能。
a 設(shè)備結(jié)構(gòu)示意圖。b 在柔性基板上制成陣列的器件的照片。c 錫諾的透射電鏡圖像2納米顆粒。d MoS的高分辨率透射電鏡2納米片顯示測(cè)得的晶格間距可以索引到(100)平面。插圖顯示了單個(gè) MoS 的 TEM 圖像2納米片。e 鉬的紫外-可見(jiàn)吸收光譜2納米片顯示四個(gè)吸收峰,這是具有三角棱柱結(jié)構(gòu)(2H相)的過(guò)渡金屬硫族化合物的特征。f 錫諾的XRD圖譜2-納米顆粒/鉬2-納米片狀薄膜。g 膠片的光學(xué)顯微鏡。插圖顯示了在 MoS 上獲取的拉曼映射2高峰 408 厘米?1(比例尺:10 μm)。h 電影的SEM圖像。插圖顯示了特寫的 SEM 圖像(比例尺:500 nm)。i 設(shè)備的傳輸曲線。我d,我g和 V千分別表示漏極電流、柵極漏電流和閾值電壓。j 器件的尖峰數(shù)依賴性可塑性。PSC 代表突觸后電流。k峰值速率依賴于器件的塑性。l 設(shè)備的周期間變化。m BCM 規(guī)則是通過(guò)向器件施加具有不同頻率的正尖峰序列 (7 V) 來(lái)實(shí)現(xiàn)的。ΔPSC代表突觸后電流的變化。n 通過(guò)在四個(gè)正尖峰序列中的每一個(gè)之后應(yīng)用負(fù)尖峰序列 (?2.5 V) 來(lái)重置器件,從而抑制 BCM 規(guī)則。i–n測(cè)量是通過(guò)在1.0 V偏置下對(duì)器件的單柵極(Gate75)施加電壓尖峰來(lái)進(jìn)行的。
氧化鐮的形態(tài)2納米顆粒(圖。2c) 和 MoS2納米片(圖。2d和圖。S4)使用透射電子顯微鏡(TEM)進(jìn)行研究。MoS 的綠色2分散(圖。S5)以及其紫外-可見(jiàn)光譜的可見(jiàn)光范圍吸收(圖)。2e) 表示存在薄半導(dǎo)體 MoS2(2H相)33,34.MoS的光致發(fā)光光譜2納米片(圖。S6)在光子能量為1.9 eV時(shí)具有突出的峰值,這與層狀MoS的帶隙一致2.鉬的厚度2納米片測(cè)量為6納米,對(duì)應(yīng)于九層(圖)。S7)。為了表征晶體管溝道,SnO的混合物2納米顆粒和鉬2納米薄片在硅上旋涂成薄膜。X射線衍射圖(圖)。2f) 表示存在 SnO2和 MoS2.光學(xué)顯微鏡(圖)2g),408 cm 拉曼光譜映射?1(對(duì)應(yīng)于 A1克MoS 的峰值2;無(wú)花果。2g插圖)和原子力顯微鏡(AFM;無(wú)花果。S8)揭示了MoS的聚集體(高達(dá)600 nm)2納米片均勻分布在基材表面上。掃描電子顯微鏡(SEM;無(wú)花果。2h)表示納米片以分散聚集體的形式形成,而納米顆粒緊密堆積為具有納米紋理的連續(xù)膜(圖)。S9)。
首先研究了該器件的晶體管特性。傳遞曲線(圖。2i)顯示逆時(shí)針磁滯較大(4μA時(shí)窗口為5.1 V),這是由海藻酸鹽凝膠中移動(dòng)離子的遷移和弛豫動(dòng)力學(xué)的時(shí)間滯后引起的35.器件具有閾值電壓 (V千) 的 2 V,這意味著 5 V 的晶體管-晶體管邏輯 (TTL) 電壓足以打開(kāi)器件。該器件還具有高開(kāi)/關(guān)比 (1130)、低漏電流 (Id/我g= 19),以及不錯(cuò)的載體移動(dòng)性(μ = 0.3 cm2V?1s?1),以及這些特征(圖。S10a)可以與其他電解質(zhì)門控柔性晶體管競(jìng)爭(zhēng)2336.相比之下,使用純SnO制造的控制裝置的傳遞曲線2納米粒子顯示出較差的器件特性(圖。S10b),包括行動(dòng)不便(μ = 0.06 cm2V?1s?1)和更窄的遲滯窗口(2 μA時(shí)為8.1 V)。這種差異表明 MoS2納米片增強(qiáng)了離子/電子靜電耦合下的載流子捕獲,并產(chǎn)生了改進(jìn)的特性,包括遷移率和靜電門控37.納米片尺寸對(duì)器件性能的影響(圖)。S11和表S1)在補(bǔ)充說(shuō)明1中討論。
然后研究了該裝置的突觸特征。漏極電流,定義為突觸后電流(PSC),通過(guò)向一個(gè)柵極(Gate1)施加電壓尖峰來(lái)調(diào)制。正尖峰(7 V,50 ms)具有激勵(lì)效應(yīng),如配對(duì)脈沖促進(jìn)(PPF)效應(yīng)所示(圖)。S12)。增加正電壓尖峰的數(shù)量或頻率會(huì)導(dǎo)致突觸后電流增加,從而增加尖峰數(shù)量依賴性可塑性(SNDP;無(wú)花果。2j)和峰值速率依賴性塑性(SRDP;無(wú)花果。2k) 得到確認(rèn)。請(qǐng)注意,使用純SnO制造的控制裝置2納米顆粒顯示出惡化的突觸特征(圖。S13)。在電壓尖峰的刺激停止后,突觸后電流的衰減過(guò)程可以很好地?cái)M合到記憶喪失曲線上(圖)。S14)典型時(shí)間常數(shù)為0.4秒,在人類感官記憶(0.2-3秒)的范圍內(nèi)。周期間變化(圖)2l)通過(guò)反復(fù)施加30個(gè)正尖峰和30個(gè)負(fù)尖峰進(jìn)行評(píng)估,該器件表現(xiàn)出多級(jí)電導(dǎo)狀態(tài)(30),小周期間變化(5.3%),電導(dǎo)變化大(G.max/G最小~130)和線性增強(qiáng)(在圖中評(píng)估)。S15),這是理想突觸裝置的理想特性38.所制造的裝置在應(yīng)用100個(gè)周期的尖峰序列或在環(huán)境條件下儲(chǔ)存3天后,突觸反應(yīng)顯示出微小的變化(圖)。S16),表明其長(zhǎng)期戶外使用具有很高的運(yùn)行可靠性和穩(wěn)定性。關(guān)于柔性特性,裝置的突觸特性(圖。S17)表現(xiàn)出高彎曲穩(wěn)定性(<5%變化),從而使其在柔性電子產(chǎn)品中具有潛在的應(yīng)用。
在神經(jīng)科學(xué)中,Bienenstock-Cooper-Munro(BCM)規(guī)則表明,突觸權(quán)重(突觸強(qiáng)度)的調(diào)節(jié)與可調(diào)閾值的頻率相關(guān),因?yàn)樗艿缴窠?jīng)活動(dòng)歷史的影響。39,40,41.因此,我們實(shí)施了BCM規(guī)則(圖)。2m),分別以 10、5、2 和 5 Hz 的頻率施加四組尖峰序列(十個(gè)連續(xù)的正尖峰)。第二和第四個(gè)尖峰序列盡管具有相同的頻率,但由于先前(第一和第三個(gè))尖峰序列的影響,引起不同的突觸反應(yīng)(ΔPSC),因此在這種操作模式下裝置的突觸可塑性是歷史依賴性的。相反,在四個(gè)正尖峰序列中的每一個(gè)之后,額外應(yīng)用負(fù)尖峰序列(顯示抑制作用)迅速將突觸后電流降低到靜止水平(圖)。2n),從而抑制BCM效應(yīng)。因此,突觸可塑性可以通過(guò)這種復(fù)位操作進(jìn)行調(diào)整,這對(duì)于以基于事件的方式調(diào)整設(shè)備的響應(yīng)性很有用。由于SnO的紫外線響應(yīng)特性,該器件還顯示出在光脈沖刺激下的增強(qiáng)行為2納米顆粒(圖。S18),并且裝置的突觸響應(yīng)可以通過(guò)光脈沖的強(qiáng)度或數(shù)量來(lái)調(diào)制(圖)。S19)。
總體而言,使用0D-納米顆粒/2D-納米片狀混合物可實(shí)現(xiàn)溶液可加工、低溫、可擴(kuò)展的柔性突觸裝置制造。此外,所提出的突觸晶體管在器件特性和突觸功能方面優(yōu)于使用溶液可加工2D材料的其他突觸器件(表S2)。
然后,我們?cè)u(píng)估了響應(yīng)時(shí)空尖峰列車的設(shè)備輸出。我們的設(shè)備模擬多樹(shù)突狀感覺(jué)神經(jīng)元(圖。3a)能夠進(jìn)行時(shí)空整合,因?yàn)樗膬蓚€(gè)側(cè)門可以單獨(dú)接收感官刺激(圖3a)。20b和圖。S1)??拷O的柵極喚起的突觸后電流大約是靠近源極的另一個(gè)柵極引起的電流的兩倍,前門和后門,分別定義為主柵極(Gate2)和次要柵極(Gate<>),將根據(jù)具體應(yīng)用分配給不同的感官模式。這類似于基于感官線索的可靠性分配感知權(quán)重,這在獼猴的自我運(yùn)動(dòng)感知過(guò)程中觀察到25.在我們的設(shè)備中,可以通過(guò)利用尖峰依賴性可塑性或歷史依賴性可塑性的特性來(lái)調(diào)節(jié)感知權(quán)重(圖)。S21和表S3)。時(shí)空識(shí)別是通過(guò)將兩個(gè)具有不同時(shí)序(時(shí)間延遲Δt)的成對(duì)尖峰序列應(yīng)用于兩個(gè)門來(lái)實(shí)現(xiàn)的,從而對(duì)器件的突觸后電流施加(圖)。3c) 對(duì)這些案件的反應(yīng)不同。
無(wú)花果。3:突觸晶體管的時(shí)空識(shí)別能力。
具有多個(gè)樹(shù)突的生物神經(jīng)元的插圖。b 通過(guò)分別向兩個(gè)柵極(Gate5:主柵極;門 50:次要門)。插圖顯示了設(shè)備的特寫照片。這兩個(gè)門被分配給不同的感官模式(感知權(quán)重的分配)。c 當(dāng)將一系列具有不同時(shí)序(時(shí)間延遲 Δt: ?5.1, ?2.1, 0, 0.5, 0.0 s)的成對(duì)尖峰序列施加到兩個(gè)門(門 5 和門 1)時(shí),設(shè)備的突觸后電流 (PSC)。d 事件持續(xù)時(shí)間(N;無(wú)單位)、尖峰數(shù)(N1, N2)、平均點(diǎn)火率 (f1, f2;相對(duì)值,無(wú)單位)和突觸反應(yīng)(ΔPSC),在兩個(gè)具有時(shí)間延遲的尖峰序列的刺激下(Δt)。事件持續(xù)時(shí)間由峰值測(cè)量。e 與(c)中的五種情況相對(duì)應(yīng)的兩個(gè)尖峰列車的平均點(diǎn)火率。f 對(duì)應(yīng)于(c)中五種情況的裝置的突觸反應(yīng)(ΔPSC)。在多次試驗(yàn)中,兩個(gè)尖峰列車的時(shí)空模式進(jìn)行了很好的分類(n = 5),圖中的誤差條代表標(biāo)準(zhǔn)差(SD)。
在哺乳動(dòng)物的大腦中,頭部方向細(xì)胞與空間記憶和認(rèn)知有著錯(cuò)綜復(fù)雜的聯(lián)系,它們根據(jù)它們的平均放電率分為各種類型,例如常規(guī)尖峰和快速尖峰。42.這里采用神經(jīng)科學(xué)中的這種時(shí)間平均技術(shù)來(lái)分析尖峰序列的特征(圖)。通常持續(xù)幾秒鐘的事件決定了對(duì)設(shè)備任一門(Gate3 和 Gate1)的尖峰激勵(lì)的持續(xù)時(shí)間,事件持續(xù)時(shí)間以尖峰持續(xù)時(shí)間為單位進(jìn)行測(cè)量,然后是平均觸發(fā)率 (f1, f2;相對(duì)值)是通過(guò)對(duì)事件持續(xù)時(shí)間內(nèi)的峰值數(shù)求平均值得出的。此外,突觸反應(yīng)通過(guò)事件發(fā)生后突觸后電流(ΔPSC)的變化來(lái)量化。平均點(diǎn)火率(圖。3e)和突觸反應(yīng)(圖3e)。圖3f)中的<>種情況。<>c. 平均發(fā)射率(f1和 f2)被視為突觸前特征,它簡(jiǎn)要表示兩個(gè)尖峰序列之間的時(shí)間延遲;但是,它無(wú)法識(shí)別首先到達(dá)的尖峰列車。突觸反應(yīng)(ΔPSC)被視為突觸后的特征,可以辨別兩個(gè)尖峰序列的時(shí)間差異和順序,因此即使考慮到從多次試驗(yàn)中獲得的偏差,它也可以準(zhǔn)確地對(duì)所有五種時(shí)空模式進(jìn)行分類(圖中的誤差線)。3f). 值得注意的是,同時(shí)應(yīng)用兩個(gè)無(wú)時(shí)間延遲的尖峰序列導(dǎo)致顯著較高的平均發(fā)射率和突觸反應(yīng),揭示了時(shí)間全等尖峰序列的促進(jìn)作用。最重要的是,我們的設(shè)備可以并行處理具有不同時(shí)空模式的兩個(gè)輸入尖峰,這表明它可用于多感官整合和時(shí)空識(shí)別。此外,我們的雙門突觸裝置在神經(jīng)功能、制造方案、機(jī)械靈活性和應(yīng)用方面與之前報(bào)道的多門突觸裝置(在多門控模式下模擬異質(zhì)突觸和穩(wěn)態(tài)可塑性)不同。43,44,45.
人類活動(dòng)的運(yùn)動(dòng)認(rèn)知
一種仿生的神經(jīng)形態(tài)運(yùn)動(dòng)認(rèn)知神經(jīng)(圖。如圖4a)組成由IMU傳感器、尖峰編碼電路和突觸晶體管組成。尖峰編碼電路和突觸晶體管都是在柔性襯底上制造的,這些襯底可以附著在人體皮膚上(圖)。4b). IMU傳感器和尖峰編碼電路都與藍(lán)牙模塊接口,以允許運(yùn)動(dòng)信號(hào)的無(wú)線傳輸,這種設(shè)計(jì)可用于分布式傳感器網(wǎng)絡(luò)。方法中解釋了多感官統(tǒng)合的細(xì)節(jié)。至于神經(jīng)形態(tài)電子學(xué)的實(shí)現(xiàn),考慮到前者的脈沖驅(qū)動(dòng)和并聯(lián)操作,我們使用柔性突觸晶體管的方法在電路復(fù)雜性、能耗和器件靈活性方面優(yōu)于使用互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)器件的傳統(tǒng)方法(表S4)。
無(wú)花果。4:在人類活動(dòng)識(shí)別中的應(yīng)用。
生物啟發(fā)的神經(jīng)形態(tài)運(yùn)動(dòng)認(rèn)知神經(jīng)的硬件圖。示出了執(zhí)行運(yùn)動(dòng)識(shí)別任務(wù)期間的信息流。b 附著在人體皮膚上的柔性突觸電子設(shè)備的照片。c 在跑步活動(dòng)期間獲得的加速度(Acc)和陀螺儀(陀螺儀)信號(hào)。d 編碼的尖峰序列(Acc Spike、Gyro Spike)對(duì)應(yīng)于(c)中的雙峰運(yùn)動(dòng)信號(hào)(Acc、Gyro)。當(dāng)人類受試者進(jìn)行 e 跳躍、f 跳繩、g 軀干旋轉(zhuǎn)、h 跑步、i 競(jìng)走和 j 摔倒時(shí)突觸晶體管的 e-j 突觸后電流 (PSC)。k 兩個(gè)硬件輸出的可視化(加速度尖峰的平均觸發(fā)率 f行政協(xié)調(diào)會(huì),陀螺尖峰的平均發(fā)射速率f陀螺) 在 2D 坐標(biāo)中。l 三個(gè)硬件輸出的可視化(f行政協(xié)調(diào)會(huì), f陀螺,突觸響應(yīng)ΔPSC)在3D坐標(biāo)中,說(shuō)明了高維分類策略。六種顏色的數(shù)據(jù)群集對(duì)應(yīng)于不同的活動(dòng)類型。m 顯示人類活動(dòng)識(shí)別結(jié)果的混淆矩陣。
為了證明我們系統(tǒng)的運(yùn)動(dòng)認(rèn)知能力,我們進(jìn)行了人類活動(dòng)識(shí)別實(shí)驗(yàn)。43.IMU傳感器連接到人類受試者的胸部,受試者以典型的休息時(shí)間為>2秒連續(xù)進(jìn)行不同的活動(dòng)。對(duì)于感知加權(quán),沿垂直(重力)方向的加速度和角速度信號(hào)分別分配給主要和次要感官模式。當(dāng)?shù)却龝r(shí)間后未檢測(cè)到運(yùn)動(dòng)信號(hào)時(shí)(T等) 1.0 秒,應(yīng)用負(fù)尖峰以復(fù)位器件(補(bǔ)充說(shuō)明 2)。在活動(dòng)期間獲得的雙峰運(yùn)動(dòng)信號(hào)(例如,跑步;無(wú)花果。4c)被有效地轉(zhuǎn)換為瞬時(shí)頻率編碼的尖峰列車(圖)。4d)及其時(shí)間模式,通過(guò)相關(guān)系數(shù)進(jìn)行評(píng)估(表S5)46,保存完好??偣策M(jìn)行了跳躍、跳繩、軀干旋轉(zhuǎn)、跑步、競(jìng)走和摔倒等六種人類活動(dòng)。六種活動(dòng)的典型雙峰運(yùn)動(dòng)信號(hào)如圖所示。S22a–f,以及相應(yīng)的突觸后電流如圖所示。4e–j.突觸后電流的持續(xù)時(shí)間和幅度分別表示事件持續(xù)時(shí)間和刺激強(qiáng)度。重復(fù)執(zhí)行六項(xiàng)活動(dòng)中的每一項(xiàng)都完成了一個(gè)訓(xùn)練過(guò)程(圖)。S23),并記錄硬件輸出以得出對(duì)活動(dòng)類型進(jìn)行分類的決策邊界。當(dāng)突觸前信號(hào),包括加速度和陀螺尖峰的平均發(fā)射速率(f行政協(xié)調(diào)會(huì)和 f陀螺)用于分類(圖。4k),某些活動(dòng)類型重疊(例如,跳繩和跳繩),無(wú)法分類。相反,當(dāng)突觸前和突觸后信號(hào)(f行政協(xié)調(diào)會(huì), f陀螺和ΔPSC)被利用并映射到高維空間(圖)。4l),所有六種活動(dòng)類型彼此不同(決策邊界:表S6)。因此,為確保準(zhǔn)確分類,三個(gè)硬件輸出(f行政協(xié)調(diào)會(huì), f陀螺和 ΔPSC) 用于推導(dǎo)決策邊界。在訓(xùn)練過(guò)程之后,通過(guò)執(zhí)行不同的活動(dòng)來(lái)實(shí)現(xiàn)測(cè)試過(guò)程(圖S24),并使用決策樹(shù)方法通過(guò)比較操作來(lái)識(shí)別相應(yīng)的活動(dòng)類型(圖)。S25)。實(shí)驗(yàn)結(jié)果以混淆矩陣的形式呈現(xiàn)(圖。4m)表明總識(shí)別準(zhǔn)確率高達(dá)0.94(使用和不使用ΔPSC的分類結(jié)果在圖中進(jìn)行了比較。S26和表S7)。我們系統(tǒng)的這種性能可以與之前報(bào)道的人機(jī)感知系統(tǒng)(表S8)相媲美,后者使用處理單元。通過(guò)優(yōu)化決策邊界,可以進(jìn)一步提高運(yùn)動(dòng)識(shí)別的準(zhǔn)確性(補(bǔ)充說(shuō)明3)(圖)。S27)或更改傳感器類型(圖。S28-S31)。此外,人體運(yùn)動(dòng)識(shí)別任務(wù)已經(jīng)使用同一批次制造的多個(gè)設(shè)備以及不同設(shè)備的相似突觸響應(yīng)(圖。S32,S33)以及它們的識(shí)別精度值(表S9)表明運(yùn)動(dòng)認(rèn)知方法是魯棒的。
我們進(jìn)一步對(duì)標(biāo)志信號(hào)的分類進(jìn)行了實(shí)驗(yàn),其中涉及復(fù)雜的運(yùn)動(dòng)序列(圖)。S34)。考慮到揮旗運(yùn)動(dòng)會(huì)產(chǎn)生旋轉(zhuǎn)慣量和角速度的時(shí)間相關(guān)信號(hào)(圖)。S35),突觸后電流的輪廓(圖。S36)描述這種運(yùn)動(dòng)的持續(xù)時(shí)間、順序和強(qiáng)度。對(duì)所有 26 個(gè)字母和相應(yīng)的硬件輸出 (f行政協(xié)調(diào)會(huì), f陀螺和 ΔPSC;典型值)以 3D 坐標(biāo)可視化(圖S37)表明代表26個(gè)字母的數(shù)據(jù)點(diǎn)可以相互區(qū)分(決策邊界:表S10)。此外,我們的系統(tǒng)還成功實(shí)現(xiàn)了手勢(shì)的分類(圖。S38、S39和表S11),表明其在智能界面中的潛在應(yīng)用。
空中機(jī)器人的運(yùn)動(dòng)認(rèn)知
為了展示對(duì)機(jī)器人智能的認(rèn)知感知能力,我們的系統(tǒng)使用四旋翼無(wú)人機(jī)進(jìn)行了測(cè)試(圖)。5a). 對(duì)于感知加權(quán),沿垂直(重力)方向的加速度信號(hào)被分配給主要感官模態(tài)。通過(guò)訓(xùn)練和測(cè)試過(guò)程實(shí)現(xiàn)了無(wú)人機(jī)飛行模式的識(shí)別(圖)。S40)使用硬件輸出,與以前類似。通過(guò)執(zhí)行旋轉(zhuǎn)上升操作進(jìn)行了初步實(shí)驗(yàn),該操作涉及恒定旋轉(zhuǎn)以及突然的加速和減速。檢測(cè)到的運(yùn)動(dòng)信號(hào)(圖。S41a)和編碼的尖峰列車(圖。S41b)兩者都表明加速度和角速度在此操作過(guò)程中是相關(guān)的。通過(guò)在不同的飛行模式下操作無(wú)人機(jī)進(jìn)行了進(jìn)一步的實(shí)驗(yàn),包括風(fēng)穩(wěn)定、碰撞穩(wěn)定、旋轉(zhuǎn)、上升和旋轉(zhuǎn)上升。運(yùn)動(dòng)信號(hào)(圖S42a–e)和突觸后電流(圖。5b–f)記錄了在這五種飛行模式下獲得的飛行。重復(fù)執(zhí)行五種飛行模式中的每一種都完成了訓(xùn)練過(guò)程(等待時(shí)間 T等1.5 秒)。同樣,2D 硬件輸出的可視化 (f行政協(xié)調(diào)會(huì), f陀螺;無(wú)花果。5g) 和 3D 坐標(biāo) (f行政協(xié)調(diào)會(huì), f陀螺和 ΔPSC;無(wú)花果。5h)揭示了高維分類使得區(qū)分無(wú)人機(jī)飛行模式變得更加容易(決策邊界:表S12)。混淆矩陣(圖。5i)表示該識(shí)別任務(wù)的總準(zhǔn)確率達(dá)到0.95(使用和不使用ΔPSC的分類結(jié)果在圖中進(jìn)行了比較。S26和表S7)。我們的突觸電子系統(tǒng)在檢測(cè)/識(shí)別無(wú)人機(jī)運(yùn)動(dòng)方面的性能可以與傳感器處理器系統(tǒng)相媲美,后者依賴于復(fù)雜的算法和計(jì)算資源(表S13)。此外,無(wú)人機(jī)運(yùn)動(dòng)分類任務(wù)已使用多個(gè)設(shè)備執(zhí)行(圖。S32,S33),實(shí)驗(yàn)結(jié)果表明,識(shí)別精度相當(dāng)高,不同設(shè)備之間的差異很小(表S9)。總體而言,運(yùn)動(dòng)認(rèn)知機(jī)制的高精度和魯棒性可歸因于設(shè)備間差異的低,這得益于可靠的制造路線、多感官整合方法的有效性以及突觸前和突觸后信號(hào)的組合使用進(jìn)行分類。
無(wú)花果。5:在無(wú)人機(jī)飛行模式識(shí)別中的應(yīng)用。
配備 IMU 傳感器的運(yùn)動(dòng)認(rèn)知四旋翼無(wú)人機(jī),可將雙峰運(yùn)動(dòng)信號(hào)無(wú)線傳輸?shù)郊夥寰幋a電路和突觸晶體管。無(wú)人機(jī)飛行模式的識(shí)別是通過(guò)尖峰編碼和運(yùn)動(dòng)信號(hào)的突觸處理來(lái)實(shí)現(xiàn)的。當(dāng)無(wú)人機(jī)以五種模式運(yùn)行時(shí),突觸晶體管產(chǎn)生的 b-f 突觸后電流 (PSC):b 風(fēng)穩(wěn)定、c 碰撞穩(wěn)定、d 旋轉(zhuǎn)、e 上升和 f 自旋上升。g 兩個(gè)硬件輸出的可視化(加速度尖峰的平均觸發(fā)率 f行政協(xié)調(diào)會(huì),陀螺尖峰的平均發(fā)射速率f陀螺) 在 2D 坐標(biāo)中。h 三個(gè)硬件輸出的可視化(f行政協(xié)調(diào)會(huì), f陀螺和突觸響應(yīng) ΔPSC) 在 3D 坐標(biāo)中。不同顏色的數(shù)據(jù)簇對(duì)應(yīng)于五種飛行模式。i 顯示無(wú)人機(jī)飛行模式識(shí)別結(jié)果的混淆矩陣。
多感官統(tǒng)合和感知增強(qiáng)
通過(guò)整合光流和前庭加速線索,與單峰感覺(jué)刺激(每個(gè)感覺(jué)輸入是分離的)相比,獼猴在雙峰感覺(jué)刺激(整合來(lái)自兩種模式的感覺(jué)輸入)下的運(yùn)動(dòng)和空間感知任務(wù)中表現(xiàn)出更好的行為反應(yīng)6,25.因此,為了量化我們系統(tǒng)中跨模態(tài)知覺(jué)增強(qiáng)的幅度,我們采用了多感官增強(qiáng)指數(shù)(MEI),該指數(shù)用于神經(jīng)科學(xué)中的多感官知覺(jué):
$${{{\rm{MEI}}}}}}=\frac{{R}_{{{\rm{bimodal}}}-{{\max }}({R}_{{{\rm{modal}}}1},\,{R}_{{{{\rm{modal}}}}2})}{{{{\max }}({R}_{{\rm{modal}}}1},\,{R}_{{\rm{modal}}}2})}$$
(1)
其中 R雙峰表示雙峰感覺(jué)刺激條件下的識(shí)別精度,R莫代爾1和 R莫代爾2表示單峰感覺(jué)刺激條件下的識(shí)別精度47.通過(guò)將單峰感覺(jué)刺激(加速度或角速度)施加到突觸晶體管上,并在單峰感覺(jué)條件下執(zhí)行運(yùn)動(dòng)識(shí)別任務(wù),進(jìn)行了額外的對(duì)照實(shí)驗(yàn)(圖。S43, S44)。結(jié)果(表S14)表明,雙峰感覺(jué)刺激下的識(shí)別準(zhǔn)確率高于單峰感覺(jué)刺激下的識(shí)別準(zhǔn)確率,跨模態(tài)整合的MEI增強(qiáng)在人類活動(dòng)識(shí)別中達(dá)到15%,在無(wú)人機(jī)飛行模式識(shí)別下達(dá)到25%。因此,關(guān)于運(yùn)動(dòng)認(rèn)知的跨模態(tài)感知增強(qiáng)在我們的系統(tǒng)中得到了證實(shí)。
神經(jīng)科學(xué)中多感官統(tǒng)合的另一個(gè)基本原理是逆效,它描述了跨模態(tài)知覺(jué)增強(qiáng)在弱刺激下很大,并隨著刺激強(qiáng)度的增加而降低26.我們進(jìn)一步研究了我們系統(tǒng)在不同人類活動(dòng)類型方面的雙峰感知增強(qiáng)(圖)。S43)。在下落運(yùn)動(dòng)的情況下觀察到識(shí)別性能的最大提升,對(duì)應(yīng)于最弱的刺激,因?yàn)樗氖录掷m(xù)時(shí)間最短,突觸反應(yīng)最低。在識(shí)別無(wú)人機(jī)飛行模式時(shí)也觀察到了類似的規(guī)則(圖。S44)。因此,確定了多感官統(tǒng)合與單感官反應(yīng)之間的反比關(guān)系4.
作為擴(kuò)展,使用我們的系統(tǒng)研究了從完全不同的傳感器獲得的其他感官線索的多感官整合。使用光流傳感器、振動(dòng)觸覺(jué)傳感器和 IMU 傳感器實(shí)現(xiàn)傳感模塊,可以檢測(cè)對(duì)應(yīng)于視覺(jué)、觸覺(jué)和前庭線索的多模態(tài)信號(hào)(圖)。S28)。前庭和視覺(jué)線索的雙峰感覺(jué)整合導(dǎo)致人類活動(dòng)的識(shí)別精度為0.96(圖)。S29)。同樣,前庭和振動(dòng)觸覺(jué)線索的雙峰感覺(jué)統(tǒng)合導(dǎo)致人類活動(dòng)的識(shí)別精度為0.95(圖)。S30)。與每個(gè)感覺(jué)線索分離的單峰感覺(jué)條件相比(圖)。S31),不同線索的雙峰感覺(jué)整合提高了識(shí)別精度,實(shí)現(xiàn)了感知增強(qiáng)(表S15、S16和補(bǔ)充注 4)。通過(guò)連接到所需的傳感模塊(前庭、光學(xué)和振動(dòng)觸覺(jué)),我們的系統(tǒng)可以潛在地用作模擬大腦中多感官神經(jīng)處理的一般神經(jīng)形態(tài)平臺(tái),從線索整合到因果推理。
討論
總之,我們展示了一種靈活的多感官突觸晶體管,并進(jìn)一步發(fā)展了一種生物啟發(fā)的神經(jīng)形態(tài)運(yùn)動(dòng)認(rèn)知神經(jīng),該神經(jīng)模擬了獼猴眼-前庭線索的多感官整合。該系統(tǒng)同時(shí)實(shí)現(xiàn)了神經(jīng)形態(tài)智能、認(rèn)知功能和對(duì)運(yùn)動(dòng)感知的感知增強(qiáng)。開(kāi)發(fā)了一種快速、可擴(kuò)展和溶液處理的方法,用于制造納米顆粒摻雜的 2D-納米片狀薄膜。得益于二維材料的電荷捕獲效應(yīng),利用該薄膜作為半導(dǎo)體通道,制備了一種高性能柔性神經(jīng)形態(tài)器件。該器件表現(xiàn)出改進(jìn)的載流子遷移率和靜電門控的電氣特性,以及歷史依賴性可塑性和時(shí)空識(shí)別能力的優(yōu)越突觸特性,能夠?qū)Χ喔泄佥斎脒M(jìn)行并行、突觸、基于事件的處理。以突觸前和突觸后信號(hào)為分類標(biāo)準(zhǔn),成功驗(yàn)證了對(duì)人類活動(dòng)類型和無(wú)人機(jī)飛行模式的識(shí)別,總準(zhǔn)確率分別為2.0和94.0。此外,通過(guò)改變系統(tǒng)中的傳感模塊實(shí)現(xiàn)視覺(jué)、觸覺(jué)和前庭線索的雙模感覺(jué)整合,所有這些都導(dǎo)致了運(yùn)動(dòng)識(shí)別的可靠和高精度性能。從本質(zhì)上講,該系統(tǒng)在生物學(xué)上是合理的,因?yàn)樗M了感覺(jué)線索的跨模態(tài)整合,并使用突觸前和突觸后信號(hào)實(shí)現(xiàn)認(rèn)知功能,其感知性能符合通過(guò)多感官整合增強(qiáng)感知的生物學(xué)原理。因此,我們的系統(tǒng)提供了一種新的范式,將認(rèn)知神經(jīng)形態(tài)智能與多感官感知相結(jié)合,應(yīng)用于感官機(jī)器人、智能可穿戴設(shè)備和人機(jī)交互設(shè)備。
方法
材料
少層 MoS2納米片(2H相,1毫克毫升)?1)通過(guò)液相去角質(zhì)制備并分散在水中,從XFNano定制并購(gòu)買。在分散體中加入乙醇(v / v 1:4)以降低表面張力。將納米片分散體在超聲浴中超聲處理30分鐘,然后在5×g下離心500分鐘,傾析上清液再次超聲處理15分鐘。MoS 的橫向尺寸2納米薄片測(cè)量為200-600nm。SnO的膠體分散體(15%)2水中的納米顆粒是從阿法埃莎購(gòu)買的,平均粒徑測(cè)量為~4納米。海藻酸鈉、乙酸和甘油是從TCI購(gòu)買的。
設(shè)備制造
為了制造半導(dǎo)體薄膜,MoS的混合物(v / v 10:1)2納米片狀分散體和氧化鉸2將納米顆粒分散體超聲處理15分鐘,然后在干凈的聚酰亞胺基板上以1000rpm旋涂,然后在80°C下烘烤1分鐘。旋涂過(guò)程重復(fù)兩次以確保樣品表面完全覆蓋,然后將樣品在110°C下在充滿氮?dú)獾氖痔紫渲型嘶?0分鐘。隨后使用陰影掩模通過(guò)熱蒸發(fā)沉積源、漏極和雙平面柵極,該掩模定義了長(zhǎng)度為 80 μm 的叉指通道。通過(guò)將海藻酸鈉粉末(0.06g)加入乙酸溶液(2重量%,4ml)中獲得海藻酸鹽溶液,然后在600°C下以70rpm攪拌混合物10分鐘。當(dāng)藻酸鹽溶解時(shí),滴加甘油(0.2g)。冷卻至室溫后,將粘性海藻酸鹽溶液滴鑄在干凈的載玻片上,然后在80°C下干燥40分鐘,該過(guò)程產(chǎn)生離子凝膠。通過(guò)使用切割成所需尺寸的離子凝膠覆蓋通道和柵極的區(qū)域來(lái)獲得最終裝置。該器件可以在單柵極或雙柵極模式下工作,其突觸響應(yīng)可以通過(guò)電或光脈沖調(diào)制。
多感官整合
使用市售的IMU模塊(BWT901,WitMotion)作為傳感器,它包括一個(gè)加速度計(jì)(XYZ軸),陀螺儀(XYZ軸),磁力計(jì)和一個(gè)藍(lán)牙模塊(用于無(wú)線通信)。加速度和角速度的雙峰運(yùn)動(dòng)信號(hào)以100 Hz的采樣率同時(shí)從傳感器獲取,并通過(guò)藍(lán)牙進(jìn)一步傳輸?shù)郊夥寰幋a電路。尖峰編碼電路在與低功耗微控制器(ATmega328P,Microchip)集成的定制柔性印刷電路板(FPCB)中實(shí)現(xiàn),該微控制器被編程為將雙峰運(yùn)動(dòng)信號(hào)轉(zhuǎn)換為具有時(shí)空模式的兩個(gè)尖峰序列(5 V)(尖峰轉(zhuǎn)換的偽代碼顯示在補(bǔ)充說(shuō)明5中)。對(duì)一軸加速度和角速度信號(hào)進(jìn)行編碼,并采用帶閾值的尖峰速率編碼來(lái)設(shè)置尖峰序列的瞬時(shí)頻率(25或50 Hz)。這種編碼策略可確保在尖峰轉(zhuǎn)換后很好地保留輸入信號(hào)的時(shí)間模式。隨后,對(duì)應(yīng)于兩種感覺(jué)模式(即慣性和速度)的兩個(gè)尖峰序列被發(fā)送到突觸晶體管的兩個(gè)柵極。最后,突觸晶體管在兩個(gè)尖峰序列的同時(shí)刺激下產(chǎn)生突觸后電流。這個(gè)過(guò)程在我們的神經(jīng)形態(tài)運(yùn)動(dòng)認(rèn)知系統(tǒng)中實(shí)現(xiàn)了兩個(gè)感覺(jué)線索的并行和有效整合,模擬了哺乳動(dòng)物大腦中的多感官整合過(guò)程。此外,通過(guò)更換我們系統(tǒng)中的傳感器可以獲得不同的感官線索。例如,使用光流、振動(dòng)觸覺(jué)和加速度計(jì)傳感器構(gòu)建傳感模塊,分別實(shí)現(xiàn)了對(duì)眼部、觸覺(jué)和前庭感官線索的采集。使用我們的系統(tǒng)實(shí)現(xiàn)了兩種不同感官線索的雙峰感覺(jué)統(tǒng)合(包括視覺(jué)-前庭線索的整合和振動(dòng)觸覺(jué)-前庭線索的整合)(補(bǔ)充注4)。
運(yùn)動(dòng)認(rèn)知設(shè)置
通過(guò)將IMU傳感器粘附在成人受試者的皮膚(胸部,前臂,手)上來(lái)識(shí)別人類活動(dòng),包括身體運(yùn)動(dòng),旗幟信號(hào)和手勢(shì)。無(wú)人機(jī)飛行模式的識(shí)別是通過(guò)將IMU傳感器安裝在略微修改的四軸飛行器無(wú)人機(jī)上進(jìn)行的(Tello,Ryze Tech;重量84克)。IMU傳感器獲取的雙峰運(yùn)動(dòng)信號(hào)通過(guò)藍(lán)牙無(wú)線發(fā)送到尖峰編碼電路,編碼為兩個(gè)電壓尖峰序列,并由突觸晶體管處理。當(dāng)?shù)却龝r(shí)間后未檢測(cè)到運(yùn)動(dòng)信號(hào)時(shí),該器件由負(fù)尖峰復(fù)位(T等).該器件的復(fù)位操作通過(guò)使用電容器-二極管電路實(shí)現(xiàn)(圖)。S45),產(chǎn)生負(fù)電壓尖峰(補(bǔ)充注2),而信號(hào)檢測(cè)功能直接在微控制器中實(shí)現(xiàn),可以用簡(jiǎn)單的電路進(jìn)一步代替。通過(guò)這種方式,設(shè)備可以以連續(xù)的、基于事件的方式運(yùn)行。為了完成識(shí)別任務(wù),執(zhí)行了一個(gè)訓(xùn)練過(guò)程來(lái)獲取分類的決策邊界。三個(gè)硬件輸出,包括加速度和陀螺尖峰的平均點(diǎn)火率(f行政協(xié)調(diào)會(huì)和 f陀螺)和裝置的突觸響應(yīng)(突觸后電流ΔPSC的變化)以相應(yīng)的運(yùn)動(dòng)類型記錄。平均觸發(fā)率(相對(duì)值)定義為峰值數(shù)與事件持續(xù)時(shí)間的比率,事件持續(xù)時(shí)間(無(wú)單位)以最短峰值持續(xù)時(shí)間的單位計(jì)數(shù)。決策邊界被簡(jiǎn)單地設(shè)置為兩個(gè)相鄰水平的中點(diǎn)(在支持信息中解釋)。然后,執(zhí)行測(cè)試過(guò)程以使用決策樹(shù)方法預(yù)測(cè)運(yùn)動(dòng)類型。決策樹(shù)方法(在支持信息中解釋),用于比較硬件輸出 (f行政協(xié)調(diào)會(huì), f陀螺和ΔPSC)及其決策邊界,在微控制器中實(shí)現(xiàn),用于識(shí)別運(yùn)動(dòng)信號(hào)。我們系統(tǒng)的信號(hào)流示意性地如圖所示。S46,以及有關(guān)數(shù)據(jù)記錄、數(shù)據(jù)處理和參數(shù)檢測(cè)的詳細(xì)信息,請(qǐng)參見(jiàn)補(bǔ)充說(shuō)明6。
表征和測(cè)量
使用掃描電子顯微鏡(Apreo-S,賽默飛世爾)、透射電子顯微鏡(Talos F200X G2,賽默飛世爾)、原子力顯微鏡(Dimension Icon,布魯克)、X射線衍射儀(Ultima IV,理學(xué))、紫外可見(jiàn)光譜(Cary 5000,安捷倫)、熒光光譜儀(FS5,愛(ài)丁堡儀器)和共聚焦拉曼成像系統(tǒng)(XperRAM 200, 納米基座)具有光學(xué)顯微成像和拉曼映射功能。使用半導(dǎo)體器件分析儀(B1500A,安捷倫)分析離子凝膠的特性。使用配備半導(dǎo)體分析儀的探針臺(tái)(4200-SCS,吉時(shí)利)測(cè)量突觸晶體管的電氣特性。突觸晶體管(不含離子凝膠)的光學(xué)響應(yīng)是在氙氣光源(Gloria,Zolix)在250nm波長(zhǎng)下產(chǎn)生的光學(xué)尖峰下測(cè)量的。
已經(jīng)從人類受試者那里獲得了簽署的知情同意書,可以使用圖像并進(jìn)行這項(xiàng)工作中描述的實(shí)驗(yàn)。這項(xiàng)研究(協(xié)議號(hào)NKUIRB2023003)已獲得南開(kāi)大學(xué)機(jī)構(gòu)審查委員會(huì)的批準(zhǔn)。
數(shù)據(jù)可用性
本研究中生成的數(shù)據(jù)在補(bǔ)充信息和源數(shù)據(jù)文件中提供,或根據(jù)合理要求從通訊作者處提供。本文提供了源數(shù)據(jù)
代碼可用性
尖峰轉(zhuǎn)換函數(shù)和決策樹(shù)方法的代碼可從通訊作者處獲得,并根據(jù)合理要求提供詳細(xì)說(shuō)明。
引用
Hou, H., Zheng, Q., Zhao, Y., Pouget, A. & Gu, Y. 時(shí)變可靠性下最優(yōu)多感官?zèng)Q策的神經(jīng)相關(guān)性與不變線性概率群體代碼。神經(jīng)元104,1010-1021(2019)。
 中國(guó)科學(xué)院 公共醫(yī)學(xué) 谷歌學(xué)術(shù)搜索
Solvi,C.,Gutierrez Al-Khudhairy,S.&Chittka,L.大黃蜂在視覺(jué)和觸覺(jué)之間顯示跨模態(tài)物體識(shí)別??茖W(xué) 367, 910–912 (2020).
 廣告 中國(guó)科學(xué)院 公共醫(yī)學(xué) 谷歌學(xué)術(shù)搜索
卡塔尼亞星鼻鼴鼠的觸覺(jué):從機(jī)械感受器到大腦。菲洛斯. 譯. R. 社會(huì) B 生物科學(xué). 366, 3016–3025 (2011).
.PDF 在新標(biāo)簽頁(yè)中打開(kāi) 谷歌學(xué)術(shù)搜索
Otto, T. U., Dassy, B. & Mamassian, P. 多感官行為原理。J.神經(jīng)科學(xué)。 33, 7463–7474 (2013).
 中國(guó)科學(xué)院 公共醫(yī)學(xué) PubMed Central 谷歌學(xué)術(shù)搜索
Dalton, P., Doolittle, N., Nagata, H. & Breslin, P.感官的融合:亞閾值味覺(jué)和嗅覺(jué)的整合。自然神經(jīng)科學(xué)。 3, 431–432 (2000).
.PDF 在新標(biāo)簽頁(yè)中打開(kāi) 中國(guó)科學(xué)院 公共醫(yī)學(xué) 谷歌學(xué)術(shù)搜索
Zheng, Q., Zhou, L. & Gu, Y. 光流和前庭輸入對(duì)多感官航向感知的時(shí)間同步效應(yīng).細(xì)胞代表 37,109999 (2021)。
 中國(guó)科學(xué)院 公共醫(yī)學(xué) 谷歌學(xué)術(shù)搜索
羅蘭,B.A.和斯坦,B.E.多感官增強(qiáng)的時(shí)間動(dòng)力學(xué)模型。神經(jīng)科學(xué)。生物行為。Rev. 41, 78–84 (2014).
 公共醫(yī)學(xué) 谷歌學(xué)術(shù)搜索
McDonald, J. J., Teder-S?lej?rvi, W. A., Russo, F. D. & Hillyard, S. A. 通過(guò)跨模態(tài)空間注意感知增強(qiáng)的神經(jīng)基質(zhì)。J. 科恩. 神經(jīng)科學(xué)。 15, 10–19 (2003).
.PDF 在新標(biāo)簽頁(yè)中打開(kāi) 公共醫(yī)學(xué) 谷歌學(xué)術(shù)搜索
帕克等用于計(jì)算、軟機(jī)器人和神經(jīng)修復(fù)的柔性神經(jīng)形態(tài)電子學(xué)。馬特上將。 32, 1903558 (2020).
.PDF 在新標(biāo)簽頁(yè)中打開(kāi) 中國(guó)科學(xué)院 谷歌學(xué)術(shù)搜索
Sun, F., Lu, Q., Feng, S. & Zhang, T. 基于神經(jīng)形態(tài)裝置的柔性人工感覺(jué)系統(tǒng)。ACS 納米 15,3875–3899 (2021)。
 廣告 中國(guó)科學(xué)院 公共醫(yī)學(xué) 谷歌學(xué)術(shù)搜索
蔣春等.一種靈活的人工感覺(jué)神經(jīng),由納米粒子組裝的突觸裝置實(shí)現(xiàn)神經(jīng)形態(tài)觸覺(jué)識(shí)別。高級(jí)科學(xué) 9,2106124(2022)。
.PDF 在新標(biāo)簽頁(yè)中打開(kāi) 數(shù)學(xué)科學(xué)網(wǎng) 中國(guó)科學(xué)院 谷歌學(xué)術(shù)搜索
高建華等.2D α輸入中的本征偏振耦合2硒3走向具有多模式操作的人工突觸。智能墊 2,88–98 (2021)。
.PDF 在新標(biāo)簽頁(yè)中打開(kāi) 中國(guó)科學(xué)院 谷歌學(xué)術(shù)搜索
張淑等.基于數(shù)字排列的ZnO納米線陣列突觸晶體管,具有本征可塑性,用于短期計(jì)算和長(zhǎng)期記憶。納米級(jí) 13, 19190–19199 (2021).
 中國(guó)科學(xué)院 公共醫(yī)學(xué) 谷歌學(xué)術(shù)搜索
楊林等.具有鹽味感知、信息處理和過(guò)量攝入警告功能的神經(jīng)形態(tài)味覺(jué)系統(tǒng)。納米萊特。 23, 8–16 (2023).
.PDF 在新標(biāo)簽頁(yè)中打開(kāi) 廣告 公共醫(yī)學(xué) 谷歌學(xué)術(shù)搜索
萬(wàn)春等.具有視覺(jué)觸覺(jué)融合的人工感覺(jué)神經(jīng)元。國(guó)家公社。 11, 4602 (2020).
.PDF 在新標(biāo)簽頁(yè)中打開(kāi) 廣告 中國(guó)科學(xué)院 公共醫(yī)學(xué) PubMed Central 谷歌學(xué)術(shù)搜索
吳曉等.具有觸覺(jué)和標(biāo)志性感知行為的人工多感官統(tǒng)合神經(jīng)系統(tǒng)。納米能源 85, 106000 (2021).
 中國(guó)科學(xué)院 谷歌學(xué)術(shù)搜索
于杰等.基于石墨烯/MoS的仿生機(jī)械光子人工突觸2異 質(zhì) 結(jié)。科學(xué) 7, eabd9117 (2021).
 廣告 中國(guó)科學(xué)院 公共醫(yī)學(xué) PubMed Central 谷歌學(xué)術(shù)搜索
萬(wàn)海等.基于柔性碳納米管突觸晶體管的多模態(tài)人工神經(jīng)感覺(jué)記憶系統(tǒng).ACS 納米 15,14587–14597 (2021)。
 中國(guó)科學(xué)院 公共醫(yī)學(xué) 谷歌學(xué)術(shù)搜索
凱沙瓦爾齊等脾后皮層角頭速度的多感官編碼。神經(jīng)元 110, 532–543 (2022).
 中國(guó)科學(xué)院 公共醫(yī)學(xué) PubMed Central 谷歌學(xué)術(shù)搜索
Gu, Y., Cheng, Z., Yang, L., DeAngelis, G. C. & Angelaki, D. E. 額眼野追蹤區(qū)域中視覺(jué)和前庭航向線索的多感官收斂。塞勒布。Cortex 26, 3785–3801 (2016).
.PDF 在新標(biāo)簽頁(yè)中打開(kāi) 公共醫(yī)學(xué) PubMed Central 谷歌學(xué)術(shù)搜索
Taube,J.S.頭部方向細(xì)胞和方向感的神經(jīng)生理學(xué)基礎(chǔ)。神經(jīng)生物學(xué)進(jìn)展。 55, 225–256 (1998).
 中國(guó)科學(xué)院 公共醫(yī)學(xué) 谷歌學(xué)術(shù)搜索
劉芳等.基于印刷突觸晶體管的電子皮膚,供機(jī)器人感受和學(xué)習(xí)。科學(xué)機(jī)器人。 7, eabl7286 (2022).
 公共醫(yī)學(xué) 谷歌學(xué)術(shù)搜索
希姆等.基于分布式雙軸可拉伸彈性突觸晶體管的人工神經(jīng)形態(tài)認(rèn)知皮膚。美國(guó)國(guó)家科學(xué)院院刊 119, e2204852119 (2022).
 中國(guó)科學(xué)院 公共醫(yī)學(xué) PubMed Central 谷歌學(xué)術(shù)搜索
哦,S. 等人。柔性人工Si-In-Zn-O/離子凝膠突觸及其在手語(yǔ)翻譯的感覺(jué)神經(jīng)形態(tài)系統(tǒng)中的應(yīng)用。科學(xué) 7, eabg9450 (2021).
 廣告 中國(guó)科學(xué)院 公共醫(yī)學(xué) PubMed Central 谷歌學(xué)術(shù)搜索
Fetsch,C.R.,Turner,A.H.,DeAngelis,G.C.&Angelaki,D.E.在自我運(yùn)動(dòng)感知期間動(dòng)態(tài)重新加權(quán)視覺(jué)和前庭線索。J.神經(jīng)科學(xué)。 29, 15601–15612 (2009).
 中國(guó)科學(xué)院 公共醫(yī)學(xué) PubMed Central 谷歌學(xué)術(shù)搜索
Ohshiro, T., Angelaki, D. E. & DeAngelis, G. C.多感官統(tǒng)合的歸一化模型。自然神經(jīng)科學(xué)。 14, 775–782 (2011).
.PDF 在新標(biāo)簽頁(yè)中打開(kāi) 中國(guó)科學(xué)院 公共醫(yī)學(xué) PubMed Central 谷歌學(xué)術(shù)搜索
Prescott, S. A. & Sejnowski, T. J. 尖峰速率編碼和尖峰時(shí)間編碼受到不同適應(yīng)機(jī)制的相反影響。J.神經(jīng)科學(xué)。 28, 13649–13661 (2008).
 中國(guó)科學(xué)院 公共醫(yī)學(xué) PubMed Central 谷歌學(xué)術(shù)搜索
Hao,J.,Bonnet,C.,Amsalem,M.,Ruel,J.&Delmas,P.通過(guò)皮膚機(jī)械感受器轉(zhuǎn)導(dǎo)和編碼感覺(jué)信息。普夫魯格. 拱門. 歐洲 J. 生理學(xué). 467, 109–119 (2015).
.PDF 在新標(biāo)簽頁(yè)中打開(kāi) 中國(guó)科學(xué)院 谷歌學(xué)術(shù)搜索
孫楓等.面向人工視覺(jué)記憶系統(tǒng)的生物啟發(fā)柔性雙調(diào)制突觸晶體管。高級(jí)母校技術(shù)。 5,1900888(2020)。
.PDF 在新標(biāo)簽頁(yè)中打開(kāi) 中國(guó)科學(xué)院 谷歌學(xué)術(shù)搜索
萬(wàn)春等.由海藻酸鈉電解質(zhì)橫向耦合的氧化銦鋅神經(jīng)元薄膜晶體管。IEEE Trans. Electron Devices 63, 3958–3963 (2016).
 廣告 中國(guó)科學(xué)院 谷歌學(xué)術(shù)搜索
謝東等.共面多柵極鉬2用于神經(jīng)形態(tài)視覺(jué)識(shí)別的雙電層晶體管。ACS應(yīng)用材料。接口 10,25943–25948 (2018)。
Article CAS PubMed Google Scholar
Cho, J. H. et al. Printable ion-gel gate dielectrics for low-voltage polymer thin-film transistors on plastic. Nat. Mater. 7, 900–906 (2008).
PDF opens in a new tabArticle ADS CAS PubMed Google Scholar
Lin, Z. et al. Solution-processable 2D semiconductors for high-performance large-area electronics. Nature 562, 254–258 (2018).
PDF opens in a new tabArticle ADS CAS PubMed Google Scholar
Zhang, C. Y. et al. Surface strain-enhanced MoS2 as a high-performance cathode catalyst for lithium–sulfur batteries. eScience 2, 405–415 (2022).
Article Google Scholar
Liu, W. et al. Field-driven modulating of In-Sn-O synaptic transistors with a precisely controlled weight update. Appl. Mater. Today 23, 101024 (2021).
Article Google Scholar
Kim, S. H. et al. Electrolyte‐gated transistors for organic and printed electronics. Adv. Mater. 25, 1822–1846 (2013).
Article CAS PubMed Google Scholar
Ji, X. et al. Mimicking associative learning using an ion-trapping non-volatile synaptic organic electrochemical transistor. Nat. Commun. 12, 2480 (2021).
PDF opens in a new tabArticle ADS CAS PubMed PubMed Central Google Scholar
Kim, M.-K. & Lee, J.-S. Ferroelectric analog synaptic transistors. Nano Lett. 19, 2044–2050 (2019).
Article ADS CAS PubMed Google Scholar
Desai,N.S.中樞神經(jīng)系統(tǒng)中的穩(wěn)態(tài)可塑性:突觸和內(nèi)在形式。J. Physiol. Paris 97, 391–402 (2003).
 公共醫(yī)學(xué) 谷歌學(xué)術(shù)搜索
Gjorgjieva, J., Clopath, C., Audet, J. & Pfister, J.-P.三重態(tài)尖峰時(shí)間依賴塑性模型將Bienenstock-Cooper-Munro規(guī)則推廣到高階時(shí)空相關(guān)性。美國(guó)國(guó)家科學(xué)院院刊 108, 19383–19388 (2011).
 廣告 中國(guó)科學(xué)院 公共醫(yī)學(xué) PubMed Central 谷歌學(xué)術(shù)搜索
Cooper, L. N. & Bear, M. F.30歲突觸修飾的BCM理論:理論與實(shí)驗(yàn)的相互作用。神經(jīng)科學(xué)國(guó)家修訂版。 13, 798–810 (2012).
.PDF 在新標(biāo)簽頁(yè)中打開(kāi) 中國(guó)科學(xué)院 公共醫(yī)學(xué) 谷歌學(xué)術(shù)搜索
朗,X.等。軀體感覺(jué)皮層中頭部方向和角頭速度細(xì)胞的急劇調(diào)整。高級(jí)科學(xué) 9, 2200020 (2022).
.PDF 在新標(biāo)簽頁(yè)中打開(kāi) 谷歌學(xué)術(shù)搜索
約翰、R.A.等電離子光活性2D硫族化物神經(jīng)炎的協(xié)同門控:Hebbian和穩(wěn)態(tài)突觸化塑性的共存。馬特上將。 30, 1800220 (2018).
.PDF 在新標(biāo)簽頁(yè)中打開(kāi) 谷歌學(xué)術(shù)搜索
約翰、R.A.等超低功耗雙門控亞閾值氧化物神經(jīng)炎:高階神經(jīng)元時(shí)間相關(guān)性的推動(dòng)者。ACS Nano 12, 11263–11273 (2018).
 中國(guó)科學(xué)院 公共醫(yī)學(xué) 谷歌學(xué)術(shù)搜索
Mukhopadhyay,S.C.用于人類活動(dòng)監(jiān)測(cè)的可穿戴傳感器:綜述。美國(guó)電氣工程師協(xié)會(huì) 15, 1321–1330 (2014).
 廣告 谷歌學(xué)術(shù)搜索
Tchumatchenko,T.,Geisel,T.,Volgushev,M.&Wolf,F(xiàn). Spike相關(guān)性 - 他們能告訴同步什么?前面。神經(jīng)科學(xué)。 5, 68 (2011).
 公共醫(yī)學(xué) PubMed Central 谷歌學(xué)術(shù)搜索
Stein, B. E., Stanford, T. R., Ramachandran, R., Perrault, T. J. & Rowland, B. A. 量化多感官整合的挑戰(zhàn):替代標(biāo)準(zhǔn)、模型和逆效。實(shí)驗(yàn)?zāi)X研究 198, 113–126 (2009).
.PDF 在新標(biāo)簽頁(yè)中打開(kāi) 公共醫(yī)學(xué) PubMed Central 谷歌學(xué)術(shù)搜索
本站僅提供存儲(chǔ)服務(wù),所有內(nèi)容均由用戶發(fā)布,如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請(qǐng)點(diǎn)擊舉報(bào)。
打開(kāi)APP,閱讀全文并永久保存 查看更多類似文章
猜你喜歡
類似文章
為何人類大腦如此高效?
科幻正在成真!人造神經(jīng)元成功控制捕蠅草,或助推腦機(jī)接口變革
高度可擴(kuò)展的類腦神經(jīng)擬態(tài)硬件,完成了字母識(shí)別和人臉識(shí)別
重磅 | IBM創(chuàng)造出世界上首個(gè)人工相變神經(jīng)元,可實(shí)現(xiàn)高速無(wú)監(jiān)督學(xué)習(xí)
英意瑞三國(guó)科學(xué)家創(chuàng)建“神經(jīng)電子互聯(lián)網(wǎng)”馬斯克的“第三層大腦”實(shí)現(xiàn)了?
【人物與科研】中科院北京納米能源所孫其君研究員課題組:壓電調(diào)制石墨烯人工傳感突觸
更多類似文章 >>
生活服務(wù)
熱點(diǎn)新聞
分享 收藏 導(dǎo)長(zhǎng)圖 關(guān)注 下載文章
綁定賬號(hào)成功
后續(xù)可登錄賬號(hào)暢享VIP特權(quán)!
如果VIP功能使用有故障,
可點(diǎn)擊這里聯(lián)系客服!

聯(lián)系客服