僅根據(jù)大腦信號就可以重建某人所看到的東西,是不是聽著很科幻?
最近瑞士洛桑聯(lián)邦理工學院(EPFL)的研究人員已經(jīng)在這個方向上取得了非常重要的進步。
他們在Nature上的一項研究中,提出了一種名為CEBRA的最新算法,用于構(gòu)建人工神經(jīng)網(wǎng)絡模型,以令人印象深刻的精度捕捉大腦動態(tài),實現(xiàn)AI讀腦。
借助CEBRA算法,研究人員重現(xiàn)了老鼠眼中的電影世界。
如何重現(xiàn)?
具體來說,首先是獲取大腦信號。研究人員讓50只小鼠觀看一段長30秒的黑白電影剪輯片段,研究人員直接通過插入小鼠大腦視覺皮層區(qū)域的電極探針測量大腦活動來收集小鼠的神經(jīng)元活動信號,或者使用由轉(zhuǎn)基因小鼠組成的光學探針來獲得大腦信號。
在訓練期間,CEBRA學會了將大腦活動映射到特定的幀。考慮到在小鼠的大腦中,這個區(qū)域由大約50萬個神經(jīng)元組成,CEBRA在視覺皮層中只有不到1%的神經(jīng)元表現(xiàn)良好。
CEBRA從原始神經(jīng)數(shù)據(jù)中學到的信息可以在訓練后通過解碼進行測試——這是一種用于腦機接口(BMI)的方法——他們已經(jīng)證明,他們可以從模型中解碼老鼠在看電影時看到的東西。
當然,研究人員表示CEBRA并不局限于視覺皮層神經(jīng)元,甚至大腦數(shù)據(jù)。他們的研究還表明,CEBRA算法可以用來預測靈長類動物手臂的運動,并重建小鼠在競技場自由奔跑時的位置。
EPFL的Bertarelli綜合神經(jīng)科學主席Mackenzie Mathis表示:“這項工作只是神經(jīng)技術(shù)中實現(xiàn)高性能BMI所需的理論支持算法的一步。”
將CEBRA應用于小鼠初級視覺皮層
為了學習小鼠視覺系統(tǒng)中潛在的(即隱藏的)結(jié)構(gòu),CEBRA可以在最初的訓練階段將大腦信號和電影特征映射后,直接從大腦信號中預測未見的電影幀。
Mathis解釋說:“具體來說,CEBRA是基于對比學習,這是一種學習高維數(shù)據(jù)如何被安排或嵌入到一個被稱為潛在空間的低維空間中的技術(shù),這樣類似的數(shù)據(jù)點就會靠近,而更多不同的數(shù)據(jù)點則會遠離?!薄斑@種嵌入可以用來推斷數(shù)據(jù)中隱藏的關(guān)系和結(jié)構(gòu)。它使研究人員能夠共同考慮神經(jīng)數(shù)據(jù)和行為標簽,包括測量的動作,抽象標簽,如“獎勵”,或感官特征,如圖像的顏色或紋理。
“與其他算法相比,CEBRA在重建合成數(shù)據(jù)方面表現(xiàn)出色,這對比較算法至關(guān)重要,”該論文一斯蒂芬·施耐德(Steffen Schneider)說?!八膬?yōu)勢還在于它能夠?qū)⒉煌J降臄?shù)據(jù)結(jié)合起來,比如電影特征和大腦數(shù)據(jù),它有助于限制細微差別,比如取決于數(shù)據(jù)收集方式的數(shù)據(jù)變化?!?/span>
研究人員表示,“CEBRA的目標是揭示復雜系統(tǒng)中的結(jié)構(gòu)??紤]到大腦是宇宙中最復雜的結(jié)構(gòu),它是CEBRA的終極測試空間。它還可以讓我們深入了解大腦是如何處理信息的,并且可以通過結(jié)合動物甚至物種的數(shù)據(jù)來發(fā)現(xiàn)神經(jīng)科學的新原理?!?/span>
這種算法并不局限于神經(jīng)科學研究,因為它可以應用于許多涉及時間或聯(lián)合信息的數(shù)據(jù)集,包括動物行為和基因表達數(shù)據(jù)。因此,潛在的臨床應用是令人興奮的。
參考來源:
—— End ——
僅用于學術(shù)分享,若侵權(quán)請留言,即時刪侵!
更多閱讀
預見2023:《2023年中國腦機接口行業(yè)全景圖譜》
加入社群 歡迎加入腦機接口社區(qū)交流群, 探討腦機接口領(lǐng)域話題,實時跟蹤腦機接口前沿。 加微信群:
聯(lián)系客服