本文介紹由以色列耶路撒冷希伯來大學(xué)的David Beniaguev等人發(fā)表于Neuron的研究成果。作者使用機(jī)器學(xué)習(xí)方法，表明皮質(zhì)錐體神經(jīng)元的I/O特性可以在毫秒級(jí)的分辨率下，由一個(gè)5到8層的時(shí)間卷積神經(jīng)網(wǎng)絡(luò)來近似描述。DNN的深度源于NMDA受體和樹突形態(tài)之間的相互作用。對(duì)DNN的權(quán)重矩陣的分析表明，樹突分支可以被概念化為一組時(shí)空模式檢測(cè)器。作者還提供了一個(gè)統(tǒng)一的方法來評(píng)估任何神經(jīng)元類型的計(jì)算復(fù)雜度。
研究背景
神經(jīng)元是大腦的計(jì)算構(gòu)件，了解它們的輸入/輸出（I/O）轉(zhuǎn)換一直是神經(jīng)科學(xué)的主要任務(wù)。近年來研究者們已經(jīng)清楚許多關(guān)鍵的神經(jīng)元類型（如皮質(zhì)和海馬錐體神經(jīng)元、小腦浦肯野細(xì)胞）是高度復(fù)雜的I/O信息處理設(shè)備。它們通過精心設(shè)計(jì)的樹突分支接收成千上萬的突觸輸入，這些輸入與大量的局部非線性再生過程相互作用，最終在神經(jīng)元的軸突上產(chǎn)生一系列輸出尖峰，攜帶的信息通過突觸傳達(dá)給成千上萬的其他（突觸后）神經(jīng)元。由于其固有的非線性機(jī)制，神經(jīng)元可以實(shí)現(xiàn)高度復(fù)雜的I/O功能。
研究神經(jīng)元I/O關(guān)系的一個(gè)經(jīng)典方法是構(gòu)造一個(gè)簡(jiǎn)化模型，該模型省略了神經(jīng)元的許多詳細(xì)生物機(jī)制。但最近的研究要么沒有考慮分布在整個(gè)非線性樹突樹上的完全不同的突觸輸入，要么沒有以輸出尖峰的毫秒級(jí)時(shí)間精度捕獲神經(jīng)元的I/O轉(zhuǎn)換。另一種研究神經(jīng)元I/O特性的常用方法是通過一組偏微分方程，使用電纜和房室建模方法來模擬神經(jīng)元。但房室和電纜模型需要對(duì)每個(gè)神經(jīng)元解數(shù)以千計(jì)的偏微分方程。
2
主要貢獻(xiàn)
作者提出了一種新的方法，通過利用機(jī)器學(xué)習(xí)領(lǐng)域的最新進(jìn)展，將神經(jīng)元作為一個(gè)復(fù)雜的I/O信息處理單元進(jìn)行研究。具體來說，作者利用深度神經(jīng)網(wǎng)絡(luò)（DNN）的能力來學(xué)習(xí)非常復(fù)雜的神經(jīng)元I/O映射。為此，作者訓(xùn)練DNN模擬L5皮質(zhì)錐體神經(jīng)元模型的I/O行為。作者得到了一個(gè)計(jì)算效率很高的DNN模型，該模型能夠準(zhǔn)確地預(yù)測(cè)該神經(jīng)元在毫秒級(jí)時(shí)間分辨率下的輸出。作者分析了DNN的權(quán)重矩陣，以深入了解塑造皮質(zhì)神經(jīng)元I/O功能的機(jī)制。作者通過按照計(jì)劃改變DNN的大小，能夠描述單個(gè)生物神經(jīng)元的功能復(fù)雜度，確定這種復(fù)雜度的基于離子通道和基于形態(tài)的來源，并研究由此產(chǎn)生的DNN對(duì)訓(xùn)練集分布之外的突觸輸入的泛化性。作者證明了皮質(zhì)錐體神經(jīng)元和它們形成的網(wǎng)絡(luò)在計(jì)算上可能比以前假設(shè)的更強(qiáng)大和“更深”。
3
結(jié)果
3.1 I&F神經(jīng)元模型的類似DNN：方法概述和過濾器解釋
作者的目標(biāo)是通過一個(gè)類似的DNN來擬合詳細(xì)的生物物理神經(jīng)元模型的I/O關(guān)系。DNN接收（突觸）輸入和（軸突）輸出實(shí)例對(duì)數(shù)據(jù)集。通過使用反向傳播學(xué)習(xí)算法改變DNN的連接強(qiáng)度，DNN應(yīng)復(fù)制詳細(xì)模型的I/O轉(zhuǎn)換。為了適應(yīng)神經(jīng)元的時(shí)間性，作者在整個(gè)研究中采用了時(shí)間卷積網(wǎng)絡(luò)（TCN）。
對(duì)于簡(jiǎn)單的I&F神經(jīng)元模型，作者的框架提供了簡(jiǎn)單的類似DNN，它有一個(gè)隱藏層，由一個(gè)隱藏單元組成，可以捕捉到模型的完整I/O關(guān)系。相應(yīng)的DNN過濾器提供了關(guān)鍵的生物物理見解，與作者對(duì)塑造I&F模型的I/O關(guān)系的參數(shù)的理解一致（圖1）。
3.2 L5皮質(zhì)錐體神經(jīng)元模型的類似DNN
全連接神經(jīng)網(wǎng)絡(luò)(FCN)結(jié)構(gòu)未能很好地適應(yīng)L5PC模型的I/O特性，這表明與I&F模型相比，L5PC模型I/O轉(zhuǎn)換的復(fù)雜度大幅增加，使用具有5到8個(gè)隱藏層的TCN能為該模型提供高精度的擬合（圖2）。
3.3 NMDA突觸是L5PC的I/O復(fù)雜度（“深度”）的主要貢獻(xiàn)者
作者從L5PC模型中去除依賴于NMDA的突觸電流，顯著減少了相應(yīng)DNN的大小，這意味著去除依賴于NMDA的突觸電流后L5PC模型I/O轉(zhuǎn)換的復(fù)雜度降低（圖3），證明了NMDA突觸是L5PC的I/O復(fù)雜度（“深度”）的主要貢獻(xiàn)者。
3.4 對(duì)單一樹突分支的DNN分析為NMDA電導(dǎo)對(duì)神經(jīng)元計(jì)算復(fù)雜度的貢獻(xiàn)提供了新的見解
圖5中的結(jié)果闡明了作者方法的可解釋性。通過研究四個(gè)內(nèi)核（過濾器），作者為具有NMDA突觸的單個(gè)樹突中非線性時(shí)空突觸整合的復(fù)雜過程提供了一個(gè)直觀（圖5D）而又有力的（圖5F）解釋。
3.5 單個(gè)神經(jīng)元的類似DNN對(duì)時(shí)空結(jié)構(gòu)輸入的泛化
圖2所示的具有NMDA突觸的L5PC類似DNN是在大量隨機(jī)突觸輸入上訓(xùn)練的。圖6顯示，該DNN可以很好地泛化到各種時(shí)空結(jié)構(gòu)輸入，而無需重新訓(xùn)練。對(duì)不同輸入的泛化能力在很大程度上取決于DNN的大小，神經(jīng)元的類似DNN越深，它的泛化能力越強(qiáng)。
4
總結(jié)
DNN領(lǐng)域的最新進(jìn)展首次提供了一個(gè)強(qiáng)大的通用工具，該工具可以從樣本中學(xué)習(xí)復(fù)雜的映射。在本研究中，作者使用該工具以毫秒級(jí)的時(shí)間分辨率研究單個(gè)復(fù)雜非線性神經(jīng)元的I/O映射。作者通過模擬L5PC的神經(jīng)元模型，在其樹突表面接收豐富的突觸輸入，并以毫秒級(jí)時(shí)間分辨率記錄其尖峰輸出，以及其體細(xì)胞閾下膜電位，構(gòu)建了一個(gè)大型的（突觸）輸入和（軸突）輸出實(shí)例對(duì)數(shù)據(jù)集。然后，作者在這些I/O對(duì)上訓(xùn)練各種配置的網(wǎng)絡(luò)，直到得到一個(gè)類似的“深度”網(wǎng)絡(luò)，其性能與神經(jīng)元的詳細(xì)模型相近。作者將這一框架應(yīng)用于一系列具有不同復(fù)雜度的神經(jīng)元模型，并獲得了關(guān)于皮質(zhì)神經(jīng)元計(jì)算復(fù)雜度的新見解。
參考資料
Beniaguev D, Segev I, London M. Single cortical neurons as deep artificial neural networks[J]. Neuron, 2021.
https://doi.org/10.1016/j.neuron.2021.07.002
聯(lián)系客服
