在環(huán)境中引入獎(jiǎng)勵(lì)機(jī)制后，網(wǎng)格細(xì)胞“難抵誘惑”，會朝向獎(jiǎng)賞位置方向顯著偏移，從而重新繪制大腦導(dǎo)航地圖。|?Quantamagazine
導(dǎo)語
大腦內(nèi)部存在一個(gè)內(nèi)置定位系統(tǒng)（inner GPS）,幫助我們編碼位置和方向，指引我們尋找目標(biāo)，規(guī)劃路線。由位置細(xì)胞和網(wǎng)格細(xì)胞構(gòu)成的神經(jīng)回路正是空間感的神經(jīng)基礎(chǔ)。近期發(fā)表在Science的兩篇研究論文發(fā)現(xiàn)，當(dāng)環(huán)境中加入獎(jiǎng)勵(lì)之后，網(wǎng)格細(xì)胞的激活模式會發(fā)生顯著變化，也就是說，我們的大腦將重新繪制內(nèi)置地圖以適應(yīng)加入獎(jiǎng)賞之后的環(huán)境。
空間導(dǎo)航研究簡史
我們?nèi)绾螛?gòu)建空間意識？這個(gè)問題困擾了哲學(xué)家長達(dá)數(shù)十個(gè)世紀(jì)。近幾十年來，腦科學(xué)的研究為這個(gè)古老的命題注入了新的活力。
認(rèn)知地圖假說
19世紀(jì)40年代，心理學(xué)家Tolman首次提出“認(rèn)知地圖假說”(1)。訓(xùn)練老鼠在迷宮中覓食后，他發(fā)現(xiàn)老鼠能夠識別之前從未走過的捷徑來獲取食物。因此，他提出老鼠在探索環(huán)境過程中能夠發(fā)現(xiàn)位置之間的相對關(guān)系，并逐漸形成環(huán)境的“認(rèn)知地圖”。這種內(nèi)在表征是動物規(guī)劃捷徑、靈活導(dǎo)航的基礎(chǔ)。
如圖所示，Tolman認(rèn)為老鼠通過對環(huán)境的觀察可以在大腦中建立一個(gè)類似的地圖表征。
老鼠通過對環(huán)境的觀察可以在大腦中建立一個(gè)類似的地圖表征。
“認(rèn)知地圖”假說挑戰(zhàn)了當(dāng)時(shí)盛行的“條件反射”假說?！皸l件反射”假說認(rèn)為復(fù)雜行為可以解構(gòu)為一系列簡單的“條件-刺激”鏈條。由于技術(shù)手段的限制，當(dāng)時(shí)還無法探測大腦的神經(jīng)信號，所以兩種假說一直爭論不下。
位置細(xì)胞
1971年，John O Keefe訓(xùn)練老鼠完成導(dǎo)航任務(wù)并通過電極直接記錄了大腦海馬區(qū)的神經(jīng)元活動。他首次觀察到，在老鼠經(jīng)過某個(gè)特定位置時(shí)，某些神經(jīng)元會被激活。
如下圖所示，灰線代表了老鼠在正方形環(huán)境中的運(yùn)動軌跡，紅點(diǎn)代表一個(gè)細(xì)胞的激活位置。該位置細(xì)胞總是在老鼠經(jīng)過環(huán)境的中間偏右上角時(shí)激活。他把這種針對位置特異性放電的神經(jīng)元命名為位置細(xì)胞(2)，把位置細(xì)胞激活的位置稱為該細(xì)胞的位置野。
位置細(xì)胞
O Keefe提出，位置細(xì)胞的集群活動模式能夠編碼整個(gè)環(huán)境中的所有位置，也就是說，它們共同形成了環(huán)境的內(nèi)在表征。他猜測，這正是“認(rèn)知地圖”的神經(jīng)基礎(chǔ)。然而，只依靠位置細(xì)胞，動物無法成功導(dǎo)航?？臻g導(dǎo)航還需要一套米制系統(tǒng)來幫助動物測量距離。該功能由誰來完成？這個(gè)問題指向?qū)ｑR區(qū)有投射的腦區(qū)——嗅皮層。
從位置細(xì)胞到網(wǎng)格細(xì)胞
2004年，Edvard I. moser和May-Britt Moser實(shí)驗(yàn)室把電極植入內(nèi)側(cè)內(nèi)嗅皮層，監(jiān)測神經(jīng)元在老鼠完成迷宮任務(wù)時(shí)的激活模式。實(shí)驗(yàn)發(fā)現(xiàn)，這些細(xì)胞也會在動物處于特定位置時(shí)激活。但是，與位置細(xì)胞顯著不同的是，它在多個(gè)位置時(shí)都會放電。換句話說，這些細(xì)胞對多個(gè)位置時(shí)都會有反應(yīng)。
2005年，他們把實(shí)驗(yàn)環(huán)境擴(kuò)大后，重復(fù)上述實(shí)驗(yàn)，最終導(dǎo)致了震驚整個(gè)神經(jīng)科學(xué)界的發(fā)現(xiàn)——網(wǎng)格細(xì)胞。環(huán)境擴(kuò)大，神經(jīng)元的的放電模式更加清晰可見。
如下圖所示，灰線代表了老鼠的運(yùn)動軌跡，紅點(diǎn)代表一個(gè)細(xì)胞的激活位置。該細(xì)胞在老鼠經(jīng)過多個(gè)位置時(shí)均會激活，并且引起一個(gè)內(nèi)嗅細(xì)胞放電的多個(gè)位置形成正三角形的頂點(diǎn)。這些頂點(diǎn)在環(huán)境中平鋪開來，看上去像是形成了一個(gè)個(gè)分開的網(wǎng)格單元——因此被命名為網(wǎng)格細(xì)胞(3)，這些放電位置被稱為網(wǎng)格細(xì)胞的網(wǎng)格野。由于這種特殊的放電模式，網(wǎng)格細(xì)胞被認(rèn)為是大腦的空間米制系統(tǒng)(4)。
網(wǎng)格細(xì)胞
為了記憶環(huán)境并使用這些信息完成空間活動，我們需要對多種形式的感覺信息進(jìn)行整合，是一項(xiàng)復(fù)雜的認(rèn)知功能。John O Keefe、Edvard I. moser和May-Britt Moser的發(fā)現(xiàn)幫助我們更深入理解大腦如何處理復(fù)雜的認(rèn)知功能。
2014年三位科學(xué)家被授予了諾貝爾生理學(xué)或醫(yī)學(xué)獎(jiǎng)(5)。
三位科學(xué)家因發(fā)現(xiàn)位置細(xì)胞、網(wǎng)格細(xì)胞而被授予2014年諾貝爾生理學(xué)獎(jiǎng)。?cellcode.us
諾獎(jiǎng)評語高度評價(jià)了三位科學(xué)家的工作：“三位科學(xué)家的發(fā)現(xiàn)解答了一個(gè)困擾哲學(xué)家和科學(xué)家們長達(dá)數(shù)個(gè)世紀(jì)的謎團(tuán)——大腦究竟如何創(chuàng)建一個(gè)有關(guān)周圍空間位置的地圖？我們又究竟如何能夠在復(fù)雜的環(huán)境中找到方向？”，“三位科學(xué)家所做的，便是從腦科學(xué)與神經(jīng)科學(xué)的角度，向著解答這個(gè)困擾人類已久的古老謎題邁出了重要一步?！?/p>
獎(jiǎng)勵(lì)調(diào)制
上文中提到，網(wǎng)格細(xì)胞一直被視為大腦的空間米制系統(tǒng)，也就是說，網(wǎng)格模式只對空間進(jìn)行編碼，并忽略環(huán)境中的其他因素。這就像我們的地圖app對空間編碼模式，每次你掏出手機(jī)，查詢一個(gè)特定地址的時(shí)候，你得到的坐標(biāo)將永遠(yuǎn)不變。坐標(biāo)不依賴于你當(dāng)時(shí)的心情是高興還是悲傷，你當(dāng)時(shí)是饑餓還是酒足飯飽。科學(xué)家們一直以為大腦的內(nèi)置定位系統(tǒng)也是按照這種模式處理空間信息。
在本期Science上的兩篇文章研究了在環(huán)境中引入獎(jiǎng)勵(lì)后是否對網(wǎng)格細(xì)胞的激活模式有影響，研究問題概括如圖：老鼠在環(huán)境中觀察到獎(jiǎng)勵(lì)之后，網(wǎng)格細(xì)胞的正三角形模式是否會發(fā)生變化。
研究問題：在環(huán)境中觀察到獎(jiǎng)勵(lì)之后，老鼠網(wǎng)格細(xì)胞的正三角形模式會發(fā)生變化嗎？
兩篇文章均發(fā)現(xiàn)獎(jiǎng)賞位置能夠顯著調(diào)制網(wǎng)格細(xì)胞的發(fā)放模式(6, 7)。也就是說，當(dāng)環(huán)境中加入獎(jiǎng)勵(lì)之后，我們將重新繪制內(nèi)置地圖以適應(yīng)加入獎(jiǎng)賞之后的環(huán)境。 這個(gè)發(fā)現(xiàn)對該 '網(wǎng)格細(xì)胞作為大腦的空間米制系統(tǒng)“ 假說發(fā)起了強(qiáng)有力的挑戰(zhàn)。
論文題目：
C. N. Boccara, M. Nardin, F. Stella, J. O’Neill, J. Csicsvari, The entorhinal cognitive map is attracted to goals. Science. 363, 1443–1447 (2019).
論文地址：
http://science.sciencemag.org/content/363/6434/1443?intcmp=trendmd-sci
論文題目：
W. N. Butler, K. Hardcastle, L. M. Giocomo, Remembered reward locations restructure entorhinal spatial maps. Science. 363, 1447–1452 (2019).
論文地址：
http://science.sciencemag.org/content/363/6434/1447
在Boccara等人設(shè)計(jì)的圓形環(huán)境中，3個(gè)位置設(shè)置了巧克力，老鼠一旦到達(dá)這些位置，將得到獎(jiǎng)勵(lì)。第一天，老鼠在圓形環(huán)境中自由活動，但不設(shè)置獎(jiǎng)勵(lì)。緊接著，老鼠接受訓(xùn)練，尋找獎(jiǎng)勵(lì)，學(xué)習(xí)3個(gè)目標(biāo)位置（下圖中黑點(diǎn)）。最后，撤去獎(jiǎng)勵(lì)，再讓老鼠自由活動。
下圖畫出了網(wǎng)格細(xì)胞在第一天老鼠自由活動時(shí)的網(wǎng)格野位置（藍(lán)色圓圈）以及最后一天老鼠自由活動時(shí)的網(wǎng)格野位置（紅色圓圈）。比較圓圈的位置，研究發(fā)現(xiàn)它們并不重疊——并且網(wǎng)格野向獎(jiǎng)賞位置方向發(fā)生了偏移（紅色圓圈比藍(lán)色圓圈更接近黑點(diǎn)）。
比較網(wǎng)格細(xì)胞在第一天老鼠自由活動時(shí)的網(wǎng)格野位置（藍(lán)色圓圈）和最后一天老鼠自由活動時(shí)的網(wǎng)格野位置（紅色圓圈）發(fā)現(xiàn)，網(wǎng)格野超獎(jiǎng)勵(lì)方向發(fā)生偏移。
Boccara進(jìn)一步分析了所有網(wǎng)格細(xì)胞的發(fā)放野與目標(biāo)獎(jiǎng)勵(lì)之間距離的分布。下圖中藍(lán)色曲線代表前期自由活動情況。紅線曲線代表后期自由活動情況。統(tǒng)計(jì)發(fā)現(xiàn)兩個(gè)分布之間存在顯著差異，也就是說，后期自由活動情況下，發(fā)放野向獎(jiǎng)賞位置發(fā)生了顯著偏移。
藍(lán)色曲線代表前期自由活動情況。紅線曲線代表后期自由活動情況。統(tǒng)計(jì)發(fā)現(xiàn)兩個(gè)分布之間存在顯著差異。
從數(shù)量上看，該研究還發(fā)現(xiàn)超過90%的網(wǎng)格野向著獎(jiǎng)賞位置方向發(fā)生了偏移。并且這種偏移在越靠近獎(jiǎng)賞位置尤為明顯。網(wǎng)格細(xì)胞規(guī)則的正三角形模式將變得不再完美。
環(huán)境中加入獎(jiǎng)勵(lì)后，網(wǎng)格細(xì)胞的激活位置（圖中的正三角形頂點(diǎn)）將被目標(biāo)吸引，并朝著它發(fā)生顯著的偏移。 | ?Quantamagazine
Butler等人使用完全不同的實(shí)驗(yàn)范式研究了類似的問題。他們啟用了兩個(gè)環(huán)境探討?yīng)勝p如何影響網(wǎng)格細(xì)胞的激活。在環(huán)境一中，大鼠搜尋隨機(jī)播撒的食物，這也是研究空間導(dǎo)航的傳統(tǒng)實(shí)驗(yàn)范式。在環(huán)境二中，大鼠搜尋隱藏在特定位置的食物。研究發(fā)現(xiàn)網(wǎng)格細(xì)胞的放電模式在兩個(gè)環(huán)境中發(fā)生了明顯的變化。網(wǎng)格細(xì)胞的網(wǎng)格野之間的間距（正三角形的邊長）在環(huán)境二中明顯小于環(huán)境一。這可能的解釋是減少網(wǎng)格野間距可以幫助老鼠獲得更高的空間分辨率。
下圖左展示了網(wǎng)格細(xì)胞在環(huán)境一和環(huán)境二中的發(fā)放模式熱圖。網(wǎng)格野在環(huán)境二中固定的目標(biāo)獎(jiǎng)勵(lì)地點(diǎn)（紅框）附近發(fā)放強(qiáng)度更高。他們進(jìn)一步所有網(wǎng)格細(xì)胞的發(fā)放強(qiáng)度與發(fā)放野到目標(biāo)獎(jiǎng)勵(lì)距離之間的關(guān)系。
統(tǒng)計(jì)結(jié)果如右圖所示，紅色曲線代表了環(huán)境二的情形，藍(lán)色曲線代表了環(huán)境一的情形。統(tǒng)計(jì)發(fā)現(xiàn)兩種環(huán)境中，發(fā)放強(qiáng)度的差異是顯著的。
網(wǎng)格細(xì)胞在環(huán)境一和環(huán)境二中的發(fā)放模式
研究還發(fā)現(xiàn)越靠近目標(biāo)位置的網(wǎng)格野，發(fā)放率越高，這與上述文章中的發(fā)現(xiàn)一致。訓(xùn)練一個(gè)分類器使用網(wǎng)格細(xì)胞的放電模式對空間位置進(jìn)行解碼，研究發(fā)現(xiàn)環(huán)境二中越靠近目標(biāo)獎(jiǎng)賞的位置，解碼精度越高。這意味著老鼠對空間每個(gè)部分的表征并不均勻，越靠近目標(biāo)獎(jiǎng)勵(lì)的位置，空間分辨率越高，這能幫助老鼠在尋找食物時(shí)更加高效。
網(wǎng)格細(xì)胞新征程
以上研究更新了我們對網(wǎng)格細(xì)胞功能的理解——它不僅僅只是空間的神經(jīng)表征，還能參與表征與位置存在的某些關(guān)聯(lián)（例如獎(jiǎng)勵(lì)）。或者某種意義上說，網(wǎng)格細(xì)胞是聯(lián)結(jié)記憶的神經(jīng)表征。這兩篇文章開拓了空間導(dǎo)航研究的疆域。
未來可以繼續(xù)探討懲罰如何影響位置細(xì)胞和網(wǎng)格細(xì)胞的激活模式；各種不同的動機(jī)如何調(diào)制我們的內(nèi)置地圖——哪些線索能夠驅(qū)動大腦去繪制一副全新的地圖，哪些線索只是讓我們在原來的內(nèi)置地圖表征上修修補(bǔ)補(bǔ)。
位置細(xì)胞、頭向細(xì)胞和網(wǎng)格細(xì)胞在老鼠腦區(qū)的分布 | ?cacm.acm.org
更廣泛意義上講，揭開網(wǎng)格細(xì)胞的空間編碼機(jī)制，將上述研究成果融入到人工智能的研究中，對研發(fā)自主導(dǎo)航設(shè)備和更智能的神經(jīng)網(wǎng)絡(luò)模型，開發(fā)新一代人工智能機(jī)器人具有重大意義。
目前基于深度學(xué)習(xí)的人工智能熱潮正在席卷全球，然而智能導(dǎo)航設(shè)備（如無人機(jī)、自動駕駛）還面臨嚴(yán)峻挑戰(zhàn)。近年來，網(wǎng)格細(xì)胞的研究為研究智能導(dǎo)航新技術(shù)提供了重要靈感?；诖竽X導(dǎo)航神經(jīng)機(jī)理啟發(fā)的自主導(dǎo)航技術(shù)——“類腦認(rèn)知導(dǎo)航”正在興起。
智能體“抄近路”
去年DeepMind在Nature上發(fā)表的一篇論文在人工智能領(lǐng)域和神經(jīng)科學(xué)領(lǐng)域都激起了熱烈的討論：深度學(xué)習(xí)展現(xiàn)出與網(wǎng)格細(xì)胞高度一致的模式，并達(dá)到了超強(qiáng)的空間導(dǎo)航能力(8)。
人工智能助力神經(jīng)科學(xué)：DeepMind 復(fù)現(xiàn)大腦空間導(dǎo)航方式！
該研究訓(xùn)練一個(gè)循環(huán)神經(jīng)網(wǎng)絡(luò)執(zhí)行虛擬環(huán)境中自我定位任務(wù)。該網(wǎng)絡(luò)的輸入是智能體的速度信號，輸出是預(yù)測智能體當(dāng)前的位置。研究發(fā)現(xiàn)，類似網(wǎng)格細(xì)胞的表征在網(wǎng)絡(luò)的隱含層中自發(fā)地涌現(xiàn)。繼續(xù)使用深度強(qiáng)化學(xué)習(xí)技術(shù)訓(xùn)練該“網(wǎng)格網(wǎng)絡(luò)”在更加復(fù)雜的虛擬現(xiàn)實(shí)游戲環(huán)境中進(jìn)行導(dǎo)航。研究發(fā)現(xiàn)智能體表現(xiàn)超過了專業(yè)玩家的能力，展現(xiàn)出靈活的導(dǎo)航方式，甚至學(xué)會了“抄近路”。當(dāng)網(wǎng)絡(luò)中的網(wǎng)格單元被拿掉后，智能體的導(dǎo)航能力就會受損，而且對目標(biāo)的距離和方向的判斷變得不準(zhǔn)確。
高階決策與認(rèn)知功能
未來的研究可以繼續(xù)探討加入獎(jiǎng)勵(lì)之后，如何影響循環(huán)神經(jīng)網(wǎng)絡(luò)的隱含層表征，這種改變對導(dǎo)航是否更有幫助。近期的研究發(fā)現(xiàn)網(wǎng)格細(xì)胞還可以編碼聲音頻率、視覺空間、概念空間，表明網(wǎng)格細(xì)胞能夠支持更加復(fù)雜的決策和認(rèn)知功能(9)。未來的研究可以探索智能體在抽象空間中的導(dǎo)航（例如互聯(lián)網(wǎng)網(wǎng)頁之間的跳轉(zhuǎn)）如何借鑒網(wǎng)格細(xì)胞的研究成果。
想法的幾何學(xué)：大腦如何構(gòu)建內(nèi)在的意義宇宙？
《On Intelligence》作者Jeff Hawkins首提“千腦智能理論”，破解皮層網(wǎng)格細(xì)胞謎題
認(rèn)知導(dǎo)航作為一種新興的智能導(dǎo)航技術(shù)，在智能導(dǎo)航領(lǐng)域具有非常大的發(fā)展?jié)摿?。隨著神經(jīng)科學(xué)家對網(wǎng)格細(xì)胞表征機(jī)制的持續(xù)深入研究，以及計(jì)算機(jī)科學(xué)家們對導(dǎo)航技術(shù)的持續(xù)探索和應(yīng)用實(shí)踐，類腦認(rèn)知導(dǎo)航技術(shù)將會發(fā)展越來越成熟。
研究意義
綜上，兩個(gè)新研究發(fā)現(xiàn)網(wǎng)格細(xì)胞不僅僅只參與絕對空間的表征，還能參與表征與位置存在的關(guān)聯(lián)獎(jiǎng)勵(lì)。這些結(jié)果表明網(wǎng)格細(xì)胞能夠支持更加復(fù)雜的記憶活動，這是認(rèn)知神經(jīng)科學(xué)具有重要意義的新發(fā)現(xiàn)，為我們解開“智能”之謎開啟了新方向。
參考文獻(xiàn)
1. G. Buzsáki, R. Llinás, Space and time in the brain. Science. 358, 482–485 (2017).
2. J. O’Keefe, J. Dostrovsky, The hippocampus as a spatial map. Preliminary evidence from unit activity in the freely-moving rat. Brain Research. 34, 171–175 (1971).
3. T. Hafting, M. Fyhn, S. Molden, M.-B. Moser, E. I. Moser, Microstructure of a spatial map in the entorhinal cortex. Nature. 436, 801–806 (2005).
4. B. L. McNaughton, F. P. Battaglia, O. Jensen, E. I. Moser, M.-B. Moser, Path integration and the neural basis of the “cognitive map.” Nature Reviews Neuroscience. 7, 663–678 (2006).
5. N. Burgess, The 2014 Nobel Prize in Physiology or Medicine: A Spatial Model for Cognitive Neuroscience. Neuron. 84, 1120–1125 (2014).
6. C. N. Boccara, M. Nardin, F. Stella, J. O’Neill, J. Csicsvari, The entorhinal cognitive map is attracted to goals. Science. 363, 1443–1447 (2019).
7. W. N. Butler, K. Hardcastle, L. M. Giocomo, Remembered reward locations restructure entorhinal spatial maps. Science. 363, 1447–1452 (2019).
8. A. Banino et al., Vector-based navigation using grid-like representations in artificial agents. Nature, 1 (2018).
9. J. L. S. Bellmund, P. G?rdenfors, E. I. Moser, C. F. Doeller, Navigating cognition: Spatial codes for human thinking. Science. 362, eaat6766 (2018).
聯(lián)系客服
