來源：AI科技評(píng)論
概要：這篇論文中，Deepmind通過對(duì)主管人類長(zhǎng)期記憶行為的“海馬體”（hippocampus）神經(jīng)元活動(dòng)的研究，進(jìn)一步提出了可以轉(zhuǎn)化為神經(jīng)網(wǎng)絡(luò)架構(gòu)的“預(yù)測(cè)圖”理論。
對(duì)人類神經(jīng)網(wǎng)絡(luò)的理解越來越在左右人工智能的未來研究，連Deepmind也不例外。
2017年10月2日，《NATURE NEUROSCIENCE》發(fā)表了Deepmind的一篇《The hippocampus as a predictive map》的論文。這篇論文中，Deepmind通過對(duì)主管人類長(zhǎng)期記憶行為的“海馬體”（hippocampus）神經(jīng)元活動(dòng)的研究，進(jìn)一步提出了可以轉(zhuǎn)化為神經(jīng)網(wǎng)絡(luò)架構(gòu)的“預(yù)測(cè)圖”理論。
在博客中，Deepmind這樣寫到：
“傳統(tǒng)觀點(diǎn)認(rèn)為海馬體只表示動(dòng)物的現(xiàn)狀，尤其在執(zhí)行走迷宮之類的空間任務(wù)中。這種觀點(diǎn)在發(fā)現(xiàn)嚙齒動(dòng)物的海馬體中的“位置細(xì)胞”后被廣泛傳播，當(dāng)動(dòng)物處于特定位置時(shí)，它們會(huì)選擇性地放電。雖然這個(gè)理論解釋了許多神經(jīng)生理學(xué)發(fā)現(xiàn)，但并不完全解釋為什么海馬體也參與其他功能，包括記憶，關(guān)系推理和決策等。
我們認(rèn)為，海馬體用它們預(yù)測(cè)到的未來狀態(tài)來展示代表每一種情況。例如，如果你要下班回家（你當(dāng)前的狀態(tài)），你的海馬體可能會(huì)預(yù)測(cè)你很可能很快會(huì)通勤回家，到學(xué)校接孩子，或者更長(zhǎng)遠(yuǎn)一點(diǎn)——到家了。海馬體預(yù)測(cè)這些后期狀態(tài)來表現(xiàn)出當(dāng)前的狀態(tài)，從而傳達(dá)了對(duì)未來事件的摘要表達(dá)，也就是我們正式說的“后續(xù)表征”（Sucessor Representation）。我們認(rèn)為，這種具體形式的預(yù)測(cè)圖可以讓大腦在獎(jiǎng)勵(lì)不斷變化的環(huán)境中快速適應(yīng)，而無需運(yùn)行代價(jià)昂貴的未來模擬。
這一理論啟發(fā)我們?cè)谛滤惴ㄖ薪Y(jié)合了基于模型的算法的靈活性和無模型算法中的高效性，由于計(jì)算只是簡(jiǎn)單的加權(quán)相加，因此該算法的計(jì)算效率與無模型算法相當(dāng)，同時(shí)，通過分離獎(jiǎng)勵(lì)期望與期望狀態(tài)（預(yù)測(cè)地圖），該算法可以通過簡(jiǎn)單的更新獎(jiǎng)勵(lì)期望值并保持狀態(tài)期望值不變，從而快速適應(yīng)獎(jiǎng)勵(lì)變化?！?/span>
（老鼠在探索方形房間時(shí)記錄下來的海馬體每個(gè)位置細(xì)胞的活動(dòng)及放電率的變化）
這并不是Deepmind的第一篇神經(jīng)科學(xué)用于人工智能的論文，在此之前Deepmind就表過至少兩篇?jiǎng)?chuàng)始人Hassabis為作者的神經(jīng)科學(xué)論文（參見AI科技評(píng)論之前文章：《DeepMind眼中的神經(jīng)科學(xué)研究：人工智能進(jìn)步的另一個(gè)重要支點(diǎn)》），這篇文章作者中雖然不包括Hassabis，但相對(duì)于前兩篇論文更加具體，對(duì)未來的研究也更具有指導(dǎo)意義。
人工智能的發(fā)展與神經(jīng)系統(tǒng)有著千絲萬縷的聯(lián)系。在1943年，Warren McCulloch和Walter Pitts的《 神經(jīng)活動(dòng)內(nèi)在想法的邏輯演算 》第一次提出了如何讓人造神經(jīng)元網(wǎng)絡(luò)實(shí)現(xiàn)邏輯功能，這也奠定了神經(jīng)網(wǎng)絡(luò)最早的數(shù)學(xué)基礎(chǔ)和開啟了人們模擬人腦神經(jīng)系統(tǒng)開發(fā)人工智能（雖然當(dāng)時(shí)還沒有這個(gè)詞）的早期嘗試。
模仿人類神經(jīng)系統(tǒng)的問題是：人類大腦神經(jīng)系統(tǒng)實(shí)在太復(fù)雜了。在人類大腦神經(jīng)系統(tǒng)中包含10^11（10的11次方）的神經(jīng)元，即便現(xiàn)在也難以模擬。在1958年，F(xiàn)rank Rosenblatt通過解剖大鼠的大腦發(fā)布了一個(gè)模仿神經(jīng)元的感知機(jī)，當(dāng)時(shí)有研究者認(rèn)為，只要神經(jīng)元足夠多、網(wǎng)絡(luò)連接足夠復(fù)雜，感知機(jī)就至少可以模擬部分人類智力，但在1969年，Marvin Minsky和Seymour Papert證明了感知機(jī)只能解決線性問題，還揭露了關(guān)于多層感知器的缺陷，這使得人工神經(jīng)網(wǎng)絡(luò)研究在人工智能領(lǐng)域很快就陷入了低谷，被基于規(guī)則和邏輯推理的專家系統(tǒng)所取代。
1974年，一位叫Geffory Hinton的年輕研究者發(fā)現(xiàn)，把多個(gè)感知機(jī)連接成一個(gè)分層的網(wǎng)絡(luò)，即可以解決Minsky的問題。這帶動(dòng)了80年代連接主義的興起，這個(gè)階段的連接理論最初被稱為分布式并行處理PDP (parallel distributed processing)，他們以人工神經(jīng)網(wǎng)絡(luò)為工具方法，引領(lǐng)著神經(jīng)科學(xué)和人工智能領(lǐng)域的發(fā)展，與行為學(xué)派和符號(hào)學(xué)派三足鼎立。
隨之而來的問題是，如果要模擬人類大腦數(shù)量如此龐大的神經(jīng)元，可能需要對(duì)幾百甚至上千個(gè)參數(shù)進(jìn)行調(diào)節(jié)，如何對(duì)這樣復(fù)雜的網(wǎng)絡(luò)進(jìn)行訓(xùn)練呢？Hinton等人的發(fā)現(xiàn)是，通過反向傳播算法可以解決多層網(wǎng)絡(luò)的訓(xùn)練問題。這一算法是用來訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)的常見方法，該方法計(jì)算對(duì)網(wǎng)絡(luò)中所有權(quán)重計(jì)算損失函數(shù)的梯度。這個(gè)梯度會(huì)反饋給最優(yōu)化方法，用來更新權(quán)值以最小化損失函數(shù)。
神經(jīng)網(wǎng)絡(luò)的現(xiàn)代分類器的各個(gè)方面也受到了我們所了解的大腦的視覺系統(tǒng)的啟發(fā)。這方面研究的先驅(qū)包括Geoffrey Hinton、Yann LeCun、Yoshua Bengio等人，1998年，Yann LeCun提出了卷積神經(jīng)網(wǎng)絡(luò)（CNN），2006年，Hinton提出了深度學(xué)習(xí)的概念并在其經(jīng)典論文《A fast learning alforithm for deep belief nets》中提出了深度信念網(wǎng)絡(luò)，帶來了深度學(xué)習(xí)直到今天的黃金時(shí)代；2009年，Yoshua Bengio提出了深度學(xué)習(xí)的常用模型堆疊自動(dòng)編碼器（Stacked Auto-Encoder,SAE），基于神經(jīng)網(wǎng)絡(luò)的研究得到進(jìn)一步發(fā)揚(yáng)光大。
然而人工智能專家基于神經(jīng)系統(tǒng)的研究和思考并沒有停止。如腦科學(xué)的研究結(jié)果表明，大腦中神經(jīng)元的信號(hào)處理機(jī)制和連接學(xué)習(xí)方式是不同的，尤其是大腦的無意識(shí)感知和自我意識(shí)功能并不需要有監(jiān)督的學(xué)習(xí)，在大腦神經(jīng)系統(tǒng)中，非監(jiān)督學(xué)習(xí)和自主學(xué)習(xí)同樣占有重要的地位，相應(yīng)地，對(duì)于無監(jiān)督學(xué)習(xí)和遷移學(xué)習(xí)的研究也成為人工智能的熱點(diǎn)之一。
而隨著深度學(xué)習(xí)和神經(jīng)科學(xué)的發(fā)展，之前對(duì)深度學(xué)習(xí)的一些基礎(chǔ)理論也在面臨著更新。例如在深度學(xué)習(xí)領(lǐng)域，神經(jīng)元是最底層的單元；而在神經(jīng)科學(xué)領(lǐng)域，神經(jīng)元并不是最底層的單位。目前的深度神經(jīng)網(wǎng)絡(luò)主要是三種結(jié)構(gòu)，即 DNN（全連接的）、CNN（卷積）和 RNN（循環(huán)），而目前的研究表明，人類神經(jīng)網(wǎng)絡(luò)可能比較類似上述三種結(jié)構(gòu)的組合，層內(nèi)更像DNN， 層間和CNN 很類似，在時(shí)間上展開就是RNN。這種結(jié)構(gòu)上的差異也導(dǎo)致了深度學(xué)習(xí)研究的復(fù)雜性。
聯(lián)系客服
