選自 TheScientist
作者：SANDEEP RAVINDRAN
機器之心編譯
參與：羅賽男、張倩
在用硅芯片模擬人類大腦的路上，科學家們已經(jīng)做了一些嘗試，但其速度和能耗都讓人無法接受。因此，研究者提出用神經(jīng)形態(tài)芯片代替?zhèn)鹘y(tǒng)芯片來完成這項艱巨的任務。神經(jīng)形態(tài)芯片是受人腦啟發(fā)創(chuàng)建的一種芯片，具有速度快、能耗低、可擴展能優(yōu)點。本文詳述了神經(jīng)形態(tài)芯片的基本概念、優(yōu)勢、發(fā)展歷程及現(xiàn)狀。
2012 年，計算機科學家 Dharmendra Modha 使用一臺強大的超級計算機模擬了超過 5000 億個神經(jīng)元的活動，甚至比人腦中約 850 億個神經(jīng)元還要多。這是近十年工作的高潮，十年間，Modha 從模擬嚙齒動物和貓的大腦發(fā)展到模擬人類規(guī)模的大腦。
這一模擬消耗了大量的計算資源--150 萬個處理器和 1.5PB（150 萬 GB）的內(nèi)存，計算速度卻仍比人腦慢 1500 倍，令人難以忍受。Modha 估計，要使其達到人腦的實時運行速度，需要 12 千兆瓦的能量，大約是胡佛水壩最大輸出能力的 6 倍。
「然而，這只是模擬大腦處理一幅卡通畫所需的能量」，加州北部 IBM 阿爾馬登研究中心類腦計算首席科學家 Modha 說。這一模擬根本無法復制人腦的功能，因為人腦使用的能量與一個 20 瓦的燈泡相當。
自 21 世紀初以來，硬件的改進以及實驗和理論神經(jīng)系統(tǒng)科學的進步使研究人員能夠創(chuàng)造出更大更詳細的大腦模型。但是越復雜的模擬越容易受到傳統(tǒng)計算機硬件的限制，正如 Modha 的耗能模型所展現(xiàn)的那樣。
Modha 的人腦模擬實驗在勞倫斯利弗莫爾實驗室中完成，運行于搭載藍色基因 BlueGene/ Q 系統(tǒng)的 Sequoia 超級計算機之上，Sequoia 是一個傳統(tǒng)計算機硬件的超強集合體：它由大量傳統(tǒng)計算機芯片、含數(shù)百萬晶體管的指甲大小的硅晶片驅(qū)動?？刂苽鹘y(tǒng)計算機芯片結(jié)構(gòu)和功能的規(guī)則與我們?nèi)祟惖拇竽X完全不同。
但事實上，計算機完全不同于人類「思考」方式使得它們在進行數(shù)值計算等任務時具有優(yōu)勢。而在其它領(lǐng)域，如理解人類語言或從經(jīng)驗中學習，計算機明顯落后于人類。如果科學家想要模擬出一個可以與人類智能相媲美的大腦，他們可能必須從更好的構(gòu)件——由人腦啟發(fā)的計算機芯片（神經(jīng)形態(tài)芯片）開始。
所謂的神經(jīng)形態(tài)芯片復制了大腦的結(jié)構(gòu)——也就是說，它們使用類似于神經(jīng)元動作電位的「神經(jīng)元脈沖」相互交流。這種脈沖行為允許芯片消耗極少的能量，并且即使將之拼接成非常大規(guī)模的系統(tǒng)時，也能保持節(jié)能。
「在我看來，最大的優(yōu)勢是可擴展性」，安大略省滑鐵盧大學的理論神經(jīng)科學家 Chris Eliasmith 說。在他的《如何構(gòu)建大腦》（How to Build a Brain）一書中，Eliasmith 描述了一個由他創(chuàng)建并命名為 Spaun 的功能性大腦的大規(guī)模模型。
當 Eliasmith 運行 Spaun 的初始版本時，它有 250 萬個「神經(jīng)元」，即使這個模型運行在最好的傳統(tǒng)芯片上，運行速度也比生物神經(jīng)元慢 20 倍。「每當我們增加幾百萬個神經(jīng)元，它就會相應得再慢幾十倍，」他說。
但當 Eliasmith 在數(shù)字神經(jīng)形態(tài)硬件上進行一些模擬時，他發(fā)現(xiàn)它們不僅速度快得多，而且能效高出 50 倍。甚至更好的是，隨著 Eliasmith 模擬了更多的神經(jīng)元，神經(jīng)形態(tài)平臺變得更有效。這是神經(jīng)形態(tài)芯片旨在復制自然的方法之一，假定大腦模型從蠕蟲大腦的 300 個神經(jīng)元擴大到人腦的 850 億個神經(jīng)元，大腦的能量和效率會按比例增加。
神經(jīng)形態(tài)芯片在執(zhí)行復雜計算任務時消耗極少的能量，這一能力已經(jīng)引起了科技行業(yè)的關(guān)注。神經(jīng)形態(tài)芯片的潛在商業(yè)應用包括節(jié)能超級計算機、低功率傳感器和自學習機器人。但是生物學家想到一個不同的應用：構(gòu)建一個功能完備的人類大腦復制品。
神經(jīng)形態(tài)硬件借鑒了動物神經(jīng)系統(tǒng)的架構(gòu)，通過類似于生物神經(jīng)元動作電位的脈沖轉(zhuǎn)發(fā)信號。這一特性使得硬件消耗的能量更少，比在傳統(tǒng)芯片上運行大腦模擬要快幾個數(shù)量級。
圖片由友尼森歐洲有限責任公司提供；? 海德堡大學；英特爾公司；IBM 研究院
現(xiàn)今的許多神經(jīng)形態(tài)系統(tǒng)，從 IBM 和英特爾開發(fā)的芯片到作為歐盟人腦計劃一部分創(chuàng)建的兩個芯片，都對能夠遠程訪問系統(tǒng)來運行模擬的研究者開放。研究人員正在使用這些芯片來創(chuàng)建單個神經(jīng)元和突觸的詳細模型，并譯解如何將單元組合在一起來創(chuàng)建更大的大腦子系統(tǒng)。
這些芯片允許神經(jīng)科學家測試關(guān)于視覺、聽覺和嗅覺在實際硬件上工作原理的理論，而不僅僅是在軟件上。最新的神經(jīng)形態(tài)系統(tǒng)也使研究人員能夠開始復制人類思考和學習方式這一更具挑戰(zhàn)性的任務。
現(xiàn)在還為時尚早，真正開發(fā)出神經(jīng)形態(tài)芯片的潛力需要理論、實驗和計算神經(jīng)科學家以及計算機科學家和工程師的共同努力。但是最終的目標是宏偉的——那就是弄清楚大腦的各個組成部分是如何共同創(chuàng)造思想、感覺甚至意識的。
英特爾神經(jīng)形態(tài)計算實驗室主任、計算機工程師 Mike Davies 表示：「對大腦進行逆向工程是我們能夠承擔的最雄心勃勃的技術(shù)難題之一。」
一切都離不開架構(gòu)
加州理工學院科學家 Carver Mead 于 20 世紀 80 年代創(chuàng)造了「神經(jīng)形態(tài)」（neuromorphic）一詞，此前他注意到，與構(gòu)成現(xiàn)代計算機芯片的數(shù)字晶體管不同，模擬晶體管更接近于神經(jīng)元的生物物理學特性。
具體來說，模擬電路中非常微小的電流——小到電路實際上處于'關(guān)閉'狀態(tài)——表現(xiàn)出的動力學類似于通過生物神經(jīng)元通道但不會導致動作電位的離子流。
被 Mead 和他同事們的工作所吸引，20 世紀 90 年代中期，Giacomo Indiveri 決定在加州理工學院進行他的博士后研究?，F(xiàn)在，作為瑞士蘇黎世大學的神經(jīng)形態(tài)工程師，Indiveri 管理著為數(shù)不多的幾個繼續(xù)使用 Mead 方法（即使用低電流模擬電路）的研究團隊之一。
Indiveri 和他的團隊手工設計芯片的布局，這一過程可能需要幾個月的時間?！高@是用筆和紙完成的工作，因為我們試圖提出優(yōu)雅的解決方案以實現(xiàn)神經(jīng)動力學，」他說?！溉绻阕龅氖悄M電路，那么它在很大程度上仍然是一門藝術(shù)?！?/p>
一旦完成了布局，他們就會把設計通過電子郵件發(fā)給一家代工廠——與生產(chǎn)智能手機和電腦芯片具有相同精度的金屬鑄造廠。最終的芯片看起來大致就像一個智能手機芯片，但它的功能就像是通過幾個節(jié)點傳播電子脈沖的「神經(jīng)元」網(wǎng)絡。在這些模擬神經(jīng)形態(tài)芯片中，信號通過不同強度的實際電壓脈沖來轉(zhuǎn)發(fā)。就像在大腦中，信息是通過不同神經(jīng)元脈沖時序來傳遞的一樣。
「如果你向神經(jīng)生理學家展示其中一個神經(jīng)元的輸出，他將無法告訴你這是來自硅神經(jīng)元還是來自生物神經(jīng)元，」Indiveri 說。
這些硅神經(jīng)元代表了一種復制人類神經(jīng)系統(tǒng)的不完美嘗試。生物神經(jīng)元是模擬-數(shù)字混合系統(tǒng)；它們的動作電位模仿數(shù)字硬件的離散脈沖，但它們也是模擬的，因為神經(jīng)元中的電壓電平影響被傳輸?shù)男畔ⅰ?/p>
模擬神經(jīng)形態(tài)芯片具有與生物神經(jīng)元的物理行為非常相似的硅神經(jīng)元，但它們的模擬特性也使得傳輸?shù)男盘柌荒敲淳_。雖然我們的大腦已經(jīng)進化出彌補其不精確部分的能力，但研究人員已經(jīng)將這一基本概念帶入了數(shù)字領(lǐng)域。
IBM 和英特爾等公司專注于數(shù)字神經(jīng)形態(tài)芯片，其硅神經(jīng)元復制具有不同物理特性的信息在生物神經(jīng)元中的流動方式，其原因與傳統(tǒng)數(shù)字芯片統(tǒng)領(lǐng)我們絕大多數(shù)計算機和電子產(chǎn)品的原因相同——它們具有更高的可靠性并且易于制造。
照片由友尼森歐洲有限責任公司提供
構(gòu)建模塊：每個 SpiNNaker 芯片與內(nèi)存（左上角）封裝在一起，然后拼接成更大的設備，如右上角的 48 節(jié)點板。多個板可以連接在一起，形成更大的 SpiNNaker 系統(tǒng)（如上）
但是這些數(shù)字芯片按照捕獲到的大腦的架構(gòu)來維持它們的神經(jīng)形態(tài)狀態(tài)。在這些數(shù)字神經(jīng)形態(tài)芯片中，脈沖以信息包的形式出現(xiàn)，而不是實際的電壓脈沖變化。英特爾的 Davies 表示：「這與我們通常在計算機上設計的任何東西都大不相同?！?/p>
無論脈沖采用何種形式，該系統(tǒng)只在輸入達到某個閾值時傳遞信息，允許神經(jīng)形態(tài)芯片每次少量而不是大量消耗能量。這類似于大腦神經(jīng)元在它們準備好時而不是在定時器的命令下進行通信的方式。另一方面，傳統(tǒng)芯片大多是線性的，數(shù)據(jù)穿梭于存儲數(shù)據(jù)的內(nèi)存硬件和由嚴格內(nèi)部時鐘控制進行數(shù)據(jù)計算的處理器之間。
當 Modha 設計 IBM 的神經(jīng)形態(tài)芯片 TrueNorth 時，他首先分析了大腦的長距離接線圖，這些圖描繪了獼猴和人類大腦不同區(qū)域之間的連接情況?！杆嬲_始告訴我們有關(guān)長距離連通性、短距離連通性，以及神經(jīng)元和突觸動態(tài)的信息，」他說。
到 2011 年，Modha 發(fā)明了一種含有 256 個硅神經(jīng)元的芯片，其規(guī)模與線蟲的大腦相同。利用最新的芯片制造技術(shù)，Modha 將神經(jīng)元封裝得更緊，以縮小芯片尺寸，并將 4096 個這樣的芯片拼接在一起，才有了 2014 年 TrueNorth 的發(fā)布。TrueNorth 包含 100 萬個合成神經(jīng)元——相當于一個蜜蜂大腦的規(guī)模——消耗的能量比傳統(tǒng)芯片少幾百倍
神經(jīng)形態(tài)學芯片（如 TrueNorth）在其人造神經(jīng)元之間具有非常高的連通性，類似于在哺乳動物的大腦中看到的那樣。大規(guī)模并行處理的人腦的 850 億個神經(jīng)元通過大約 1 千萬億個突觸高度互聯(lián)。
TrueNorth 要簡單得多——它包含 2.56 億個「突觸」，連接著 100 萬個神經(jīng)元——但是通過將多個 TrueNorth 芯片拼接在一起，Modha 創(chuàng)造了兩個更大的系統(tǒng)： 一個模擬了 1600 萬個神經(jīng)元和 40 億個突觸，另一個模擬了 6400 萬個神經(jīng)元和 160 億個突觸。目前，超過 200 名來自不同機構(gòu)的研究人員可以免費使用 TrueNorth。
除了高度互聯(lián)性和脈沖特性，神經(jīng)形態(tài)芯片還復制了生物神經(jīng)系統(tǒng)的另一個特征： 傳統(tǒng)的計算機芯片將處理器和內(nèi)存分散在不同的位置，但神經(jīng)形態(tài)芯片往往有許多微型處理器，每個微型處理器都有少量的局部存儲器。
這種結(jié)構(gòu)類似于人腦的組織，神經(jīng)元同時進行數(shù)據(jù)存儲和處理。研究人員認為，這種神經(jīng)形態(tài)架構(gòu)要素可以使得這些芯片建立的模型更好地復制人類的學習和記憶。
學習能力是英特爾 Loihi 芯片的一個焦點，該芯片于 2017 年 9 月首次發(fā)布，并于去年 1 月與研究人員共享。
為了模擬大約 13 萬個神經(jīng)元和 1.3 億個突觸，Loihi 引入了脈沖時間相關(guān)的突觸可塑性模型 (STDP)，這是一種通過突觸前和突觸后脈沖相對時間在大腦中調(diào)節(jié)突觸強度的機制。
如果一個神經(jīng)元在第二個神經(jīng)元之前觸發(fā)，那么它與第二個神經(jīng)元的連接就會增強，而如果觸發(fā)順序顛倒，連接強度就會減弱。這些突觸強度的變化被認為在人類大腦的學習和記憶中起著重要作用。
負責 Loihi 開發(fā)的 Davies 表示，研究人員的目的是捕獲人類大腦擅長而當前人工智能模型不擅長的快速終身學習過程。像 TrueNorth 一樣，Loihi 是分布式的，供不同研究人員使用。
隨著越來越多的研究團隊使用這些芯片來模擬大腦，Davies 說，「希望一些更廣泛的原理能夠更清楚地解釋我們在大腦中看到的一些驚人能力。」
神經(jīng)系統(tǒng)科學中的神經(jīng)形態(tài)學
對于所有潛在的科學應用而言，TrueNorth 和 Loihi 并不是專門為神經(jīng)科學家構(gòu)建的。他們主要是研究芯片，旨在測試和優(yōu)化神經(jīng)形態(tài)結(jié)構(gòu)，以提高其能力和易用性，以及探索各種潛在的商業(yè)應用，從語音和手勢識別到節(jié)能機器人以及可為智能手機和自動駕駛汽車提供動力的設備上機器學習模型。
另一方面，歐盟的人類大腦計劃（Human Brain Project）已經(jīng)開發(fā)了兩個神經(jīng)形態(tài)硬件系統(tǒng)，其明確目標是理解大腦。
BrainScaleS 于 2016 年推出，它將許多芯片組合在大型硅晶片上，更像是超薄飛盤而不是指甲。每個晶片包含 384 個模擬芯片，它們運行起來相當于增強版的 Indiveri 的模擬芯片，是為提高速度而不是降低功耗而優(yōu)化的。每個晶片上總共模擬了大約 200,000 個神經(jīng)元和 49,000,000 個突觸。
作為歐盟人類大腦計劃的一部分，BrainScaleS 和神經(jīng)形態(tài)系統(tǒng) SpiNNaker 都受益于這一計劃，這一計劃背后有著許多理論、實驗、計算神經(jīng)科學家組成的大型社區(qū)。與這個社區(qū)的互動引導著新功能的增加，這可能對科學家有所幫助，并允許從兩個系統(tǒng)中得到的新發(fā)現(xiàn)快速反饋回該領(lǐng)域。
英國曼徹斯特大學的計算機工程師 Steve Furber 在 20 年前構(gòu)想出了 SpiNNaker，他已經(jīng)設計了超過 10 年。在 SpiNNaker 小型數(shù)字基礎(chǔ)芯片上艱難探索 6 年之后，F(xiàn)urber 說，他和他的同事們在 2011 年實現(xiàn)了所有功能。
自那以后，研究小組一直在將這些芯片組裝成規(guī)模更大的機器，以 2018 年末開啟的擁有百萬處理器的機器告終。Furber 預計 SpiNNaker 應該能夠?qū)崟r模擬老鼠大腦中的 1 億個神經(jīng)元——而傳統(tǒng)超級計算機做到這一點速度要慢 1 千倍左右。
目前，歐盟人腦計劃系統(tǒng)免費向?qū)W術(shù)研究實驗室開放。神經(jīng)科學家開始在 SpiNNaker 硬件上運行他們自己的程序，以模擬大腦特定子系統(tǒng)的高級處理過程，如小腦、皮質(zhì)或基底神經(jīng)節(jié)。
例如，研究人員正在試圖模擬一個小的重復結(jié)構(gòu)單元——皮質(zhì)微柱，該微柱位于大腦外層，負責大多數(shù)高級功能?！肝⒅苄?，但是它仍然有 8 萬個神經(jīng)元和 2.5 億個突觸，所以建模這個微柱并不是一項小工程，」Furber 說。
接下來，他補充到，「與僅從個體大腦區(qū)域著手相反，我們開始想從系統(tǒng)級創(chuàng)建」，逐漸接近為人類智力提供動力的含 850 億個神經(jīng)元的人腦的全尺寸模型。
模擬大腦
使用神經(jīng)形態(tài)硬件對大腦進行建?？梢越沂旧窠?jīng)元計算的基本原理，達特茅斯學院的計算神經(jīng)科學家 Richard Granger 說。神經(jīng)科學家可以非常詳細地測量神經(jīng)元的生物物理和化學特性，但是很難知道這些特性中的哪些對大腦的計算能力真的重要。雖然神經(jīng)形態(tài)芯片中使用的材料與人腦的細胞物質(zhì)完全不同，但使用這種新硬件的模型可以揭示大腦傳遞和評估信息的計算原理。
在硅中復制簡單的神經(jīng)電路幫助 Indiveri 發(fā)現(xiàn)了大腦設計的潛在效益。他曾經(jīng)給一個博士生一個神經(jīng)形態(tài)芯片，該芯片能夠模擬脈沖頻率適應，這種機制使人類習慣于恒定的刺激。
由于在芯片上壓縮了空間，學生決定不實現(xiàn)這個功能。然而，當努力降低芯片的帶寬和功率要求時，他最終得到了一些看起來與他移除的脈沖頻率適應相同的東西。
Indiver 和他的同事們還發(fā)現(xiàn)，長距離發(fā)送模擬信號的最佳方式不是將它們表示為連續(xù)可變的流，而是像神經(jīng)元一樣，將它們表示為一系列脈沖信號?！溉绻阆胱钚』芰亢蛶挘窠?jīng)元所使用的技術(shù)被證明是傳輸信號的最佳技術(shù)，」Indiveri 說。
神經(jīng)形態(tài)硬件也可以讓研究人員測試他們關(guān)于大腦功能的理論?？的螤柎髮W的計算神經(jīng)科學家 Thomas Cleland 建立了嗅球模型來闡明支撐我們嗅覺的原理。使用 Loihi 芯片使他能夠建立足夠快的硬件模型以模擬生物。
當從化學傳感器（我們的氣味感受器的人工版本）給定數(shù)據(jù)，系統(tǒng)在只接觸到一個樣本后就學會了識別氣味，超過了傳統(tǒng)的機器學習方法，并且更接近人類的優(yōu)秀嗅覺。
「通過成功地映射類似的東西，并在神經(jīng)形態(tài)芯片上顯示它的工作情況，是你確實理解了這個系統(tǒng)的很好的證明」，Davies 說。
Cleland 的嗅覺模型并不總是像預期的那樣有效，但那些「失敗」的實驗同樣具有啟發(fā)性。傳感器接收到的氣味輸入有時與模型預測的結(jié)果不同，可能是因為氣味比預期的更復雜或更具噪聲，或者是因為溫度或濕度干擾了傳感器。
「輸入信息有點不靠譜，我們知道這并不能騙過我們的鼻子，」他說。研究人員發(fā)現(xiàn)，通過注意以前忽略的氣味輸入中的「噪聲」，嗅覺系統(tǒng)模型可以正確地檢測到更廣泛的輸入。研究結(jié)果使 Cleland 更新了他的嗅覺模型，研究人員現(xiàn)在可以觀察生物系統(tǒng)，看看它們是否使用這種以前未知的技術(shù)來識別復雜或含有噪聲的氣味。
Cleland 希望擴大他的模型規(guī)模，這個模型運行在生物實時環(huán)境中，分析來自成百甚至上千個傳感器的氣味數(shù)據(jù)，這些數(shù)據(jù)可能需要幾天時間才能在非神經(jīng)形態(tài)硬件上運行?！钢灰覀兡馨阉惴ǚ诺缴窠?jīng)形態(tài)芯片上，那么后者的可擴展性就非常好」，他說。「對我來說，最令人興奮的事情是能夠運行這 16000 個傳感器的數(shù)據(jù)集，看看當我們擴大模型規(guī)模時，算法會有多好。」
SpiNNaker、 TrueNorth 和 Loihi 都能以與生物相同的速度對神經(jīng)元和大腦進行模擬，這意味著研究人員可以使用這些芯片識別刺激——如圖像、手勢或聲音——當它們出現(xiàn)時，立即處理和回應它們。
除了允許 Cleland 的人造鼻子處理氣味之外，這些能力還可以使機器人在消耗很少能源的情況下實時感知并對環(huán)境做出反應。對大多數(shù)傳統(tǒng)計算機而言，這是一個巨大的進步。
對于某些應用，例如可能需要數(shù)周、數(shù)月甚至數(shù)年才能完成的建模學習過程，這有助于提高速度。這就是 BrainScaleS 的用武之地，它的運轉(zhuǎn)速度比生物大腦快 1000-10000 倍。而且這個系統(tǒng)只會越來越先進。隨著與神經(jīng)科學家們密切合作開發(fā)新的處理器，它正在被升級為 BrainScaleS2。
這個新系統(tǒng)將能夠更好地模擬學習和建?；瘜W過程，比如多巴胺對學習的影響，這是其他神經(jīng)形態(tài)系統(tǒng)無法復制的。研究人員說，它還能夠建模各種神經(jīng)元、樹突和離子通道，以及結(jié)構(gòu)可塑性的特征，如突觸的損失和增長。
也許有一天，這個系統(tǒng)甚至能夠接近人類的學習和智力。海德堡大學的生物物理學家 Johannes Schemmel 說：「我認為，理解生物智能是本世紀最大的問題?！?/p>
當前的人工智能系統(tǒng)在靈活性和學習能力方面仍然落后于大腦。Furber 說：「谷歌的神經(jīng)網(wǎng)絡在看過一千萬張貓的圖片之后才擅長識別出貓，但是如果你給我兩歲的孫子只看一張貓的圖片，他就能一輩子都認得貓了?！?/p>
隨著今年晚些時候 Loihi 計劃的推出，Eliasmith 希望能夠為他的 Spaun 模型增加更高層次的認知和學習行為。他說他特別興奮的是嘗試準確建模人類如何快速且容易地學習一項認知任務，比如一個新的棋盤游戲。像 AlphaGo 這樣著名的人工智能游戲玩家必須建模數(shù)以百萬計的圍棋棋局才能學會如何下好。
目前還不清楚復制人類智能是否僅僅是建立更大更詳細的大腦模型的問題。「我們不知道我們理解大腦的方式是否存在某種根本性的缺陷，」Eliasmith 說?！肝覀儾恢牢覀兡茏叨噙h，直到我們有更好的硬件能夠?qū)崟r運行這些具有數(shù)以億計的神經(jīng)元的模型」他說，「我認為神經(jīng)形態(tài)學能幫助我們達到這個目標?！?/p>
聯(lián)系客服
