編者按:本文來自微信公眾號“機(jī)器之能”(ID:almosthuman2017),作者 | Liesbeth Venema,編譯 | 張震、chenxiaoqing,來源 | 新科學(xué)家;36氪經(jīng)授權(quán)發(fā)布。
大數(shù)據(jù)讓傳統(tǒng)計(jì)算機(jī)架構(gòu)捉襟見肘,真實(shí)憶阻器的發(fā)現(xiàn)改變了這一局面。其元件特性適合模擬神經(jīng)元突觸的部分運(yùn)作,使得電腦神經(jīng)網(wǎng)絡(luò)制作上更能接近人腦。目前,一些科技巨頭、創(chuàng)業(yè)和研究機(jī)構(gòu)已在探索利用憶阻器強(qiáng)化計(jì)算機(jī)學(xué)習(xí)能力甚至取代普通晶體管計(jì)算機(jī)的路徑。
我們可以談?wù)撊斯ぶ悄苷莆找恍┤祟惐绢I(lǐng),比如開車或者玩撲克。但是,當(dāng)需要讓海量、無序信息變得有意義時(shí),人類還無法打造一個(gè)哪怕是接近大腦的 AI。部分原因在于大腦未解之謎,以及已有半世紀(jì)歷史的計(jì)算機(jī)架構(gòu),制約了這一目標(biāo)的實(shí)現(xiàn)。
如今,一種新的計(jì)算范式為突破瓶頸帶來曙光。這種激進(jìn)方案使用了一種同時(shí)存儲(chǔ)、處理信息的硬件,與大腦神經(jīng)元網(wǎng)絡(luò)的差別不是很大。充分發(fā)揮這一新范式的潛力,我們就能創(chuàng)造出可以實(shí)時(shí)分析數(shù)據(jù)流、識(shí)別模式,或許還能獨(dú)立自學(xué)的機(jī)器心智(mind)。
大數(shù)據(jù)時(shí)代,馮·諾依曼架構(gòu)捉襟見肘
筆記本,智能手機(jī),平板電腦,只要你說上來的,幾乎都遵循著馮·諾依曼結(jié)構(gòu)。70 多年前,他主張計(jì)算機(jī)處理器與存儲(chǔ)單元應(yīng)該彼此獨(dú)立。聽起來不像是什么偉大的提議,但這意味著每運(yùn)行一個(gè)新程序,沒必要再重新連接計(jì)算機(jī)。這種勞動(dòng)分工的設(shè)計(jì)很湊效,人類制造出更快的計(jì)算機(jī),辦法就是串聯(lián)處理器與內(nèi)存。
但是,這一架構(gòu)也有短處。
處理器需要數(shù)據(jù)信息,必須先從存儲(chǔ)單元讀取。這就要求電子在兩個(gè)元件之間穿梭,因此,處理器經(jīng)常覺得很無聊,因?yàn)橐葦?shù)據(jù)。你的筆記本為什么會(huì)有「多核」,這就是其中一個(gè)原因;多個(gè)處理器單元——每一個(gè)都與內(nèi)存連接——意味著,它們可以同時(shí)請求數(shù)據(jù),從整體上加快計(jì)算。
如今,這一局限性真的開始妨礙到人類進(jìn)步。
數(shù)據(jù)比以往任何時(shí)候都要多,特別是「大數(shù)據(jù)」革命正在臨近。我們已經(jīng)可以瞥見未來的樣子:預(yù)測心臟病,數(shù)據(jù)預(yù)測分析比傳統(tǒng)醫(yī)學(xué)方法更快、更準(zhǔn)。英國諾丁漢大學(xué)研究人員設(shè)計(jì)了一種算法,可以處理近 400,000 病人的電子病歷,多么龐大的數(shù)據(jù)分析任務(wù)。隨著物聯(lián)網(wǎng)范圍延伸到我們身邊的日常事物,從交通燈到冰箱,機(jī)器會(huì)為我們提供更多的生活洞見。
應(yīng)用得當(dāng),前景無限。然而,如此龐大的數(shù)據(jù)量已經(jīng)讓計(jì)算機(jī)過熱。美國能源部的一份報(bào)告顯示,世界 5% 到 15% 的能源都被用于計(jì)算,許多浪費(fèi)在了數(shù)據(jù)的傳輸中。這正是我們需要突破馮·諾依曼瓶頸的原因。
人們?yōu)榇诉M(jìn)行了許多嘗試。上世紀(jì) 80 年代,科學(xué)家開始考慮利用光子而不是電子來編譯信息。因?yàn)楣庾釉诠饫w中的傳播速度更快,所需傳播時(shí)間更少。其他人想要堅(jiān)持使用電子,不過希望將電子編碼進(jìn)量子力學(xué)特性(自旋)中,讓電子攜帶更多信息。但是,到目前為止,這些辦法都沒有很大進(jìn)展,主要原因在于實(shí)施起來很復(fù)雜,以至于投入產(chǎn)出不成比例。
總而言之,多年來,這個(gè)問題一直挑戰(zhàn)著人類智慧,之所以很諷刺,是因?yàn)榇竽X本身就是一臺(tái)超級計(jì)算機(jī),但所需能耗與一只 20 瓦的電燈泡差不多。它們不會(huì)存在類似馮·諾依曼結(jié)構(gòu)的瓶頸,因?yàn)橥粋€(gè)神經(jīng)網(wǎng)絡(luò)既可以存儲(chǔ)信息還可以處理信息。
大腦三大關(guān)鍵特征與傳統(tǒng)模擬方法的弊病
那么,如何模擬人類神經(jīng)網(wǎng)絡(luò)呢?這也是麻煩所在。我們不可能完全知曉大腦如何工作,不過,至少要模擬大腦的三個(gè)關(guān)鍵特征。
首先,大腦由大量的神經(jīng)元以及神經(jīng)元之間的突觸組成。其次,這些連接具有突觸彈性,也就是說它們可強(qiáng)可弱。學(xué)習(xí),其實(shí)就是強(qiáng)化某組神經(jīng)元之間連接。
第三個(gè)特征,脈沖時(shí)間相關(guān)的突觸可塑性 (spike-time-dependent plasticity)。相對前兩個(gè)特征,這個(gè)特征沒有得到很好的理解。該特征表明,如果兩個(gè)神經(jīng)元幾乎同時(shí)放電,那么,神經(jīng)元就會(huì)被加強(qiáng);如果放電不同步,就會(huì)變?nèi)酢=?jīng)過這一漫長過程,協(xié)同工作的神經(jīng)元的關(guān)系會(huì)得到加強(qiáng),以傳遞信息,不重要的聯(lián)系會(huì)被削弱。這就是大腦獨(dú)立學(xué)習(xí)的重要手段。綠燈時(shí),你會(huì)立刻反應(yīng)到「可以走了」,因?yàn)榻?jīng)過多年訓(xùn)練,相關(guān)神經(jīng)元之間的聯(lián)系得到了強(qiáng)化。
事實(shí)上,長期以來,我們一直在試圖模仿大腦計(jì)算方式。這個(gè)研究領(lǐng)域被稱之為神經(jīng)形態(tài)計(jì)算,如今已取得一些進(jìn)步。
最早突破之一,來自研究人員 Frank Rosenblatt。1958 年,他將研究成果 Mark 1 感知機(jī)公布于眾。Rosenblatt 對著機(jī)器的攝像頭展示了圓圈或三角型卡片,讓機(jī)器進(jìn)行識(shí)別,他來修正錯(cuò)誤。50 次嘗試之內(nèi),機(jī)器已經(jīng)學(xué)會(huì)輸入代表圓圈或者三角的信號。
不過,當(dāng)時(shí)的電子工程技術(shù)限制了感知機(jī)的發(fā)展。但是,情況已今非昔比。谷歌的 DeepMind 神經(jīng)網(wǎng)絡(luò)的成績令人驚呼,比如去年 AlphaGo 戰(zhàn)勝頂尖人類圍棋手。
TMark 1 感知機(jī)
然而,DeepMind 神經(jīng)網(wǎng)絡(luò)完全是軟件層面的模擬,在標(biāo)準(zhǔn)硅電子元件上運(yùn)行。所以,盡管和神經(jīng)元網(wǎng)絡(luò)學(xué)習(xí)方式類似,但并未突破馮·諾依曼結(jié)構(gòu)瓶頸。
2014 年問世的 IBM TrueNorth 芯片走的更遠(yuǎn)。該芯片有 55 億個(gè)硅晶體管,按照人腦 100 萬個(gè)「神經(jīng)元」的結(jié)構(gòu)進(jìn)行排列。有了這枚芯片,手機(jī)可以實(shí)時(shí)識(shí)別視頻物體,比如汽車還是自行車,但是所需電量很少,僅為手機(jī)睡眠模式所需量。聽起來很贊,但是,如果將規(guī)模擴(kuò)展到大腦神經(jīng)元級別,其能耗將是人腦能耗的 1 萬倍?!高@個(gè)辦法實(shí)際上是一種浪費(fèi)?!谷鹗刻K黎世大學(xué)神經(jīng)形態(tài)工程師 Giacomo Indiveri 說。
簡言之,盡管想方設(shè)法模仿大腦某些特征,但是,我們從來未曾實(shí)現(xiàn)將這三大特征集中在一個(gè)物理系統(tǒng)上。比如,TrueNorth 芯片擁有許多高度連接的「神經(jīng)元」,但是,如果不借助軟件,根本無法調(diào)節(jié)連接強(qiáng)度。
憶阻器,機(jī)器獨(dú)立學(xué)習(xí)的未來
失敗要?dú)w結(jié)于這樣一個(gè)事實(shí):傳統(tǒng)電子產(chǎn)品還沒能力真去模擬神經(jīng)突觸。但現(xiàn)在,我們有辦法了,這要感謝半個(gè)世紀(jì)前的思想。
1971 年,加州大學(xué)伯克利分校的電子工程師 Leon Chua 正在看一道連接基本電路元件的方程式,這些元件包括電阻、電容和電感。他突然注意到,可以用另外一種方式安排這些術(shù)語,結(jié)果得到一個(gè)關(guān)于第四個(gè)元件的方程式,這第四個(gè)元件的抗阻性會(huì)根據(jù)電流情況發(fā)生變化。Chua 將之稱為「憶阻器」,因?yàn)樗淖杩剐运坪跽故境鲆环N記憶能力。但當(dāng)時(shí)并沒有以這種原理工作的材料或者設(shè)備,人們幾乎忘記了這個(gè)發(fā)現(xiàn)。
約十年前,惠普公司的一個(gè)由 Stan Williams 帶領(lǐng)的團(tuán)隊(duì)正在研究一種新型內(nèi)存,與臺(tái)式電腦不同,在關(guān)掉電源后,新內(nèi)存仍然保留數(shù)據(jù)。研究人員研究著使用了極薄鈦膜的設(shè)備,他們發(fā)現(xiàn)其阻抗性會(huì)隨著經(jīng)過電流而發(fā)生奇怪的變化。最終,他們意識(shí)到薄膜中活動(dòng)的不僅僅是電子,也有原子,它們以微妙的方式反轉(zhuǎn)變化了材料結(jié)構(gòu)及其抗阻性。易言之,這個(gè)團(tuán)隊(duì)無意間創(chuàng)造出 Chua 憶阻器。
Williams 的研究有助于解釋以前為什么從未發(fā)現(xiàn)過憶阻性;因?yàn)橹荒茉谖⒂^尺度上自證存在。如今,人們相繼發(fā)現(xiàn)一系列可充當(dāng)憶阻器的物質(zhì),包括一些聚合物。
真實(shí)憶阻器的出現(xiàn)鼓舞了研究人員,原因有幾個(gè),比如有可能開發(fā)出新的計(jì)算方式,其技術(shù)更成熟、所用語言也比現(xiàn)在的更有效。
但不久后,有人動(dòng)真格了。
緊跟 Williams 的發(fā)現(xiàn),密歇根大學(xué)的工程師 Wei Lu 邁出關(guān)鍵一步。他向人們展現(xiàn)了這一事實(shí):憶阻器可充當(dāng)具有彈性的突觸。他拿出了一個(gè)由幾層薄硅打造的設(shè)備(其中一層帶有少量銀離子),它可以模擬上述大腦的第二個(gè)特征。后來,Lu 展示憶阻器也可以模擬大腦的第三個(gè)特征;應(yīng)用電脈沖確切時(shí)點(diǎn)不同(exact timing of applied electrical spikes),憶阻器做成的突觸也會(huì)有強(qiáng)弱變化。
這項(xiàng)研究表明,「對于神經(jīng)形態(tài)工程學(xué)來說,這真是激動(dòng)人心的時(shí)刻,」Indiveri 說。「目前應(yīng)該放棄硅晶體管,」荷蘭格羅寧根大學(xué)物理學(xué)家 Beatriz Noheda 說,聚焦研發(fā)成熟的、使用憶阻器的神經(jīng)網(wǎng)絡(luò)。
看起來,這只是擴(kuò)展 Lu 研究成果的一個(gè)簡單案例。盡管他的研究只有一個(gè)單獨(dú)的突觸(帶有一個(gè)輸入和輸出神經(jīng)元),但是,結(jié)果已經(jīng)表明憶阻器可以實(shí)現(xiàn)三大重要大腦功能。接下來的研究會(huì)考慮搭建多層憶阻器神經(jīng)元網(wǎng)絡(luò);每增加一層,網(wǎng)絡(luò)就能進(jìn)行更加復(fù)雜的「思考」。
沒那么快,位于加州的 IBM Almaden 研究實(shí)驗(yàn)室的 Geoffrey Burr 說。他說,Lu 所證實(shí)的脈沖時(shí)間依存的可塑性,只是在小規(guī)模上可行,但是,神經(jīng)科學(xué)家并不確定在人腦大規(guī)模學(xué)習(xí)上表現(xiàn)如何?!冈谀撤N程度上,肯定會(huì)發(fā)生,」他說,「但是,我們還搞不清狀況。」也就是說,部署在大型人工神經(jīng)網(wǎng)絡(luò),并不意味著可以帶來近似大腦的計(jì)算能力。
Burr 更喜歡堅(jiān)持沒有脈沖時(shí)間依存的可塑性的網(wǎng)絡(luò)。他使用的一個(gè)網(wǎng)絡(luò)類似驅(qū)動(dòng) DeepMind 的神經(jīng)網(wǎng)絡(luò),軟件控制著彈性突觸。但是,通過在憶阻器上運(yùn)行這些網(wǎng)絡(luò)(而不是晶體管),他能夠節(jié)省很多能源。
2014 年,Burr 搭建了一個(gè)這樣的網(wǎng)絡(luò),用了差不多 165000 個(gè)突觸。經(jīng)過手寫書信數(shù)據(jù)集訓(xùn)練后,該網(wǎng)絡(luò)能夠準(zhǔn)確識(shí)別這些手寫書信。Burr 的憶阻器由一種硫系玻璃(a chalcogenide glass)制成,這種材料能夠在原子有序或無序的兩相之間來回切換,改變材料導(dǎo)性。這種相變憶阻器正變得越來越可靠,芯片制造商們,比如英特爾開始出售使用憶阻器的內(nèi)存設(shè)備。
其他人認(rèn)為,憶阻器可以幫助實(shí)現(xiàn)完全獨(dú)立學(xué)習(xí)的機(jī)器。
英國南安普頓大學(xué)納米電子學(xué)研究人員 Themis Prodromakis 就是其中一員。去年,他搭建了一個(gè)神經(jīng)網(wǎng)絡(luò),有四個(gè)輸入,兩個(gè)輸出神經(jīng)元,用憶阻器突觸將它們連接起來。他可以輸入電子信號,比如「1001」或「0110」,這與 20 世紀(jì) 50 年代向感知機(jī)展示圓圈或三角形類似。不過,感知機(jī)需要人類告訴機(jī)器有沒有猜對圖形形狀,但 Prodromakis 的網(wǎng)絡(luò)完全自學(xué),看到 1001 就發(fā)送(fire off)一個(gè)輸出神經(jīng)元,看到 0110 就發(fā)送另外一個(gè)。即使是帶有噪音的信號輸入,它也能正常運(yùn)行。鑒于真實(shí)生活數(shù)據(jù)充滿噪音,這是一個(gè)非常重要的優(yōu)勢。
最后,我們似乎正利用憶阻器重新創(chuàng)造大腦真實(shí)狀態(tài)(比如,當(dāng)你望向窗外時(shí))的精華部分:不存在瓶頸的獨(dú)立學(xué)習(xí)。
適當(dāng)加以擴(kuò)展,這類自我學(xué)習(xí)系統(tǒng)就能實(shí)時(shí)篩查數(shù)據(jù),比如,監(jiān)測自動(dòng)駕駛汽車行為、橋梁完整性或者核電站,對龐大數(shù)據(jù)存儲(chǔ)中心(比如,為社交網(wǎng)絡(luò)存儲(chǔ)數(shù)據(jù)的中心)的需求也會(huì)減少。由于需要冷卻,這些中心有時(shí)會(huì)建在北極附近。但是,如果憶阻器網(wǎng)絡(luò)能夠?qū)崟r(shí)解析數(shù)據(jù),那么,可能就不需要存儲(chǔ)數(shù)據(jù)。
由憶阻器制成的電腦還有一個(gè)潛在的優(yōu)勢:因?yàn)檫\(yùn)行原理類似大腦,因此,與人類連接或許會(huì)更容易些?,F(xiàn)在已有一些使用硅芯片的設(shè)備,它們可以獲取大腦運(yùn)動(dòng)進(jìn)而將其轉(zhuǎn)交給現(xiàn)實(shí)世界的東西,比如,癱瘓人控制體外骨骼,或者在睡夢中控制電腦。
但是,挑戰(zhàn)依然不少。大腦神經(jīng)元行為極為復(fù)雜,現(xiàn)有的神經(jīng)接口很難處理所有那樣的信息?!敢娮釉幚砣绱素S富、高寬帶的數(shù)據(jù),會(huì)讓它不堪重負(fù)?!筆rodromakis 說道。憶阻器,是一個(gè)完美解決方案,因?yàn)樗鼈冎挥涗洷憩F(xiàn)脈沖顯著的信號,忽略嘈雜的背景。這讓 Prodromakis 興奮不已,最近,他開始與 Galvani Bioelectronics 合作研發(fā)基于憶阻器的神經(jīng)接口。Galvani Bioelectronics,一家去年成立的英國公司,源自 GlaxoSmithKline 和谷歌子公司一個(gè) 5.4 億英鎊合作項(xiàng)目。
困擾憶阻器網(wǎng)絡(luò)的最大問題之一,是能否高效量產(chǎn)。運(yùn)行良好的工廠可量產(chǎn)硅芯片,但也同樣適用于憶阻器嗎?
想找到答案,首先需要挑選最佳制造原料。Noheda 已在 Groningen 建立了一個(gè)研究中心從事這方面的研究。如果她和其他憶阻器先驅(qū)們獲得成功,那么,未來計(jì)算機(jī)可能會(huì)由那些四十年來、我們一度認(rèn)為不存在的材料打造而成。
聯(lián)系客服