華春雷 科技導(dǎo)報(bào) 2016, 34(7)
摘要 類(lèi)腦計(jì)算實(shí)際上存在兩個(gè)技術(shù)層面:第1層面是“走出諾依曼框架”,主要屬于人工神經(jīng)網(wǎng)絡(luò)的大范疇;第2層面是“基于神經(jīng)科學(xué)的計(jì)算機(jī)算法”,試圖超越人工神經(jīng)網(wǎng)絡(luò)框架和擺脫權(quán)值計(jì)算模型,實(shí)現(xiàn)對(duì)生物腦的高逼真性模擬。第2 層面研究有兩類(lèi)方法,一類(lèi)是“大科學(xué)”,例如歐盟的“人類(lèi)腦計(jì)劃”和美國(guó)的“BRAINs”計(jì)劃;另一類(lèi)是“小科學(xué)”,例如Numenta 公司的“新皮質(zhì)層模型”和MindputerLab 的“腦的深構(gòu)造網(wǎng)絡(luò)”研究。本文總結(jié)比較了類(lèi)腦計(jì)算各主要層類(lèi)的方法特點(diǎn),重點(diǎn)介紹了深構(gòu)造網(wǎng)絡(luò)的基本概念、深構(gòu)造腦模型的研發(fā)進(jìn)展和深構(gòu)造網(wǎng)絡(luò)技術(shù)的應(yīng)用優(yōu)勢(shì)。
關(guān)鍵詞 類(lèi)腦計(jì)算;深構(gòu)造網(wǎng)絡(luò);神經(jīng)深構(gòu)造運(yùn)算;類(lèi)腦計(jì)算機(jī);深構(gòu)造腦模型
1 類(lèi)腦計(jì)算的主要類(lèi)別及方法特點(diǎn)
類(lèi)腦計(jì)算是對(duì)比計(jì)算機(jī)信息技術(shù)與腦神經(jīng)信息功能的智能差距后而提出的技術(shù)理想,目標(biāo)是發(fā)展仿腦的高智能計(jì)算機(jī)器。目前各實(shí)驗(yàn)室在同一起跑線(xiàn)上,正處于像萊特兄弟早期飛行時(shí)的探索階段。
類(lèi)腦計(jì)算研究,實(shí)際上存在兩個(gè)技術(shù)層面:一個(gè)是“超越諾依曼框架”,一個(gè)是“基于神經(jīng)科學(xué)的計(jì)算機(jī)算法”。表面看相仿,但性質(zhì)不同。例如,人工神經(jīng)網(wǎng)絡(luò)(ANN)幾十年前就走出了諾依曼框架?,F(xiàn)在多數(shù)在做的神經(jīng)形態(tài)芯片、神經(jīng)計(jì)算機(jī)、深度學(xué)習(xí)軟硬件項(xiàng)目等,都是ANN 范圍的技術(shù)延伸。支持者們相信,ANN的神經(jīng)元模型是基于突觸可塑性原理而形成的;多層深度神經(jīng)網(wǎng)絡(luò)是在腦神經(jīng)視覺(jué)網(wǎng)絡(luò)基礎(chǔ)上發(fā)展起來(lái)的,因此都屬于類(lèi)腦計(jì)算性質(zhì)。反對(duì)者認(rèn)為,簡(jiǎn)單的神經(jīng)元計(jì)算模型并不能真正實(shí)現(xiàn)對(duì)生物性神經(jīng)元的復(fù)雜的樹(shù)突結(jié)構(gòu)及其復(fù)雜工作模式的仿真。ANN的結(jié)構(gòu)與生物腦的網(wǎng)絡(luò)結(jié)構(gòu)本質(zhì)不同,兩種網(wǎng)絡(luò)的結(jié)構(gòu)復(fù)雜度及智能表現(xiàn)差異巨大。因此反對(duì)者認(rèn)為,試圖“超越諾依曼框架”的類(lèi)腦計(jì)算,并不等于是“基于神經(jīng)科學(xué)的計(jì)算機(jī)算法”,這是兩個(gè)技術(shù)層面。
大多數(shù)現(xiàn)有的“類(lèi)腦計(jì)算”項(xiàng)目屬于第1技術(shù)層面,無(wú)論是軟件或硬件,無(wú)論其技術(shù)路徑怎樣不同,仍然沒(méi)有脫離出ANN的大范疇。而第2技術(shù)層面“基于神經(jīng)科學(xué)的計(jì)算機(jī)算法”是一個(gè)很高的技術(shù)理想,實(shí)質(zhì)上是在試圖超越ANN框架和擺脫權(quán)值計(jì)算模型。目前國(guó)內(nèi)外只有少數(shù)幾個(gè)在做的研究項(xiàng)目,其共同點(diǎn)是試圖實(shí)現(xiàn)對(duì)生物腦的高逼真性模擬,研究方法可以劃分為兩大類(lèi)。
第1類(lèi)主要有歐盟的“人類(lèi)腦計(jì)劃”和美國(guó)的“BRAINs”計(jì)劃,雖然技術(shù)路徑不同,但都是從生物腦的微觀(guān)層面的實(shí)驗(yàn)數(shù)據(jù)和知識(shí)入手,通過(guò)逐漸整合,向上尋找中觀(guān)和宏觀(guān)層面上的數(shù)量關(guān)系規(guī)律,最終建立起整體的腦理論模型。
該類(lèi)方法的特點(diǎn)是“自下而上”,一場(chǎng)大規(guī)模的微觀(guān)海量的數(shù)據(jù)和碎片化的實(shí)驗(yàn)知識(shí)的“拼圖工程”。首先發(fā)展高尖端技術(shù)工具,以實(shí)現(xiàn)對(duì)腦的微觀(guān)的結(jié)構(gòu)和功能的全面測(cè)量和記錄;然后建立起全腦微觀(guān)數(shù)據(jù)庫(kù);在此基礎(chǔ)上,逐漸向大規(guī)模的腦計(jì)算模型上發(fā)展,并試圖形成對(duì)腦活動(dòng)、腦病變和腦智能的機(jī)制性解讀的整體理論;最后形成比較成熟的類(lèi)腦計(jì)算技術(shù)和類(lèi)腦人工智能。這種研究屬于長(zhǎng)周期的大科學(xué)或大工程,需要?jiǎng)訂T大量人力物力和財(cái)力。
第2類(lèi)研究方法的特點(diǎn)是“自上而下”。直接將研究重心放在一個(gè)“好的”腦理論的建造上,然后向下導(dǎo)出神經(jīng)元模型和神經(jīng)元群體網(wǎng)絡(luò)模型;之后測(cè)試和檢驗(yàn)?zāi)P团c微觀(guān)神經(jīng)知識(shí)和數(shù)據(jù)之間的契合度。這種研究的關(guān)鍵在于怎樣找到正確的理論入手點(diǎn),這一步不是單純的建模方法問(wèn)題,也不是一般的學(xué)科性理論問(wèn)題,而是若干個(gè)重要學(xué)科的理論進(jìn)程中的匯合點(diǎn)上的再綜合,屬于科學(xué)大周期性的結(jié)晶過(guò)程。這種研究屬于長(zhǎng)周期和“形而上”的小科學(xué)。目前,采用第2類(lèi)方法的主要有美國(guó)Numenta公司和中國(guó)的神經(jīng)深構(gòu)造運(yùn)算與腦計(jì)算機(jī)實(shí)驗(yàn)室(Neural Deep Structure Computing & MindComputer Lab,Mindputer Lab),兩個(gè)實(shí)驗(yàn)室技術(shù)路徑雖異,但總體方法都是先從全腦角度來(lái)建立理論框架,然后將理論逐漸地向下細(xì)化,導(dǎo)出中觀(guān)和微觀(guān)的計(jì)算模型,之后再檢驗(yàn)與微觀(guān)層面的 實(shí)驗(yàn)數(shù)據(jù)和知識(shí)的互恰性。
兩類(lèi)研究方法各有利弊,第1類(lèi)方法就像在萬(wàn)米懸崖峭壁貼身攀巖,向上的每一步很費(fèi)時(shí)且充滿(mǎn)未知。因?yàn)?,從海量的?shù)據(jù)中去試圖進(jìn)行全腦網(wǎng)絡(luò)的微觀(guān)拼圖,是一個(gè)大隨機(jī)性的事件,即使有超級(jí)計(jì)算機(jī)或其他先進(jìn)微觀(guān)技術(shù)的幫助,歐美兩個(gè)腦項(xiàng)目的10年計(jì)劃時(shí)間是遠(yuǎn)遠(yuǎn)不夠的。而第2類(lèi)方法更像是空中傘降,難點(diǎn)在降落傘上,只要降落傘做得好,則向下定點(diǎn)降落的時(shí)間和復(fù)雜度比攀巖小的多??茖W(xué)史已經(jīng)證明,一個(gè)好的理論是大大削減科學(xué)探險(xiǎn)隨機(jī)性風(fēng)險(xiǎn)的銳利刀具。
以仿鳥(niǎo)飛行為例,成功地把一個(gè)鳥(niǎo)的翅膀的全部微觀(guān)結(jié)構(gòu)和功能都詳盡地解剖和測(cè)量出來(lái),并用人造材料再詳細(xì)地精密復(fù)制出來(lái)的實(shí)驗(yàn)飛行器,其升空與續(xù)航的時(shí)間遠(yuǎn)遠(yuǎn)慢于先發(fā)現(xiàn)伯努利原理,然后依據(jù)這個(gè)原理做出一個(gè)飛機(jī)模型升空的時(shí)間。事實(shí)是,在伯努利原理之前,人類(lèi)的飛行試驗(yàn)幾乎都是在原地不斷地試錯(cuò)和犧牲;伯努利原理發(fā)現(xiàn)之后,一切速度都加快了。有趣的是,人類(lèi)已成功升空100多年了,但迄今對(duì)鳥(niǎo)的翅膀的全部微觀(guān)結(jié)構(gòu)和功能仍未透徹了解和仿造。
采用第2類(lèi)方法的Numenta公司和Mindputer Lab,都是先建立腦理論,然后向神經(jīng)元模型和類(lèi)腦計(jì)算上發(fā)展。Numenta公司的實(shí)驗(yàn)依據(jù)是Jeff Hawkins提出的“新皮質(zhì)層理論”[7,8],在此基礎(chǔ)上發(fā)展出了一種新型的神經(jīng)元模型,該理論認(rèn)為不同的突觸在神經(jīng)元中不同的激活模式之間的變化中發(fā)揮著不同的作用,并相信基于這種神經(jīng)元模型所建立的神經(jīng)網(wǎng)絡(luò)將表現(xiàn)出類(lèi)似于生物腦所具有的某些智能。Mindputer Lab由原腦·生態(tài)學(xué)比較研究組在企業(yè)資本的支持下于2011年轉(zhuǎn)型成立,曾長(zhǎng)期專(zhuān)注于種內(nèi)適應(yīng)性比較生物學(xué)的基礎(chǔ)理論[1~3]和腦深構(gòu)造理論研究[2,4]。2015年6月世界首臺(tái)深構(gòu)造腦模型(Mindputer:The Deep Structural Brain Model)[5]在該實(shí)驗(yàn)室誕生,在深構(gòu)造腦模型研究過(guò)程中逐漸發(fā)展出來(lái)一種新的類(lèi)腦計(jì)算——深構(gòu)造網(wǎng)絡(luò)與神經(jīng)深構(gòu)造運(yùn)算。
2 深構(gòu)造網(wǎng)絡(luò)與神經(jīng)深構(gòu)造運(yùn)算概念
2012 年底出版的《The Brain's SuperIntelligenceAnalysis》[4]一書(shū),首次對(duì)腦深構(gòu)造的基本概念和基本原理進(jìn)行了闡述,并對(duì)生物性的神經(jīng)元和腦網(wǎng)絡(luò)的模型的理論框架進(jìn)行了討論。之后,Mindputer Lab 向數(shù)量化模型上不斷深化,并形成了關(guān)于“深構(gòu)造網(wǎng)絡(luò)”的技術(shù)猜想、技術(shù)標(biāo)準(zhǔn)和實(shí)驗(yàn)?zāi)繕?biāo)[6]。在此基礎(chǔ)上所研發(fā)的深構(gòu)造腦模型樣機(jī)Mindputer,屬于“深構(gòu)造網(wǎng)絡(luò)”新概念上的計(jì)算機(jī)仿真模型,性質(zhì)上已完全脫離了ANN框架。
深構(gòu)造網(wǎng)絡(luò)概念基于這樣的一種理想假設(shè),即:無(wú)論腦神經(jīng)網(wǎng)絡(luò)如何復(fù)雜,都可以被逐步拆解為一批簡(jiǎn)單的基本網(wǎng)絡(luò)單位?;揪W(wǎng)絡(luò)單位的鑒別標(biāo)準(zhǔn)是:
1)當(dāng)一個(gè)復(fù)雜網(wǎng)絡(luò)被拆解到這種程度時(shí),即該網(wǎng)絡(luò)單位內(nèi)的全部神經(jīng)元,只要服務(wù)于一個(gè)單一的工作任務(wù)或記憶內(nèi)容,則可被鑒定為是“基本單位”。
2)在基本網(wǎng)絡(luò)單位中,神經(jīng)元間的聯(lián)接結(jié)構(gòu)都可以簡(jiǎn)化到一個(gè)平面內(nèi),或可看作為單一平面內(nèi)的神經(jīng)元聯(lián)接關(guān)系,簡(jiǎn)稱(chēng)為“單體網(wǎng)絡(luò)”。
而實(shí)際上腦神經(jīng)網(wǎng)絡(luò)是無(wú)法被這樣拆解的。在腦中,根本找不到任何一個(gè)理想化的單體網(wǎng)絡(luò),任意劃出一個(gè)神經(jīng)微點(diǎn)區(qū),其內(nèi)部成千上萬(wàn)的神經(jīng)元大多數(shù)都服務(wù)于許多個(gè)工作任務(wù)或記憶內(nèi)容,參與許多個(gè)不同的神經(jīng)工作流程,樹(shù)突上叢枝狀的突觸,錯(cuò)綜復(fù)雜地與許多種工作任務(wù)或記憶內(nèi)容的神經(jīng)元相聯(lián)。這種網(wǎng)絡(luò)結(jié)構(gòu)造成人們無(wú)法分離出任何一個(gè)單獨(dú)的工作任務(wù)或記憶內(nèi)容的單體網(wǎng)絡(luò)。
“深構(gòu)造網(wǎng)絡(luò)”的猜想是:如果兩個(gè)以上的單體網(wǎng)絡(luò)發(fā)生局部性的疊加形成“復(fù)合網(wǎng)絡(luò)”,且它們中疊加部分的神經(jīng)元對(duì)應(yīng)性地形成合成體(稱(chēng)為“復(fù)合神經(jīng)元”,圖1);如果復(fù)合神經(jīng)元保留有原承擔(dān)的為各單體網(wǎng)絡(luò)服務(wù)的功能,那么則可做出理論推測(cè),這些復(fù)合神經(jīng)元之間能夠形成一種特殊的“結(jié)構(gòu)關(guān)系”及其調(diào)制功能,這種“結(jié)構(gòu)關(guān)系”能夠在復(fù)合網(wǎng)絡(luò)形成后,使原各單體網(wǎng)絡(luò)的工作任務(wù)在發(fā)生競(jìng)爭(zhēng)時(shí)能夠被有效地協(xié)調(diào)做出相互間的讓步或優(yōu)先。
神經(jīng)深構(gòu)造理論認(rèn)為,無(wú)論腦神經(jīng)的結(jié)構(gòu)如何復(fù)雜,都能夠通過(guò)“復(fù)合神經(jīng)元之間的網(wǎng)絡(luò)結(jié)構(gòu)”來(lái)理解它們內(nèi)部關(guān)系。深構(gòu)造理論將這種“復(fù)合神經(jīng)元之間的網(wǎng)絡(luò)結(jié)構(gòu)”稱(chēng)為“深構(gòu)造網(wǎng)絡(luò)”,而將理想化的單體網(wǎng)絡(luò)中神經(jīng)元之間的結(jié)構(gòu)關(guān)系稱(chēng)為“淺構(gòu)造網(wǎng)絡(luò)”。深構(gòu)造理論認(rèn)為,深構(gòu)造可以有效地調(diào)制其內(nèi)部錯(cuò)綜復(fù)雜的單體網(wǎng)絡(luò)之間的工作競(jìng)爭(zhēng)性。深構(gòu)造網(wǎng)絡(luò)是在解決不同條件下的許多任務(wù)之間的競(jìng)爭(zhēng)和建立它們之間的優(yōu)先讓步秩序的過(guò)程中形成的。因此,將深構(gòu)造看作是腦神經(jīng)網(wǎng)絡(luò)中的調(diào)制樞紐,而復(fù)合神經(jīng)元?jiǎng)t看作是調(diào)制樞紐神經(jīng)元。
文獻(xiàn)[4]對(duì)腦神經(jīng)的深構(gòu)造的建構(gòu)法則做了基礎(chǔ)論證。提出預(yù)言:腦的復(fù)雜性的本源是深構(gòu)造,腦的思維機(jī)制和超級(jí)智能的奧秘蘊(yùn)藏在深構(gòu)造的建構(gòu)法則之中。并認(rèn)為現(xiàn)有的人工神經(jīng)網(wǎng)絡(luò)屬于小規(guī)模單體網(wǎng)絡(luò)或大規(guī)模集成單體網(wǎng)絡(luò),都屬于淺構(gòu)造性質(zhì),其復(fù)雜度只能滿(mǎn)足于對(duì)智能的、可程式化部分的仿真,對(duì)不可程式化部分無(wú)能為力。只有深構(gòu)造網(wǎng)絡(luò)的復(fù)雜度才能夠?yàn)楦呷斯ぶ悄艿纳珊瓦M(jìn)化提供技術(shù)基礎(chǔ)。
從實(shí)驗(yàn)意義上講,深構(gòu)造網(wǎng)絡(luò)猜想為理解腦神經(jīng)提供了一個(gè)新的模型仿真技術(shù)路徑。因此,發(fā)展基于人工深構(gòu)造神經(jīng)網(wǎng)絡(luò)的計(jì)算方法成為一個(gè)新的課題?!吧窠?jīng)深構(gòu)造計(jì)算”是在神經(jīng)深構(gòu)造理論基礎(chǔ)上,通過(guò)研究和實(shí)驗(yàn)深構(gòu)造網(wǎng)絡(luò)而發(fā)展出來(lái)的新的計(jì)算工具。其定義是:關(guān)于神經(jīng)復(fù)合網(wǎng)絡(luò)的分解、合成、分析、設(shè)計(jì)和建造的計(jì)算方法,通過(guò)建立復(fù)合神經(jīng)元間的深構(gòu)造關(guān)系,解決復(fù)合網(wǎng)絡(luò)內(nèi)部的競(jìng)爭(zhēng)與調(diào)制問(wèn)題,可用于對(duì)生物性腦神經(jīng)網(wǎng)絡(luò)的高逼真度的結(jié)構(gòu)分析和功能仿真。神經(jīng)深構(gòu)造運(yùn)算包括兩個(gè)方面:1)發(fā)展基于生物神經(jīng)元樹(shù)突的構(gòu)型轉(zhuǎn)換模型,該模型不同于現(xiàn)有的人工神經(jīng)元權(quán)值計(jì)算模型。包括構(gòu)型轉(zhuǎn)換的規(guī)則與計(jì)算,構(gòu)型進(jìn)化的規(guī)則與計(jì)算。2)建立起單體-復(fù)合網(wǎng)絡(luò)之間的合成/降解的正逆過(guò)程的深構(gòu)造運(yùn)算規(guī)則。
在此基礎(chǔ)上,實(shí)驗(yàn)室為“神經(jīng)深構(gòu)造計(jì)算”設(shè)定了4個(gè)技術(shù)標(biāo)準(zhǔn):
1)使單體網(wǎng)絡(luò)的工作任務(wù)在復(fù)合網(wǎng)絡(luò)中能夠繼續(xù)維持不變。
2)使單體網(wǎng)絡(luò)中的不同工作任務(wù)能夠在競(jìng)爭(zhēng)時(shí)形成協(xié)調(diào)讓步。
3)使復(fù)合網(wǎng)絡(luò)中的不同工作任務(wù)之間邊界清晰和地位明確。
4)使深構(gòu)造的正向的合成過(guò)程與逆向的降解過(guò)程均有效運(yùn)算。
3 深構(gòu)造腦模型的發(fā)展與實(shí)驗(yàn)進(jìn)展
深構(gòu)造腦模型的實(shí)驗(yàn)?zāi)繕?biāo)是:通過(guò)人工的技術(shù)手段,建立一個(gè)深構(gòu)造的復(fù)合網(wǎng)絡(luò)體,并通過(guò)測(cè)試來(lái)檢驗(yàn)該網(wǎng)絡(luò)體中的運(yùn)行是否符合上述4個(gè)神經(jīng)深構(gòu)造計(jì)算的技術(shù)標(biāo)準(zhǔn),以此驗(yàn)證深構(gòu)造網(wǎng)絡(luò)猜想的真實(shí)性,以此證實(shí)“深構(gòu)造網(wǎng)絡(luò)”的客觀(guān)存在性。在此基礎(chǔ)上進(jìn)一步實(shí)驗(yàn)研究生物腦與腦模型之間的網(wǎng)絡(luò)結(jié)構(gòu)的相似性和功能對(duì)比。
深構(gòu)造腦模型的關(guān)鍵技術(shù)難點(diǎn)在于,如何使幾個(gè)分屬的人工神經(jīng)元融合轉(zhuǎn)化為一個(gè)跨多個(gè)單體網(wǎng)絡(luò)的合成體神經(jīng)元。深構(gòu)造理論認(rèn)為,樹(shù)突內(nèi)部所呈現(xiàn)出的那種奇妙復(fù)雜的叢枝狀結(jié)構(gòu)形態(tài)是動(dòng)物在進(jìn)化中為處理錯(cuò)綜復(fù)雜的競(jìng)爭(zhēng)信號(hào)而被塑造出來(lái)的。它之所以會(huì)長(zhǎng)成這個(gè)樣子,一定是這種技術(shù)結(jié)構(gòu)能夠使它具有某種獨(dú)特的技術(shù)用途。正是在樹(shù)突的叢枝狀結(jié)構(gòu)上,才能夠?qū)λ邮盏脑S多外部競(jìng)爭(zhēng)性信號(hào)實(shí)施復(fù)雜的調(diào)制(圖2,注意各種突觸之間的位置和距離關(guān)系)。樹(shù)突叢枝狀結(jié)構(gòu),才是神經(jīng)編碼奧秘之所在[4]。
經(jīng)典ANN人工神經(jīng)元模型的樹(shù)突放射狀結(jié)構(gòu),與生物神經(jīng)元樹(shù)突的叢枝狀結(jié)構(gòu)形成鮮明的對(duì)照。后者在處理信息上的特殊“機(jī)制”已經(jīng)成為實(shí)驗(yàn)神經(jīng)科學(xué)的前沿區(qū)域。例如,2013 年《Nature》雜志刊登的論文“Dendritic spikes enhancestimulus selectivity in cortical neurons in vivo”[9],對(duì)小鼠神經(jīng)元的樹(shù)突電信號(hào)研究中的發(fā)現(xiàn),顛覆了經(jīng)典神經(jīng)元模型的信號(hào)生成原理。傳統(tǒng)神經(jīng)理論認(rèn)為,軸突是神經(jīng)元產(chǎn)生尖峰脈沖的機(jī)構(gòu),但新的實(shí)驗(yàn)證明,樹(shù)突部位才是處理信號(hào)的真正機(jī)構(gòu),并在樹(shù)突部位形成了尖峰脈沖。
更早的一些實(shí)驗(yàn)也已經(jīng)發(fā)現(xiàn),產(chǎn)生尖峰脈沖的分子主要存在于樹(shù)突中,樹(shù)突不是被動(dòng)處理外輸入的信號(hào),而是像一部微型計(jì)算機(jī)那樣主動(dòng)處理這些信號(hào),樹(shù)突并不是一個(gè)簡(jiǎn)單的信息整合器,而更像是一個(gè)復(fù)雜的計(jì)算裝置。MindputerLab的“復(fù)合神經(jīng)元的樹(shù)突模型”,就是在對(duì)深構(gòu)造理論和對(duì)樹(shù)突叢枝狀結(jié)構(gòu)的研究這兩方面的結(jié)合中逐漸發(fā)展出來(lái)的。它基于這樣一種樹(shù)突工作的新原理:樹(shù)突內(nèi)部不同的突觸分組對(duì)尖峰脈沖的形成具有競(jìng)爭(zhēng)性,而突觸分組內(nèi)的構(gòu)型變化則可對(duì)競(jìng)爭(zhēng)性產(chǎn)生妥協(xié)和調(diào)節(jié)。
實(shí)驗(yàn)推測(cè),突觸間的位置和距離的微小變化,可能對(duì)樹(shù)突內(nèi)腔的電化學(xué)過(guò)程產(chǎn)生某種微妙的調(diào)節(jié),但是目前很難通過(guò)神經(jīng)生理實(shí)驗(yàn)查清這種競(jìng)爭(zhēng)與調(diào)節(jié)的微觀(guān)原因。Mindputer Lab缺乏一種實(shí)驗(yàn)方法,可通過(guò)測(cè)定或計(jì)算突觸間位置差別的變化,認(rèn)別突觸內(nèi)電化學(xué)過(guò)程所可能的微時(shí)間上的調(diào)節(jié)模式。因此改為在計(jì)算機(jī)上直接模擬,當(dāng)來(lái)自不同單體網(wǎng)絡(luò)的突觸分組產(chǎn)生競(jìng)爭(zhēng)時(shí),如何通過(guò)調(diào)節(jié)分組內(nèi)的構(gòu)型解決不同單體網(wǎng)絡(luò)的讓位與優(yōu)先問(wèn)題。Mindputer Lab先后發(fā)展了多種計(jì)算方法,并在其中找到了一種最優(yōu)的方法,該方法簡(jiǎn)稱(chēng)為“樹(shù)突多叢異分轉(zhuǎn)換”(圖3)[5,6]。
新的復(fù)合神經(jīng)元就是在這種樹(shù)突多叢異分轉(zhuǎn)換模型的基礎(chǔ)上具備了調(diào)節(jié)多個(gè)單體網(wǎng)絡(luò)競(jìng)爭(zhēng)的能力的。這種新的量化方法包括:對(duì)樹(shù)突上的全部突觸的分組的量化;樹(shù)突內(nèi)的多個(gè)分組之間的競(jìng)爭(zhēng)與妥協(xié)的計(jì)算方法。經(jīng)過(guò)幾年的大量實(shí)驗(yàn)和計(jì)算改進(jìn),這種新的神經(jīng)元樹(shù)突模型已經(jīng)顯示出接近于生物性神經(jīng)元的樹(shù)突工作特性表現(xiàn)。
新的復(fù)合神經(jīng)元模型放棄了經(jīng)典模型中基于突觸的膜強(qiáng)度而建立權(quán)值的量化方法,這是新模型與舊模型之間的根本區(qū)別。Mindputer Lab認(rèn)為,“構(gòu)型變化”比“權(quán)重變化”更重要,因?yàn)檫@種深構(gòu)造網(wǎng)絡(luò)的計(jì)算方法完全擺脫了現(xiàn)有人工神經(jīng)網(wǎng)絡(luò)的計(jì)算框架。Mindputer Lab依據(jù)這種仿生物神經(jīng)元樹(shù)突內(nèi)的構(gòu)型轉(zhuǎn)換模型,經(jīng)過(guò)多種軟硬件試驗(yàn),發(fā)展出新的復(fù)合神經(jīng)元的仿真電路,使其能夠計(jì)算和模擬人工神經(jīng)元間的復(fù)合和構(gòu)型轉(zhuǎn)換。這種新的神經(jīng)元模型電路被命名為多叢異分處理器(Multi- Clusters Transforming Processor,MCTP)[5,6]。
2015年初,Mindputer Lab開(kāi)始整機(jī)實(shí)驗(yàn),將許多個(gè)多叢異分處理器連接組合到一起,經(jīng)過(guò)對(duì)樣機(jī)的軟硬件的多次調(diào)試和修改,實(shí)現(xiàn)了系統(tǒng)內(nèi)部的正常運(yùn)行。2015年6月,誕生了世界上第一臺(tái)小規(guī)模的深構(gòu)造仿真模型樣機(jī)——“DeepStructural Brain Model”(深構(gòu)造腦模型),也稱(chēng)“Mindputer”(腦計(jì)算機(jī)或思維機(jī),圖4)。
截至2016年1月底,Mindputer Lab已經(jīng)使用該樣機(jī)進(jìn)行了12次的深構(gòu)造網(wǎng)絡(luò)試驗(yàn),實(shí)驗(yàn)證明,該模型能夠?qū)⒍鄠€(gè)單體網(wǎng)絡(luò)疊加轉(zhuǎn)化為某種深構(gòu)造的復(fù)合網(wǎng)絡(luò),深構(gòu)造可根據(jù)不同的需要來(lái)設(shè)計(jì)。新形成的復(fù)合網(wǎng)絡(luò)仍然能夠保留原來(lái)各單體網(wǎng)絡(luò)獨(dú)立的信號(hào)工作過(guò)程。測(cè)試證實(shí),不管怎樣改變復(fù)合網(wǎng)絡(luò)體內(nèi)的復(fù)合神經(jīng)元設(shè)置,都沒(méi)有出現(xiàn)信號(hào)混淆的現(xiàn)象,只會(huì)改變各單體網(wǎng)絡(luò)間的讓步優(yōu)先秩序。實(shí)驗(yàn)證明深構(gòu)造網(wǎng)絡(luò)是一種客觀(guān)事實(shí)存在。
另外,初步的對(duì)比驗(yàn)證可以確認(rèn),該腦模型所表現(xiàn)出的一些功能特征,與生物腦的一些功能特征相近似。Mindputer Lab計(jì)劃展開(kāi)一個(gè)系統(tǒng)的對(duì)比實(shí)驗(yàn)驗(yàn)證,希望能夠逐步地明確一個(gè)標(biāo)準(zhǔn)的深構(gòu)造腦網(wǎng)絡(luò)模型的全部基本特征,并在此基礎(chǔ)上,建立起與生物腦神經(jīng)系統(tǒng)的全部基本特征的對(duì)比。期待通過(guò)全面的對(duì)比驗(yàn)證,能夠進(jìn)一步證明文獻(xiàn)[4]所提出的關(guān)于“腦神經(jīng)是深構(gòu)造網(wǎng)絡(luò)”的假說(shuō)。
對(duì)照前述的4個(gè)技術(shù)標(biāo)準(zhǔn),Mindputer Lab對(duì)深構(gòu)造網(wǎng)絡(luò)研究已經(jīng)解決和尚未解決的技術(shù)問(wèn)題所做的評(píng)價(jià)是:第1、2個(gè)標(biāo)準(zhǔn)已完全達(dá)到;第3個(gè)標(biāo)準(zhǔn)中的“邊界清晰”已經(jīng)實(shí)現(xiàn),但“地位明確”還有未解決的問(wèn)題;第4個(gè)標(biāo)準(zhǔn)中的“合成運(yùn)算”已經(jīng)實(shí)現(xiàn),但在“降解運(yùn)算”還存在諸多問(wèn)題。實(shí)驗(yàn)室對(duì)深構(gòu)造運(yùn)算的技術(shù)有效性的評(píng)分是:第1技術(shù)標(biāo)準(zhǔn)/100分,第2技術(shù)標(biāo)準(zhǔn)/85~90分,第3技術(shù)標(biāo)準(zhǔn)/70分,第4技術(shù)標(biāo)準(zhǔn)/0分。實(shí)驗(yàn)室正在通過(guò)試驗(yàn)查找原因,改進(jìn)和簡(jiǎn)化計(jì)算方法,實(shí)驗(yàn)數(shù)據(jù)、測(cè)試結(jié)果、對(duì)比驗(yàn)證等以正式的論文發(fā)表為準(zhǔn),模型設(shè)計(jì)技術(shù)也以正式的專(zhuān)利發(fā)布為準(zhǔn)。
4 深構(gòu)造類(lèi)腦計(jì)算的技術(shù)優(yōu)勢(shì)與問(wèn)題
深構(gòu)造網(wǎng)絡(luò)在類(lèi)腦計(jì)算的技術(shù)競(jìng)賽中,正在顯露出獨(dú)特的技術(shù)優(yōu)勢(shì):
1)深構(gòu)造腦模型已經(jīng)初步找到了用降解的方法來(lái)破解高復(fù)雜度的生物腦網(wǎng)絡(luò)的新突破口。發(fā)展腦神經(jīng)網(wǎng)絡(luò)的微觀(guān)分析技術(shù)是一個(gè)高難度的課題。歐盟HBP的核心技術(shù)是:“超薄的腦切片技術(shù)+超級(jí)計(jì)算機(jī)拼接與模擬”,該技術(shù)依靠的是藍(lán)腦工程(Blue Brain Project)的經(jīng)驗(yàn)和底子。美國(guó)“BRAINs”的核心技術(shù)是,推動(dòng)大規(guī)模的納米級(jí)分辨率的“微觀(guān)透視+微觀(guān)追蹤”的技術(shù)創(chuàng)新,依托美國(guó)自己的技術(shù)優(yōu)勢(shì),例如斯坦福大學(xué)的“水凝膠分子慢滲透腦組織”的透明化技術(shù)等。
深構(gòu)造網(wǎng)絡(luò)有希望發(fā)展成為第3種有競(jìng)爭(zhēng)力的核心技術(shù)。在現(xiàn)有的小規(guī)模樣機(jī)的基礎(chǔ)上,通過(guò)改進(jìn)技術(shù)和提高承載量,建立大規(guī)模的深構(gòu)造網(wǎng)絡(luò)模型,將可用于對(duì)生物腦神經(jīng)的高逼真度的微觀(guān)結(jié)構(gòu)的分解和微觀(guān)活動(dòng)過(guò)程的模擬實(shí)驗(yàn);將分解和模擬的結(jié)果與已有的微觀(guān)數(shù)據(jù)進(jìn)行比對(duì),檢驗(yàn)?zāi)P偷谋普娑?;逐步修改腦模型中的深構(gòu)造連接關(guān)系,使其互恰性越來(lái)越高。這樣,即使人們無(wú)法全面詳盡地觀(guān)察清楚一個(gè)生物腦樣本中的微觀(guān)細(xì)節(jié)和活動(dòng)過(guò)程,仍然能夠通過(guò)腦模型來(lái)實(shí)現(xiàn)對(duì)它的完全透視和解析。
2)DeepMind公司目前最前沿的研究之一,是試圖通過(guò)“模塊化的網(wǎng)絡(luò)”自主學(xué)習(xí)來(lái)解決困擾人工神經(jīng)網(wǎng)絡(luò)幾十年的“災(zāi)難性失憶”問(wèn)題[10]。與其相比,深構(gòu)造腦模型實(shí)驗(yàn)已經(jīng)實(shí)現(xiàn)了在同一個(gè)網(wǎng)絡(luò)體上疊加許多個(gè)記憶單體的復(fù)合網(wǎng)絡(luò)(圖5)。這意味著DeepMind公司實(shí)驗(yàn)室所希望解決的難題,在MindputerLab已被初步解決。顯示深構(gòu)造網(wǎng)絡(luò)技術(shù)的解決方案比模塊化網(wǎng)絡(luò)技術(shù)更簡(jiǎn)捷,這種記憶疊加技術(shù)對(duì)高智能知識(shí)庫(kù)工程和自然語(yǔ)言翻譯機(jī)器是一個(gè)很大的利好。
3)神經(jīng)形態(tài)處理器的研制是當(dāng)今世界的最尖端高科技IT 前沿,美國(guó)在這個(gè)領(lǐng)域一馬當(dāng)先。例如IBM 公司的TrueNorth和高通公司的Zeroth。但是,他們現(xiàn)在所面臨的技術(shù)難點(diǎn),不在芯片的神經(jīng)元高密度集成上,也不在芯片運(yùn)算的加速技術(shù)上,而是無(wú)法制造出高智能表現(xiàn)的神經(jīng)形態(tài)處理器。原因在于,他們所采用的類(lèi)腦計(jì)算技術(shù)屬于第1技術(shù)層面性質(zhì),只能制造出低復(fù)雜度的淺構(gòu)造神經(jīng)網(wǎng)絡(luò)。從純粹技術(shù)意義上講,對(duì)單體網(wǎng)絡(luò)的高復(fù)合量的疊加,可產(chǎn)生指數(shù)級(jí)增長(zhǎng)的高復(fù)雜度。奇點(diǎn)時(shí)刻取決于在何時(shí)制造出臨界深構(gòu)造的人工腦神經(jīng)網(wǎng)絡(luò)[11,12]。
4)長(zhǎng)期以來(lái)人工智能機(jī)器只能借助于圖靈測(cè)試這樣的外在類(lèi)比方法來(lái)幫助進(jìn)行智能水平的比較和測(cè)量,缺乏類(lèi)似于物理學(xué)或化學(xué)中的那樣的成熟的內(nèi)在結(jié)構(gòu)測(cè)量技術(shù)。深構(gòu)造網(wǎng)絡(luò)技術(shù)為解決這個(gè)問(wèn)題提供了一個(gè)新工具。如果腦深構(gòu)造是腦的復(fù)雜度的本源,那么不同的人工智能機(jī)器的智能水平或思維能力的比較,可以通過(guò)直接測(cè)量?jī)蓚€(gè)機(jī)器內(nèi)的網(wǎng)絡(luò)的單體或復(fù)合體的性質(zhì),測(cè)量其單體網(wǎng)絡(luò)的疊加量、復(fù)合神經(jīng)元的數(shù)量、樹(shù)突的構(gòu)型量等客觀(guān)指標(biāo)。
5 結(jié)論
科學(xué)史證明,基礎(chǔ)科學(xué)研究的成熟與否,決定著新技術(shù)研發(fā)和大工程計(jì)劃的成敗。從時(shí)間上看,ANN技術(shù)及其延伸性的研究已經(jīng)有半個(gè)世紀(jì)的時(shí)間,歐美腦計(jì)劃的前期技術(shù)積累也已有10年左右,Numenta的腦模型技術(shù)的發(fā)展的時(shí)間比MindputerLab的腦模型技術(shù)的形成時(shí)間早8年以上,深構(gòu)造網(wǎng)絡(luò)技術(shù)出現(xiàn)的時(shí)間最晚;但與ANN相比,深構(gòu)造網(wǎng)絡(luò)超越了單體網(wǎng)絡(luò),可高復(fù)雜度地模擬生物腦;與歐美腦計(jì)劃相比,深構(gòu)造網(wǎng)絡(luò)技術(shù)有希望大大降低腦解析的時(shí)間消耗和復(fù)雜程度;與Numenta相比,深構(gòu)造腦模型擁有更成熟的基礎(chǔ)科學(xué)的理論支持——種內(nèi)適應(yīng)性比較生物學(xué),做為生物科學(xué)中的一個(gè)歷經(jīng)50多年的積累和發(fā)展的新興大領(lǐng)域,它的理論根基深厚、實(shí)證知識(shí)系統(tǒng)而又強(qiáng)固,已經(jīng)成為當(dāng)代生物科學(xué)的主流方向之一。今天,腦科學(xué)在經(jīng)歷了心理科學(xué)(認(rèn)知神經(jīng)科學(xué))、數(shù)學(xué)和工程數(shù)學(xué)(計(jì)算神經(jīng)科學(xué))、物理學(xué)和化學(xué)(突觸回路測(cè)量與記錄)3種不同的大學(xué)科背景下的長(zhǎng)時(shí)間的技術(shù)競(jìng)爭(zhēng)之后,仍然沒(méi)有能夠解開(kāi)它的核心之謎;真正基于生物科學(xué)背景下的技術(shù)——“深構(gòu)造網(wǎng)絡(luò)”的誕生,有希望改變半個(gè)多世紀(jì)以來(lái)生物科學(xué)在腦科學(xué)研究領(lǐng)域中的非主角地位[13],將腦科學(xué)研究重新拉回到“居維葉-達(dá)爾文-勞倫茲-邁爾-維爾遜”這條生物科學(xué)的適應(yīng)主義傳統(tǒng)的主解決線(xiàn)索上來(lái)。
致謝 寫(xiě)作過(guò)程中得到北京戴瑟爾生物科學(xué)研究有限公司首席科學(xué)家韓文平的諸多幫助。
參考文獻(xiàn)(References)
[1] 腦/生態(tài)學(xué)比較研究組. 論生命深構(gòu)造:新適應(yīng)主義生物學(xué)的發(fā)展及其新理論綜合[J]. 前沿科學(xué), 2009(3): 55-85.
[2]Winpen H. New experimental biology: Deep structure studies II[M].CreateSpaceUSA , 2012.
[3] Winpen H. The third synthesis of biology: Deep structure studiesI[M].CreateSpace, 2012.
[4] Winpen H, Haina H. The Brain's super intelligenceanalysis: Deepstructure studies III[M]. CreateSpace, 2012.
[5] Mindputer Lab.About Mindputer project[EB/OL]. [2016-02-15]. http://mindputer.org/DSD_PROGRAMS/.
[6]華春雷. 類(lèi)腦計(jì)算: 打開(kāi)深構(gòu)造網(wǎng)絡(luò)的大門(mén)[EB/OL].[2016-02-15].http://blog.sciencenet.cn/home.php?mod=space&uid=2910327.
[7]Hawkins J, Blakeslee S. On intelligence[M]. Henry Holt and Company,2004.
[8]Hawkins J. Hierarchical temporal memory (HTM) whitepaper[EB/OL].[2016-02-15].http://numenta.com/learn/hierarchical-temporal-memorywhite-paper.html.
[9] SmithS L, Smith I T, Branco T, et al. Dendritic spikes enhancestimulus selectivityin cortical neurons in vivo[J].Nature, 2013, 503(7474): 115-120.
[10] Ellefsen K O, Mouret J B, Clune J. Neuralmodularity helps organismsevolve to learn new skills without forgetting oldskills[J]. PlosComputational Biology, 2015, 11(4): e1004128.
[11] Mindputer Lab.New concepts of super AI[EB/OL]. [2016-02-15]. http://www.mindputer.org/info/show.asp?bh=147.
[12]Mindputer Lab. Brain Computer: New conceptual design[EB/OL]. [2016-02-15].http://www.mindputer.org/info/show.asp?bh=148.
[13] Huaeren. 腦科學(xué)基礎(chǔ)研究的四大困境: 反思與評(píng)論[EB/OL]. [2016-02-15].http://www.bioon.com/biology/Class18/72513_5.shtml.
(責(zé)任編輯劉志遠(yuǎn))
聯(lián)系客服