2016年，隨著AlphaGo戰(zhàn)勝了李世石，人工智能與深度學(xué)習(xí)達(dá)到了一個(gè)空前火熱的狀態(tài)。很多人也是第一次開(kāi)始接觸到了深度神經(jīng)網(wǎng)絡(luò)這個(gè)概念，但是其實(shí)神經(jīng)網(wǎng)絡(luò)的歷史可以追溯到1943年，1943年的時(shí)候，二戰(zhàn)都還沒(méi)有結(jié)束。
中間的這段時(shí)間里，是由幾個(gè)標(biāo)志性的事件影響著神經(jīng)網(wǎng)絡(luò)算法的發(fā)展，其發(fā)展史大概可以分為三個(gè)階段，下面我們就圍繞這幾個(gè)事件簡(jiǎn)要介紹這三個(gè)階段。
最早的神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)模型由Warren McCulloch教授和Walter Pitts教授與1943年在論文A logical calculus of the ideas immanent in nervous activity中提出。論文中提出了一種模擬模擬大腦神經(jīng)元的結(jié)構(gòu)—莫克羅-彼特氏神經(jīng)模型（McCUlloch-Pitts Neuron model），它是一個(gè)類(lèi)似下圖的結(jié)構(gòu)：
人類(lèi)神經(jīng)元處理信號(hào)的原理到現(xiàn)在對(duì)我們也并沒(méi)有完全清晰，所以莫克羅-彼特氏神經(jīng)模型其實(shí)采用的是簡(jiǎn)單的線性加權(quán)的方式來(lái)模擬這個(gè)過(guò)程，其中I為輸入，W為權(quán)重，加權(quán)的和經(jīng)過(guò)一個(gè)閾值函數(shù)后作為輸出?？梢钥吹?，其實(shí)這個(gè)模型和后來(lái)的神經(jīng)網(wǎng)絡(luò)里的單個(gè)神經(jīng)元已經(jīng)非常像了。所以這個(gè)模型性能的好壞完全由分配的權(quán)重決定，然后莫克羅-彼特氏神經(jīng)模型手動(dòng)分配權(quán)重的方式既麻煩又很難達(dá)到最優(yōu)分類(lèi)效果。
為了讓計(jì)算機(jī)能夠更加自動(dòng)且更加合理的設(shè)置權(quán)重，F(xiàn)rank Rosenblatt教授于1958年提出了感知機(jī)模型（perceptron），或者叫感知器模型。感知機(jī)使用特征向量來(lái)表示的前饋式人工神經(jīng)網(wǎng)絡(luò)，它是一種二元分類(lèi)器，在人工神經(jīng)網(wǎng)絡(luò)領(lǐng)域中，感知機(jī)也被指為單層的人工神經(jīng)網(wǎng)絡(luò)。
1969年，Marvin Minsky 和 Seymour Papert 在《Perceptrons》書(shū)中，仔細(xì)分析了以感知機(jī)為代表的單層神經(jīng)網(wǎng)絡(luò)系統(tǒng)的功能及局限，證明感知機(jī)不能解決簡(jiǎn)單的異或（XOR）等線性不可分問(wèn)題，Marvin Minsky教授甚至做出了“基于感知機(jī)的研究注定失敗”的結(jié)論。
由于 Rosenblatt 教授等人沒(méi)能夠及時(shí)推廣感知機(jī)學(xué)習(xí)算法到多層神經(jīng)網(wǎng)絡(luò)上，又由于《Perceptrons》在研究領(lǐng)域中的巨大影響，及人們對(duì)書(shū)中論點(diǎn)的誤解，造成了人工神經(jīng)領(lǐng)域發(fā)展的長(zhǎng)年停滯及低潮，之后的十多年內(nèi)，基于神經(jīng)網(wǎng)絡(luò)的研究幾乎處于停滯狀態(tài)。
雖然Marvin Minsky教授的結(jié)論是神經(jīng)網(wǎng)絡(luò)在20世紀(jì)70年代低潮的原因之一，但是這不能磨滅Marvin Minsky教授對(duì)人工智做出的偉大貢獻(xiàn)，這僅僅是認(rèn)知在某個(gè)時(shí)間段為的局限性，就像“日心說(shuō)”一樣。
直到人們認(rèn)識(shí)到多層感知機(jī)沒(méi)有單層感知機(jī)固有的缺陷及反向傳播算法在80年代的提出，才有所恢復(fù)。1987年，書(shū)中的錯(cuò)誤得到了校正，并更名再版為《Perceptrons - Expanded Edition》。這也是神經(jīng)網(wǎng)絡(luò)發(fā)展的第二個(gè)階段。
分布式表達(dá)與反向傳播算法20世紀(jì)80年代末，神經(jīng)網(wǎng)絡(luò)的研究迎來(lái)了第二次興起，這源于分布式表達(dá)與反向傳播算法的提出。
分布式知識(shí)表達(dá)的核心思想是現(xiàn)實(shí)世界中的知識(shí)和概念應(yīng)該通過(guò)多個(gè)神經(jīng)元來(lái)表達(dá)，而模型中的每一個(gè)神經(jīng)元也應(yīng)該參與多個(gè)概念。分布式只是表達(dá)大大加強(qiáng)了模型的表達(dá)能力，解決了類(lèi)似異或這種線性不可分的問(wèn)題。
除了分布式表達(dá)，David Everett Rumelhart教授等人于1986年在自然雜志上首次提出了著名的反向傳播算法，此算法大幅降低了模型訓(xùn)練所需要的時(shí)間。直到今天，反向傳播算法仍然是訓(xùn)練神經(jīng)網(wǎng)絡(luò)的主要算法。
然后。在神經(jīng)網(wǎng)絡(luò)發(fā)展的同時(shí)，傳統(tǒng)的機(jī)器學(xué)習(xí)算法也取得了突破性的進(jìn)展，支持向量機(jī)算法具有完整的理論基礎(chǔ)，少樣本量等優(yōu)點(diǎn)。同時(shí)由于BP算法針對(duì)深層網(wǎng)絡(luò)的梯度消失問(wèn)題，當(dāng)時(shí)的數(shù)據(jù)量太小無(wú)法支撐深層網(wǎng)絡(luò)訓(xùn)練等問(wèn)題。興起了沒(méi)多久的神經(jīng)網(wǎng)絡(luò)逐步被支持向量機(jī)所取代。
DNN與Deep Learning時(shí)間進(jìn)入21世紀(jì)，計(jì)算機(jī)性能進(jìn)一步的提高，GPU加速技術(shù)的出現(xiàn)，使得計(jì)算量不再是阻礙神經(jīng)網(wǎng)絡(luò)發(fā)展的問(wèn)題。與此同時(shí)，互聯(lián)網(wǎng)+的發(fā)展，使得獲取海量數(shù)據(jù)不在像上個(gè)世紀(jì)末那么困難，這些背景為神經(jīng)網(wǎng)絡(luò)再次發(fā)展提供了條件。
在這里不得不提的就是ImageNet項(xiàng)目的建立，斯坦福大學(xué)的李飛飛教授開(kāi)啟了Visual Genome（視覺(jué)基因組）計(jì)劃，把語(yǔ)義和圖像結(jié)合起來(lái)，締造了當(dāng)前世界上最大的圖像數(shù)據(jù)庫(kù)—ImageNet，這個(gè)龐大的數(shù)據(jù)庫(kù)由來(lái)自世界上167個(gè)國(guó)家的接近5萬(wàn)個(gè)工作者完成，ImageNet的出現(xiàn)使所有人都能夠輕松的獲取足以支撐其深度網(wǎng)絡(luò)訓(xùn)練的數(shù)據(jù)。同時(shí)斯坦福大學(xué)每年都會(huì)舉行一個(gè)比賽，邀請(qǐng)谷歌、微軟、百度等IT企業(yè)使用ImageNet數(shù)據(jù)庫(kù)，而第一個(gè)應(yīng)用深度神經(jīng)網(wǎng)絡(luò)的算法—Alexnet，就是ImageNet 競(jìng)賽2012年冠軍，這個(gè)著名的網(wǎng)絡(luò)結(jié)構(gòu)如下圖：
Alexnet取得的突破性進(jìn)展使得神經(jīng)網(wǎng)絡(luò)的研究再一次達(dá)到了一個(gè)高峰，隨后其他關(guān)于DNN的更復(fù)雜的結(jié)構(gòu)也陸續(xù)出現(xiàn)，并在除了計(jì)算機(jī)視覺(jué)外的諸多其他領(lǐng)域內(nèi)取得了優(yōu)異的成績(jī)，如語(yǔ)音識(shí)別，自然語(yǔ)言處理等等。
直到2016年，google的AlphaGo戰(zhàn)勝了李世石，深度學(xué)習(xí)作為深層神經(jīng)網(wǎng)絡(luò)的代名詞，被各行各業(yè)的人所熟知。深度學(xué)習(xí)的發(fā)展也開(kāi)啟了一個(gè)AI的新時(shí)代。
最后需要指出的一點(diǎn)是，雖然深度學(xué)習(xí)領(lǐng)域的研究人員相比于其他機(jī)器學(xué)習(xí)領(lǐng)域更多的受到大腦工作原理的啟發(fā)，媒體也經(jīng)常出于某種原因強(qiáng)調(diào)深度學(xué)習(xí)和大腦工作原理的相似性（可能這樣顯得更AI），但是現(xiàn)代深度學(xué)習(xí)的發(fā)展已經(jīng)不完全是模擬人腦神經(jīng)元的工作過(guò)程，或者可以說(shuō)目前人類(lèi)對(duì)大腦的工作機(jī)制的認(rèn)知還不足以為當(dāng)下的深度學(xué)習(xí)模型提供指導(dǎo)。（以上這段話摘錄自《TensorFlow：實(shí)戰(zhàn)深度學(xué)習(xí)框架》，個(gè)人感覺(jué)寫(xiě)的很有觀點(diǎn)）
聯(lián)系客服
