先來在視覺上感受一下“深度學(xué)習(xí)”的地位。下圖是AI、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)三個(gè)概念的一個(gè)關(guān)系圖。
AI的領(lǐng)域要相對(duì)較廣泛，機(jī)器學(xué)習(xí)是AI的一個(gè)子領(lǐng)域，而深度學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域中的一個(gè)子集。
深度學(xué)習(xí)算法最近變得越來越流行和越來越有用的算法，然而深度學(xué)習(xí)或者深度神經(jīng)網(wǎng)絡(luò)的成功得益于層出不窮的神經(jīng)網(wǎng)絡(luò)模型架構(gòu)。這篇文章當(dāng)中作者回顧了從 1998 年開始，近 18 年來深度神經(jīng)網(wǎng)絡(luò)的架構(gòu)發(fā)展情況。
圖中的坐標(biāo)軸我們可以看出橫坐標(biāo)是操作的復(fù)雜度，縱坐標(biāo)是精度。模型設(shè)計(jì)一開始的時(shí)候模型權(quán)重越多模型越大，其精度越高，后來出現(xiàn)了 resNet、GoogleNet、Inception 等網(wǎng)絡(luò)架構(gòu)之后，在取得相同或者更高精度之下，其權(quán)重參數(shù)不斷下降。值得注意的是，并不是意味著橫坐標(biāo)越往右，它的運(yùn)算時(shí)間越大。在這里并沒有對(duì)時(shí)間進(jìn)行統(tǒng)計(jì)，而是對(duì)模型參數(shù)和網(wǎng)絡(luò)的精度進(jìn)行了縱橫對(duì)比。
其中有幾個(gè)網(wǎng)絡(luò)作者覺得是必學(xué)非常值得學(xué)習(xí)和經(jīng)典的：AlexNet、LeNet、GoogLeNet、VGG-16、NiN。
第一代人工神經(jīng)網(wǎng)絡(luò)
1943年，心理學(xué)家Warren McCulloch和數(shù)理邏輯學(xué)家Walter Pitts在合作的《A logical calculus of the ideas immanent in nervous activity》論文中提出并給出了人工神經(jīng)網(wǎng)絡(luò)的概念及人工神經(jīng)元的數(shù)學(xué)模型，從而開創(chuàng)了人工神經(jīng)網(wǎng)絡(luò)研究的時(shí)代。1949年，心理學(xué)家唐納德·赫布在《The Organization of Behavior》論文中描述了神經(jīng)元學(xué)習(xí)法則。
進(jìn)一步，美國神經(jīng)學(xué)家Frank Rosenblatt提出可以模擬人類感知能力的機(jī)器，并稱之為“感知機(jī)”。1957年，在Cornell航空實(shí)驗(yàn)室中，他成功在IBM704機(jī)上完成了感知機(jī)的仿真，并于1960年，實(shí)現(xiàn)了能夠識(shí)別一些英文字母的基于感知機(jī)的神經(jīng)計(jì)算機(jī)—Mark1。
第一代神經(jīng)網(wǎng)絡(luò)能夠?qū)?jiǎn)單的形狀（如三角形、四邊形）進(jìn)行分類，人們逐漸認(rèn)識(shí)到這種方法是使用機(jī)器實(shí)現(xiàn)類似于人類感覺、學(xué)習(xí)、記憶、識(shí)別的趨勢(shì)。
但是，第一代神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)缺陷制約了其發(fā)展。感知機(jī)中特征提取層的參數(shù)有人手工調(diào)整，這違背了其“智能”的要求。另一方面，單層結(jié)構(gòu)限制了它的學(xué)習(xí)能力，很多函數(shù)都超出了它的學(xué)習(xí)范疇。
第二代神經(jīng)網(wǎng)絡(luò)
1985年，Geoffrey Hinton使用多個(gè)隱藏層來代替感知機(jī)中原先的單個(gè)特征層，并使用BP算法（Back-propagation algorithm，proposed in 1969，practicable in 1974）來計(jì)算網(wǎng)絡(luò)參數(shù)
1989年，Yann LeCun等人使用深度神經(jīng)網(wǎng)絡(luò)來識(shí)別信件中郵編的手寫體字符。后來Lecun進(jìn)一步運(yùn)用CNN（卷積神經(jīng)網(wǎng)絡(luò)）完成了銀行支票的手寫體字符識(shí)別，識(shí)別正確率達(dá)到商用級(jí)別。盡管該算法取得巨大的成功，但是它在數(shù)據(jù)集上訓(xùn)練了大約三天。
網(wǎng)絡(luò)結(jié)構(gòu)上分為輸入層、多個(gè)隱層層和輸出層，在訓(xùn)練網(wǎng)絡(luò)前隨機(jī)初始化權(quán)重，通過BP算法調(diào)整網(wǎng)絡(luò)參數(shù)。
BP算法并不總能很好的運(yùn)行。即使使用隨機(jī)梯度下降，BP算法依舊很容易陷入局部最優(yōu)解。并且隨著網(wǎng)絡(luò)層數(shù)的增加，訓(xùn)練的難度越來越大。
第二代神經(jīng)網(wǎng)絡(luò)主要有以下缺點(diǎn)：
1.必須要對(duì)有標(biāo)注的數(shù)據(jù)進(jìn)行訓(xùn)練，無法對(duì)無標(biāo)注數(shù)據(jù)進(jìn)行訓(xùn)練
2.隨著層數(shù)的增加，BP傳回的信號(hào)會(huì)越來越弱，以至限制了網(wǎng)絡(luò)的層數(shù)
3.在多個(gè)隱藏層之間來回傳播導(dǎo)致訓(xùn)練過慢
4.其可能導(dǎo)致網(wǎng)絡(luò)陷入局部最優(yōu)解
5.有許多參數(shù)需要人類憑借經(jīng)驗(yàn)和技巧進(jìn)行手工設(shè)定，如網(wǎng)絡(luò)層數(shù)、結(jié)點(diǎn)單元數(shù)等超參數(shù)，這些參數(shù)不能智能選取也制約了神經(jīng)網(wǎng)絡(luò)的發(fā)展
而后人們嘗試增加數(shù)據(jù)集、預(yù)估初始化權(quán)值的方法，以克服人工神經(jīng)網(wǎng)絡(luò)的缺陷。然而，SVM的出現(xiàn)使得人工神經(jīng)網(wǎng)絡(luò)的研究陷入寒冬。
SVM（Support Vector Machines）的簡(jiǎn)單結(jié)構(gòu)使得其訓(xùn)練速度很快并且比較容易實(shí)現(xiàn)。同時(shí)，由于SVM的簡(jiǎn)單結(jié)構(gòu)，其善于應(yīng)對(duì)簡(jiǎn)單特征而不善于應(yīng)對(duì)復(fù)雜特征。使用SVM進(jìn)行學(xué)習(xí)需要對(duì)特定問題的先驗(yàn)知識(shí)，然而很難找到一些通用的先驗(yàn)知識(shí)。同時(shí)SVM的特征并不是自己選取的，而是人手工提取的。
盡管SVM在某些領(lǐng)域表現(xiàn)的很好，由于淺層結(jié)構(gòu)的致命缺陷，它并不是人工智能領(lǐng)域好的發(fā)展趨勢(shì)。
人腦視覺原理
1958，Davidhubel和Torsten Wiesel進(jìn)行了瞳孔區(qū)域與大腦皮層神經(jīng)元對(duì)應(yīng)關(guān)系的研究，發(fā)現(xiàn)后腦皮層中存在方向選擇性細(xì)胞，大腦皮層對(duì)原始信號(hào)做低級(jí)抽象，逐漸向高級(jí)抽象迭代。
進(jìn)一步的科學(xué)研究表明，和人類的許多認(rèn)知能力相關(guān)的大腦皮層并不顯示地預(yù)處理感知信號(hào)，而是讓它們通過一個(gè)復(fù)雜的模塊層次結(jié)構(gòu)，久而久之，就可以根據(jù)觀察結(jié)果呈現(xiàn)的規(guī)律來表達(dá)它們。
總的來說，人的視覺系統(tǒng)的信息處理是分級(jí)的，從低級(jí)的V1區(qū)提取邊緣特征，再到V2區(qū)的形狀或者目標(biāo)的部分等，再到更高層，整個(gè)目標(biāo)、目標(biāo)的行為等。有就是說高層的特征是低層特征的組合，從低層到高層的特征表示越來越抽象。這一生理學(xué)發(fā)現(xiàn)促成了計(jì)算機(jī)人工智能，在四十年后的突破性發(fā)展。
1995年前后，Bruno Olshausen和David Field同時(shí)用生理學(xué)和計(jì)算機(jī)手段研究視覺問題。他們提出稀疏編碼算法，使用400張圖像碎片進(jìn)行迭代，遴選出最佳的碎片權(quán)重系數(shù)。令人驚奇的是，被選中的權(quán)重基本都是照片少不同物體的邊緣線，這些線段形狀相似，區(qū)別在于方向。
Bruno Olshausen和David Field的研究結(jié)果與四十年前David和Torsten Wiesel的生理發(fā)現(xiàn)不謀而合。更進(jìn)一步的研究表明，深度神經(jīng)網(wǎng)絡(luò)的信息處理是分級(jí)的，和人類一樣是從低級(jí)邊緣特征到高層抽象表示的復(fù)雜層級(jí)結(jié)構(gòu)。
研究發(fā)現(xiàn)這種規(guī)律不僅存在于圖像中，在聲音中也存在。科學(xué)家們從未標(biāo)注的聲音中發(fā)現(xiàn)了20中基本聲音結(jié)構(gòu)，其余的聲音可以由這20中基本結(jié)構(gòu)組成。1997年，LSTM（一種特殊的RNN）被提出并在自然語言理解方面具有良好效果。
4.深度神經(jīng)網(wǎng)絡(luò)的興起和發(fā)展
2006年，Hinton提出了深度置信網(wǎng)絡(luò)（DBN），一種深層網(wǎng)絡(luò)模型。使用一種貪心無監(jiān)督訓(xùn)練方法來解決問題并取得良好結(jié)果。DBN（Deep Belief Networks）的訓(xùn)練方法降低了學(xué)習(xí)隱藏層參數(shù)的難度。并且該算法的訓(xùn)練時(shí)間和網(wǎng)絡(luò)的大小和深度近乎線性關(guān)系。
區(qū)別于傳統(tǒng)的淺層學(xué)習(xí)，深度學(xué)習(xí)更加強(qiáng)調(diào)模型結(jié)構(gòu)的深度，明確特征學(xué)習(xí)的重要性，通過逐層特征變換，將樣本元空間特征表示變換到一個(gè)新特征空間，從而使分類或預(yù)測(cè)更加容易。與人工規(guī)則構(gòu)造特征的方法相比，利用大數(shù)據(jù)來學(xué)習(xí)特征，更能夠刻畫數(shù)據(jù)的豐富內(nèi)在信息。
相較淺層模型，深度模型具有巨大的潛力。在有海量數(shù)據(jù)的情況下，很容易通過增大模型來達(dá)到更高的正確率。深度模型可以進(jìn)行無監(jiān)督的特征提取，直接處理未標(biāo)注數(shù)據(jù)，學(xué)習(xí)結(jié)構(gòu)化特征，因此深度學(xué)習(xí)也叫做Unsupervised Feature Learning。隨著GPU、FPGA等器件被用于高性能計(jì)算、神經(jīng)網(wǎng)絡(luò)硬件的出現(xiàn)和分布式深度學(xué)習(xí)系統(tǒng)的出現(xiàn)，深度學(xué)習(xí)的訓(xùn)練時(shí)間被大幅縮短，使得人們可以通過單純的增加使用器件的數(shù)量來提升學(xué)習(xí)的速度。深層網(wǎng)絡(luò)模型的出現(xiàn)，使得世界上無數(shù)難題得以解決，深度學(xué)習(xí)已成為人工智能領(lǐng)域最熱門的研究方向。
2010年，美國國防部DARPA計(jì)劃首次資助深度學(xué)習(xí)項(xiàng)目。
2011年，微軟研究院和谷歌的語言識(shí)別研究人員先后采用DNN技術(shù)降低語音識(shí)別錯(cuò)誤率20%-30%，是該領(lǐng)域10年來最大突破
2012年，Hinton將ImageNet圖片分類問題的Top5錯(cuò)誤率由26%降低至15%。同年Andrew Ng與Jeff Dean搭建Google Brain項(xiàng)目，用包含16000個(gè)CPU核的并行結(jié)算平臺(tái)訓(xùn)練超過10億個(gè)神經(jīng)元的深度網(wǎng)絡(luò)，在玉瑩識(shí)別和圖像識(shí)別領(lǐng)域取得突破性進(jìn)展。
2013年，Hinton創(chuàng)立的DNN Research公司被Google收購，Yann LeCun加盟Facebook的人工智能實(shí)驗(yàn)室。
2014年，Google將語言識(shí)別的精準(zhǔn)度從2012年的84%提升到如今的98%，移動(dòng)端Android系統(tǒng)的語言識(shí)別正確率提高了25%。人臉識(shí)別方面，Google的人臉識(shí)別系統(tǒng)FaceNet在LFW上達(dá)到99.63%的準(zhǔn)確率。
2015年，Microsoft采用深度神經(jīng)網(wǎng)絡(luò)的殘差學(xué)習(xí)方法將Imagenet的分類錯(cuò)誤率降低至3.57%，已低于同類試驗(yàn)中人眼識(shí)別的錯(cuò)誤率5.1%，其采用的神經(jīng)網(wǎng)絡(luò)已達(dá)到152層。
2016年，DeepMind使用了1920個(gè)CPU集群和280個(gè)GPU的深度學(xué)習(xí)圍棋軟件AlphaGo戰(zhàn)勝人類圍棋冠軍李世石。
國內(nèi)對(duì)深度學(xué)習(xí)的研究也在不斷加速：
2012年，華為在香港成立“諾亞方舟實(shí)驗(yàn)室”從事自然語言處理、數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)、媒體社交、人際交互等方面的研究。
2013年，百度成立“深度學(xué)習(xí)研究院”（IDL），將深度學(xué)習(xí)應(yīng)用于語言識(shí)別和圖像識(shí)別、檢索，2014年，Andrew Ng加盟百度。
2013年，騰訊著手建立深度學(xué)習(xí)平臺(tái)Mariana，Mariana面向識(shí)別、廣告推薦等眾多應(yīng)用領(lǐng)域，提供默認(rèn)算法的并行實(shí)現(xiàn)。
2015年，阿里發(fā)布包含深度學(xué)習(xí)開放模塊的DTPAI人工智能平臺(tái)。
深度學(xué)習(xí)的研究已經(jīng)滲透到生活的各個(gè)領(lǐng)域，已成為人工智能技術(shù)的主要發(fā)展方向。人工智能最終的目的是使機(jī)器具備與人相當(dāng)?shù)臍w納能力，學(xué)習(xí)能力，分析能力和邏輯思考能力，雖然當(dāng)前的技術(shù)離這一目標(biāo)還很遙遠(yuǎn)，但是深度學(xué)習(xí)無疑提供了一種可能的途徑，使得機(jī)器在單一領(lǐng)域的能力超越人類。
聯(lián)系客服
