2017年被稱為人工智能的發(fā)展元年，而人工智能能夠有今天的發(fā)展勢頭，并非偶然的，是其背后的深度學習技術的發(fā)展所帶來的，今天我們就通過深度學習教父Hinton的傳奇故事來看看深度學習到底是如何引爆今天的人工智能的。
2016年，AlphaGo與李世石的人機世紀對戰(zhàn)的新聞，讓人工智能從概念上真正走到了實際的生活之中，全世界第一次意識到，原來只能在科幻小說和科幻電影里看到的人工智能，第一次在現(xiàn)實世界打敗了人類頂尖高手，震驚了全世界。
AlphaGo對陣李世石
時間往前倒推60年，在1956年，當約翰·麥卡錫在達特茅斯（Dartmouth）學院第一次提出“人工智能”概念之時，他并沒有意識到，在不經意間推開了一扇通往新世界的大門。在歷經60載的跌宕起伏，人工智能終于在2017年迎來了前所未有的爆發(fā)。
2017年深圳CPSE和深圳高交會，最吸引眼球的展臺就是人工智能，尤其是人臉識別領域的獨角獸企業(yè)商湯科技，可謂是人氣爆棚。
說到人工智能，就不得不提到深度學習，深度學習的概念由Hinton等人于2006年提出，源自計算機神經網絡，指通過計算機技術來模擬人腦學習的過程，使得機器具備學習的技能。
第一個計算機神經網絡的誕生早在1956年約翰·麥卡錫提出人工智能概念之前的1943年，神經網絡作為一個計算模型的理論最初由科學家Warren McCulloch和Walter Pitts在他們的論文里提出，人類科技文明的進步在很多時候是在模擬生物時而取得突破性進展的(比如飛機，潛艇等)，計算機神經網絡也一樣，希望通過模擬人腦，讓機器能夠更加智能。
然而事情并非一帆風順。
要知道，人的大腦有100多億個神經細胞，至今人類仍然未搞清楚人腦的全部運行機制。所以想要通過模擬人腦來讓機器獲得人工智能，談何容易。
神經網絡
1957年，康奈爾大學教授Frank Rosenblatt提出“感知器”的概念，并通過算法定義出了世界上第一個神經網絡，感知器技術在六十年代的美國很流行，但Frank Rosenblatt通過算法定義的神經網絡是單層神經網絡，碰到了一些無法解決的問題，而且當時計算機技術及計算能力的限制，使得這個世界上第一個計算機神經網絡，逐漸被人淡忘了。
在此后的十幾年，以神經網絡為基礎的人工智能研究，進入了低潮期，逐漸被人遺忘。
Geoffrey Hinton六十年代計算機神經網絡的低潮期，有一個高中生Geoffrey Hinton，對人腦的工作原理特別著迷。當時有一個同學告訴他，人腦的工作原理就像全息圖一樣。創(chuàng)建一個3D全息圖，需要大量的記錄入射光被物體多次反射的結果，然后將這些信息存儲進一個龐大的數(shù)據(jù)庫中。大腦儲存信息的方式居然與全息圖如此類似，大腦并非將記憶儲存在一個特定的地方，而是在整個神經網絡里傳播。Hinton為此深深的著迷。
Geoffrey Hinton
簡單的說，大腦對于事物和概念的記憶，不是存儲在某個單一的地點，而是像全息照片一樣，分布式地，存在于一個巨大的神經元的網絡里。
對Hinton來說，這是他人生的關鍵，也是他成功的起點。
大學畢業(yè)后，Hinton選擇繼續(xù)在愛丁堡大學讀研，并確定把人工智能(神經網絡)作為自己的研究方向。
而這個選擇，遭到了周圍朋友的質疑，在計算機神經網絡的低潮期，以此為課題，是需要極大的熱情和勇氣的。
神經網絡當時被詬病的一個問題就是巨大的計算量，早期的計算機神經網絡采用的算法糾錯量，耗費的計算量，和神經元(節(jié)點)的平方成正比，這使得神經元無法增加到更多，限制了神經網絡的發(fā)展。
而Hinton和David Rumelhart通過合作，把糾錯的運算量，降低到了只和神經元的數(shù)目成正比。
而后Yann Lecun，在1989年又提出了“反向傳播算法在手寫郵政編碼上的應用”，并用美國郵政系統(tǒng)提供的上萬個手寫數(shù)字樣本訓練這個神經網絡系統(tǒng)，最終錯誤率只有5%。
基于此他提出了卷積神經網絡，并開發(fā)出了商業(yè)軟件，在支票識別領域占據(jù)了美國20%的市場份額。
計算機神經網絡開始慢慢復蘇。
然而有一個人又把計算機神經網絡帶入了第二個寒冬。
Vladimir Vapnik的支持向量機(SVM)Vladimir Vapnik出生于蘇聯(lián)。1958年，他在撒馬爾罕(現(xiàn)屬烏茲別克斯坦)的烏茲別克國立大學完成了碩士學業(yè)。1964年，他于莫斯科的控制科學學院獲得博士學位。畢業(yè)后，他一直在該校工作直到1990年，在此期間，他成為了該校計算機科學與研究系的系主任。
1995年，他被倫敦大學聘為計算機與統(tǒng)計科學專業(yè)的教授。1991至2001年間，他工作于AT&T貝爾實驗室(后來的香農實驗室)，并和他的同事們一起發(fā)明了支持向量機理論。他們?yōu)闄C器學習的許多方法奠定了理論基礎。
那么為何他能通過SVM算法帶到一個更高的高度，而把計算機神經網絡給比下去了？
計算機神經網絡非常精巧，最擅長的是局部最優(yōu)解，卻在尋求平衡點時，表現(xiàn)不佳，但在尋求最佳平衡點時，SVM卻表現(xiàn)搶眼。
支持向量機(SVM)
打個比方，要判斷這是不是一棵樹，通過對計算機神經網絡進行訓練后，計算機神經網絡甚至連這棵樹有多少片葉子也學習來作為判斷這是否是一棵樹的標準，但每棵樹的樹葉肯定不一樣，這就導致了，它太精準了，反而無法分辨。
但如果將訓練的標準定的太簡單，比如將綠色作為判定依據(jù)，那么只要看到綠色的東西，就會被識別為樹。
而SVM，恰好解決了這個平衡。
第二個寒冬計算機神經網絡的研究再次進入低潮，計算資源的有限，再一次限制了計算機神經網絡的發(fā)展，在Hinton和他的同事們苦苦研究計算機神經網絡時，當時AI普遍的研究方向恰恰與他們相反，都在試圖尋找捷徑，直接模擬出行為，而不是試圖模擬人腦來實現(xiàn)。
寒冬
大家可能無法想象，在九十年代，每次對于計算機神經網絡算法的調整，重新訓練的時間往往是幾周，別說應用，就是研究都很難進行下去。
但在這樣艱難的環(huán)境下，Hinton和Yann LeCun仍然堅持了下來，但學術界對于他們的研究仍然無法提起興趣。
計算機神經網絡在等待著一個質變。
計算蠻力Intel的CPU資源，一直是以其時鐘頻率的增長來實現(xiàn)其計算能力的增長，這就類似于一個人，從小到大，一步一步長大，力量也越來越大。Intel這樣一種CPU發(fā)展的路線，一直穩(wěn)穩(wěn)當當?shù)陌哉贾嬎阗Y源的頭把交椅。
然后我們的偉大領袖毛主席說過，人多力量大。
Intel的這種平衡被一個臺灣人打破了，他叫黃仁勛，臺灣人。誰也不知道他是不是真的聽了毛主席的話，但他創(chuàng)立的Nvidia(英偉達)，卻真正是在踐行毛主席的格言：人多力量大。
英偉達
Nvidia(英偉達)剛成立時，是面向個人電腦的游戲市場，主要推銷自己的圖像處理芯片，并發(fā)明了GPU(Graphics Processing Unit)這個名詞，Nvidia(英偉達)為大家所熟知的恐怕就是其Geforce系列游戲顯卡。
GPU跟CPU不一樣，他的運算頻率不高，但他是通過增加并行處理能力的方式來處理其對象的，這也跟他所需要處理的對象不同有關，圖像處理要處理的是圖像，圖像要處理的是一個一個很小的像素，處理每個很小的像素，并不需要很強的計算能力，但因為圖像處理對于實時性要求很高，因此要求大量的并行處理。
而計算機神經網絡所需要處理的計算，正好跟圖像處理非常類似，每個神經元所需要的計算資源不多，但因為整個神經網絡包含大量的神經元，GPU的出現(xiàn)，簡直就是專為計算機神經網絡而設計。
此時GPU的人多力量大，并行計算的效率遠超CPU。
而此時，無論是CPU還是GPU，在遵循摩爾定律的道路上，野蠻的增長著。
2010年，英偉達的480 GPU，一秒鐘計算速度達1.3萬億次浮點運算，而到了2015年的Titan X GPU，已經達到6.1萬億次浮點運算每秒，五年時間，翻了近五倍，而其價格也只有1-2千美元左右，要知道，1996年底，1萬億次浮點運算每秒的人類超級計算機，價值是幾百萬美元。
計算機神經網絡，終于等來春天。
深度學習的誕生計算機神經網絡的發(fā)展經歷跌宕起伏，在大部分時間都是處于低潮期，長期被學術界瞧不起，以致于任何研究項目只要提到'神經網絡'，基本都會被簡單粗暴的直接拒絕，很難獲得研究經費。
而Hinton和他的同事們仍然在苦苦堅守。
此時的Hinton也熬白了頭發(fā)，2003年，Hinton還在多倫多大學，當著他的窮教授。也就是在這一年，Hinton及其團隊在一次向CIFAR(Canadian Institute for Advanced Research)的基金負責人申請資金支持時，該負責人問他為什么要支持他們的研究項目。
他們只好回答說：“如果CIFAR要跳出舒適區(qū)，尋找一個高風險項目，那就是我們了！”
最終CIFAR卻同意了資助他們十年，從2004年到2014年，總共一千萬加元。
就像中國人相信改名能改運一樣，Hinton可能覺得“神經網絡”這個名字實在是太不吉利了，當然也可能是緣于之前幾十年“神經網絡”的口碑太差，搖身一變，變成了“深度學習(Deep Learning)”了。
深度學習的概念由Geoffrey Hinton提出
而Geoffrey Hinton，也享有“深度學習”之父的美譽。
自此，深度學習正式誕生。
深度學習經歷大起大落，終于在計算資源由量變積累到質變的時刻，迎來了它的再一次熱潮。
當然，深度學習能夠發(fā)展到今天，計算資源的野蠻增長，發(fā)揮了很大的作用，但Hinton及其所有堅守在計算機神經網絡研究領域的人，也通過各種辦法，不斷的調整算法，使得算法也得到了非常大的進步，解決了之前碰到了的很多問題。
ImageNet大賽嶄露頭角ImageNet 是一個計算機視覺系統(tǒng)識別項目名稱， 是目前世界上圖像識別最大的數(shù)據(jù)庫。是美國斯坦福的計算機科學家，模擬人類的識別系統(tǒng)建立的。
ImageNet大賽是圖片識別領域的'競技場'
也許大家還記得文章前面提到的Vladimir Vapnik的支持向量機(SVM)，雖然深度學習在Hinton的帶領下終于迎來春天，但大家并不覺得以計算機神經網絡為核心的深度學習就很強，而就在2010年ImageNet競賽，以SVM技術為核心的NEC和伊利諾伊大學香檳分校聯(lián)合團隊，仍然以28%的誤識率斬獲第一。
2011年是以Fisher Vector的計算方法奪冠，將錯誤率降低到了25.7%。
2012年，以Hinton為首的團隊(帶領他的兩個研究生)，以他們最新的深度學習算法，應用到ImageNet問題上，將誤識率降低了15.3%，一舉拿下冠軍，而排名第二的誤識率高達26.2%。
所有其他團隊，都是以類似SVM的向量機技術為基礎，這是神經網絡二十年來，第一次在圖像識別領域，大幅度領先，學術界為此沸騰。
結語深度學習能夠迎來今天的成功，并非一蹴而就的，它比很多技術的發(fā)展還來得更加曲折，要不是Hinton的苦苦堅持，深度學習不會有今天的發(fā)展成就，也就不會有今天人工智能在各個行業(yè)的高速發(fā)展。
可以說就是Hinton的堅持，才讓深度學習能夠引爆全球人工智能的發(fā)展，造就今天AI的風口，Hinton因此被譽為“深度學習教父”實至名歸。
聯(lián)系客服
