人工智能的主流算法Deep Learning深度學(xué)習(xí)的歷史，堪稱Deep History, 也是深度學(xué)習(xí)三劍客Geoff Hinton, Yann LeCun 和Yoshua Bengio共同走過的30年艱難而輝煌的不悔人生。他們?nèi)绾螐漠?dāng)年的地下小團(tuán)體成為今天引領(lǐng)人工智能的風(fēng)云人物，我們來看看其中的精彩故事。
Geoff Hinton，谷歌大腦研究小組的負(fù)責(zé)人，出生在英國，1977年在愛丁堡大學(xué)獲得博士學(xué)位，開始對模擬神經(jīng)網(wǎng)絡(luò)著迷。之后在加拿大多倫多大學(xué)任教，2013年他的公司DNNresearch被Google收購。他被稱為深度學(xué)習(xí)教父。
Yann LeCun, Facebook人工智能研究小組FAIR的主任，出生在巴黎，在 Université Pierre et Marie Curie獲得博士學(xué)位。曾在AT&T Bell Labs工作多年，2003年起在紐約大學(xué)NYU任教，2013年獲小扎邀請加盟Facebook。
Yoshua Bengio – Université de Montréal大學(xué)教授。出生在法國，在McGill University獲得博士學(xué)位，曾在MIT跟隨Michael Jordan教授做博士后研究，后任職 AT&T Bell Labs，1993年起在Université de Montréal任教。
Geoff Hinton, Godfather of Deep Learning
Geoff Hinton 和Yann LeCun已成為深度學(xué)習(xí)的領(lǐng)袖人物，人們津津樂道于他們提出的后傳播算法Backpropagation。其實在人工智能的研究中，他們只是復(fù)活了一個早已被遺忘的理論。
當(dāng)人工智能領(lǐng)域在20世紀(jì)50年代起步的時候，生物學(xué)家開始提出簡單的數(shù)學(xué)理論，來解釋智力和學(xué)習(xí)的能力如何產(chǎn)生于大腦神經(jīng)元之間的信號傳遞。當(dāng)時的核心思想一直保留到現(xiàn)在 － 如果這些細(xì)胞之間頻繁通信，神經(jīng)元之間的聯(lián)系將得到加強(qiáng)。由新的體驗引發(fā)的神經(jīng)活動的融合會調(diào)整大腦神經(jīng)元間的連接，以便在它下次出現(xiàn)時，更容易理解。
Frank Rosenblatt invented Perceptron
這個故事要追溯到1956年，美國認(rèn)知心理學(xué)家弗蘭克·羅森布拉特（Frank Rosenblatt）基于神經(jīng)元的理論發(fā)明了一種模擬神經(jīng)元的方法。紐約時報稱之為與'E-brain teaches itself.' 這個被Rosenblatt稱為感知器Perceptron的發(fā)明，可以學(xué)習(xí)如何將簡單的圖像分類為三角形和正方形。當(dāng)時是在巨大的機(jī)器上實施模擬，纏繞著厚重的電線，但這為神經(jīng)網(wǎng)絡(luò)創(chuàng)立了理論和實驗基礎(chǔ)。
Rosenblatts發(fā)明的電腦有八個模擬神經(jīng)元，由電機(jī)和撥號盤連接到400個光檢測器。每個神經(jīng)元都接收到來自光檢測器的信號的一部分，將它們組合起來，并且根據(jù)它們添加到哪里，輸出1或0。這些數(shù)字組成對感知器所看到的事物的描述。當(dāng)然，最初的結(jié)果完全無效。之后Rosenblatt使用一種稱為監(jiān)督學(xué)習(xí)的方法來訓(xùn)練感知器，以正確區(qū)分不同形狀。他向感知器顯示一個圖像以及正確的答案，然后，機(jī)器將調(diào)整每個神經(jīng)元對其輸入信號的關(guān)注度，將這些“權(quán)重”轉(zhuǎn)移到將產(chǎn)生正確答案的設(shè)置。
Marvin Minsky and Seymour Papert at MIT
在試過多次之后，這些調(diào)整使計算機(jī)具有足夠的智能，可正確地對之前從未見過的圖像進(jìn)行分類。今天的深度學(xué)習(xí)網(wǎng)絡(luò)使用復(fù)雜的算法，并擁有數(shù)百萬個模擬神經(jīng)元，它們之間有數(shù)十億個連接，也是以同樣的方式訓(xùn)練的。
Rosenblatt預(yù)測，感知器很快就能夠?qū)W會向人打招呼。他的想法成為人工智能新生領(lǐng)域的基石。當(dāng)時研究工作的重點(diǎn)是使感知器具有更復(fù)雜的網(wǎng)絡(luò)，排列成多個學(xué)習(xí)層的結(jié)構(gòu)，在圖層中連續(xù)傳遞圖像或其他數(shù)據(jù)，使感知器能夠解決更復(fù)雜的問題。
不幸的是，Rosenblatt的學(xué)習(xí)算法當(dāng)時對于多層結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)不起作用。在1969年，曾與他一起上過高中的人工智能先驅(qū)，MIT的權(quán)威人士Marvin Minsky，和知名專家Seymour Papert一起，寫了一本批評感知器學(xué)派的書Perceptrons，扼殺了當(dāng)時對神經(jīng)網(wǎng)絡(luò)的研究興趣。Minsky表示，多層次神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)并不會使感知器強(qiáng)大到有實用價值。人工智能學(xué)者們也因此放棄了學(xué)習(xí)式軟件的想法。他們轉(zhuǎn)而使用邏輯來產(chǎn)生智能 - 比如下棋的能力。神經(jīng)網(wǎng)絡(luò)則被推到了計算機(jī)科學(xué)的邊緣。
Geoff Hinton and Yann Lecun
盡管如此，20世紀(jì)80年代初，LeCun在巴黎讀博士時，第一次讀到感知器perceptrons還是被迷住了。 “我很驚訝，這種算法很有價值，不知道為什么人們會放棄它?！? 他在圖書館度過了幾天，瘋狂尋找感知器消失之前發(fā)表的論文。然后他發(fā)現(xiàn)，在美國有一小群研究人員正在秘密地繼續(xù)神經(jīng)網(wǎng)絡(luò)的工作。 “這是一個非常地下的運(yùn)動，” 他說。在文章中仔細(xì)避開“神經(jīng)”和“學(xué)習(xí)”這樣的詞，以避免論文審稿人的拒絕，他們正在研究一些非常像羅森布拉特碰到的老問題，嘗試如何采用多層結(jié)構(gòu)來訓(xùn)練神經(jīng)網(wǎng)絡(luò)。
1985年，LeCun遇到了這個地下組織的核心人物Geoff Hinton，他很快加入了這個小團(tuán)隊。LeCun和Hinton很快成為好朋友，相互崇拜，他們一起成為恢復(fù)神經(jīng)網(wǎng)絡(luò)思想的小團(tuán)體的核心。他們認(rèn)為模擬自然智力中看到的核心機(jī)制是構(gòu)建人工智能的唯一途徑。 “智能產(chǎn)生于人腦，所以從長遠(yuǎn)來看，人工智能應(yīng)該像大腦系統(tǒng)一樣工作，”Hinton說。
之后Lecun在貝爾實驗室取得成功，他和Hinton等人完善了一個具有多層神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法，稱為反向傳播算法Backpropagation，引起了心理學(xué)家和計算機(jī)科學(xué)家的興趣。但是，在LeCun的支票識別項目結(jié)束之后，反向傳播似乎很難適用于其他問題。而這時一個新的數(shù)據(jù)排序的方法是由貝爾實驗室的研究員發(fā)明，它不涉及模擬神經(jīng)元，被視為數(shù)學(xué)上更為優(yōu)雅的方法。很快，這個方法成為很多互聯(lián)網(wǎng)公司的基石，如谷歌，亞馬遜和LinkedIn，它被用來訓(xùn)練過濾垃圾郵件的系統(tǒng)，或為您推薦要購買的東西。
Yoshua Bengio and Yann Lecun
但Lecun并未放棄多層神經(jīng)網(wǎng)絡(luò)的研究。2003年，他到紐約大學(xué)之后，就和Hinton, 及第三個合作者 －蒙特利爾大學(xué)教授Yoshua Bengio，一起組成了所謂的“深度學(xué)習(xí)的陰謀 Deep Learning Conspiracy”。為了證明神經(jīng)網(wǎng)絡(luò)是有用的，他們悄悄地開發(fā)了更多層的神經(jīng)網(wǎng)絡(luò)，用更大的數(shù)據(jù)集來訓(xùn)練，并在更強(qiáng)大的計算機(jī)上運(yùn)行。 LeCun的手寫識別系統(tǒng)已經(jīng)有五層神經(jīng)元，但這時他們已經(jīng)開發(fā)了10層或更多的神經(jīng)元網(wǎng)絡(luò)。
到了2010年，深度學(xué)習(xí)算法在很多實際應(yīng)用上開始超越其他技術(shù)，例如圖像排序。 Microsoft，Google和IBM均將深度學(xué)習(xí)的算法添加到語音識別系統(tǒng)中。但神經(jīng)網(wǎng)絡(luò)對大多數(shù)研究人員來說仍然很陌生，并未被廣泛接受。 2012年初，當(dāng)一篇取得視覺識別新紀(jì)錄的論文被一個領(lǐng)先的會議拒絕之后，LeCun甚至寫了一封措辭激烈的信，最初是匿名公布的，他指責(zé)論文評審人員“無知”和“有偏見”。
Geoff Hinton and his team won ImageNet Challenge
六個月后，一切都變了。 Hinton和兩位研究生采用深度學(xué)習(xí)算法，參加了ImageNet競賽并獲得第一名。ImageNet大型視覺識別挑戰(zhàn)賽，要求軟件識別1,000種不同物體，從蚊帳到清真寺。Hinton帶領(lǐng)的多倫多大學(xué)團(tuán)隊在五次嘗試之內(nèi)，以85%的準(zhǔn)確度成功地識別出圖像中的物體，比第二名超出10個百分點(diǎn)。深度學(xué)習(xí)軟件的初始層的神經(jīng)元在優(yōu)化后可找出簡單的特征，例如邊緣和角落，更深層的神經(jīng)元可找出更復(fù)雜的功能，如形狀，直至識別出狗或人。
LeCun回憶說，當(dāng)獲獎?wù)呓榻B了他們的比賽結(jié)果之后，AI行業(yè)中長期對神經(jīng)網(wǎng)絡(luò)不屑一顧的專家們蜂擁而至，來到他們的房間里 。“好吧，現(xiàn)在我們認(rèn)同你，你贏了?！?/p>
此后，從事計算機(jī)視覺的學(xué)者們很快就放棄了之前的方法，深度學(xué)習(xí)算法從此成為人工智能研究的主流。鑒于Hinton團(tuán)隊在ImageNet大賽的成績，谷歌在2013年收購了Hinton創(chuàng)立的公司DNNresearch。從此Hinton開始同時參于Google Brain的研究。
Mark Zuckerberg and Yann LeCun
2013年12月，F(xiàn)acebook首席執(zhí)行官M(fèi)ark Zuckerberg突然出現(xiàn)在最大的神經(jīng)網(wǎng)絡(luò)研究會議上，并主持了一個派對，宣布LeCun加盟他們的人工智能研究中心FAIR，每周仍在紐約大學(xué)工作一天。
LeCun至今仍然對Hinton 2012年在ImageNet大賽上的突破頗有感慨，這一年世界終于接受了他最早提出的觀點(diǎn)。 “在某種程度上，這應(yīng)該是從我的實驗室出來的，” Hinton也表示贊同?！皩τ赮ann來說，很可惜，這個突破不是他完成的?！?其實，對于贏得ImageNet挑戰(zhàn)背后的技術(shù)，LeCun的研究團(tuán)隊作出的貢獻(xiàn)最大。很可惜Lecun的學(xué)生們畢業(yè)的時間不湊巧，忙于其他事情，讓他們錯過了參加ImageNet大賽?！?目前LeCun正在尋求深度學(xué)習(xí)的下一個突破，希望能和Hinton打個平手。
2015年5月，他們?nèi)寺?lián)名在美國《Nature自然》雜志上發(fā)表了一篇論文－Deep Learning深度學(xué)習(xí)。經(jīng)過30多年的不悔堅持，深度學(xué)習(xí)的三劍客終于從最初的秘密小團(tuán)隊，成為AI主流研究的領(lǐng)袖人物，笑到了最后。
－ 本文源于MIT Tech Review
聯(lián)系客服
