人工智能技術(shù)已經(jīng)發(fā)展了數(shù)十年了，但直到十多年前，才隨著深度學(xué)習(xí)技術(shù)和相關(guān)應(yīng)用的逐步成熟掀起了新一輪浪潮，硅谷各大科技企業(yè)把它視為未來，開啟了轟轟烈烈的“All in AI”轉(zhuǎn)型。現(xiàn)代人工智能領(lǐng)域有三大奠基人（見下圖），分別是杰弗里·辛頓(Geoffrey Hinton)、延恩·勒昆(Yann LeCun)、約書亞·本吉奧(Joshua Bengio)。
今天為大家介紹的是被稱為“神經(jīng)網(wǎng)絡(luò)之父”、“深度學(xué)習(xí)鼻祖”的杰弗里·辛頓。杰弗里·辛頓（Geoffrey Hinton），人工智能學(xué)界傳奇，愛丁堡大學(xué)人工智能的博士、多倫多大學(xué)的特聘教授。他將HintonBack Propagation（反向傳播算法）應(yīng)用到神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)，他也是深度學(xué)習(xí)經(jīng)典網(wǎng)絡(luò)AlexNet的提出團(tuán)隊(duì)成員，可以說他的學(xué)術(shù)生涯貫穿整個深度學(xué)習(xí)的發(fā)展歷史。2013年辛頓加入谷歌并掛帥了一個AI團(tuán)隊(duì)，深度參與到將神經(jīng)網(wǎng)絡(luò)技術(shù)轉(zhuǎn)化為實(shí)際應(yīng)用的浪潮中，他見證了“深度學(xué)習(xí)”從邊緣課題變成了谷歌等硅谷各大巨頭仰賴的核心技術(shù)，下圖就是杰弗里·辛頓。
說到辛頓的傳奇，我們可以歸結(jié)為三個傳奇，一是家庭背景傳奇，二是求學(xué)經(jīng)歷傳奇，三是治學(xué)經(jīng)歷傳奇。
1、傳奇的家庭背景
1947年末，辛頓出生在戰(zhàn)后的英國倫敦小鎮(zhèn)溫布爾登（Wimbledon），成長于布里斯托爾（Bristol）。我們細(xì)數(shù)一下他傳奇家庭中的“聰明”的成員，他的曾曾祖父是著名的邏輯學(xué)家喬治·布爾（George Boole），就是赫赫有名的布爾代數(shù)（Boolean algebra）的發(fā)明者，他奠定了現(xiàn)代計(jì)算機(jī)科學(xué)的基礎(chǔ)。他的叔叔是著名的經(jīng)濟(jì)學(xué)家科林·克拉克（Colin Clark），發(fā)明了“國民生產(chǎn)總值”這個經(jīng)濟(jì)學(xué)術(shù)語，影響意義深遠(yuǎn)。他的父親霍華德·辛頓（Howard Hinton），是個昆蟲學(xué)家，非常喜歡研究甲殼蟲，母親Margaret是一位教師。辛頓的兩位堂兄妹在中國很是有名，堂弟叫William Hinton（中文名是韓丁），中國人民老朋友，創(chuàng)作過《翻身》等和中國相關(guān)的紀(jì)實(shí)文學(xué)。還有一個堂妹叫Joan Hinton（中文名是寒春），參加過曼哈頓計(jì)劃為美國制造原子彈，心懷解放全人類的理想來到了共產(chǎn)主義中國，如果你翻過楊振寧、鄧稼先事跡，可以看到她的名字?？梢哉f，辛頓一家都流淌著飽含聰明才智的血液。
2、傳奇的求學(xué)經(jīng)歷
在天才家庭出生的辛頓卻是一位非典型的天才，他的求學(xué)、尤其是追求人工智能的理想之路走得很不平坦。辛頓與人工智能結(jié)緣很早，他的自述早在60年代他念高中時，無意間聽到了人腦信息存儲的全息圖機(jī)制，如同他的前輩皮茨和麥卡諾克等學(xué)者研究的神經(jīng)網(wǎng)絡(luò)以及信息如何在大腦中存儲記憶的猜想那樣（參考機(jī)器學(xué)習(xí)中的函數(shù)（1）- 激活函數(shù)和感知機(jī)），辛頓也為此深深的著迷，他形容到這是他一生的關(guān)鍵時刻，也是他一生成功的起點(diǎn)。
辛頓比許多同年人都要聰明，當(dāng)他高中畢業(yè)進(jìn)入劍橋的國王學(xué)院攻讀物理和化學(xué)，不過僅讀了一個月后就退學(xué)了，他解釋到“我那時候18歲，第一次離開家自己生活，感到有些壓抑”。一年之后，他再次申請攻讀建筑學(xué)，結(jié)果在建筑系僅僅上了一天課，又決定轉(zhuǎn)學(xué)讀物理學(xué)和生理學(xué)，后來發(fā)現(xiàn)物理數(shù)學(xué)還是不適合自己，又再次退學(xué)。此后，他再改讀哲學(xué)，但卻和他的導(dǎo)師發(fā)生了激烈的爭吵，最后他選擇研讀心理學(xué)。直到1970年，辛頓終于以劍橋大學(xué)國王學(xué)院實(shí)驗(yàn)心理學(xué)學(xué)士身份畢業(yè)。后來辛頓自己都自嘲：“我想我可能有一種教育上的多動癥，無法安安靜靜的學(xué)習(xí)”。大學(xué)畢業(yè)后，辛頓搬到了北倫敦的伊斯靈頓區(qū)居住，為了生計(jì)他成為一個木匠，過著混亂、有點(diǎn)潦倒的日子。
可能環(huán)境有時候會起相反的作用，在離開大學(xué)校園最好最安靜的學(xué)習(xí)環(huán)境之后，辛頓反而能夠平靜地追求他所向往的機(jī)器模擬人類大腦來。每個星期六早上，他都會去伊斯靈頓的埃塞克斯路圖書館，靠著圖書館里的資料自學(xué)了解大腦的工作原理，這樣的平淡日子過了兩年后，辛頓反而又通過發(fā)表論文和參加學(xué)術(shù)會議，重新折騰回學(xué)術(shù)圈，這也是辛頓“叛逆”心態(tài)的體現(xiàn)。從1972年開始，辛頓從一個木匠，重新變回一位學(xué)者，進(jìn)入愛丁堡大學(xué)攻讀博士學(xué)位，而且還是師從大化學(xué)家克里斯多?！は＝鹚梗–hristopher Higgins）教授，他選擇的研究方向自然就是神經(jīng)網(wǎng)絡(luò)。辛頓重新回到了他自己的軌道上。
3、治學(xué)經(jīng)歷傳奇
在人工智能起起伏伏的發(fā)展歷史中，深度學(xué)習(xí)運(yùn)動一度被認(rèn)為是學(xué)術(shù)界的一個異類，辛頓等人是如何堅(jiān)持了幾十年的時間，締造了深度學(xué)習(xí)的復(fù)興？
我們回到辛頓本科時期，當(dāng)他在劍橋?qū)W習(xí)心理學(xué)，他意識到科學(xué)家們并沒有真正理解大腦，“沒有掌握數(shù)十億神經(jīng)元之間的交互以及如何提升智力的”，這些科學(xué)家可以解釋電信號沿著一個軸突連接一個神經(jīng)元到另一個，但他們無法解釋這些神經(jīng)元是如何學(xué)習(xí)或計(jì)算的。辛頓認(rèn)為這些都是大問題，他相信這些問題的答案可能最終讓我們實(shí)現(xiàn)1950年代人工智能起步階段那些研究人員的夢想。雖然他也沒有答案，但他決心用盡畢生之力尋找答案。
辛頓說“當(dāng)我們發(fā)現(xiàn)一種可以使神經(jīng)網(wǎng)絡(luò)變得更好的方法，尤其是這種方法能夠揭示大腦是如何工作的時候，我就非常興奮。”不管外界怎么不看好這個技術(shù)方向，但是辛頓永遠(yuǎn)洋溢著青春的熱情。他相信通過改進(jìn)人工神經(jīng)網(wǎng)絡(luò)可以收集信息，并且能夠做出反應(yīng)，它們可以理解東西看起來什么樣或聽起來像什么，可以讓你在做決定的時候會變得更加聰明，這是傳統(tǒng)的的機(jī)器學(xué)習(xí)工具做不到的。早在80年代初，當(dāng)辛頓和同事開始這個想法時，那時的電腦性能還遠(yuǎn)遠(yuǎn)不能處理神經(jīng)網(wǎng)絡(luò)需要的巨大數(shù)據(jù)集，成功是有限的，隨后人工智能學(xué)界逐漸拋棄了他們，轉(zhuǎn)而去尋找類人腦的捷徑。根據(jù)辛頓回憶，那段日子極為艱難，直到2004年，這已經(jīng)是辛頓他們第一次開發(fā)“反向傳播”算法神經(jīng)網(wǎng)絡(luò)20年之后了。在被學(xué)術(shù)界輕視了二十年后，他們才從加拿大先進(jìn)項(xiàng)目研究所（CIFAR）拿到的極少量資金，并在LeCun以及 Bengio 的支持下，辛頓建立了神經(jīng)計(jì)算和自適應(yīng)感知項(xiàng)目。辛頓全力邀請一些計(jì)算機(jī)科學(xué)家、生物學(xué)家、電氣工程師、神經(jīng)科學(xué)家、物理學(xué)家和心理學(xué)家參與這個項(xiàng)目，致力于創(chuàng)建模擬生物智能的模型，模擬大腦如何篩選大量的視覺、聽覺以及書面線索來理解和應(yīng)對它的環(huán)境。辛頓希望通過建立這樣一個組織會刺激人工智能領(lǐng)域的創(chuàng)新，甚至改變世界，后來的事實(shí)證明他是對的。
辛頓曾感慨自己的學(xué)術(shù)生涯就像人工神經(jīng)網(wǎng)絡(luò)（ANN）一樣起起伏伏，但幸運(yùn)的是，他一直堅(jiān)持著對人工神經(jīng)網(wǎng)絡(luò)的研究，特別是在那二十多年的人工智能寒冬期。2010年后，不但是學(xué)界，Google這樣的互聯(lián)網(wǎng)公司也開始關(guān)注他們。后來，辛頓加入Google公司，繼續(xù)推進(jìn)他在CIFAR啟動的項(xiàng)目，并更多地和實(shí)際應(yīng)用結(jié)合?，F(xiàn)在深度學(xué)習(xí)是主流，辛頓說“我們不再是極端分子了，我們現(xiàn)在可是炙手可熱的核心技術(shù)呢?！毙令D也周游世界并為深度學(xué)習(xí)積極布道，他有一個習(xí)慣就是喜歡突然大喊：“我現(xiàn)在理解大腦是如何工作的了！”這很有感染力。
4、辛頓的高光時刻
我們一起回顧幾個辛頓在人工智能學(xué)術(shù)領(lǐng)域的高光時刻
推動BP算法，掀起深度學(xué)習(xí)第二次浪潮
上世紀(jì)70年代多層人工神經(jīng)網(wǎng)絡(luò)出現(xiàn)后，面臨重大的挑戰(zhàn)性是增加神經(jīng)網(wǎng)絡(luò)的層數(shù)雖然可為其提供更大的靈活性，讓網(wǎng)絡(luò)能解決更多的問題，但隨之而來的數(shù)量龐大的網(wǎng)絡(luò)參數(shù)的訓(xùn)練，這是制約多層神經(jīng)網(wǎng)絡(luò)發(fā)展的一個重要瓶頸。這時誤差逆?zhèn)鞑ィ╡rror BackPropagation，BP）算法出現(xiàn)了，參考機(jī)器學(xué)習(xí)中的函數(shù)（3） - "梯度下降"走捷徑，"BP算法"提效率?，F(xiàn)在提及BP算法時，常常把保羅·沃伯斯（PaulWerbos）稱作BP算法的提出者，杰弗里·辛頓稱作BP算法的推動者。1986年，辛頓聯(lián)合同事大衛(wèi)·魯姆哈特（David Rumelhart）和羅納德·威廉姆斯（Ronald Williams），發(fā)表了一篇突破性的論文，詳細(xì)介紹了一種叫作“反向傳播”（backpropagation）的技術(shù)。通過優(yōu)化人工神經(jīng)網(wǎng)絡(luò)的計(jì)算方式，反向傳播可以糾正很多深度學(xué)習(xí)模型在訓(xùn)練時產(chǎn)生的計(jì)算錯誤，這種機(jī)制極大提高了人工神經(jīng)網(wǎng)絡(luò)的性能。因此，反向傳播算法對現(xiàn)有人工智能影響很大，《麻省科技評論》這樣定義“今天的 AI 就是深度學(xué)習(xí)，而深度學(xué)習(xí)就是建立在反向傳播機(jī)制之上的。”然而提出反向傳播算法之后，辛頓并沒有迎來事業(yè)的蓬勃發(fā)展，受限于當(dāng)時的計(jì)算機(jī)能力，深度學(xué)習(xí)的研究進(jìn)入了又一次的寒冬期。
再定義深度學(xué)習(xí)，掀起深度學(xué)習(xí)第三次浪潮
2006年，辛頓及其學(xué)生Salakhutdinov發(fā)表了著名的論文《Reducing the Dimensionality of Data with Neural Networks》，標(biāo)志著深度學(xué)習(xí)的正式復(fù)興，也掀起深度學(xué)習(xí)的第三次浪潮，機(jī)器學(xué)習(xí)全面進(jìn)入深度學(xué)習(xí)時期。此時，深度神經(jīng)網(wǎng)絡(luò)已經(jīng)優(yōu)于與之競爭的其他機(jī)器學(xué)習(xí)的技術(shù)以及手工設(shè)計(jì)功能的AI系統(tǒng)。而在此之后，伴隨著數(shù)據(jù)量的爆炸式增長與計(jì)算能力的與日俱增，深度學(xué)習(xí)得到了進(jìn)一步的發(fā)展，幾經(jīng)起伏后深度學(xué)習(xí)終于走上前臺。
提出Alexnet，深度學(xué)習(xí)開始走向繁榮期
深度學(xué)習(xí)歷史上，AlexNet當(dāng)屬經(jīng)典中的經(jīng)典。AlexNet出現(xiàn)之前，深度學(xué)習(xí)計(jì)算還沒有機(jī)會在實(shí)際應(yīng)用中展示他強(qiáng)大的能力。終于在2012年，辛頓和他的博士生Alex Krizhevsky等提出了AlexNet，并一舉拿下當(dāng)時ImageNet比賽的冠軍。相比于前一年的冠軍，Top-5的錯誤率一下子下降了10個百分點(diǎn)，遠(yuǎn)遠(yuǎn)超過當(dāng)年的第二名（26.2%），可見其功力非同一般，從而也確立了深度卷積神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺領(lǐng)域的統(tǒng)治地位。Alexnet強(qiáng)化了典型CNN的架構(gòu)，應(yīng)用到更深更寬的網(wǎng)絡(luò)中，由于它的出現(xiàn)，人們更加相信深度學(xué)習(xí)可以被應(yīng)用于機(jī)器視覺領(lǐng)域，點(diǎn)燃了深度學(xué)習(xí)的熱情，深度學(xué)習(xí)很快進(jìn)入了一個繁榮期（參考機(jī)器學(xué)習(xí)中的函數(shù)（5） - “算法、算力，數(shù)據(jù)”已齊備，深度學(xué)習(xí)走入舞臺中心）
今天我們分享了辛頓的傳奇人生，從他在人工智能領(lǐng)域起起伏伏的經(jīng)歷中，我們能感受到，在寒冬之中，很多堅(jiān)持是必要、很多堅(jiān)持是珍貴的、很多堅(jiān)持是值得的。
聯(lián)系客服
