大數(shù)據(jù)文摘出品
堅(jiān)持你所相信的，直到世界追上你的腳步。
因?yàn)閭吮?，Geoff Hinton已經(jīng)站著工作了12年，似乎巧合地迎合了現(xiàn)在“站立工作”的這股風(fēng)潮。
“我領(lǐng)先于潮流，”Hinton說(shuō)。
不僅僅是這一點(diǎn)，Hinton更廣為人知的“領(lǐng)先于潮流”，是在深度學(xué)習(xí)領(lǐng)域。在所有人都不看好神經(jīng)網(wǎng)絡(luò)的年頭，是他，將這一技術(shù)帶進(jìn)了主流學(xué)術(shù)界。
Bloomberg近日為這位“深度學(xué)習(xí)教父”拍攝了一段特寫(xiě)紀(jì)錄片，用短短8分鐘，講述了這位“有點(diǎn)皮”的教授關(guān)于神經(jīng)網(wǎng)絡(luò)的40年傳奇經(jīng)歷。
為什么是AI教父？
今天，混AI圈的人鮮有人沒(méi)聽(tīng)過(guò)Geoff Hinton。他是谷歌大腦研究小組的負(fù)責(zé)人，多倫多大學(xué)的榮譽(yù)教授。而奠定了他在今天人工智能圈“教父”地位的，是他在多層神經(jīng)網(wǎng)絡(luò)技術(shù)的貢獻(xiàn)。
Hinton對(duì)AI的貢獻(xiàn)有多大呢？
學(xué)術(shù)點(diǎn)說(shuō)，Hinton在1986年提出的通過(guò)反向傳播來(lái)訓(xùn)練深度網(wǎng)絡(luò)理論，標(biāo)志著深度學(xué)習(xí)發(fā)展的一大轉(zhuǎn)機(jī)，為近年來(lái)人工智能的發(fā)展奠定了基礎(chǔ)。
更實(shí)際點(diǎn)說(shuō)，今天谷歌中通過(guò)語(yǔ)音識(shí)別進(jìn)行圖片檢索、在手機(jī)上把語(yǔ)音轉(zhuǎn)化為文字的技術(shù)的實(shí)現(xiàn)，大部分功勞要?dú)w于Hinton博士的研究。
他的研究，徹底改變了人工智能，乃至整個(gè)人類發(fā)展的軌跡。
從研究大腦，到嘗試制作一個(gè)
Geoff Hinton出生在英國(guó)一家“書(shū)香門(mén)第”，家人多是數(shù)學(xué)家和經(jīng)濟(jì)學(xué)家，這樣的“學(xué)霸爸媽”顯然讓Hinton的童年不太好過(guò)，正如他自己所說(shuō)：“我大概在7歲的時(shí)候就意識(shí)到，不讀博是不行了（微笑臉）?！?/span>
而最初把Hinton引上人工智能這條路的，是他對(duì)人腦的好奇。
Hinton很早就沉迷于大腦如何工作的問(wèn)題。于是，他開(kāi)始進(jìn)入生理學(xué)，解剖大腦以了解其工作方式。
不滿足于此，他又開(kāi)始學(xué)習(xí)心理學(xué)。最后，他決定更多地使用計(jì)算機(jī)科學(xué)的方法來(lái)模擬大腦，并進(jìn)入人工智能領(lǐng)域，開(kāi)始了他近40年的研究生涯。
“我認(rèn)為，如果你真的想了解一個(gè)非常復(fù)雜的裝置，比如大腦，那你就制作一個(gè)?！?/span>
堅(jiān)信神經(jīng)網(wǎng)絡(luò)：“其他人都錯(cuò)了”
盡管現(xiàn)在已經(jīng)成為了人工智能的主流研究方法，神經(jīng)網(wǎng)絡(luò)在最初問(wèn)世時(shí)，命途多舛。
1956年，美國(guó)認(rèn)知心理學(xué)家弗蘭克·羅森布拉特（Frank Rosenblatt）基于神經(jīng)元的理論發(fā)明了一種模擬神經(jīng)元的方法。它的基本點(diǎn)是一個(gè)被稱為神經(jīng)元的小單位的集合。 這些集合都是小的計(jì)算單元，但可以模擬人腦計(jì)算的方式。和我們從感官中獲取數(shù)據(jù)一樣，這些神經(jīng)元可以獲取傳入數(shù)據(jù)并進(jìn)行學(xué)習(xí)，所以神經(jīng)網(wǎng)絡(luò)可以隨著時(shí)間的推移做出決定。
但是，Rosenblatt的學(xué)習(xí)算法當(dāng)時(shí)對(duì)于多層結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)不起作用。人工智能學(xué)者們也因此放棄了學(xué)習(xí)式軟件的想法。他們轉(zhuǎn)而使用邏輯來(lái)產(chǎn)生智能——比如下棋的能力。
幾乎沒(méi)人再相信神經(jīng)網(wǎng)絡(luò)的前景，也沒(méi)人再研究神經(jīng)網(wǎng)絡(luò)。
除了Hinton。
“大腦是一個(gè)巨大的神經(jīng)網(wǎng)絡(luò)，因此，神經(jīng)網(wǎng)絡(luò)必須也是可以工作的，因?yàn)樗谖覀兊拇竽X中起作用?！盚inton說(shuō)。
“那是什么支持著你不放棄？”
“其他人都錯(cuò)了（everyone else is wrong）?！?/span>
離開(kāi)五角大樓，成為“加拿大之光”
為了找到一個(gè)支持他研究神經(jīng)網(wǎng)絡(luò)的棲身之處，Hinton在美國(guó)輾轉(zhuǎn)多地。但是，當(dāng)時(shí)大部分的學(xué)術(shù)研究都是受到國(guó)防部支持。
而Hinton對(duì)于這樣拿到自己的研究經(jīng)費(fèi)并不滿意：“我不希望我的研究成果被用在一些不善意的目標(biāo)上?！?/span>
的確，深度學(xué)習(xí)從誕生之日起，就與國(guó)防部的一些軍事目的有著不可分割的淵源。
甚至直至今天依然如此——今年3月谷歌被曝光正參與Maven項(xiàng)目，向美國(guó)軍方提供TensorFlow APIs和無(wú)人機(jī)圖像識(shí)別技術(shù)，引起巨大爭(zhēng)議和眾多抗議，6月谷歌不得不承諾不將AI用于武器。這場(chǎng)聲勢(shì)浩大的爭(zhēng)論甚至將戰(zhàn)火燃到了李飛飛身上。
而關(guān)于AI倫理和技術(shù)人員責(zé)任的爭(zhēng)論也從來(lái)沒(méi)有停止過(guò)。
近兩年，將算法用來(lái)自動(dòng)識(shí)別一起犯罪是否屬于團(tuán)伙犯罪，或識(shí)別一個(gè)人是否是同性戀的研究屢見(jiàn)不鮮，算法的締造者是否應(yīng)該在研究之外分出心力，了解自己研究背后更深的影響呢？
在40年前，Hinton的選擇或許已經(jīng)給出了他的答案。
為了避免為五角大樓服務(wù)，Hinton最終落腳在加拿大的多倫多大學(xué)。這個(gè)國(guó)家歡迎他，也支持他的神經(jīng)網(wǎng)絡(luò)研究。“去這個(gè)文明的小鎮(zhèn)繼續(xù)研究對(duì)我來(lái)說(shuō)非常有吸引力。”
而HIinton也沒(méi)有讓加拿大失望。
正因?yàn)镠inton和他的學(xué)生的研究，加拿大現(xiàn)在已經(jīng)成為人工智能研究的重要力量之一，多家人工智能巨頭都將他們的研究中心開(kāi)在了多倫多，各種前沿人才為了追隨Hinton的腳步，絡(luò)繹不絕地來(lái)到這座北方國(guó)度：“Hinton將加拿大拉入了AI超級(jí)大國(guó)的版圖?！?/span>
堅(jiān)持你認(rèn)為對(duì)的，直到世界追上你的腳步
在多倫多，Hinton和他的團(tuán)隊(duì)研究出了更深度的神經(jīng)網(wǎng)絡(luò)，以解決更復(fù)雜的問(wèn)題。他們共同開(kāi)發(fā)了一個(gè)多層神經(jīng)網(wǎng)絡(luò)，這個(gè)深度神經(jīng)網(wǎng)絡(luò)也被應(yīng)用于多個(gè)方面。
比如有人用它在80年代就打造了一輛無(wú)人車并且開(kāi)上了路。
而現(xiàn)在已經(jīng)是深度學(xué)習(xí)的另一位領(lǐng)袖人物、Facebook的AI實(shí)驗(yàn)室負(fù)責(zé)人Yann LeCun則利用深度神經(jīng)網(wǎng)絡(luò)建立了一個(gè)可以識(shí)別手寫(xiě)數(shù)字的系統(tǒng)。這一系統(tǒng)最終實(shí)現(xiàn)了商用。
在當(dāng)時(shí)，深度神經(jīng)網(wǎng)絡(luò)的前景似乎一片大好，但是，現(xiàn)實(shí)中的故事往往沒(méi)有這么簡(jiǎn)單。
Hinton的研究再次遇到了瓶頸。
“我們當(dāng)時(shí)并沒(méi)有足夠的數(shù)據(jù)，也沒(méi)有足夠的計(jì)算機(jī)運(yùn)行能力，AI和計(jì)算機(jī)科學(xué)的從業(yè)者認(rèn)為神經(jīng)網(wǎng)絡(luò)是一廂情愿的想法。”
但Hinton始終堅(jiān)持著，盡管完全不被重視。
他坐在房間的最角落里參加學(xué)術(shù)會(huì)議，在大牛云集的人工智能會(huì)議上完全不被重視。甚至他自己也開(kāi)始產(chǎn)生了懷疑：“有很多次我都覺(jué)得我不會(huì)繼續(xù)這項(xiàng)工作了”。
直到這個(gè)世界開(kāi)始慢慢追上他的腳步。
2006年，計(jì)算機(jī)的運(yùn)行速度有了巨大的提高，超快速芯片的到來(lái)以及互聯(lián)網(wǎng)上產(chǎn)生的大量數(shù)據(jù)使得Hinton的算法變得非常神奇。突然之間，計(jì)算機(jī)開(kāi)始可以識(shí)別圖像中的內(nèi)容，可以識(shí)別語(yǔ)音，可以將一種語(yǔ)言翻譯成另一種語(yǔ)言。
2012年，Geoffry Hinton和他的團(tuán)隊(duì)帶著 AlexNet參加了那一年的 ImageNet ILSVRC 挑戰(zhàn)賽，以驚人的優(yōu)勢(shì)獲勝（錯(cuò)誤率比第二名低了足足 10%）。這篇被 NIPS 2012 收錄的論文被認(rèn)為是深度學(xué)習(xí)熱的開(kāi)啟。
同年，“神經(jīng)網(wǎng)絡(luò)”和“機(jī)器學(xué)習(xí)”等詞匯也開(kāi)始在紐約時(shí)報(bào)的頭版出現(xiàn)。
“人們終于理解了這個(gè)概念，我感到很欣慰?！盚inton這樣說(shuō)。
推翻自己，膠囊網(wǎng)絡(luò)的提出
盡管已經(jīng)成為了深度學(xué)習(xí)的領(lǐng)袖人物，Hinton的腳步卻從沒(méi)有停歇。2017年10月26日，Hinton發(fā)表了一篇在AI圈掀起軒然大波的論文——Capsule Networks（膠囊網(wǎng)絡(luò)）。
Hinton高喊，“卷積神經(jīng)網(wǎng)絡(luò)（CNN）的時(shí)代已經(jīng)過(guò)去了！”，將他過(guò)去幾十年的研究翻了過(guò)去。
感興趣的讀者可以查看論文。
論文鏈接：
https://arxiv.org/pdf/1710.09829v1.pdf
盡管膠囊網(wǎng)絡(luò)現(xiàn)在仍然處在嬰兒期，在訓(xùn)練龐大的數(shù)據(jù)集時(shí)，仍可能會(huì)遇到問(wèn)題，但在未來(lái)，Hinton相信它還有發(fā)展的巨大潛力。
也許，這位深度學(xué)習(xí)教父還將再次改寫(xiě)深度學(xué)習(xí)的發(fā)展歷程。
【今日機(jī)器學(xué)習(xí)概念】
Have a Great Definition
聯(lián)系客服
