深度學(xué)習(xí)三巨頭Geoffrey Hinton、Yann LeCun、Yoshua Bengio中，Hinton是LeCun與Bengio的老師。LeCun是Hinton在加拿大多倫多大學(xué)帶的博士后，LeCun在多倫多學(xué)習(xí)期間就住在Hinton家里；Bengio是MIT的Micheal Jordan的博士后，而Micheal Jordan曾申請讀Hinton的博士后，Bengio在蒙特利爾大學(xué)時長期是學(xué)校里唯一教授機器學(xué)習(xí)的老師，對于學(xué)術(shù)和工作上遇到的問題，Bengio一直把Hinton當(dāng)老師。深度學(xué)習(xí)歷史上的幾乎所有里程碑，不是Hinton主導(dǎo)，就是Hinton的學(xué)生所主導(dǎo)，因此，Geoffrey Hinton是名副其實的“深度學(xué)習(xí)教父（Godfather of AI）”。
回顧深度學(xué)習(xí)的歷史，最令人感慨的，就是在深度學(xué)習(xí)的長期低谷中，Hinton鼓勵和引領(lǐng)著LeCun與Bengio，三人在加拿大為深度學(xué)習(xí)保留著研究的種子，一直堅持到“AlexNet時刻”的到來。
為什么在全世界都長期不看好神經(jīng)網(wǎng)絡(luò)的情況下只有Hinton一直獨自堅持研究？因為Hinton不是一般的學(xué)者，Hinton是真正的貴族知識分子，只有貴族知識分子才能超越俗世，以信念來決定自己的學(xué)術(shù)人生。
1947年Geoffrey Hinton出生于溫布爾頓。Hinton的高祖父是著名數(shù)學(xué)家George Boole，Boole創(chuàng)立的布爾代數(shù)（Boolean algebra）奠定了計算機科學(xué)的數(shù)學(xué)基礎(chǔ)；Hinton的全名是Geoffrey Everest Hinton，中間名Everest來自于高祖母家族，Hinton高祖母的叔叔就是著名地理學(xué)家George Everest，珠穆朗瑪峰的英語單詞（Mount Everest）就是以George Everest的名字命名的；Hinton父親Howard Hinton是知名昆蟲學(xué)家；Hinton的舅舅是著名經(jīng)濟學(xué)家Colin Clark，創(chuàng)立了宏觀經(jīng)濟學(xué)里的GNP核算；Hinton的表姑媽Joan Hinton是知名核物理學(xué)家，1948年到延安，是新中國第一個獲得中國綠卡的外國人。在如此顯赫的家族背景下，Hinton看待世界與學(xué)問的角度是不一樣的，Hinton自述“我大概在7歲的時候就意識到，不讀博士是不行了”。
1965年，Hinton進入劍橋大學(xué)國王學(xué)院（King's College）讀物理與化學(xué)，但很快退學(xué)，之后又申請國王學(xué)院的建筑學(xué)，又很快退學(xué)，再申請國王學(xué)院的哲學(xué)，再退學(xué)。Hinton的劍橋歲月，不是與老師吵架，就是退學(xué)，Hinton稱這種貴族式的任性為“學(xué)習(xí)多動癥”。
退學(xué)后工作了幾年后，Hinton還是想起了“不讀博士是不行了”，1973年，Hinton進入蘇格蘭愛丁堡大學(xué)（The University of Edinburgh）讀博士學(xué)位，開始研究神經(jīng)網(wǎng)絡(luò)。導(dǎo)師每次見到Hinton，都提醒他神經(jīng)網(wǎng)絡(luò)這個方向是公認(rèn)短期內(nèi)看不到結(jié)果的，然而Hinton不為所動。博士畢業(yè)后，Hinton在卡內(nèi)基梅隆大學(xué)（CMU）找到一份工作。
1987年，Hinton接受加拿大高等研究院（CIFAR）的邀請到多倫多大學(xué)工作，并為CIFAR展開機器學(xué)習(xí)項目研究，CIFAR是當(dāng)時幾乎唯一愿意資助冷門的神經(jīng)網(wǎng)絡(luò)研究的機構(gòu)。以Hinton在多倫多大學(xué)的辦公室為核心，一小撮神經(jīng)網(wǎng)絡(luò)的信徒聚集在Hinton身邊，這一小撮人的代表人物是Yann LeCun、Yoshua Bengio、Alex Krizhevsky、Ilya Sutskever。Hinton始終懷有“相信自己是對的，其他人都錯了”的貴族式信念，而這一小撮人則都被Hinton洗腦了，把自己的學(xué)術(shù)生涯賭在了Hinton所選的方向上。Hinton后來半開玩笑地說——在神經(jīng)網(wǎng)絡(luò)這條孤獨的道路上，他的一個工作就是選出最優(yōu)秀的學(xué)生，而優(yōu)秀學(xué)生的標(biāo)準(zhǔn)就是完全相信Hinton對神經(jīng)網(wǎng)絡(luò)的看法。這樣，在加拿大聚集起了一小撮人認(rèn)為“自己是對的，而其他人都錯了”的神經(jīng)網(wǎng)絡(luò)研究者，而其他人則嘲諷這幫人是AI領(lǐng)域非主流的“加拿大黑幫”。
2012年，深度學(xué)習(xí)的“Sputnik時刻”——“AlexNet時刻”終于到來，Hinton與他的兩位博士生Alex Krizhevsky、Ilya Sutskever設(shè)計了在深度學(xué)習(xí)歷史上具有里程碑意義的AlexNet，在當(dāng)年的ImageNet大賽上以極大的性能優(yōu)勢奪冠，AlexNet讓深度學(xué)習(xí)站到了AI舞臺的中央。
“AlexNet時刻”讓工業(yè)界聞風(fēng)而動，動作最快的竟然是中國公司百度。AlexNet論文發(fā)表后不久，Hinton就收到了百度的郵件，李彥宏向Hinton和他的兩位學(xué)生提供了三年1200萬美元的工作offer，當(dāng)時受寵若驚的Hinton已經(jīng)準(zhǔn)備接受百度的offer。
Geoffrey Hinton的兩位學(xué)生Alex Krizhevsky與Ilya Sutskever到底不是等閑之輩，他們向老師提出，與其和某個公司談工作邀約，不如三個人直接成立一家公司，然后讓各個公司來競購這家公司，這樣顯然能獲得高得多的報價。Hinton采納了他們的意見，三人成立了一家公司DNNresearch，并邀請工業(yè)界來競購。聯(lián)系Hinton競購DNNresearch的，一共有四家公司：谷歌、微軟、百度與DeepMind。
競購初期，DeepMind首先被排除了，因為DeepMind提供的是股票期權(quán)，DeepMind當(dāng)時沒有現(xiàn)金、只能用股票來競購，這顯然不符合Hinton和他學(xué)生們的期望，DeepMind首先出局。這里假設(shè)一下，假如Hinton三人接受了DeepMind的股票加入了DeepMind，這大致相當(dāng)于Hinton、OpenAI、DeepMind合三為一，那么大家可以想象一下現(xiàn)在的DeepMind會形成何等的大模樣？
當(dāng)競購的競價達到2200萬美元時，微軟退出了。百度和谷歌都已經(jīng)定下競價策略——奉陪到底，到午夜時百度和谷歌已經(jīng)把價格抬高到了4400萬美元，而且雙方都告訴Hinton會繼續(xù)出價。Hinton對如此高價感到了不安，宣布當(dāng)天競拍結(jié)束。第二天，Hinton通知百度和谷歌，競拍不再進行，Hinton選擇了谷歌。Hinton后來承認(rèn)，中斷和百度的談判而改為競購，其想要的結(jié)果就是谷歌。
競購?fù)瓿珊?，Geoffrey Hinton、Alex Krizhevsky與Ilya Sutskever加入了Jeff Dean領(lǐng)導(dǎo)的Google Brain（谷歌最重要的AI部門）。外界曾笑談，Google花了4400萬美元只是招聘到了三個員工，事實上，Ilya Sutskever在谷歌工作期間被DeepMind的AlphaGo所激勵，很快離開谷歌創(chuàng)業(yè)去了，成立了現(xiàn)在風(fēng)生水起的OpenAI，而Alex Krizhevsky在谷歌期間默默無聞?wù)撐暮苌伲髞硪搽x開了谷歌加盟了一家加拿大AI初創(chuàng)企業(yè)Dessa，三人中只有Hinton一直留在了谷歌。
但是，沒有誰會認(rèn)為Google的4400萬美元投資不值得，Google的4400萬投資買到的東西實際上遠超4400萬。Google就依靠Google Brain、Hinton、DeepMind（2014年谷歌以6億美元收購）這三個支柱，牢牢建立起了AI技術(shù)的絕對領(lǐng)先地位。這個絕對領(lǐng)先地位對于谷歌來說價值幾何？Hinton當(dāng)時叫停競購是覺得4400萬美元的高價有些離譜了，但是如果Hinton三人當(dāng)時選擇拿DeepMind的10%股份呢，現(xiàn)在的AI會是什么格局，這10%的股份現(xiàn)在價值幾何？
Geoffrey Hinton加入谷歌后，被谷歌工程師奉為超級偶像，最優(yōu)秀的AI人才都以加入谷歌與Hinton共事為榮。在谷歌原來的架構(gòu)里，搜索和人工智能部門二合一，由高級副總裁John Giannandrea管理，如今谷歌AI部門越來越強大，人工智能部門已經(jīng)成為獨立部門與搜索部門并列，原Google Brain負(fù)責(zé)人Jeff Dean掌管谷歌人工智能部門。同時，谷歌提出了AI First戰(zhàn)略，將AI作為谷歌所有業(yè)務(wù)的先導(dǎo)與動力，AI First戰(zhàn)略的基礎(chǔ)就是谷歌所擁有的業(yè)界最強大的人工智能部門。
Geoffrey Hinton在谷歌還有一個更重要的作用就是確定未來的方向。Hinton近年思考的都是未來深度神經(jīng)網(wǎng)絡(luò)發(fā)展方向的問題，Hinton提出了Capsule Network、SimCLR、NGRAD（neural gradient representation by activity differences）等下一代技術(shù)的框架。實際上，這些技術(shù)是否能發(fā)展成為深度神經(jīng)網(wǎng)絡(luò)的升級還未可知，但重要的是，Hinton這樣級別的人物能夠定義出方向并引發(fā)大家的研究與討論，通過這些探索與研究，谷歌就能始終把握住方向，保持領(lǐng)先地位。
當(dāng)前AI領(lǐng)域，能夠引領(lǐng)方向的人物大致有6位，這6位是Geoffrey Hinton、Jeff Dean、Yann LeCun、Yoshua Bengio、Ilya Sutskever與Demis Hassabis，除了Hinton的其他5位，不是Hinton的學(xué)生，就是Hinton的同事。
聯(lián)系客服
