題圖:designed by Freepik
不騙人,真的是特別「簡」,誰都能看明白——畢竟,想要有難度,我的水平根本做不到??!
好了,閱讀之前有個(gè)重要的說明。
文章結(jié)構(gòu)說明
極簡事件(深藍(lán)色塊)+ 事件說明(小卡片)+ 關(guān)鍵人物(照片+ Title)
文章內(nèi)容說明
本文時(shí)間線重度參考了 2016 年 Gil Press 發(fā)布在 Forbes 上的 A Very Short History Of Artificial Intelligence,但有刪減和添加。近兩年的事件屬于我自己收集。寫的事件雖然是同樣的,但大部分描述與原文不同。
時(shí)間線上的事件,我這邊盡量用大白話和極為簡單的描述說一下,更多內(nèi)容會(huì)放在小卡片里解釋——簡單的大白話在嚴(yán)謹(jǐn)性上會(huì)丟分兒,但這是我想要呈現(xiàn)的樣子。不過,原則上依然是字盡量少,除非是八卦......
怎么說呢,作為一個(gè)八卦愛好者,很容易出現(xiàn)周邊無關(guān)緊要的內(nèi)容抖個(gè)不停的癥狀(誰說那不是把科技史當(dāng)秘史看的樂趣呢)。當(dāng)然不是完全無關(guān)緊要,比如學(xué)術(shù)跳槽這種,暫且就叫八卦吧!本文的不少內(nèi)容和八卦參考了尼克老師的《人工智能簡史》一書,但不是 Copy ,若直接 Copy 會(huì)作為引用說明。
注意,很重要的一點(diǎn),限于個(gè)人水平,免不了錯(cuò)說漏說,敬請(qǐng)指正。
另外,參考資料列在文末了。
簡單數(shù)據(jù)說明
重要時(shí)間節(jié)點(diǎn)及事件近 90 項(xiàng)
含照片 AI 大神 30 + 位,提到名字的 50+ 位
AI 領(lǐng)域具有代表性的論文近 30 篇(含圖書)
AI 相關(guān)經(jīng)典電影 6 部
圖片 60 +
START
1943 年,麥卡洛克和皮茨提出神經(jīng)元的數(shù)學(xué)模型
麥卡洛克和皮茨在 Mathematical Biophysics 上發(fā)表了 “A Logical Calculus of Ideas Immanent in Nervous Activity”,開“神經(jīng)網(wǎng)絡(luò)”研究先河。
Warren McCulloch
(1898 – 1969)美國神經(jīng)科學(xué)家和控制論學(xué)者,先后在耶魯大學(xué)、伊利諾伊大學(xué)芝加哥分校、MIT 等待過。
Walter Pitts
(1923 – 1969)美國邏輯學(xué)家,自學(xué)成才,跟著維納學(xué)習(xí)過一段時(shí)間,不是正式學(xué)生。
一般說起人工智能的源起,大家都會(huì)想到“達(dá)特茅斯會(huì)議”,我們后面也會(huì)提,咱們就按照時(shí)間線來把關(guān)鍵事件和人物一一展示出來。AI 思想上的源頭可能得追溯到哲學(xué)家的某些思想了,我沒關(guān)注到那一塊,咱就略過了。
“神經(jīng)網(wǎng)絡(luò)”研究開啟得還是挺早的。眾所周知,深度神經(jīng)網(wǎng)絡(luò)目前在深度學(xué)習(xí)中是挑大梁的角兒,然而,能發(fā)展到今天也是經(jīng)歷了不少“挫折”。在繼續(xù)閱讀之前,簡單說下 AI 門派,所謂“無斗爭,不江湖”。
一般認(rèn)為,人工智能發(fā)展史上主要有 3 個(gè)學(xué)派:符號(hào)主義、連接主義和行為主義。
符號(hào)主義,也稱邏輯主義,認(rèn)為智能是對(duì)符號(hào)的操作,主張用公理和邏輯體系搭建人工智能系統(tǒng)。
連接主義,也叫仿生學(xué)派,致力于用神經(jīng)網(wǎng)絡(luò)的連接機(jī)制實(shí)現(xiàn)人工智能。
行為主義,源于控制論,在機(jī)器人控制系統(tǒng)中應(yīng)用較多。
AI 發(fā)展史滿是符號(hào)派和連接派的刀光劍影。
1949 年,赫布提出 “Hebb 規(guī)則”
赫布在 Organization of Behavior: A Neuropsychological Theory 一書中提出的 “Hebb 規(guī)則” ,是最簡單的神經(jīng)元學(xué)習(xí)規(guī)則,指的是“如果兩個(gè)細(xì)胞總是同時(shí)激活,它們之間就有某種關(guān)聯(lián),同時(shí)激活的概率越高,關(guān)聯(lián)度也越高”。如今的無監(jiān)督機(jī)器學(xué)習(xí)算法或多或少借鑒了 “Hebb 規(guī)則” 的思想。
Donald Hebb
(1904 – 1985),加拿大神經(jīng)心理學(xué)家。在神經(jīng)心理學(xué)領(lǐng)域有重要貢獻(xiàn),致力于研究神經(jīng)元在心理過程中的作用。
1950 年,香農(nóng)發(fā)表第一篇講計(jì)算機(jī)下棋的文章
香農(nóng)在 Philosophical Magazine 發(fā)表的 “Programming a Computer for Playing Chess”,是第一篇講計(jì)算機(jī)下棋的文章。
Claude Shannon
(1916 – 2001)美國數(shù)學(xué)家、電子工程師和密碼學(xué)家、信息論創(chuàng)始人。1948 年香農(nóng)發(fā)表的“通信的數(shù)學(xué)原理”,奠定了現(xiàn)代信息論的基礎(chǔ)。
1950 年,圖靈發(fā)表“計(jì)算機(jī)與智能”
在 Mind 雜志發(fā)表的 “Computing Machinery and Intelligence”,提出了“模仿游戲”,也就后來廣為人知的“圖靈測(cè)試”。這篇文章是機(jī)器智能最早的系統(tǒng)化科學(xué)化論述。
圖靈可能是第一個(gè)對(duì)機(jī)器智能做出深度思考的人士。
Alan Turing
(1912 – 1954)英國計(jì)算機(jī)科學(xué)家、數(shù)學(xué)家、邏輯學(xué)家、密碼分析學(xué)家,計(jì)算機(jī)科學(xué)與人工智能之父。
SNARC 是 Stochastic Neural Analog Reinforcement Calculator 的簡稱,即隨機(jī)神經(jīng)網(wǎng)絡(luò)模擬加固計(jì)算器,模擬 40 個(gè)神經(jīng)元的運(yùn)行,由 Marvin Minsky 和 Dean Edmunds 構(gòu)建,是人工智能領(lǐng)域的先鋒實(shí)驗(yàn)。
Marvin Minsky 在人工智能領(lǐng)域的研究起于神經(jīng)網(wǎng)絡(luò),但不久就轉(zhuǎn)向了符號(hào)派的陣營,甚至后來成為符號(hào)派的“大護(hù)法”,一度大力“鎮(zhèn)壓”神經(jīng)網(wǎng)絡(luò)的星星之火。
Marvin Minsky
(1927 – 2016) 美國計(jì)算機(jī)科學(xué)家、人工智能先驅(qū)、MIT 教授,1969 年圖靈獎(jiǎng)得主。
1952 年,出現(xiàn)第一個(gè)計(jì)算機(jī)下棋程序
塞繆爾開發(fā)了第一個(gè)計(jì)算機(jī)下棋程序,不過他 1955 年寫的第二個(gè)跳棋程序才具有自學(xué)習(xí)能力,被認(rèn)為是最早的機(jī)器學(xué)習(xí)程序之一,真正公開算是在 1956 年。
Arthur Samuel
(1901 – 1990)美國計(jì)算機(jī)游戲和人工智能領(lǐng)域先驅(qū),先后在貝爾實(shí)驗(yàn)室、伊利諾伊大學(xué)、IBM、斯坦福大學(xué)待過,大部分成就是在 IBM 做出的。
1955 年 8 月 31 日,首次出現(xiàn) artificial intelligence 一詞
artificial intelligence 一詞首次出現(xiàn)在 “2 month, 10 man study of artificial intelligence” 提案中,作者是麥卡錫、明斯基、羅切斯特和香農(nóng)。提案是為準(zhǔn)備 1956 年召開的“達(dá)特茅斯人工智能研討會(huì)”而擬定的。
1955 年 12 月,第一個(gè)人工智能程序 Logic Theorist 誕生
紐厄爾和司馬賀開發(fā)的 Logic Theorist,在達(dá)特茅斯夏季研討會(huì)之后才算大范圍公開,該程序可以證明懷特海和羅素《數(shù)學(xué)原理》一書第二章 52 個(gè)定理中的 38 個(gè)。會(huì)議后,紐厄爾和司馬賀發(fā)表 “Logic Theory Machine ”,是 AI 歷史上重要的文章之一。
AI 早期發(fā)展階段是符號(hào)主義的天下,紐厄爾和司馬賀是符號(hào)派的重要人物。不過符號(hào)派內(nèi)部也有斗爭,比如司馬賀和明斯基的研究就不一樣,彼此也憋著勁兒呢,這里就不細(xì)說了。
Herbert A. Simon
(1916 – 2001)美國著名計(jì)算機(jī)科學(xué)家、心理學(xué)家、卡耐基梅隆大學(xué)教授。1975 年圖靈獎(jiǎng)和 1978 年諾貝爾經(jīng)濟(jì)學(xué)獎(jiǎng)得主。
1956 年 8 月 31 日,“人工智能夏季研討會(huì)”在達(dá)特茅斯學(xué)院召開
這一年被稱為“人工智能元年”。當(dāng)時(shí)出席大會(huì)的 10 位專家是:麥卡錫、明斯基、羅切斯特、香農(nóng)、塞繆爾、紐厄爾、司馬賀、塞弗里奇、所羅門諾夫和摩爾,都是人工智能領(lǐng)域的先驅(qū)。
英文名備注:
John McCarthy 、Marvin Minsky、Nathaniel Rochester、Claude Shannon、Arthur Samuel 、Herbert A. Simon、Allen Newell、Oliver Selfridge、Ray Solomonoff、Trenchard More
2006 年,50 年后再聚,依然在世的幾位
左起:摩爾、麥卡錫、明斯基、賽弗里奇、所羅門諾夫
1957 年,羅森布拉特發(fā)明“感知機(jī)”
Perceptron 是一種神經(jīng)網(wǎng)絡(luò)模型,AI 領(lǐng)域的一大突破。Perceptron 具有兩層網(wǎng)絡(luò),可完成一些簡單的視覺處理任務(wù)?!都~約時(shí)報(bào)》稱它為 “remarkable machine…”。
Perceptron 在當(dāng)時(shí)引起了重大關(guān)注,這段時(shí)間神經(jīng)網(wǎng)絡(luò)的研究非常熱門。
Frank Rosenblatt
(1928 – 1971)康奈爾大學(xué)實(shí)驗(yàn)心理學(xué)家、人工智能領(lǐng)域先驅(qū),43 歲生日當(dāng)天去世。
1957 年,紐厄爾、肖和西蒙提出 General Problem Solver
GPS(一般問題解決器)基于西蒙和紐厄爾關(guān)于邏輯機(jī)的研究。原理上,任何形式化的符號(hào)問題都可以被此程序解決。
Allen Newell
(1927 – 1992)美國計(jì)算機(jī)科學(xué)和認(rèn)知心理學(xué)領(lǐng)域?qū)<?、卡耐基梅隆大學(xué)教授,1975 年圖靈獎(jiǎng)得主。
1957 年,司馬賀預(yù)言十年內(nèi)計(jì)算機(jī)下棋擊敗人類
實(shí)際上等了 39 年,直到 1997 年“深藍(lán)”打敗卡斯帕羅夫。1965 年,司馬賀又預(yù)言 20 年內(nèi)人會(huì)做的機(jī)器都可以搞定。AI 領(lǐng)域樂觀預(yù)言屢見不鮮。明斯基 1968 年在《2001 太空漫游》新聞發(fā)布會(huì)上說 30 年內(nèi)機(jī)器智能可以和人有一拼。
1958 年,麥卡錫設(shè)計(jì)了 Lisp
Lisp 的發(fā)明在 FORTRAN 之后,Clojure、Common Lisp 和 Scheme 都是 Lisp 的方言,Lisp 是當(dāng)時(shí)人工智能領(lǐng)域最受歡迎的編程語言,目前仍然廣泛使用,對(duì)后世編程語言具有深刻影響。
John McCarthy
(1927 – 2011)美國計(jì)算機(jī)科學(xué)家、人工智能先驅(qū)、斯坦福大學(xué)教授,1971 年圖靈獎(jiǎng)得主。
1959 年,塞繆爾首創(chuàng) machine learning 一詞
1959 年,Samuel 首創(chuàng) Machine Learning,他給 ML 下的非正式定義為:Field of study that gives computers the ability to learn without being explicitly programmed.
「沒有明確編程指令的情況下,能讓計(jì)算機(jī)學(xué)習(xí)的研究領(lǐng)域就是機(jī)器學(xué)習(xí)。」
這個(gè)定義比較概括,1998 年,Tom Mitchell 給出了一個(gè)更為精確的定義:
Well posed Learning Problem: A computer program is said to learn from experience E with respect to some task T and some performance measure P, if its performance on T, as measured by P, improves with experience E.
1959 年,塞弗里奇提出一種讓計(jì)算機(jī)識(shí)別新模式的計(jì)算模型
塞弗里奇是在 “Pandemonium: A paradigm for learning”一文中提出的,這是人工智能領(lǐng)域早期經(jīng)典論文。
Oliver Selfridge
(1926 – 2008)人工智能先驅(qū),機(jī)器感知之父。
1959 年,麥卡錫和明斯基牽頭成立 MIT 人工智能實(shí)驗(yàn)室
麻省理工學(xué)院人工智能實(shí)驗(yàn)室的前身是 MIT MAC 項(xiàng)目中的 AI 實(shí)驗(yàn)室,余下的部分變成了計(jì)算機(jī)科學(xué)實(shí)驗(yàn)室。后來又合并成了如今的 MIT CSAIL(麻省理工學(xué)院計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室)。
咱們這篇文章中提到了在人工智能領(lǐng)域比較強(qiáng)的三所美國高校:麻省理工學(xué)院、斯坦福大學(xué)、卡內(nèi)基梅隆大學(xué)。參加達(dá)特茅斯研討會(huì)的 AI 先驅(qū)中,明斯基在 MIT、麥卡錫在斯坦福大學(xué),司馬賀和紐厄爾在卡內(nèi)基梅隆大學(xué),并且他們都參與了不少學(xué)科初創(chuàng)工作。
AI 研究早期,流派斗爭嚴(yán)重,頂尖高校是重要的根據(jù)地,近十年 AI 領(lǐng)域被深度學(xué)習(xí)主導(dǎo),早先的門戶之爭已逐漸消失。
Project MAC's IBM 7094
CSAIL
(來自維基百科)
1959 年,麥卡錫提出第一個(gè)完整的 AI 系統(tǒng)
麥卡錫發(fā)表“Programs with Common Sense” ,其中提出一個(gè)能跟人一樣學(xué)習(xí)的假想程序 “Advice Taker”,被認(rèn)為是第一個(gè)完整的人工智能系統(tǒng)。
1961 年,誕生工業(yè)界第一款機(jī)器人 Unimate
工程師恩格爾伯格受阿西莫夫小說 I, Robot 影響,與發(fā)明家 George C. Devol 成立 Unimation。1961 年,公司的第一臺(tái)機(jī)器人 Unimate 開始在通用電氣新澤西工廠試用。
Joseph Engelberger
(1925 – 2015)美國物理學(xué)家、工程師、機(jī)器人之父。
在酒店為顧客倒咖啡
兩張照片來自 ilstu.edu
1961 年,出現(xiàn)第一個(gè)自動(dòng)符號(hào)積分程序 SAINT
James Slagle 開發(fā)了SAINT,據(jù)說可以解決大一水平的微積分問題。
James Slagle
(1934 – )美國計(jì)算機(jī)科學(xué)家、明尼蘇達(dá)大學(xué)教授,做過明斯基的學(xué)術(shù)顧問。
1962 年,斯坦福大學(xué)人工智能實(shí)驗(yàn)室(SAIL)成立
麥卡錫參與了此事。他本來跟明斯基在 MIT,剛創(chuàng)建人工智能實(shí)驗(yàn)室不久,因?yàn)楦n題負(fù)責(zé)人有學(xué)術(shù)意見分歧返回斯坦福大學(xué),協(xié)助創(chuàng)建了人工智能實(shí)驗(yàn)室。隨后斯坦福瘋狂挖人,在 AI 領(lǐng)域聚集了大批知名學(xué)者。
麥卡錫待的學(xué)校真不少,普林斯頓大學(xué)數(shù)學(xué)專業(yè)博士畢業(yè)后先后在校任教,轉(zhuǎn)斯坦福,轉(zhuǎn)達(dá)特茅斯學(xué)院、轉(zhuǎn) MIT,大約都待了 2 年,最終又回了斯坦福大學(xué)。
1964 年,出現(xiàn)自然語言理解程序 STUDENT
MIT 學(xué)生 Daniel Bobrow 發(fā)表博士論文 “Natural Language Input for a Computer Problem Solving System” ,同時(shí)開發(fā) STUDENT,是計(jì)算機(jī)對(duì)自然語言理解最早的嘗試之一。
1965 年,德雷弗斯發(fā)表著名的 “Alchemy and AI”
“煉金術(shù)與人工智能”和后來的文章集結(jié)為《計(jì)算機(jī)不能干什么》一書,是批判 AI 最知名的作品之一。
Hubert Dreyfus
(1929 – 2017) 加州大學(xué)伯克利分校歐陸派哲學(xué)代表人物,知名的人工智能批判家。
1972 年首版
1992 年升級(jí)版
1965 年,古德提出超人智能
在 “Speculations Concerning the First Ultraintelligent Machine” 一文中, I. J. Good 指出了人工智能對(duì)人類的威脅,認(rèn)為機(jī)器的超人智能(智能爆炸)終將不受人類控制。
1965 年,魏森鮑姆開發(fā)聊天機(jī)器人 ELIZA
ELIZA 是第一個(gè)自然語言對(duì)話程序,通過簡單的模式匹配和對(duì)話規(guī)則與人聊天。Kenneth Colby 在 1972 年開發(fā)了聊天機(jī)器人 PARRY。當(dāng)年的國際計(jì)算機(jī)通訊年會(huì)(ICCC)上,ELIZA(作為醫(yī)生)和 PARRY(作為病人) 通過 ARPANET 對(duì)聊了一回。
Vint Cerf 記錄的資料請(qǐng)見:
https://tools.ietf.org/html/rfc439
PARRY and ELIZA(1972,文字截圖)
Joseph Weizenbaum
(1923 – 2008),美國計(jì)算機(jī)科學(xué)家、MIT 教授、SLIP 語言發(fā)明人。
1965 年,第一個(gè)專家系統(tǒng) DENDRAL 啟動(dòng)
專家系統(tǒng) DENDRAL 的主要參與人是:Edward Feigenbaum、Bruce G. Buchanan、Joshua Lederberg 和 Carl Djerassi。在 DENDRAL 中輸入質(zhì)譜儀的數(shù)據(jù),輸出給定物質(zhì)的化學(xué)結(jié)構(gòu)。
Edward Feigenbaum
(1936 – )美國計(jì)算機(jī)科學(xué)家、專家系統(tǒng)之父、斯坦福大學(xué)教授,1994 年圖靈獎(jiǎng)得主。
1966 年,第一臺(tái)具有移動(dòng)能力的機(jī)器人 Shakey 誕生
Shakey,來自 Wikimedia
1968 年,庫布里克執(zhí)導(dǎo)的《2001 太空漫游》上映
電影中的智能電腦 Hal 9000(來自豆瓣)
1968 年,維諾格拉德開發(fā)自然語言處理程序 SHRDLU
SHRDLU 要遠(yuǎn)比 ELIZA 復(fù)雜,學(xué)術(shù)意義也更加深刻。SHRDLU 把當(dāng)時(shí)很多 AI 技術(shù)整合到一起,除了自然語言理解外,還有規(guī)劃和知識(shí)表示。這甚至是最早的計(jì)算機(jī)圖形學(xué)的應(yīng)用。SHRDLU 的潛在應(yīng)用范圍也要遠(yuǎn)廣于 ELIZA,我們可以輕易地聯(lián)想到怎么把 SHRDLU 推廣到不同的領(lǐng)域,例如計(jì)算可行的旅游路線。
——尼克,《人工智能簡史》
Terry Winograd
(1946 – ),計(jì)算機(jī)科學(xué)家、斯坦福大學(xué)教授,佩珀特的學(xué)生,谷歌創(chuàng)始人布林和佩奇的導(dǎo)師。
1969 年,明斯基和佩珀特出版《感知機(jī):計(jì)算幾何學(xué)》
明斯基和佩珀特在 Perceptrons: An Introduction to Computational Geometry 一書中證明了羅森布拉特感知機(jī)的缺陷(甚至無法執(zhí)行“異或”問題這樣簡單的功能),間接導(dǎo)致此后神經(jīng)網(wǎng)絡(luò)研究進(jìn)入大蕭條,兩人因此也被神經(jīng)網(wǎng)絡(luò)派稱為“魔鬼搭檔”。
Seymour Papert
(1928 – 2016)美國計(jì)算機(jī)科學(xué)家、數(shù)學(xué)家、MIT 教授、Logo 發(fā)明人。
1970 年,早稻田大學(xué)研發(fā)第一個(gè)擬人機(jī)器人 WABOT-1
來自:amsteambeast.com
1972 年,Prolog 正式誕生
Prolog 是當(dāng)時(shí)人工智能研究領(lǐng)域的編程語言之一,日本五代機(jī)的研發(fā)就用 Prolog 作為主要的編程語言。Prolog 發(fā)明人為 Alain Colmerauer、Phillipe Roussel 等。
1972 年, 布坎南團(tuán)隊(duì)開發(fā)醫(yī)療專家系統(tǒng) MYCIN
MYCIN 是一個(gè)針對(duì)細(xì)菌感染的診斷系統(tǒng)。MYCIN 的處方準(zhǔn)確率是 69%,當(dāng)時(shí)??漆t(yī)生的準(zhǔn)確率是 80%。雖然 MYCIN 并沒有應(yīng)用于臨床,其開發(fā)原理成為專家系統(tǒng) EMYCIN 的基礎(chǔ)。
Bruce G. Buchanan
(1940 – )美國計(jì)算機(jī)科學(xué)家,先后在斯坦福大學(xué)和匹茲堡大學(xué)任教,以在專家系統(tǒng)方面的研究著稱。
1974 年,關(guān)于神經(jīng)網(wǎng)絡(luò)的一篇重要論文出現(xiàn)
哈佛大學(xué) Paul Werbos 的博士論文 “Beyond regression : new tools for prediction and analysis in the behavioral sciences” 證明在神經(jīng)網(wǎng)絡(luò)多加一層,并且利用“反向傳播”算法,可以解決 XOR 問題。由于當(dāng)時(shí)正是神經(jīng)網(wǎng)絡(luò)研究的低谷,文章發(fā)表后并沒有引起重視。
Paul Werbos
(1947 – )計(jì)算機(jī)科學(xué)家,循環(huán)神經(jīng)網(wǎng)絡(luò)先驅(qū)。出版圖書 The Roots of Backpropagation。
1976 年,瑞迪發(fā)文總結(jié)自然語言處理早期工作
這里提的文章是:“Speech Recognition by Machine: A Review”。
Raj Reddy
(1937 – )卡內(nèi)基梅隆大學(xué)教授,帶團(tuán)隊(duì)做出了語音識(shí)別系統(tǒng) Hearsay。因語音方面的貢獻(xiàn),跟費(fèi)根鮑姆一起拿了 1994 年的圖靈獎(jiǎng)。
1978 年,誕生了同期最成功的專家系統(tǒng) XCON
XCON 是真正投入商用的。DEC 銷售 VAX 電腦時(shí),XCON 基于規(guī)則根據(jù)顧客需求自動(dòng)配置零部件,源于卡內(nèi)基梅隆大學(xué)的 R1 系統(tǒng)。
1979 年,早期自動(dòng)駕駛開啟探索
斯坦福大學(xué)的 Stanford Cart 在無人干預(yù)的情況下,耗時(shí) 5 小時(shí)成功“駛”過放置多障礙物的房間。
其實(shí)走得特別慢,近乎試探,所以“駛”字加了個(gè)引號(hào),Twitter 有個(gè)視頻:https://www.youtube.com/watch?v=ypE64ZLwC5w。
來自:http://cyberneticzoo.com
1979 年,卡內(nèi)基梅隆大學(xué)成立機(jī)器人學(xué)院(CMRA)
1981 年,日本巨資啟動(dòng)“五代機(jī)項(xiàng)目”
第五代計(jì)算機(jī)是日本從制造大國到經(jīng)濟(jì)強(qiáng)國轉(zhuǎn)型計(jì)劃的一部分,擬建立日本在全球信息產(chǎn)業(yè)的領(lǐng)導(dǎo)地位,以失敗告終。
五代機(jī)的終極目標(biāo)是知識(shí)信息處理,在當(dāng)時(shí)的語境下特指專家系統(tǒng)和自然語言理解。
60 年代到 80 年代,符號(hào)主義學(xué)派對(duì)專家系統(tǒng)投入了莫大的熱情和資金,五代機(jī)的失敗標(biāo)志著專家系統(tǒng)的狂潮退去。
1981 年,普特南出版《理性、真理與歷史》,書中提出了著名的“缸中腦”假想實(shí)驗(yàn)
圖片來自:Wikimedia
Hilary W. Putnam
(1926 – 2016)美國哲學(xué)家、數(shù)學(xué)家與計(jì)算機(jī)科學(xué)家,提出著名的孿生地球和缸中腦假想實(shí)驗(yàn)。
1982 年,霍普菲爾德提出一種新的神經(jīng)網(wǎng)絡(luò)
John Hopfield 提出的神經(jīng)網(wǎng)絡(luò)模型后來被稱為霍普菲爾德網(wǎng)絡(luò),可以解決一大類模式識(shí)別問題,還可以給出一類組合優(yōu)化問題的近似解。1984 年,霍普菲爾德用模擬集成電路實(shí)現(xiàn)了自己提出的模型。
霍普菲爾德的研究點(diǎn)燃了 20 世紀(jì) 80 年代神經(jīng)網(wǎng)絡(luò)的復(fù)興。隨后,一批早期神經(jīng)網(wǎng)絡(luò)研究人士開啟了連接主義運(yùn)動(dòng),其中最為知名的代表人物是:David Rumelhart、 James McLelland 和 Geoffrey Hinton。Hinton 就是目前深度學(xué)習(xí)領(lǐng)域的代表人物了。
John Hopfield
(1933 – )美國物理學(xué)家、分子生物學(xué)家、神經(jīng)學(xué)家,普林斯頓大學(xué)教授。
David Rumelhart
(1942 – 2011)美國心理學(xué)家,Parallel and Distributed Processing 作者。
James McLelland
(1948 – )美國心理學(xué)家,Parallel and Distributed Processing 作者。
1984 年, 預(yù)警 AI Winter 即將到來
AAAI 年會(huì)上,Roger Schank 和 Marvin Minsky 預(yù)警 AI Winter 即將到來,3 年后 AI 投資和研究基金確實(shí)銳減。這次 AI Winter 的時(shí)間段大約在 1987 – 1993。
1984 年,詹姆斯·卡梅隆執(zhí)導(dǎo)的《終結(jié)者》上映
電影中的機(jī)器人 T800(來自豆瓣)
1986 年,首輛無人駕駛汽車完成首秀
無人車是一臺(tái)配備攝像頭和傳感器的奔馳面包車,在無人街道上行駛速度高達(dá) 55 mph。由計(jì)算機(jī)視覺領(lǐng)域大神 Ernst Dickmanns 帶的慕尼黑德國聯(lián)邦大學(xué)研究團(tuán)隊(duì)開發(fā)。
來自:Driving.ca
1986 年 10 月, 闡述反向傳播算法的經(jīng)典論文發(fā)表
David Rumelhart、Geoffrey Hinton、Ronald Williams 的 “Learning representations by back-propagating errors” ,是神經(jīng)網(wǎng)絡(luò)領(lǐng)域引用次數(shù)最高的論文,闡述了在深度學(xué)習(xí)領(lǐng)域大放異彩的反向傳播算法。
有的參考資料說這三位發(fā)現(xiàn)了反向傳播算法,不過,還有一個(gè)說法是早在 1969 年,Arthur Bryson 和 Yu-Chi Ho 就提出了反向傳播算法。反向傳播算法是機(jī)器學(xué)習(xí)領(lǐng)域中最重要的算法之一,用于深度神經(jīng)網(wǎng)絡(luò)。
Geoffrey Hinton
(1947 – ),多倫多大學(xué)教授,深度學(xué)習(xí)領(lǐng)域三巨頭之一,被譽(yù)為“深度學(xué)習(xí)之父”。2018 年圖靈獎(jiǎng)得主。辛頓創(chuàng)辦的公司 DNNresearch 被谷歌收購。
1987 年,連接主義學(xué)派重要作品 PDP 出版
Parallel Distributed Processing
1988 年,珀?duì)柍霭?Probabilistic Reasoning in Intelligent Systems
1988 年出版,內(nèi)容經(jīng)典
Judea Pearl
(1936 – ) ,美國計(jì)算機(jī)科學(xué)家,貝葉斯網(wǎng)絡(luò)之父,因概率和因果推理方面的研究獲 2011 年圖靈獎(jiǎng)。
1988 年,第一個(gè)能模擬人聲的機(jī)器人 Jabberwacky 誕生
1988 年,機(jī)器翻譯研究方法轉(zhuǎn)變
IBM 沃森研究中心發(fā)表了 “A statistical approach to language translation”,預(yù)示著機(jī)器翻譯從基于規(guī)則的翻譯向概率方法轉(zhuǎn)變。
1989 年,利用反向傳播算法優(yōu)化手寫 ZIP 識(shí)別
貝爾實(shí)驗(yàn)室的 Yann LeCun 和同事將反向傳播算法成功應(yīng)用到多層神經(jīng)網(wǎng)絡(luò)上,用于優(yōu)化手寫郵政編碼識(shí)別,論文為:“Backpropagation Applied to Handwritten Zip Code Recognition”。
Yann LeCun
(1960 –)深度學(xué)習(xí)領(lǐng)域三巨頭之一,F(xiàn)acebook 首席人工智能科學(xué)家,對(duì) CNN 在深度學(xué)習(xí)領(lǐng)域的應(yīng)用做出了貢獻(xiàn)。2018 年圖靈獎(jiǎng)得主。
1990 年,Rodney Brooks 發(fā)表“大象不下棋”
“Elephants Don’t Play Chess” 跟大象沒啥關(guān)系,提出了在與環(huán)境交互的基礎(chǔ)上打造人工智能系統(tǒng)的想法。
Rodney A. Brooks
Rodney Allen Brooks,作家,iRobot 創(chuàng)始人、Rethink Robotics CTO。
1993 年, Vernor Vinge 發(fā)文“即將到來的技術(shù)奇點(diǎn)”
Vernor Vinge 在 “The Coming Technological Singularity” 中指出,30 年內(nèi)人類就可以創(chuàng)造出超級(jí)智能。奇點(diǎn)就是人工智能超過人類智力極限的時(shí)間點(diǎn)。
1997 年,長短時(shí)記憶網(wǎng)絡(luò) LSTM 提出
LSTM 由 Sepp Hochreiter 和 Jürgen Schmidhuber 開發(fā),解決了原循環(huán)神經(jīng)網(wǎng)絡(luò)的問題,是當(dāng)前最流行的一種 RNN,廣泛應(yīng)用在語音識(shí)別、圖片描述、自然語言處理等領(lǐng)域。
Jürgen Schmidhuber
(1963 – )瑞士計(jì)算機(jī)科學(xué)家,在深度學(xué)習(xí)和人工神經(jīng)網(wǎng)絡(luò)領(lǐng)域做出了很大貢獻(xiàn)。
1997 年,IBM 下棋程序“深藍(lán)”擊敗世界冠軍卡斯帕羅夫
圖片來自:spiritegg.com
1998 年,第一個(gè)寵物機(jī)器人 Furby 誕生
圖片來自:Amazon
1998 年,Yann 等發(fā)表手寫識(shí)別及反向傳播相關(guān)論文
Yann LeCun、Yoshua Bengio 等的論文 “Gradient-based learning applied to document recognition” 是深度學(xué)習(xí)領(lǐng)域經(jīng)典論文。其中 Yann LeCun 設(shè)計(jì)的 LeNet-5 ,是世界上第一個(gè)正式的卷積神經(jīng)網(wǎng)絡(luò)。
AI 寒冬到 90 年代這段時(shí)間,學(xué)術(shù)方面的經(jīng)典研究都大多是神經(jīng)網(wǎng)絡(luò)領(lǐng)域的。
Yoshua Bengio
(1964 – ),深度學(xué)習(xí)三巨頭之一,加拿大計(jì)算機(jī)科學(xué)家,與 Ian Goodfellow、Aaron Courville 合著圖書《深度學(xué)習(xí)》。2018 年圖靈獎(jiǎng)得主。
1999 年,沃卓斯基兄弟執(zhí)導(dǎo)的《黑客帝國》上映
《黑客帝國》海報(bào)(來自豆瓣)
2000 年,MIT 開發(fā)機(jī)器人 Kismet,可識(shí)別和模擬人類情緒
圖片來自:MIT Museum
2000 年,本田開發(fā)類人機(jī)器人 ASIMO
圖片來自:Wikimedia
2001 年,斯皮爾伯格執(zhí)導(dǎo)的《人工智能》上映
《人工智能》海報(bào)(來自豆瓣)
2004 年,首屆無人車頂級(jí)賽事 DARPA Grand Challenge 舉辦
DARPA 組織了第一屆無人車挑戰(zhàn)賽 Grand Challenge,全程 150 英里。參賽隊(duì)伍包括斯坦福、卡內(nèi)基梅隆大學(xué)等頂尖高校,遺憾的是,沒有一個(gè)完成比賽。讀了一篇 Medium 文章說最給力的也只行駛了 7 英里。然而,第二年就有參賽隊(duì)伍完賽了。
DARPA 是美國國防高等研究計(jì)劃署的英文縮寫(Defense Advanced Research Projects Agency),在美國科技發(fā)展中發(fā)揮了重要作用。早期 AI 的起起落落也跟 DARPA 研究經(jīng)費(fèi)收緊與否密切相關(guān)。
卡內(nèi)基梅隆大學(xué)的 Red Team(wiki)
2005 年,加斯·詹寧斯執(zhí)導(dǎo)的《銀河系漫游指南》上映
《銀河系漫游指南》海報(bào)(來自豆瓣)
2006 年,Oren Etzioni 等首創(chuàng) machine reading 一詞
2006 年,辛頓發(fā)表 “Learning Multiple Layers of Representation”
2007 年,李飛飛和普林斯頓大學(xué)同事啟動(dòng) ImageNet 項(xiàng)目
ImageNet 是圖像處理領(lǐng)域最有名的數(shù)據(jù)集之一?;?ImageNet 數(shù)據(jù)集進(jìn)行的 ILSVRC(ImageNet 大規(guī)模視覺識(shí)別挑戰(zhàn)賽)相當(dāng)于計(jì)算機(jī)視覺領(lǐng)域權(quán)威評(píng)測(cè),始于 2010 年,終于 2017 年。
李飛飛
(Fei-Fei Li)斯坦福大學(xué)人工智能實(shí)驗(yàn)室主任,曾任 Google Cloud 首席科學(xué)家。
2009 年,Rajat Raina 等發(fā)文闡述 GPU 對(duì)深度學(xué)習(xí)的重要性
Rajat Raina、Anand Madhavan 和 Andrew Ng 發(fā)表 “Large-scale Deep Unsupervised Learning using Graphics Processors”,指出 GPU 對(duì)深度學(xué)習(xí)的重要性。
吳恩達(dá)
(Andrew Ng)Coursera、Google Brain 聯(lián)合創(chuàng)始人,曾任斯坦福大學(xué)人工智能實(shí)驗(yàn)室主任、百度首席科學(xué)家。
2009 年,西北大學(xué)開發(fā) Stats Monkey 程序,自動(dòng)寫體育新聞稿
2009 年,谷歌開始秘密研發(fā)無人車;2014 年,谷歌無人車首度通過內(nèi)華達(dá)州無人駕駛測(cè)試
2010 年,ImageNet 大規(guī)模視覺識(shí)別挑戰(zhàn)賽開始舉辦
2010 年,DeepMind 成立,2014 年被谷歌收購
DeepMind 是英國人工智能公司。讓 DeepMind 名聲大噪的是,其開發(fā)的人工智能圍棋程序 AlphaGo 2016 年擊敗韓國國手李世乭,核心算法是強(qiáng)化學(xué)習(xí)。
Demis Hassabis
16 歲考入劍橋大學(xué)計(jì)算機(jī)系,22 歲創(chuàng)辦電腦游戲公司,29 歲回倫敦大學(xué)讀認(rèn)知神經(jīng)學(xué)博士,34 歲創(chuàng)辦 DeepMind。
2011 年,卷積神經(jīng)網(wǎng)絡(luò)在德國交通標(biāo)志識(shí)別競賽中擊敗人類
2011 年,沃森在知名智力問答節(jié)目中擊敗人類選手
Watson 在美國智力問答節(jié)目 Jeopardy! 中擊敗前兩屆冠軍。Watson 是 IBM 制造的計(jì)算機(jī)問答系統(tǒng),涉及高級(jí)自然語言處理、消息檢索、知識(shí)表示、自動(dòng)推理、機(jī)器學(xué)習(xí)等技術(shù)。
圖片來自:Inverse
2011 年,卷積神經(jīng)網(wǎng)絡(luò)進(jìn)一步降低手寫識(shí)別誤差率
瑞士人工智能研究所 IDSIA 工程師報(bào)告了他們的研究。IDSIA 是歐洲知名人工智能研究所,由 Angelo Dalle Molle 于 1988 年創(chuàng)立, Jürgen Schmidhuber 是現(xiàn)任科學(xué)主任。
2012 年 6 月,深度網(wǎng)絡(luò)經(jīng)過自主學(xué)習(xí)識(shí)別出貓
Jeff Dean、吳恩達(dá)等設(shè)計(jì)的大規(guī)模分布式深度網(wǎng)絡(luò) DistBelief 通過學(xué)習(xí)1000 萬張圖像,成功在 YouTube 視頻中識(shí)別出了“貓”,系統(tǒng)事先并沒有任何關(guān)于貓的概念 。
Jeff Dean
(1968 – )美國知名計(jì)算機(jī)科學(xué)家、軟件工程師。Google AI 負(fù)責(zé)人,Google Brain 聯(lián)合創(chuàng)始人。
2012 年 10 月, ILSVCR 誕生具有里程碑意義的 AlexNet
AlexNet 是一種卷積神經(jīng)網(wǎng)絡(luò),由辛頓的學(xué)生 Alex Krizhevsky 設(shè)計(jì)。AlexNet 在 ILSVCR 中的錯(cuò)誤率大幅降低(16%),而去年是 25%。相關(guān)論文:“ImageNet Classification with Deep Convolutional Neural Networks”。
AlexNet 的重要意義還在于,它跟之前的一些研究,包括 Ciresan 等人用 CUDA 實(shí)現(xiàn)深度卷積網(wǎng)絡(luò)等,共同引爆了接下來深度學(xué)習(xí)的研究。
2014 年,亞歷克斯·嘉蘭執(zhí)導(dǎo)的《機(jī)械姬》上映
《機(jī)械姬》海報(bào)(來自豆瓣)
2015 年,三巨頭經(jīng)典論文 “Deep learning” 發(fā)表
Yann LeCun、Yoshua Bengio、Geoffrey Hinton 在 Nature 上發(fā)表的 “Deep learning” 是機(jī)器學(xué)習(xí)領(lǐng)域最為經(jīng)典的論文之一。
2015 年 11 月,谷歌推出機(jī)器學(xué)習(xí)系統(tǒng) TensorFlow
2016 年 3 月,AlphaGo 擊敗韓國圍棋國手李世乭
比賽截圖(來自 wiki)
2017 年 1 月, Libratus 擊敗四位頂級(jí)德州撲克選手
Libratus 是卡納基梅隆大學(xué)開發(fā)的德州撲克人工智能程序,同 AlphaGo 一樣,Libratus 的核心算法也是強(qiáng)化學(xué)習(xí)。
2017 年 10 月,谷歌發(fā)布人工智能耳機(jī) Pixel Buds
在道格拉斯經(jīng)典科幻小說《銀河系漫游指南》改編的電影中,將巴別魚塞到耳朵里就可以實(shí)時(shí)地聽到外星人的翻譯。Pixel Buds 的賣點(diǎn)也是實(shí)時(shí)翻譯,支持 40 種語言。
2017 年 10 月,辛頓團(tuán)隊(duì)發(fā)文提出新神經(jīng)網(wǎng)絡(luò) CapsNets
“Dynamic Routing Between Capsules” 一文中提出的 CapsNets 是更符合大腦信息處理邏輯的新型神經(jīng)網(wǎng)絡(luò),在理念上具有重大突破。
2018 年 2 月,刷臉支付入選 MIT 2017 年度 “十大突破技術(shù)”
MIT 2017 年度 “十大突破技術(shù)”包括:強(qiáng)化學(xué)習(xí)、自動(dòng)駕駛貨車、太陽能光伏電池、刷臉支付、360 度自拍、基因療法 2.0、細(xì)胞圖譜、實(shí)用型量子計(jì)算機(jī)、治愈癱瘓、僵尸物聯(lián)網(wǎng)。中國上榜公司為 Face++、百度和阿里巴巴。
2018 年 8 月,谷歌推出強(qiáng)化學(xué)習(xí)新框架 Dopamine(多巴胺)
Dopamine 基于 TensorFlow,主打靈活性、穩(wěn)定性、復(fù)現(xiàn)性,能夠提供快速基準(zhǔn)測(cè)試。
強(qiáng)化學(xué)習(xí)的鼻祖人物是強(qiáng)化學(xué)習(xí)的發(fā)明人 Andy Barto 和他的學(xué)生 Richard Sutton,兩位出版了強(qiáng)化學(xué)習(xí)權(quán)威圖書:
Reinforcement Learning: An Introduction。
2018 年 9 月,杭州城市大腦 2.0 正式發(fā)布
2016 年 10 月的杭州云棲大會(huì)上,阿里云啟動(dòng)“城市大腦”項(xiàng)目,這是人工智能用于中國城市發(fā)展規(guī)劃的實(shí)踐。
2018 年 9 月,大規(guī)模 GAN 訓(xùn)練取得進(jìn)展
赫瑞-瓦特大學(xué)的 Andrew Brock 和 DeepMind 團(tuán)隊(duì)的 Jeff Donahue、Karen Simonyan 在論文 “Large Scale GAN Training for High Fidelity Natural Image Synthesis” 中展示了大規(guī)模 GAN 訓(xùn)練方面的進(jìn)展。生成對(duì)抗網(wǎng)絡(luò)(GAN)可以生成看起來非常逼真的圖像。
2018 年 10 月,谷歌 DeepMind 開源 GraphDL 工具包 Graph Nets
圖網(wǎng)絡(luò)是將圖作為輸入和輸出的神經(jīng)網(wǎng)絡(luò),該概念在 “Relational inductive biases, deep learning, and graph networks” 一文中提出。業(yè)內(nèi)人士認(rèn)為,圖網(wǎng)絡(luò)或許可以解決深度學(xué)習(xí)因果推理問題。
2018 年 10 月,機(jī)器人 Atlas 跨越障礙完成三級(jí)跳
Atlas 是 DARPA 跟波士頓動(dòng)力合作研發(fā)的人形機(jī)器人,專為各種搜索及拯救任務(wù)而設(shè)計(jì),初次亮相是 2013 年。波士頓動(dòng)力先后被谷歌和軟銀收購。
圖片來自:Wikimedia
2018 年 11 月,谷歌開源 NLP 預(yù)訓(xùn)練模型 BERT
BERT 的全稱是 Bidirectional Encoder Representation from Transformers(基于 Transformer 的雙向編碼器表征),被認(rèn)為是當(dāng)前最強(qiáng)的 NLP 預(yù)訓(xùn)練模型。在機(jī)器閱讀理解頂級(jí)測(cè)試 SQuAD1.1 中表現(xiàn)驚人。
2019 年 3 月,辛頓、本吉奧、楊立昆獲 2018 年圖靈獎(jiǎng)
三位一直被媒體稱為“深度學(xué)習(xí)三巨頭”,因深度學(xué)習(xí)方面的貢獻(xiàn)獲圖靈獎(jiǎng)。其中辛頓對(duì)反向傳播算法、楊立昆對(duì)卷積神經(jīng)網(wǎng)絡(luò),本吉奧對(duì)循環(huán)神經(jīng)網(wǎng)絡(luò)的貢獻(xiàn)尤為突出。
參考文獻(xiàn)
1.《人工智能簡史》(尼克,人民郵電出版社)
2. https://www.forbes.com/sites/gilpress/2016/12/30/a-very-short-history-of-artificial-intelligence-ai
3. https://en.wikipedia.org/wiki/History_of_artificial_intelligence
https://aitopics.org/misc/brief-history
4. http://frc-west.github.io/courses/ELT1130/1-Robots/4-Usage/
5. https://www.technologyreview.com/lists/technologies/2018/
6. 維基百科
7. Wikimedia
8. 豆瓣
9. 更多網(wǎng)絡(luò)圖片已經(jīng)標(biāo)注來源網(wǎng)站
10. 最后推薦一下尼克老師的這本《人工智能簡史》,不光寫了 AI 發(fā)展史,對(duì)關(guān)鍵人物的“家底”著墨很多,并不是所有人都喜歡這種寫法,我個(gè)人覺得挺有趣。
●輸入m獲取到文章目錄
聯(lián)系客服