?作者 | 吳少杰 Tina 陳思
編輯 | Vincent
AI前線(xiàn)出品｜ ID：ai-front
AI 前線(xiàn)導(dǎo)語(yǔ)：在知乎上，“老師木的機(jī)器學(xué)習(xí)水平怎么樣”的問(wèn)題，被瀏覽了 3.7 萬(wàn)次。雖然關(guān)注者眾，卻不少評(píng)論他線(xiàn)下實(shí)際“為人低調(diào)”。
同時(shí)有人稱(chēng)他是“微博大 V 老師木“，沒(méi)錯(cuò)，作為一個(gè)技術(shù)人，他的微博粉絲有 5.8 萬(wàn)。老師木說(shuō)這個(gè)影響力“還太小”。
有人關(guān)心他為什么做得好好的要從微軟亞洲研究院離職，更有人關(guān)心老師木為啥要?jiǎng)?chuàng)業(yè)。
帶著各種問(wèn)題，我們和老師木進(jìn)行了一次深度訪(fǎng)談，首次接受采訪(fǎng)的他會(huì)如何回應(yīng)這些問(wèn)題呢？
老師木，真名袁進(jìn)輝。讀書(shū)時(shí)成績(jī)一直優(yōu)異，本科后保送清華大學(xué)直博生，師從人工智能領(lǐng)域張鈸院士。期間多篇論文在國(guó)際頂級(jí)會(huì)議上發(fā)表，在競(jìng)爭(zhēng)激烈的國(guó)際技術(shù)評(píng)測(cè)（TRECVID）中連續(xù)多年名列第一。博士后出站后，于 2011 年入職網(wǎng)易有道。2012 年作為早期成員加入 360 搜索創(chuàng)業(yè)團(tuán)隊(duì)，一年之后，產(chǎn)品上線(xiàn)成為國(guó)內(nèi)市場(chǎng)份額第二的搜索引擎。2013 年，加入微軟亞洲研究院（MSRA），主要從事大規(guī)模機(jī)器學(xué)習(xí)平臺(tái)的研發(fā)工作。
從博士后到第一次創(chuàng)業(yè)，是從學(xué)術(shù)研究人員轉(zhuǎn)型成為工程師；進(jìn)微軟亞洲研究院，則又重回到了學(xué)術(shù)道路。在 MSRA 期間，專(zhuān)注于研發(fā)大規(guī)模機(jī)器學(xué)習(xí)平臺(tái)，以出色的科研和工程綜合能力，發(fā)明了世界上最快主題模型算法 LightLDA 及分布式訓(xùn)練系統(tǒng)：只用幾十臺(tái)服務(wù)器就能完成之前需要數(shù)千服務(wù)器才能完成的訓(xùn)練任務(wù)?！癓ightLDA 的確是迄今為止，我做出來(lái)最有影響力的工作。人常說(shuō)，評(píng)價(jià)一個(gè)學(xué)者水平高低不是看成果多少，而是看他能到達(dá)的最高水平，可以說(shuō)這項(xiàng)研究讓我躋身于世界一流研究人員的行列”。
MSRA 被稱(chēng)作中國(guó) IT 屆的黃埔軍校，精英薈萃 ，并且老師木的成就也開(kāi)始受到各界的認(rèn)可，但是他卻出人意料的放棄了 MSRA 的優(yōu)厚工作，走上了創(chuàng)業(yè)的路途，更是參與到深度學(xué)習(xí)框架這種戰(zhàn)略級(jí)產(chǎn)品競(jìng)爭(zhēng)中。眾所周知，很多大公司都出有自己的深度學(xué)習(xí)框架，Google 的 TensorFlow，微軟 CNTK, Amazon 的 MxNet，F(xiàn)acebook 的 Caffe2 等，并且都在努力的建立生態(tài)。以老師木的視角，他是如何看待這些框架？我們從深度學(xué)習(xí)技術(shù)和框架、LightLDA 兩大方向和老師木進(jìn)行了一次深度訪(fǎng)談。
關(guān)于創(chuàng)業(yè)
InfoQ：為什么你放棄 MSRA 的優(yōu)厚工作去創(chuàng)業(yè)？
老師木：創(chuàng)業(yè)者一定有一個(gè)或大或小的愿景，或者說(shuō)使命感，未來(lái)的世界應(yīng)該是什么樣的，怎么努力促使愿景實(shí)現(xiàn)。我的愿景是：人工智能技術(shù)賦能各行各業(yè)，推動(dòng)人們工作效率和生活質(zhì)量更高，把人類(lèi)從機(jī)器擅長(zhǎng)的工作中解放出來(lái)，讓人類(lèi)去做更需要?jiǎng)?chuàng)造力的事。在這種使命驅(qū)動(dòng)下，首先選擇做什么事最有利于這個(gè)愿景實(shí)現(xiàn)，其次選擇做事的形式。要選能突破自我，能最大化創(chuàng)造價(jià)值的事和形式。
InfoQ：怎么看待人工智能的市場(chǎng)潛力？
老師木：首先，互聯(lián)網(wǎng)行業(yè)已經(jīng)充分驗(yàn)證了數(shù)據(jù)驅(qū)動(dòng)的業(yè)務(wù)模式。其次，互聯(lián)網(wǎng)行業(yè)之外的存量業(yè)務(wù)有顯著的人工智能技術(shù)紅利可吃，或者剛剛嘗到人工智能技術(shù)的甜頭，或者是尚未開(kāi)墾的處女地，僅僅把人工智能技術(shù)引入已有業(yè)務(wù)，就能獲得競(jìng)爭(zhēng)優(yōu)勢(shì)，甚至帶來(lái)質(zhì)的飛躍。最后，人工智能技術(shù)革命會(huì)催生一些新的產(chǎn)業(yè)，譬如自動(dòng)駕駛，精準(zhǔn)醫(yī)療等。據(jù)此，有人認(rèn)為這次由深度學(xué)習(xí)引發(fā)的大潮可能是第三次工業(yè)革命。
InfoQ：深度學(xué)習(xí)在業(yè)界有哪些靠譜應(yīng)用？
老師木：每個(gè)高商業(yè)價(jià)值的互聯(lián)網(wǎng)應(yīng)用背后都有深度學(xué)習(xí)的身影，搜索引擎，廣告，推薦引擎，用戶(hù)畫(huà)像，社交媒體，共享經(jīng)濟(jì)等等。人類(lèi)智能可概括為感知，決策和控制三方面，有監(jiān)督深度學(xué)習(xí)方法最先在感知類(lèi)型的任務(wù)（圖像視頻，語(yǔ)音，語(yǔ)言的理解）中取得成功，譬如安防，醫(yī)學(xué)影像，色情信息過(guò)濾，語(yǔ)音助手，機(jī)器翻譯等都已經(jīng)商用落地。強(qiáng)化學(xué)習(xí)在決策和控制方面也取得很多成果，主要是機(jī)器人自動(dòng)控制，自動(dòng)駕駛，處在快速發(fā)展中。
InfoQ：深度學(xué)習(xí)在技術(shù)上存在什么瓶頸？最可能在哪里獲得突破？
老師木：先分別說(shuō)有哪些關(guān)鍵問(wèn)題。在算法和理論方面，目前有監(jiān)督學(xué)習(xí)應(yīng)用最成功，各行各業(yè)積累了大量的無(wú)標(biāo)簽的數(shù)據(jù)，怎么利用上無(wú)標(biāo)簽或弱標(biāo)簽的數(shù)據(jù)？深度學(xué)習(xí)在感知（Perception）類(lèi)型的任務(wù)上非常成功，怎么與認(rèn)知 (Cognition) 方法（符號(hào)推理）結(jié)合形成最終決策？在理論上如何理解深度學(xué)習(xí)這么驚人的效果，怎么在理論指導(dǎo)下去設(shè)計(jì)模型，而不是靠 ad-hoc 經(jīng)驗(yàn)試？在計(jì)算效率方面，服務(wù)器端主要考慮擴(kuò)展性，怎么能讓一批高吞吐協(xié)處理器協(xié)同解決一個(gè)大型任務(wù)時(shí)總體利用率最高，在終端上則主要是考慮低功耗實(shí)現(xiàn)，能否同時(shí)實(shí)現(xiàn)易用性和高效性。在應(yīng)用方面，主要是在一些高商業(yè)價(jià)值的問(wèn)題上能否從技術(shù)上打通達(dá)到可用程度，AlphaGo 非常成功，但商業(yè)價(jià)值還不明確，在殺手級(jí)應(yīng)用如自動(dòng)駕駛，精準(zhǔn)醫(yī)療，自動(dòng)化交易等方向上取得成功，更值得期待。
理論和算法研究上的突破通?？捎霾豢汕?，更難預(yù)測(cè)，而且是否真的突破最終也要落實(shí)到實(shí)際應(yīng)用中去評(píng)判。在計(jì)算力和應(yīng)用上的突破確定性更高一些。我們是瞄準(zhǔn)了計(jì)算力這個(gè)方向的商機(jī)，一會(huì)兒可以深入探討下這方面的問(wèn)題。某些垂直應(yīng)用如自動(dòng)駕駛方向聚集了大量資金和人才，這方面的突破希望也很大。
InfoQ：為什么計(jì)算力會(huì)成為深度學(xué)習(xí)的一個(gè)突破方向？
老師木：首先，計(jì)算力是極其關(guān)鍵的一項(xiàng)支撐技術(shù)。最近發(fā)生的人工智能革命通常被認(rèn)為是三駕馬車(chē)驅(qū)動(dòng)，數(shù)據(jù)，算法和計(jì)算力。與上世紀(jì)九十年代相比，深度學(xué)習(xí)在算法原理上并無(wú)二致，在數(shù)據(jù)和計(jì)算力方面進(jìn)步更大，各行各業(yè)積累了大量的優(yōu)質(zhì)數(shù)據(jù)，GPU 作為新的計(jì)算手段引爆了此次深度學(xué)習(xí)的熱潮。
其次，計(jì)算力方面還有現(xiàn)成的紅利可吃，相同的算法，如果能用上更多的數(shù)據(jù)，或者用更大規(guī)模的模型，通常能帶來(lái)效果的顯著提升，能不能做的更大取決于計(jì)算力的水平。
再次，算法和原理的研究進(jìn)展依賴(lài)于計(jì)算能力，好的計(jì)算力平臺(tái)可以提高算法和原理研究的迭代速度，一天能實(shí)驗(yàn)一個(gè)新想法就比一星期才能實(shí)驗(yàn)一個(gè)新想法快的多。有些理論問(wèn)題本身是一個(gè)大規(guī)模計(jì)算問(wèn)題，譬如神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的自動(dòng)學(xué)習(xí)等價(jià)于在一個(gè)超大規(guī)模假設(shè)空間的搜索問(wèn)題，沒(méi)有強(qiáng)大計(jì)算力的支持就只能停留在玩具數(shù)據(jù)上。深度學(xué)習(xí)是受生物神經(jīng)網(wǎng)絡(luò)啟發(fā)而設(shè)計(jì)出來(lái)的，現(xiàn)在人工神經(jīng)網(wǎng)絡(luò)的規(guī)模還遠(yuǎn)遠(yuǎn)小于人腦神經(jīng)網(wǎng)絡(luò)的規(guī)模，人腦有上千億神經(jīng)元細(xì)胞，每個(gè)神經(jīng)元平均有成千上萬(wàn)的連接。
最后，如何在低功耗約束下完成高通量的計(jì)算也是制約了深度學(xué)習(xí)在更多終端上應(yīng)用的一大因素。
InfoQ：計(jì)算力具有什么樣的商業(yè)價(jià)值？
老師木：一方面，計(jì)算力的商業(yè)價(jià)值體現(xiàn)在它是數(shù)據(jù)驅(qū)動(dòng)型公司的大部頭營(yíng)業(yè)支出（硬件采購(gòu)，人力成本等）。數(shù)據(jù)驅(qū)動(dòng)型業(yè)務(wù)的完整鏈條包括數(shù)據(jù)收集，預(yù)處理，深度分析和在線(xiàn)預(yù)測(cè)，無(wú)論是私有部署還是上公有云，建設(shè)高擴(kuò)展性的基礎(chǔ)設(shè)施等支撐技術(shù)，都是一筆不可忽視的開(kāi)銷(xiāo)。另一方面，計(jì)算力也是數(shù)據(jù)驅(qū)動(dòng)型公司獲得競(jìng)爭(zhēng)優(yōu)勢(shì)的關(guān)鍵，人工智能可提高公司業(yè)務(wù)效率，而計(jì)算力又可提高人工智能的效率。目前，圍繞著計(jì)算力已經(jīng)出現(xiàn)了諸多成功的商業(yè)模式，譬如公有云，面向私有部署的商業(yè)技術(shù)服務(wù)，深度學(xué)習(xí)加速器（GPU，DPU）等。
InfoQ：計(jì)算力在技術(shù)上有哪些瓶頸？
老師木：從硬件看，我們現(xiàn)在使用的都是馮諾依曼結(jié)構(gòu)的計(jì)算機(jī)，它的主要特點(diǎn)是計(jì)算單元和存儲(chǔ)單元分離，主要瓶頸表現(xiàn)在摩爾定律（Moore’s law）的失效和內(nèi)存墻（Memory wall）問(wèn)題上。克服摩爾定律的主要途徑是增加中央處理器上集成的核心（core）數(shù)量，從單核，多核發(fā)展到現(xiàn)在眾核架構(gòu)（GPU, Intel Xeon Phi），但芯片的面積及功耗限制了人們不可能在一個(gè)處理器上集成無(wú)窮無(wú)盡個(gè)核心。內(nèi)存墻的問(wèn)題是指內(nèi)存性能的提升速度還趕不上 CPU 性能的提升速度，訪(fǎng)存帶寬常常限制了 CPU 性能的發(fā)揮。純從硬件角度解決這些瓶頸問(wèn)題，一方面要靠硬件制造工藝本身的發(fā)展，另一方面可能要靠新型的計(jì)算機(jī)體系結(jié)構(gòu)來(lái)解決，譬如計(jì)算和存儲(chǔ)一體化的非馮諾依曼結(jié)構(gòu)計(jì)算機(jī)。除了高通量的計(jì)算，在電池技術(shù)沒(méi)有大的突破的前提下，終端應(yīng)用場(chǎng)景（物聯(lián)網(wǎng)，邊緣計(jì)算）里低功耗也是計(jì)算力的一項(xiàng)重要指標(biāo)。當(dāng)前，深度學(xué)習(xí)專(zhuān)用硬件創(chuàng)業(yè)如火如荼，有可能會(huì)被忽視的一點(diǎn)是：對(duì)突破計(jì)算力瓶頸，軟件至少和硬件一樣關(guān)鍵。
InfoQ：為什么軟件會(huì)成為計(jì)算力突破的關(guān)鍵？
老師木：計(jì)算力的基礎(chǔ)設(shè)施要滿(mǎn)足上層用戶(hù)對(duì)易用性，高效率，擴(kuò)展性的綜合需求，僅有硬件是不夠的。一方面，數(shù)據(jù)科學(xué)家和算法研究員不像系統(tǒng)研發(fā)工程師那樣深刻立刻硬件的工作機(jī)理，不擅長(zhǎng)開(kāi)發(fā)釋放硬件計(jì)算潛能的軟件，對(duì)數(shù)據(jù)科學(xué)家最友好的界面是聲明式編程，他們只需要告訴計(jì)算力平臺(tái)他們想做什么，具體怎樣算的快要由軟件工具鏈來(lái)解決。另一方面，盡管單個(gè)眾核架構(gòu)的協(xié)處理設(shè)備（如 GPU）吞吐率已遠(yuǎn)超 CPU，但出于芯片面積 / 功耗等物理限制，任何一個(gè)單獨(dú)的設(shè)備都無(wú)法足夠大到處理工業(yè)級(jí)規(guī)模的數(shù)據(jù)和模型，仍需由多個(gè)高速互聯(lián)的設(shè)備協(xié)同才能完成大規(guī)模任務(wù)。出于靈活性需求，設(shè)備之間的依賴(lài)必定由軟件定義和管理，軟件怎樣協(xié)調(diào)硬件才能提高硬件利用率和釋放硬件潛能極具挑戰(zhàn)，至關(guān)重要。在相關(guān)領(lǐng)域，軟件定義硬件已是大勢(shì)所趨：上層軟件決定底層硬件的發(fā)展方向，底層硬件要取得成功離不開(kāi)完善的上層軟件生態(tài)。
InfoQ：業(yè)界已經(jīng)有很多軟件平臺(tái)，為什么要再打造一個(gè)？
老師木：用戶(hù)選擇眾多，但仍有重要需求未被滿(mǎn)足，深度學(xué)習(xí)框架技術(shù)演化仍未收斂。深度學(xué)習(xí)框架一定會(huì)出現(xiàn) Hadoop 那樣具有市場(chǎng)支配地位的產(chǎn)品，也就是所謂的事實(shí)工業(yè)標(biāo)準(zhǔn)，而現(xiàn)在還沒(méi)有任何一個(gè)軟件平臺(tái)達(dá)到這種地位。工業(yè)標(biāo)準(zhǔn)級(jí)的平臺(tái)不僅要解決眼前的需求，更要面向未來(lái)?，F(xiàn)在的確有一些知名的軟件平臺(tái)，但業(yè)界還有相當(dāng)一部分重要需求沒(méi)有被滿(mǎn)足。比如，現(xiàn)有技術(shù)方案對(duì)于單設(shè)備或多設(shè)備數(shù)據(jù)并行這種簡(jiǎn)單場(chǎng)景的支持已經(jīng)非常優(yōu)秀，但在模型更大或者神經(jīng)網(wǎng)絡(luò)拓?fù)涓鼜?fù)雜時(shí)，通用框架的易用性和效率都大打折扣，有這種需求的工業(yè)級(jí)應(yīng)用只好去用定制的 HPC 方案（譬如百度的 DeepSpeech）。問(wèn)題的根源是，設(shè)備之間互聯(lián)帶寬遠(yuǎn)低于設(shè)備內(nèi)訪(fǎng)存帶寬，這是和傳統(tǒng) CPU 上內(nèi)存墻（Memory Wall）類(lèi)似的難題。我們團(tuán)隊(duì)經(jīng)過(guò)艱苦卓絕的努力，探索一條走向通用解決方案的技術(shù)路徑。沿這個(gè)思路開(kāi)發(fā)的軟件平臺(tái)，有望既享受軟件的靈活和便利，又享有專(zhuān)用硬件的高效性。我們堅(jiān)信，通用的解決方案是深度學(xué)習(xí)平臺(tái)技術(shù)收斂的方向，只有這種通用的解決方案才是深度學(xué)習(xí)平臺(tái)的最終形態(tài)。
InfoQ：能說(shuō)說(shuō)你們產(chǎn)品的主要技術(shù)特點(diǎn)是什么嗎？
老師木：深度神經(jīng)網(wǎng)絡(luò)和人腦信息處理本質(zhì)數(shù)據(jù)流計(jì)算，信號(hào)的傳播即計(jì)算，然而當(dāng)前主流的底層硬件都是馮諾依曼結(jié)構(gòu)。純硬件實(shí)現(xiàn)的數(shù)據(jù)流計(jì)算機(jī)還不現(xiàn)實(shí)，現(xiàn)在必須依賴(lài)深度學(xué)習(xí)軟件平臺(tái)來(lái)完成這樣一個(gè)翻譯或者映射的過(guò)程：從數(shù)據(jù)流表達(dá)到馮諾依曼結(jié)構(gòu)上的指令序列。軟件平臺(tái)最終價(jià)值體現(xiàn)在易用性和高效性。易用性，要支持用戶(hù)能夠使用最自然的表達(dá)方式來(lái)描述各種神經(jīng)網(wǎng)絡(luò)計(jì)算的需求；高效性，對(duì)所支持的任何一種上層需求，都能基于通用硬件資源表現(xiàn)出專(zhuān)用硬件的那種效率。我們的產(chǎn)品開(kāi)創(chuàng)了一種和現(xiàn)有深度學(xué)習(xí)框架截然不同的技術(shù)路線(xiàn)，細(xì)節(jié)上表現(xiàn)出來(lái)靜態(tài)編譯，全鏈路異步，去中心化，流式計(jì)算等特點(diǎn)，我們認(rèn)為這是深度學(xué)習(xí)基礎(chǔ)架構(gòu)實(shí)現(xiàn)易用和高效的必由之路，是深度學(xué)習(xí)框架技術(shù)收斂的方向。
InfoQ：長(zhǎng)江后浪推前浪，這樣一個(gè)先進(jìn)的技術(shù)架構(gòu)生命力會(huì)有多久？
老師木：首先，我們可以探討一下深度學(xué)習(xí)的范式還有多久生命力，畢竟技術(shù)架構(gòu)應(yīng)需求而生?？梢詮倪@幾方面看：從數(shù)據(jù)流計(jì)算模型是生物體采用的信息處理機(jī)制，是人工智能的效仿對(duì)象；人工神經(jīng)網(wǎng)絡(luò)已經(jīng)在多個(gè)領(lǐng)域取得成功，而且深度學(xué)習(xí)本質(zhì)上還是統(tǒng)計(jì)學(xué)習(xí)理論，利用算法在數(shù)據(jù)種挖掘統(tǒng)計(jì)規(guī)律性，這種學(xué)習(xí)機(jī)制的本質(zhì)不會(huì)變化；深度學(xué)習(xí)算法便于利用并行硬件的威力，算法和硬件的天作之合，還看不出取代它的必要。其次，從計(jì)算機(jī)體系結(jié)構(gòu)及硬件演化方向上看，軟硬件結(jié)合的數(shù)據(jù)流計(jì)算機(jī)代表著突破摩爾定律和內(nèi)存墻限制的方向。
InfoQ：是不是只有大公司才需要這樣的基礎(chǔ)設(shè)施？
老師木：并不是。目力所及，這樣的基礎(chǔ)設(shè)施已經(jīng)不是大公司的獨(dú)享的專(zhuān)利，擁有數(shù)十臺(tái)服務(wù)器的中小企業(yè)，大學(xué)研究院所比比皆是。數(shù)據(jù)驅(qū)動(dòng)是一種先進(jìn)的生產(chǎn)力，所有行業(yè)最終都會(huì)變成數(shù)據(jù)驅(qū)動(dòng)，每個(gè)行業(yè)的每個(gè)公司的數(shù)據(jù)都在積累，每個(gè)公司對(duì)數(shù)據(jù)分析的需求都在進(jìn)化，從淺層的分析到深度分析，這個(gè)大趨勢(shì)呼之欲出不可逆轉(zhuǎn)。十年前，會(huì)有多少公司需要 Hadoop，現(xiàn)今幾乎所有的公司都要用到 Hadoop。歷史一再證明，無(wú)論計(jì)算能力發(fā)展到多強(qiáng)大，應(yīng)用總能把它用滿(mǎn)。多年以前，有人還覺(jué)得 640K 內(nèi)存對(duì)于任何人來(lái)說(shuō)都足夠了，今天 64G 的內(nèi)存都開(kāi)始捉襟見(jiàn)肘，一輛自動(dòng)駕駛測(cè)試車(chē)每天收集的數(shù)據(jù)達(dá)數(shù) TB 之多。從來(lái)不是強(qiáng)大的計(jì)算力有沒(méi)有用的問(wèn)題，而是計(jì)算力夠不夠用的問(wèn)題。
InfoQ：深度學(xué)習(xí)框架競(jìng)爭(zhēng)很激烈，而且看上去都是業(yè)界巨頭在玩。
老師木：是的。一個(gè)深度學(xué)習(xí)框架一旦像 Hadoop 那樣成為事實(shí)工業(yè)標(biāo)準(zhǔn)，就占據(jù)了人工智能各種關(guān)鍵應(yīng)用的入口，對(duì)各類(lèi)垂直應(yīng)用，基于私有部署的技術(shù)服務(wù)，公有云上的 AI 即服務(wù)業(yè)務(wù)，甚至底層專(zhuān)用硬件市場(chǎng)都有舉足輕重的影響。它的角色就像互聯(lián)網(wǎng)時(shí)代的瀏覽器，移動(dòng)互聯(lián)網(wǎng)時(shí)代的安卓操作系統(tǒng)一樣，是戰(zhàn)略級(jí)產(chǎn)品，業(yè)界巨頭誰(shuí)都不想讓給他人也就不奇怪了。目前，大公司出品的比較知名的框架有 Google 的 TensorFlow，微軟 CNTK, Amazon 的 MxNet，F(xiàn)acebook 的 Caffe2, PyTorch，國(guó)內(nèi)百度的 PaddlePaddle 等。
InfoQ：為什么用創(chuàng)業(yè)的方式做這樣一件事？
老師木：這種事既有技術(shù)攻關(guān)上的挑戰(zhàn)，也有資源組織上的挑戰(zhàn)。這就需要科研院所那種人才密集度，又需要公司的組織支持。我既有在大公司工作的經(jīng)歷，也有兩次創(chuàng)業(yè)的經(jīng)歷，個(gè)人理解，創(chuàng)業(yè)是社會(huì)資源組織和分配的一種優(yōu)秀機(jī)制，能最大化這項(xiàng)事業(yè)的成功率。首先，創(chuàng)業(yè)是社會(huì)鼓勵(lì)創(chuàng)新和承擔(dān)風(fēng)險(xiǎn)的一種資源分配形式，有潛力的創(chuàng)業(yè)團(tuán)隊(duì)能得到所需要的資源（資金和人才），同時(shí)有高度靈活的機(jī)制，在大公司，未必是最適合做這項(xiàng)事業(yè)的人來(lái)承擔(dān)這樣的項(xiàng)目。其次，一項(xiàng)充滿(mǎn)挑戰(zhàn)的事業(yè)需要具有聰明才智的人以持久的熱情投入其中，創(chuàng)業(yè)公司那種公平合理的利益分配機(jī)制才能最大激發(fā)成員的主觀能動(dòng)性，為業(yè)界做出實(shí)質(zhì)貢獻(xiàn)的人也應(yīng)該得到回報(bào)。
InfoQ：創(chuàng)業(yè)公司做這樣一件事看上去很不可思議。
老師木：有很多大公司加入這場(chǎng)競(jìng)爭(zhēng)，說(shuō)明存在真實(shí)的需求，而且市場(chǎng)容量足夠大，看上去創(chuàng)業(yè)公司做這樣的產(chǎn)品非常難，實(shí)際上大公司做也是同樣地難。深度學(xué)習(xí)框架的用戶(hù)是開(kāi)發(fā)者 (developer)，也就是常說(shuō)的 To developer，要把這樣一件產(chǎn)品做成功，被業(yè)界廣為采用，關(guān)鍵看兩點(diǎn)：
首先，這種深度學(xué)習(xí)框架是技術(shù)密集型產(chǎn)品，一定要做到最廣泛的滿(mǎn)足實(shí)際需求，而且在某些方面要有不可替代的優(yōu)勢(shì)，有突出的長(zhǎng)板。
其次，要形成生態(tài)，具有完善的社區(qū)支持，做到?jīng)]有明顯的短板。一個(gè)組織只要具備實(shí)現(xiàn)這兩點(diǎn)目標(biāo)的要素，就有機(jī)會(huì)，而不在于那是小公司，還是大公司。
事實(shí)上，在開(kāi)源軟件范圍競(jìng)爭(zhēng)還是非常公平的，原來(lái)名不見(jiàn)經(jīng)傳的人開(kāi)發(fā)出的軟件的確好用就能火，大公司開(kāi)發(fā)出的軟件質(zhì)量不行也沒(méi)人用，最終靠產(chǎn)品質(zhì)量說(shuō)話(huà)。現(xiàn)在，創(chuàng)業(yè)公司聚集了業(yè)界最優(yōu)秀的一批人，聰明，更重要的是有野心（進(jìn)取心）。當(dāng)然，對(duì)創(chuàng)業(yè)公司來(lái)說(shuō)，不僅要取得產(chǎn)品的成功，還要取得商業(yè)上的成功，讓所有參與這項(xiàng)事業(yè)的人拿到現(xiàn)實(shí)的回報(bào)，公司自身也獲得更充足的資金支持投入再生產(chǎn)，做出更優(yōu)秀的產(chǎn)品。大公司在開(kāi)源產(chǎn)品的商業(yè)化上更從容一些。個(gè)人觀點(diǎn)，很多大公司與你競(jìng)爭(zhēng)不可怕，更可怕的是面對(duì)很多創(chuàng)業(yè)公司的競(jìng)爭(zhēng)。最終結(jié)果取決于產(chǎn)品質(zhì)量。
InfoQ：如何取得商業(yè)上的成功？只有好的技術(shù)也可能賺不了錢(qián)。
老師木：取得商業(yè)上的成功是創(chuàng)業(yè)公司的最終追求，我們也一樣。我的理解，這涉及兩個(gè)“價(jià)值”問(wèn)題。第一，我們?cè)谧龅氖率欠駷橛脩?hù)創(chuàng)造了價(jià)值，我堅(jiān)決信奉 create value, money follows；第二個(gè)是回歸商業(yè)價(jià)值，在為用戶(hù)創(chuàng)造價(jià)值的前提下，我們需要探索出一條雙贏的利益分配機(jī)制，把用戶(hù)轉(zhuǎn)化成客戶(hù)。現(xiàn)階段，我們聚焦在解決第一個(gè)問(wèn)題，打造出解決用戶(hù)需求和痛點(diǎn)的產(chǎn)品：深度學(xué)習(xí)平臺(tái)，不貪大求全，只追求把整個(gè)鏈條中的那最關(guān)鍵一環(huán)打造到極致。這是我們這個(gè)團(tuán)隊(duì)在人工智能大潮中參與頂端競(jìng)爭(zhēng)的切入點(diǎn)，在我們眼里是那個(gè)撬動(dòng)地球的杠桿支點(diǎn)。從為用戶(hù)創(chuàng)造價(jià)值這個(gè)角度切入能最大化實(shí)現(xiàn)商業(yè)目標(biāo)的成功率，而且有可能把我們推舉到比其它選項(xiàng)要高的多的高度。微軟，谷歌，英偉達(dá)，甲骨文，華為這樣偉大的公司都是因?yàn)橛辛藙?chuàng)新的產(chǎn)品才形成了偉大的商業(yè)公司。我們對(duì)商業(yè)模式的各種選項(xiàng)都持 open 態(tài)度，不排斥和高商業(yè)價(jià)值的垂直場(chǎng)景結(jié)合。
InfoQ：您們的深度學(xué)習(xí)平臺(tái)第一版預(yù)計(jì)什么時(shí)候公測(cè)？需要從哪些方面準(zhǔn)備？
老師木：系統(tǒng)主體開(kāi)發(fā)已經(jīng)完成，目前處在內(nèi)測(cè)階段，計(jì)劃年底時(shí)開(kāi)源。開(kāi)源之前需要從以下方面做充分準(zhǔn)備：
第一，產(chǎn)品功能完整性，要支持主流的深度學(xué)習(xí)模型，譬如 CNN/RNN/LSTM , 支持圖像，語(yǔ)音和語(yǔ)言經(jīng)典應(yīng)用；
第二，驗(yàn)證高效性，在業(yè)界公認(rèn)的大規(guī)模評(píng)測(cè)中表現(xiàn)出效率優(yōu)勢(shì)，給出具體技術(shù)指標(biāo)，如在多大規(guī)模上跑到什么水平的加速比，設(shè)備利用率等等；
第三，打磨易用性，和上下游工具，和已有深度學(xué)習(xí)框架的兼容性，以及文檔建設(shè)等等。我們團(tuán)隊(duì)先從技術(shù)方面打好一個(gè)底子，當(dāng)用戶(hù)想為這個(gè)項(xiàng)目做貢獻(xiàn)時(shí)，可以更容易加入進(jìn)來(lái)。
InfoQ：您們研發(fā)深度學(xué)習(xí)平臺(tái)會(huì)兼容哪些芯片？支持什么操作系統(tǒng)，支持 Linux, Windows, Android 和 IOS 嗎？
老師木：目前我們聚焦在服務(wù)端的訓(xùn)練場(chǎng)景，在這種場(chǎng)景下，GPU 是最經(jīng)濟(jì)的選擇，所以目前只支持純 CPU 或 CPU+GPU 的異構(gòu)集群，如果未來(lái)硬件市場(chǎng)發(fā)生變化，我們也可以支持其它芯片。服務(wù)器上主要操作系統(tǒng)是 Linux 和 Windows，所以目前只支持這兩種。終端的應(yīng)用場(chǎng)景主要是在線(xiàn)推理 (inference)，我們團(tuán)隊(duì)目前沒(méi)有投入。
關(guān)于 LightLDA
InfoQ：LightLDA 是您的代表作之一么？能給大家介紹下這個(gè)項(xiàng)目的一些情況么？
老師木：LightLDA 的確是迄今為止我做出來(lái)最有影響力的工作。人常說(shuō)，評(píng)價(jià)一個(gè)學(xué)者水平高低不是看成果多少，而是看他能到達(dá)的最高水平，可以說(shuō)這項(xiàng)研究讓我躋身于世界一流研究人員的行列。首先，算法結(jié)果是一流的，LightLDA 是當(dāng)時(shí)業(yè)界最快的訓(xùn)練 Latent Dirichilet Allocation (LDA) 主題模型的算法，它把單個(gè)詞采樣降低到 O(1) 復(fù)雜度。其次，系統(tǒng)實(shí)現(xiàn)是一流的，我們僅用數(shù)十臺(tái)服務(wù)器，完成之前成千上萬(wàn)臺(tái)服務(wù)器才能做的事。LightLDA 和許多其它優(yōu)秀科研成果一樣，是集體努力的結(jié)晶。那個(gè)時(shí)候，CMU 的邢波教授（Eric Xing）在 MSRA 任顧問(wèn)，微軟團(tuán)隊(duì)和他領(lǐng)銜的 Petuum 團(tuán)隊(duì)合作達(dá)成此項(xiàng)成果，論文發(fā)表在 WWW 2015，系統(tǒng)代碼在 Github 開(kāi)源，也成功應(yīng)用于微軟搜索廣告和情景廣告產(chǎn)品中。
主題模型特別是 LDA 是廣告系統(tǒng)和推薦系統(tǒng)中的關(guān)鍵組件，據(jù)說(shuō)“Google AdSense 背后廣告相關(guān)性計(jì)算的頭號(hào)秘密武器 Google Rephil ” 就是一個(gè)巨大規(guī)模的主題模型。大約三四年前，微軟很多產(chǎn)品想用類(lèi)似的技術(shù)，然而并沒(méi)有大規(guī)模主題模型的訓(xùn)練系統(tǒng)。有一天，主管這個(gè)領(lǐng)域的副院長(zhǎng)馬維英（現(xiàn)今日頭條副總裁）和我討論時(shí)，說(shuō)起這件事，產(chǎn)品部門(mén)經(jīng)常問(wèn)他的團(tuán)隊(duì)有沒(méi)有這樣的解決方案，問(wèn)我愿不愿意干。恰好那時(shí)邢波教授也開(kāi)始做 MSRA 的顧問(wèn)，邢教授的團(tuán)隊(duì)在這方面有很積累，微軟正好可以和他在 CMU 的團(tuán)隊(duì)合作研發(fā)大規(guī)模主題模型訓(xùn)練技術(shù)，雙方一拍即合。當(dāng)時(shí)，從公開(kāi)渠道能了解到，為解決工業(yè)級(jí)需求，訓(xùn)練數(shù)據(jù)可能涵蓋數(shù)億個(gè)文檔，每個(gè)文檔包含十幾到數(shù)百個(gè)詞，為了覆蓋長(zhǎng)尾詞和長(zhǎng)尾語(yǔ)義，詞典可能包含數(shù)十萬(wàn)到百萬(wàn)個(gè)單詞，主題個(gè)數(shù)遠(yuǎn)超業(yè)界發(fā)表論文的數(shù)字（僅數(shù)百個(gè)主題），達(dá)到萬(wàn)，十萬(wàn)，甚至百萬(wàn)，最先進(jìn)的解決方案需要數(shù)千臺(tái)服務(wù)器運(yùn)行數(shù)天才能得到結(jié)果。我們當(dāng)時(shí)立下的 flag 是，相對(duì)于業(yè)界最好解決方案，做到各個(gè)維度上都有數(shù)量級(jí)的超越（服務(wù)器數(shù)量必須是數(shù)十臺(tái)，我們那時(shí)拿不到數(shù)千臺(tái)這么奢侈的硬件支持，數(shù)據(jù)規(guī)模做到數(shù)十億 Bing 索引的主流網(wǎng)頁(yè)，詞典和主題數(shù)至少做到十萬(wàn)級(jí)別）。稍微推算一下，就可以知道，即使是當(dāng)時(shí)最先進(jìn)的算法 SparseLDA，在給定的硬件環(huán)境中訓(xùn)練這樣規(guī)模的模型需要半年到一年的時(shí)間。再加上身處研究部門(mén)，一沒(méi)有可供使用的集群，二沒(méi)有工程師團(tuán)隊(duì)的支持，微軟這邊全時(shí)投入的只有我和實(shí)習(xí)生高飛，這個(gè)目標(biāo)看上去是 mission impossible。我當(dāng)時(shí)的想法是，最低目標(biāo)要做出來(lái)一個(gè)能滿(mǎn)足產(chǎn)品部門(mén)需求可用的主題模型，能不能做出打破紀(jì)錄，就看運(yùn)氣了。
InfoQ：請(qǐng)問(wèn)大規(guī)模訓(xùn)練 LDA 模型的瓶頸是什么？
老師木：訓(xùn)練 LDA 的算法可以分成兩類(lèi)，一類(lèi)是變分貝葉斯法，一類(lèi)是 Gibbs 采樣算法。前者計(jì)算過(guò)程和中間表示都是稠密的，分布式實(shí)現(xiàn)時(shí)通信量較大，后者是稀疏計(jì)算，通信量小，一般大規(guī)模主題模型都基于 Gibbs 采樣算法實(shí)現(xiàn)。使用 Gibbs 采樣算法時(shí)，算法復(fù)雜度和系統(tǒng)實(shí)現(xiàn)兩方面都有困難。假設(shè)有 100 億文檔，平均每個(gè)文檔有 100 個(gè)詞，一共有 10000 億個(gè)詞，訓(xùn)練過(guò)程迭代 100 次，那就需要對(duì) 10000 億個(gè)詞掃描 100 遍。標(biāo)準(zhǔn)的 Collapsed Gibbs 采樣算法處理一個(gè)詞的計(jì)算復(fù)雜度與模型的主題數(shù)量有關(guān)，假設(shè)要訓(xùn)練包含 10 萬(wàn)個(gè)主題的模型，那么每個(gè)詞就包含 10 萬(wàn)次計(jì)算，主頻為 2GHz 的 CPU 核心每秒能處理 1000 個(gè)詞，這樣估算一下下來(lái)，假設(shè)使用一個(gè)單線(xiàn)程程序來(lái)做這件事，共需要 1000 億秒，也就是 100 萬(wàn)天。使用 10000 個(gè) CPU 核心的分布式集群去訓(xùn)練，假設(shè)線(xiàn)性擴(kuò)展性，也需要 100 天之久。假如每個(gè)詞的采樣效率能提高 100 倍，那么使用 10000 個(gè) CPU 核心的集群去訓(xùn)練這個(gè)模型就只需要 1 天。前人已經(jīng)提出了 Gibbs 采樣算法的多種改進(jìn)，譬如 SparseLDA, AliasLDA，但這些算法的單個(gè)詞的計(jì)算復(fù)雜度仍與模型的主題數(shù)量相關(guān)，與“創(chuàng)造奇跡”仍有距離。另外，實(shí)踐上，算法中總有一些步驟是無(wú)法并行化，受制于阿姆達(dá)爾法則，分布式系統(tǒng)很難做到線(xiàn)性加速比，所需要的時(shí)間會(huì)比上述預(yù)估的時(shí)間更長(zhǎng)。
InfoQ：LightLDA 設(shè)計(jì)之處，面臨了哪些挑戰(zhàn)？
老師木：我們 LightLDA 團(tuán)隊(duì)資源匱乏（計(jì)算資源，工程師資源），同時(shí)在算法和系統(tǒng)實(shí)現(xiàn)上都挑戰(zhàn)極大。我個(gè)人認(rèn)為最大挑戰(zhàn)在信心方面：我們能不能做到？在此之前，有多位知名科學(xué)家和資深工程師在訓(xùn)練大規(guī)模 LDA 的問(wèn)題上耕耘已久，他們已經(jīng)把算法和系統(tǒng)實(shí)現(xiàn)推進(jìn)到相當(dāng)?shù)母叨龋词共捎卯?dāng)時(shí)最先進(jìn)的技術(shù)，仍不可能實(shí)現(xiàn)我們的目標(biāo)。必須做出顯著超越前人的奇跡技術(shù)突破才有可能實(shí)現(xiàn)目標(biāo)。我和學(xué)生都是第一次從事大規(guī)模機(jī)器學(xué)習(xí)的項(xiàng)目，名不見(jiàn)經(jīng)傳，何德何能，能比另外一些特別牛逼的人物做的還要好？
首先是算法上的突破。我在重現(xiàn)和把玩 SparseLDA 和 AliasLDA 時(shí)，被可遇不可求的靈感眷顧：解耦 Gibbs 采樣中與詞自身相關(guān)的因素和詞所在文檔上下文的因素這兩個(gè)因子，能做到單個(gè)詞采樣復(fù)雜度與主題個(gè)數(shù)無(wú)關(guān)。馬維英院長(zhǎng)第一次聽(tīng)我介紹完這個(gè)想法和初步實(shí)現(xiàn)結(jié)果后說(shuō) too good to be true，的確，誰(shuí)能想到這樣一個(gè)小小的 insight，竟然能把單個(gè)詞采樣復(fù)雜度降到 O(1)，理論上使得達(dá)成那個(gè)宏偉的目標(biāo)成為可能。這個(gè)靈感來(lái)的偶然又必然，機(jī)遇偏愛(ài)有準(zhǔn)備的人。我動(dòng)手能力比較突出，很快就重現(xiàn)了 SparseLDA 和當(dāng)時(shí)剛剛在 KDD 上發(fā)表并獲得最佳論文獎(jiǎng)的 AliasLDA 算法，同時(shí)理論功底又比較扎實(shí)，很快就深刻理解了它們的關(guān)鍵所在。我不斷把玩這兩個(gè)算法，在直覺(jué)和理論分析指引下做一些改動(dòng)，然后觀察是否有效，終于在一次改動(dòng)后發(fā)現(xiàn)計(jì)算效率陡升，讓人懷疑是不是出現(xiàn)了有益處的 bug，再三推敲后終于確認(rèn)，這是一個(gè)有深刻內(nèi)涵的新發(fā)現(xiàn)。這又一次印證了我從清華數(shù)學(xué)系林元烈老師那學(xué)到的一個(gè)訣竅：熟能生巧。他的隨機(jī)課程巨難無(wú)比，我剛開(kāi)始怎么都入不了門(mén)，和很多自認(rèn)佼佼者的同學(xué)一樣竟然期中考試不及格。林老師說(shuō)了一番這樣的道理：他認(rèn)識(shí)很多大牛數(shù)學(xué)家，即使是像他們那么聰明的人，在掌握一些艱深的數(shù)學(xué)科目時(shí)，也是通過(guò)做特別多習(xí)題才能悟道。我就硬著頭皮做了很多習(xí)題，有的證明看不懂，甚至都背下來(lái)了，也是突然一瞬就知道了隨機(jī)過(guò)程怎么回事。每次遇到困難，在說(shuō)放棄之前再堅(jiān)持一會(huì)兒結(jié)果就會(huì)不同。
找到理論上性質(zhì)很好的算法，只是萬(wàn)里長(zhǎng)征第一步。怎么高效地用程序?qū)崿F(xiàn)，特別是在分布式環(huán)境下接近線(xiàn)性加速，包含了一系列的技術(shù)挑戰(zhàn)，任何一個(gè)環(huán)節(jié)掉鏈子，所有努力都會(huì)化成泡影。做這類(lèi)事的特點(diǎn)就是，兵來(lái)將擋，水來(lái)土掩，在你不知道前人這些技巧時(shí)，你要自己發(fā)明出來(lái)，但在系統(tǒng)領(lǐng)域極大概率是這個(gè)發(fā)明已經(jīng)在經(jīng)典文獻(xiàn)中被提出過(guò)了。我們解決了兩個(gè)突出的難題，超大規(guī)模模型的內(nèi)存瓶頸和通信瓶頸。100 萬(wàn)的詞典和 100 萬(wàn)個(gè)主題，模型之大，前所未有，意味著需要若干 TB 的內(nèi)存，如何存儲(chǔ)和支持快速訪(fǎng)問(wèn)也極其嚴(yán)峻。在分布式環(huán)境下，如何有效掩蓋通信開(kāi)銷(xiāo)又不損失模型精度，也是當(dāng)時(shí)面臨的一個(gè)主要難題。我的學(xué)生高飛在工程實(shí)現(xiàn)方面特別給力，交給他的事情總能又快又好的做完。事后回顧這段經(jīng)歷，他說(shuō)，這段日子是他最愉快的經(jīng)歷之一，偶爾會(huì)感到絕望，總發(fā)現(xiàn)我在前面仍激情滿(mǎn)滿(mǎn)的堅(jiān)持，他深感佩服。我的領(lǐng)導(dǎo)馬維英和劉鐵巖研究員則克服重重困難，為這個(gè)項(xiàng)目提供資源支持和高屋建瓴的指導(dǎo)。同時(shí)，我們和 CMU Petuum 團(tuán)隊(duì)，Eric Xing, David Dai, Jinliang Wei, Qirong Ho, 盡管身處太平洋兩岸，但幾乎每天都有郵件討論，每周都有好幾次電話(huà)會(huì)議，遇到技術(shù)難題大家湊在一次分析，提出不成熟的好點(diǎn)子又立刻能得到挑戰(zhàn)，共鳴和支持，缺少任何一個(gè)人，結(jié)果都不是大家看到的樣子，這就是一個(gè)優(yōu)秀團(tuán)隊(duì)的魅力所在。
沒(méi)有前面技術(shù)突破，絕不可能達(dá)到目標(biāo)。僅僅有前面的算法突破，沒(méi)有執(zhí)行成功，這項(xiàng)研究也就是一個(gè)微不足道的 trick，絕不可能產(chǎn)生后來(lái)的影響。
InfoQ：LightLDA 如何借助 DMTK 框架做并行化？ LightLDA 有哪些優(yōu)點(diǎn)？
老師木：這里可能有一個(gè)小小的誤解。在 Github 上發(fā)布時(shí)，LightLDA 是作為 Distributed Machine Learing Toolkit (DMTK) 的一個(gè)組件發(fā)布的，但實(shí)際上 LightLDA 最初是使用 Petuum 的參數(shù)服務(wù)器實(shí)現(xiàn)并行化。在 LightLDA 論文發(fā)表后，微軟醞釀和發(fā)布了 DMTK 項(xiàng)目，這時(shí)候把 LightLDA 作為 DMTK 的一個(gè)主要應(yīng)用集成進(jìn)去了。LightLDA 的優(yōu)點(diǎn)就不多說(shuō)了，主要是快，擴(kuò)展性好，用少得多的硬件資源就可以解決規(guī)模大的多的問(wèn)題。我來(lái)說(shuō)一下開(kāi)源版本的缺憾吧。首先，理論上單個(gè)詞采樣復(fù)雜度是 O(1)，在工程實(shí)現(xiàn)上，因?yàn)殡S機(jī)訪(fǎng)存造成 cache miss 太多的原因，沒(méi)有完全發(fā)揮算法的優(yōu)勢(shì)，不久以后，清華大學(xué)朱軍和陳文光教授的課題組做了一些新的創(chuàng)新，提出了 WarpLDA，重排訓(xùn)練數(shù)據(jù)的訪(fǎng)問(wèn)順序，大大減少 cache miss，才真正發(fā)揮了這類(lèi) O(1) 復(fù)雜度算法的威力；其次，LightLDA 開(kāi)源的代碼并沒(méi)有包含數(shù)據(jù)預(yù)處理和在線(xiàn)預(yù)測(cè)這一整套工具鏈，使得用戶(hù)必須自己去開(kāi)發(fā)和踩坑；最后，有一些較高級(jí)的特性雖然在內(nèi)部版本實(shí)現(xiàn)了，卻并未在開(kāi)源代碼中發(fā)布，譬如能搞定長(zhǎng)尾語(yǔ)義的非對(duì)稱(chēng)先驗(yàn)的 LDA 等。我們也沒(méi)有把單線(xiàn)程版本發(fā)布出來(lái)，方便同行做純粹地算法比較。
InfoQ：通過(guò) LightLDA 項(xiàng)目，得到了什么啟發(fā)？
老師木：第一，的確存在不可替代的技術(shù)，平凡的創(chuàng)新和破壞式創(chuàng)新的效果不可同日而語(yǔ)，后者往往有四兩撥千斤的效果。
第二，要敢于迎接挑戰(zhàn)，承擔(dān)風(fēng)險(xiǎn)，個(gè)人理解，這相對(duì)于平凡而穩(wěn)妥的道路更劃算，做一件挑戰(zhàn)但有風(fēng)險(xiǎn)的事，可能需要付出于平常事 3 倍的努力，但可能獲得做 10 件平常事才會(huì)有的回報(bào)。
第三，無(wú)論是科學(xué)研究，產(chǎn)品研發(fā)，還是商業(yè)競(jìng)爭(zhēng)是智商，意志，情商等綜合素質(zhì)的全面比拼，不僅要有不可替代的優(yōu)勢(shì)，在其它任何方面還不能有短板。
第四，機(jī)會(huì)總是眷顧有準(zhǔn)備的人，有所準(zhǔn)備才能抓住稍縱即逝的機(jī)會(huì)?？偨Y(jié)，LightLDA 讓我體驗(yàn)了做成一件有影響的事所需要的所有困難，我好像對(duì)看上去很難的事不會(huì)感到畏懼。
關(guān)于人工智能從業(yè)
InfoQ：人工智能前景良好，那么從業(yè)者能發(fā)揮什么角色？
老師木：有三種類(lèi)型的技術(shù)可做：
一，研究機(jī)器學(xué)習(xí)算法或原理，解答怎么做（How）或?yàn)槭裁催@么做（Why）的問(wèn)題，譬如研究怎么訓(xùn)練深度學(xué)習(xí)模型，什么樣的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)效果最好，為什么深度學(xué)習(xí)要比其它機(jī)器學(xué)習(xí)方法效果好等等，簡(jiǎn)略稱(chēng)為原理問(wèn)題；
二，機(jī)器學(xué)習(xí)的基礎(chǔ)設(shè)施，什么樣的軟硬件設(shè)計(jì)能使得機(jī)器學(xué)習(xí)算法計(jì)算更快，能用上更多數(shù)據(jù)，或者使模型規(guī)模更大，例如研發(fā)深度學(xué)習(xí)軟件框架，或深度學(xué)習(xí)專(zhuān)用硬件等等，可歸結(jié)為計(jì)算力問(wèn)題；
三，如何應(yīng)用機(jī)器學(xué)習(xí)技術(shù)（算法和計(jì)算力）解決工作和生活中的實(shí)際問(wèn)題，譬如互聯(lián)網(wǎng)廣告系統(tǒng)設(shè)計(jì)，推薦系統(tǒng)，游戲博弈（如 AlphaGo），自動(dòng)駕駛等等，可歸類(lèi)為應(yīng)用問(wèn)題。
InfoQ：從事哪種類(lèi)型的工作更有競(jìng)爭(zhēng)優(yōu)勢(shì)？
老師木：這三種類(lèi)型的工作我恰好都做過(guò)，應(yīng)該說(shuō)哪個(gè)都很有用武之地，哪一個(gè)方向能做到頂尖水平都不易，做好了都能贏者通吃，全棧則更有優(yōu)勢(shì)。當(dāng)然，這些工作也存在一些具體的差別。理論問(wèn)題，進(jìn)入門(mén)檻較高，工作崗位不太多，一般是興趣驅(qū)動(dòng)，看天賦和運(yùn)氣，這方面的突破，影響范圍廣，惠及全行業(yè)，從創(chuàng)業(yè)看，難以形成獨(dú)立的商業(yè)模式，一般是在大學(xué)或企業(yè)研究院開(kāi)展。計(jì)算力問(wèn)題，影響力能到達(dá)全行業(yè)，通常是業(yè)界巨頭和精干的創(chuàng)業(yè)團(tuán)隊(duì)的強(qiáng)項(xiàng)，崗位不太多，門(mén)檻也比較高，但主要看后天努力，一般是努力總有結(jié)果，創(chuàng)業(yè)上有可能形成獨(dú)立的商業(yè)模式。應(yīng)用類(lèi)型的問(wèn)題，業(yè)界需求最大，進(jìn)入門(mén)檻低一些，確定性高，離商業(yè)近，周期短，見(jiàn)效快，影響力一般受限于特定領(lǐng)域。統(tǒng)計(jì)上，少數(shù)人從事理論和計(jì)算力類(lèi)型的工作，大部分人從事應(yīng)用驅(qū)動(dòng)的工作。現(xiàn)在的開(kāi)源軟件和公開(kāi)課非常普及，為有志于在此方向上有所造詣的同行提供了前所未有的良好條件。
最后的話(huà)：“遍地黃金的日子過(guò)去了，低垂的果子已經(jīng)沒(méi)了”，技術(shù)創(chuàng)新主導(dǎo)的時(shí)代必將來(lái)臨，讓我們以“像鷹一樣的眼光，像狼一樣的精神，像熊一樣的膽量，像豹一樣的速度”，去抓住屬于技術(shù)人的機(jī)遇。
老師木將在 2018 年 1 月 AICon 全球人工智能技術(shù)大會(huì)上給大家分享深度學(xué)習(xí)平臺(tái)技術(shù)演進(jìn)，想要探討更多技術(shù)問(wèn)題，可到現(xiàn)場(chǎng)跟他進(jìn)一步交流。大會(huì)還涵蓋自動(dòng)駕駛、搜索推薦、智能醫(yī)療、智能教育、人臉識(shí)別、智能助手等領(lǐng)域的落地案例分享，一起探索 AI 的邊界！
聯(lián)系客服
