2015 年結(jié)束了，是時候看看 2016 年的技術(shù)趨勢，尤其是關(guān)于深度學(xué)習(xí)方面。新智元在 2015 年底發(fā)過一篇文章《深度學(xué)習(xí)會讓機(jī)器學(xué)習(xí)工程師失業(yè)嗎？》，引起很大的反響。的確，過去一年的時間里，深度學(xué)習(xí)正在改變越來越多的人工智能領(lǐng)域。Google DeepMind 工程師 Jack Rae 預(yù)測說，過去被視為對于中型到大型數(shù)據(jù)集來說最佳的預(yù)測算法的那些模型（比如說提升決策樹（Boosted Decision Trees）和隨機(jī)森林）將會變得無人問津。
深度學(xué)習(xí)，或者更寬泛地說——使用聯(lián)結(jié)主義架構(gòu)的機(jī)器學(xué)習(xí)算法，可能會讓機(jī)器學(xué)習(xí)算法變成過去時，因?yàn)樯疃葘W(xué)習(xí)算法還遠(yuǎn)遠(yuǎn)不是飽和狀態(tài)。在未來的幾年里，很有可能會出現(xiàn)一些訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的方法，讓它們能夠顯著提升性能。在優(yōu)化方法、激活功能、聯(lián)結(jié)結(jié)構(gòu)以及初始化步驟之間，還有一些突破出現(xiàn)的空間。
這很可能讓很多機(jī)器學(xué)習(xí)算法接近出局的邊緣。
那么，2016 年是否能看作深度學(xué)習(xí)正式統(tǒng)治人工智能的一年？如果是這樣，我們又能為此做好什么準(zhǔn)備？新智元整理了業(yè)內(nèi)人士關(guān)于 2016 年的深度學(xué)習(xí)技術(shù)展望，以及 2015 年深度學(xué)習(xí)最流行的 10 大框架。
IIya Sutskever：OpenAI 的研究部負(fù)責(zé)人
我們期待看到更深度的模型（Deeper Models），相比今天的模型，它們可以從更少的數(shù)據(jù)中學(xué)習(xí)，尤其是在非監(jiān)督學(xué)習(xí)方面，會有顯著的進(jìn)步。我們還可以期待，在語音識別和圖像識別領(lǐng)域，我們能看到更加精準(zhǔn)而且有用的結(jié)果。
Sven Behnke：波恩大學(xué)全職教授，智能系統(tǒng)小組主任
我期待深度學(xué)習(xí)技術(shù)，會在那些日益增多的多結(jié)構(gòu)數(shù)據(jù)問題中得到應(yīng)用。這會給深度學(xué)習(xí)帶來新的應(yīng)用領(lǐng)域，包括機(jī)器人，數(shù)據(jù)挖掘和知識發(fā)現(xiàn)。
Christian Szegedy：Google 高級工程師
現(xiàn)在的深度學(xué)習(xí)算法和神經(jīng)網(wǎng)絡(luò)，距離理論上可能的表現(xiàn)還很遠(yuǎn)。相比一年以前，我們現(xiàn)在的視覺神經(jīng)網(wǎng)絡(luò)模型，它的價格便宜了 5 到 10 倍，處理的參數(shù)少了 15 倍，但表現(xiàn)的還更好。這背后是更好的網(wǎng)絡(luò)結(jié)構(gòu)和更好的訓(xùn)練方法。我相信這僅僅是開始，深度學(xué)習(xí)算法會如此便宜，它能運(yùn)行在便宜的手機(jī)設(shè)備中，而且不用更多的硬件設(shè)備支撐，也不需要額外的存儲器。
Andrej Karpathy：斯坦福大學(xué)計(jì)算機(jī)科學(xué)博士，OpenAI 的研究工程師
我看到了一個趨勢，結(jié)構(gòu)會趨于更大，更復(fù)雜。我們會建造一個超大型的神經(jīng)網(wǎng)絡(luò)，能夠交換神經(jīng)網(wǎng)絡(luò)組件，提前訓(xùn)練部分網(wǎng)絡(luò)，增加新的模塊，連帶調(diào)整所有組件。例如，卷積神經(jīng)網(wǎng)絡(luò)曾經(jīng)是最大的深度神經(jīng)網(wǎng)絡(luò)，但是今天它們被分離出來，作為新的大型神經(jīng)網(wǎng)絡(luò)一部分。相似的，現(xiàn)在的這些神經(jīng)網(wǎng)絡(luò)，也會是新一年更大型神經(jīng)網(wǎng)絡(luò)的一部分。我們在學(xué)習(xí)樂高玩具的拼法，學(xué)會如何把它們高效拼接在一起。
Pieter Abbeel：UC 伯克利大學(xué)助理教授，Gradescope 聯(lián)合創(chuàng)始人
依賴于監(jiān)督技術(shù)的深度學(xué)習(xí)垂直領(lǐng)域，需要用新的方法（NLP）超過現(xiàn)有的技術(shù)表現(xiàn)。我們會看到深度學(xué)習(xí)在非監(jiān)督學(xué)習(xí)和增強(qiáng)學(xué)習(xí)方面的突出表現(xiàn)。
Eli David：Deep Instinct CTO
在過去兩年，我們看到了深度學(xué)習(xí)在各個領(lǐng)域獲得很大突破。但即便如此，5 年之內(nèi)并不會達(dá)到人類水平的圣杯（但我認(rèn)為，終其一生這會出現(xiàn)）。我們在各大領(lǐng)域看到極大的突破。特別的，我認(rèn)為最具有希望的領(lǐng)域，來自于非監(jiān)督學(xué)習(xí)，這個世界的大部分?jǐn)?shù)據(jù)是沒有標(biāo)簽的，而且我們大腦本身，也是非常好的非監(jiān)督學(xué)習(xí)盒子。
當(dāng) Deep Instinct 成為第一個在安全領(lǐng)域使用深度學(xué)習(xí)的公司時，可以預(yù)計(jì)有更多的公司也會使用深度學(xué)習(xí)來部署。但是深度學(xué)習(xí)的門檻還是非常高，尤其對于互聯(lián)網(wǎng)安全公司來說，他們其實(shí)并不使用人工智能工具（只有很少的解決方案使用了傳統(tǒng)的機(jī)器學(xué)習(xí)技術(shù)）。所以深度學(xué)習(xí)要在安全領(lǐng)域得到大規(guī)模應(yīng)用，還會經(jīng)過很多年的時間。
Daniel McDuff：Affectiva 研究主管
在計(jì)算機(jī)視覺、語音分析以及其他領(lǐng)域，深度學(xué)習(xí)已成為機(jī)器學(xué)習(xí)中的支配形式。我希望使用 1 到 2 個 GPUs 就能部署的準(zhǔn)確識別系統(tǒng)，能夠讓開發(fā)者們把新的軟件部署到真實(shí)世界。我希望更多的焦點(diǎn)會放在非監(jiān)督訓(xùn)練，或者半監(jiān)督訓(xùn)練的算法上。
J?rg Bornschein：Google 學(xué)者，在加拿大前沿技術(shù)研究院（CIFAR）
預(yù)測未來總是很難的。當(dāng)我們在大規(guī)模系統(tǒng)里考慮機(jī)器學(xué)習(xí)，在機(jī)器人控制的系統(tǒng)領(lǐng)域，或者在大規(guī)模系統(tǒng)里的大腦系統(tǒng)，非監(jiān)督、半監(jiān)督和強(qiáng)化學(xué)習(xí)會扮演愈發(fā)重要的角色。很明顯的是，單純的監(jiān)督學(xué)習(xí)方法在理論上受到太多限制，很難解決實(shí)際問題。
Ian Goodfellow：Google 高級研究工程師
我預(yù)測在未來5年的時間里，我們的神經(jīng)網(wǎng)絡(luò)可以概括視頻里發(fā)生了什么，而且有能力生成短視頻。神經(jīng)網(wǎng)絡(luò)已經(jīng)成為視覺任務(wù)的標(biāo)準(zhǔn)解決方案。我預(yù)測神經(jīng)網(wǎng)絡(luò)會成為 NLP 和機(jī)器人任務(wù)的標(biāo)準(zhǔn)解決方案。我還預(yù)測神經(jīng)網(wǎng)絡(luò)會在其他科學(xué)領(lǐng)域扮演重要工具，例如在基因行為預(yù)測，藥物，蛋白質(zhì)，新的醫(yī)療方案等。
Koray Kavukcuoglu & Alex Graves：Google DeepMind 研究工程師
很多事情會在未來 5 年發(fā)生。我們預(yù)測非監(jiān)督學(xué)習(xí)和增強(qiáng)學(xué)習(xí)越發(fā)重要。我們也預(yù)測多方式學(xué)習(xí)（Multimodal Learning）的興起，而且會超越個體數(shù)據(jù)集進(jìn)行學(xué)習(xí)。
1.Keras
Keras 是非常極簡、高度模塊化的神經(jīng)網(wǎng)絡(luò)庫，用 Python 寫成，而且能運(yùn)行在 TensorFlow 和 Thenao 的頂層。它的設(shè)計(jì)初衷是實(shí)現(xiàn)更快的實(shí)驗(yàn)，讓從想法到結(jié)果的時間盡可能少，這是做好研究的關(guān)鍵所在。
2.MXNet
輕量、便攜、靈活性強(qiáng)的分布式/移動深度學(xué)習(xí)系統(tǒng)，并能對動態(tài)的、突變的數(shù)據(jù)流進(jìn)行調(diào)度。MXNet 能支持 Python、R、Julia、Go、Javascript 等編程語言，是出于效率和靈活性設(shè)計(jì)的深度學(xué)習(xí)框架。它能夠給深度學(xué)習(xí)程序增加一些小佐料，而且能最大化產(chǎn)品效率。
3.Chainer
深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)靈活框架。Chainer 支持各種網(wǎng)絡(luò)架構(gòu)，包括 Feed-forward Nets、Convnets、Recurrent Nets 和 Recursive Nets。它也支持 per-batch 的架構(gòu)。Chainer 支持 CUDA 計(jì)算，它在驅(qū)動 GPU 時只需要幾行代碼。它也能通過一些努力，運(yùn)行在多 GPUs 的架構(gòu)中。
4.Sickit-Neuralnetwork
深度神經(jīng)網(wǎng)絡(luò)的實(shí)施，而且沒有學(xué)習(xí)崖（Learning Cliff）。這個庫能夠執(zhí)行多層感知器，自動編碼器和遞歸神經(jīng)網(wǎng)絡(luò)，它運(yùn)行在穩(wěn)定的 Future Proof 交互界面，并能和對用戶更加友好的 Scikit-Learn 以及 Python 交互界面兼容。
5.Theano-Lights
Theano-Lights 是基于 Theano 的研究架構(gòu)，提供最近一些深度學(xué)習(xí)模型的實(shí)現(xiàn)，以及便于訓(xùn)練和測試功能。這些模型不是隱藏起來的，而是在研究和學(xué)習(xí)的過程中，有很大的透明性和靈活性。
6.Deeppy
基于 Theano 高度擴(kuò)展性的深度學(xué)習(xí)框架。
7.Idlf
Intel 的深度學(xué)習(xí)框架。
Intel Deep Learning Framework（IDLF）是一個 SDK 庫，為深度神經(jīng)網(wǎng)絡(luò)提供訓(xùn)練和執(zhí)行。
它包括一些 API，能夠把構(gòu)建神經(jīng)網(wǎng)絡(luò)拓?fù)渥鳛橛?jì)算工作流程，進(jìn)行函數(shù)圖形優(yōu)化并執(zhí)行到硬件。我們最初的重點(diǎn)是驅(qū)動部署在 CPU（Xeon）和 GPU（Gen）上神經(jīng)網(wǎng)絡(luò)的物體識別（ImageNet 拓?fù)洌?/p>
這個 API 的設(shè)計(jì)，使我們未來能很容易支持更多的設(shè)備。我們的關(guān)鍵原則是在每個 Intel 支持的平臺上實(shí)現(xiàn)最大性能。
8.Reinforcejs
Reinforcejs 是一個增強(qiáng)學(xué)習(xí)庫，能夠執(zhí)行常見的增強(qiáng)學(xué)習(xí)算法，而且可以做 Web 端的 Demos。這個庫現(xiàn)在包括：
動態(tài)規(guī)劃方法（Dynamic Programming Methods）
時間差分學(xué)習(xí)（Temporal Difference Learning）（SARSA/Q-Learning）
Deep Q-Learning
Stochastic/Deterministic Policy Gradients 和 Actor Critic 架構(gòu)
9.OpenDeep
OpenDeep 是服務(wù)于 Python 的一個深度學(xué)習(xí)框架，建立在 Theano 的基礎(chǔ)上，專注在靈活性和易用性，為行業(yè)的數(shù)據(jù)科學(xué)家和前沿研究者服務(wù)。OpenDeep 是一個模塊化、易擴(kuò)展的架構(gòu)，能夠用來構(gòu)建幾乎所有的神經(jīng)網(wǎng)絡(luò)框架，以解決你的問題。
10.MXNetJS
MXNetJS 是一個 DMLC/MXnet 的 Javasript 包。MXNetJS 能給瀏覽器帶來最新水平的深度學(xué)習(xí)預(yù)測 API。它通過 Emscripten 和 Amalgamation 運(yùn)行。MXNetJS 允許你在各種計(jì)算圖像中，運(yùn)行最新水平的深度學(xué)習(xí)預(yù)測，并給客戶端帶來深度學(xué)習(xí)的樂趣。
聯(lián)系客服
