大數(shù)據(jù)文摘出品
編譯：睡不著的iris、Zhifu、Hope、CoolBoy
當你閱讀了深度學習相關的書籍或者上過精彩的在線課程后，你將如何深入學習？如何才能夠“自力更生”，獨立地去了解相關領域中最新的研究進展？本文作者Nityesh Agarwal，畢業(yè)于賈達普大學，在學校里學習過信息技術，現(xiàn)在作為志愿者為開源社區(qū)做貢獻。以下是作者第一人稱給出的建議。
事先聲明——我不是深度學習方面的專家。我也是最近才開始閱讀研究論文的。本文將會介紹我自己在開始閱讀文獻的時候積累的一些經(jīng)驗。
意義所在
曾經(jīng)有人在Quora上提問，如何才能鑒定一個人是否有資格從事機器學習工作。谷歌大腦創(chuàng)始人之一、百度人工智能小組前負責人吳恩達（Andrew Ng）如是說：任何人都有資格。當你上過一些機器學習相關的課程后，想要更進一步時，可以閱讀一些研究論文。最好能做到重現(xiàn)論文中的方法，得到相似的結果。
OpenAI研究者達里奧·阿莫迪（Dario Amodei）對這個問題的回答是：“為了驗證你是否適合在人工智能安全或者機器學習領域工作，請快速嘗試使用各種模型。在近期的一篇論文中找到一個機器學習模型，運用這個模型，并嘗試讓它快速運行起來。”
這些都說明閱讀研究論文對于進一步理解該領域至關重要。
在深度學習領域，每個月都會有數(shù)百篇論文被發(fā)表。如果要做到認真地學習，僅憑借學習教程或者上課是遠遠不夠的。在你讀文章的時候，新的突破性研究正在進行中。深度學習領域的研究正以前所未有的迅猛速度發(fā)展著。只有養(yǎng)成良好習慣，持續(xù)閱讀科研文獻，才能跟上節(jié)奏。
本文中，我會教大家如何獨立閱讀一篇論文，并提供一些切實可行的建議。然后，在文末我會帶大家破解一篇真實的科研論文，讓大家能夠進行實踐。
方法建議
首先，閱讀科研論文很難。事實上——“沒有什么事情比閱讀科研論文更令你感到愚蠢了?！?/p>
我這么說是為了讓你在讀文章百思不得其解的時候，不要感到氣餒。開始讀了好幾遍的時候，可能你還是不能夠理解文章的意思。沒事，請堅持下去，再讀一次！
現(xiàn)在，我們介紹一些有助于文獻閱讀的寶貴資源。
arXiv.org
這是在互聯(lián)網(wǎng)上大家發(fā)表文章的一個地方，充滿了一些尚未在知名期刊正式發(fā)表的文章（這些文章也可能永遠無法正式發(fā)表）
他們?yōu)槭裁匆@么做？
事實證明，做研究和寫文章并不是科研的全部！將論文提交并發(fā)表在某些科學期刊上是一個相當漫長的過程。一旦論文被提交至某個期刊，就會進入非常緩慢的同行評審過程（有些甚至需要多年的時間！）。當下，對于機器學習這些快速發(fā)展的領域，這種速度真是讓人無法忍受。
這就是arXiv出現(xiàn)的意義?。?！
研究人員將他們的論文發(fā)表在arXiv這樣的預印庫上，以便快速發(fā)布他們的研究并獲得及時的反饋。
Arxiv Sanity Preserver
研究人員能夠便捷地提前發(fā)表研究論文是好事情，但是對于讀者來說呢？當你打開arXiv的網(wǎng)站，很容易感到害怕、渺小和迷茫，認為這絕對不是新手該來的地方（僅個人觀點，但非常歡迎你使用它?）。
輸入Arxiv Sanity Preserver。
這是由特斯拉的人工智能部門主管Andrej Karpathy創(chuàng)建，他是我個人非常喜歡的AI大神。
Arxiv Santiy在arXiv的作用與Twitter的信息流在Twitter的作用相似（不過Arxiv Sanity是完全開源的，而且沒有任何廣告）。從浩如煙海的微型博客中， Twitter的信息流會根據(jù)個人喜好為你推送有趣的微型博客。
Arxiv Sanity采用類似的方法，為你推薦arXiv上你可能最感興趣的機器學習論文。使用Arxiv Santiy，你可以根據(jù)當前趨勢、你的過往喜好和你所關注的人的喜好對論文進行排序。（這就是在社交媒體上我們已經(jīng)習慣使用的個性化推薦功能。）
關于網(wǎng)站的簡介可以瀏覽這個視頻?
機器學習：Reddit上的WAYR主題帖
WAYR是What Are You Reading（你正在閱讀什么）的簡寫。它是Reddit機器學習板塊的一個主題帖，大家把自己本周讀過的機器學習論文發(fā)布在上面，并對感興趣的問題展開討論。
正如我之前所說，每周有非常多關于機器學習領域的論文被發(fā)表在arXiv上。對于需要兼顧日常生活的正常人，每天需要上學、工作或與人溝通，不可能每周都把所有的論文讀完。另外，并不是所有的論文都值得花時間去閱讀。
因此，你需要把精力放在最有意思的論文上，上面我提到的主題帖就是一種方法。
電子報刊，電子報刊，電子報刊！
電子報刊是我的個人最愛，通過它我可以時時刻刻追蹤人工智能領域最新的進展。你可以非常簡單地訂閱它們，并且讓它們每周一傳送到你的電子信箱里面，不用花一分錢！就這么簡單，你就可以了解本周與AI相關的最有意思的新聞、文章和研究論文。
以下是我目前訂閱的一些電子報刊：
1.Jack Clark的引入AI
https://jack-clark.net/
這是我的最愛，因為這份電子報刊除了提供我上面提到的所有信息以外，它還包括一個叫做“科技童話”的部分，包含一篇由過去一周的新聞主題編輯的AI科幻短篇小說。悄悄地告訴你，即使有那么幾周我對AI的新進展失去熱情，我也會因為想看科技童話這部分而瀏覽這個電子報刊
2.Sam DeBrule的機器學習
https://machinelearnings.co/
作者還有一本同名的媒體出版物，其中包含了一些非常有趣的文章，請務必查看。
文章鏈接
https://machinelearnings.co/a-humans-guide-to-machine-learning-e179f43b67a0
3.Nathan Benaich的Nathan.ai
https://www.getrevue.co/profile/nathanbenaich
前兩份電子報刊都是周報，而這份是季刊。因此，每隔三個月你會收到一封長長的電子郵件，里面總結了過去三個月以來AI領域最有趣的發(fā)現(xiàn)和發(fā)展狀況。
4.Denny Britz的AI狂野一周
https://www.getrevue.co/profile/wildml
我個人真的很喜歡這份電子報刊，因為它的版面很干凈，演示很簡潔，不過近兩個月以來好像沒有繼續(xù)更新了。無論如何，給大家一個參考，希望Danny什么時候再恢復更新。
5.Twitter上面的AI大V
另一個可以追蹤時新的方法是關注知名研究者和開發(fā)人員的Twitter賬戶。以下是我關注的人員列表：
聽起來都很不錯，但是我應該怎么開始呢？
是的，這是一個更加迫切的問題。
好的，首先你需要確保自己已經(jīng)了解了機器學習的相關基礎知識，例如回歸等算法；你還需要知道一些深度學習的基本知識，比如最基本的神經(jīng)網(wǎng)絡，反向傳播，正則化。
最好還能夠稍微了解難一些的概念，例如ConvNets、RNN 和LSTM是如何工作的。我真心不覺得閱讀研究論文是了解這些基礎知識的最好的方法，有很多其它的資源可以供你參考。
一旦有了基本的了解，你首先應該閱讀一篇相關的論文。這樣，你就可以專注地熟悉學術論文的基本格式和體裁。你并不需要完全讀懂你閱讀的第一篇學術論文，因為你對論文的主題已經(jīng)非常熟悉了。
我建議你先從講述AlexNet的論文開始。
鏈接：
https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks
為什么選擇這篇論文？
請看下面的這張圖：
你看見代表Computer Vision and Pattern Recognition的紅線從2012年之后飆升得非常明顯了吧？這種情況很大程度上要歸功于這篇論文。
這篇論文重新點燃了人們對深度學習的所有興趣。
由Alex Krizhevsky，Ilya Sutskever和Geoffrey Hinton撰寫，題為《ImageNet Classification with Deep Convolutional Networks》的這篇論文被認為是該領域最具影響力的論文之一。這篇論文描述了作者如何使用名為AlexNet的卷積神經(jīng)網(wǎng)絡，并贏得2012年度ImageNet大規(guī)模視覺識別挑戰(zhàn)賽（ILSVRC）的冠軍。
如果你不太了解情況，讓我來為你解釋一下。讓計算機能夠觀察和識別對象（又名計算機視覺）是計算機科學最早的目標之一。 ILSVRC就像是這個領域內(nèi)的奧運會。參賽者（計算機算法）試圖將圖像正確地歸為1000個類別的其中一個。 在2012年，AlexNet以絕對巨大的優(yōu)勢贏得了這一挑戰(zhàn)：
AlexNet以15.3%的top-5（模型預測概率的前五位包含目標物體）錯誤率榮登榜首，而第二名的錯誤率則只有26.2%！
ImageNet Large-Scale Visual Recognition Challenge (ILSVRC) 2012 大賽測試集和驗證集的錯誤率比較。斜體結果表示其他方法得到的最有結果。帶星號*的結果是用“預訓練”的模型來識別ImageNet 2011 Fall樣本的結果。
毫無疑問，整個計算機視覺社區(qū)都震驚了，關于該領域的研究正前所未有地飛速發(fā)展。人們開始意識到深度神經(jīng)網(wǎng)絡的強大，利用它每個人都能夠從中受益！
別看這篇文章看起來很難，如果你通過一些課程或者教材對卷積神經(jīng)網(wǎng)絡有基本的了解，那么掌握這篇論文的內(nèi)容是非常容易的。趕緊行動吧！
當你讀完了上面那篇文章之后，你可以閱讀與卷積神經(jīng)網(wǎng)絡相關的其他具有開創(chuàng)性意義的論文，也可以轉移到你感興趣的其他架構（比如RNN，LSTM，GAN）。
Github的存儲庫上面也有很多重要的深度學習方面的研究論文。 當你開始閱讀的時候請先看看這份指引，它們將幫助你創(chuàng)建屬于自己的閱讀列表。
鏈接：
https://github.com/floodsung/Deep-Learning-Papers-Reading-Roadmap
不得不提到的其它資源
Distill.pub ：
https://distill.pub/about/
我只想提一點：如果所有研究論文都在Distill期刊上發(fā)表，那我這篇文章就可以不用寫了。你不必閱讀這篇文章來學習如何開始閱讀研究論文，并且我們也不需要在互聯(lián)網(wǎng)上創(chuàng)建這么多的課程和教程來解釋這些開創(chuàng)性的研究思想，Distill就是這樣一個綜合性的平臺。
相關鏈接：
https://towardsdatascience.com/getting-started-with-reading-deep-learning-research-papers-the-why-and-the-how-dfd1ac15dbc0
聯(lián)系客服
