追蹤深度學(xué)習(xí)這樣一個(gè)大熱領(lǐng)域的進(jìn)展并不容易。

為了解決這個(gè)問題，年初我和Robert Stojnic搞了Papers With Code，這個(gè)網(wǎng)站把深度學(xué)習(xí)的研究論文和代碼結(jié)合在一起。

這也能讓我們有機(jī)會(huì)鳥瞰這個(gè)領(lǐng)域，包括研究趨勢(shì)、熱門框架以及哪些技術(shù)正受到青睞。這篇博文就用來分享這些。

以下的趨勢(shì)總結(jié)，都來自于網(wǎng)站的數(shù)據(jù)。我們一起來總結(jié)下2018下半年的關(guān)鍵突破，以及深度學(xué)習(xí)社群的未來之路。

最熱模型：BERT、vid2vid和graph_nets

Google AI十月發(fā)布的BERT論文，引發(fā)了深度學(xué)習(xí)界的強(qiáng)烈關(guān)注。這篇論文提出了一種深度雙向Transformer模型。BERT刷新了11種NLP任務(wù)的最佳表現(xiàn)，包括斯坦福問答數(shù)據(jù)集（SQuAD）。

Google AI隨后開源了這篇論文的代碼，一個(gè)月的時(shí)間，BERT在GitHub上已經(jīng)獲得8000多次的標(biāo)星，而且還在快速增加。

論文：
https://arxiv.org/abs/1810.04805

GitHub地址：
https://github.com/google-research/bert

英偉達(dá)的Video-to-Video（vid2vid）合成論文，介紹了一個(gè)效果驚人的生成模型，過去幾年里這也是最受歡迎的深度學(xué)習(xí)領(lǐng)域之一。

這篇論文利用新穎的順序生成器架構(gòu)，以及一些諸如前景和背景先驗(yàn)（foreground-and-background priors）等設(shè)計(jì)特征，來修復(fù)時(shí)間不連貫的問題，進(jìn)而提高性能。

英偉達(dá)也開源了代碼，成為今年下半年第二大最受歡迎的實(shí)現(xiàn)。

論文：
https://arxiv.org/abs/1808.06601

GitHub地址：
https://github.com/NVIDIA/vid2vid

Google DeepMind關(guān)于圖網(wǎng)絡(luò)（graph_nets）的論文，在年中的時(shí)候獲得了大量的關(guān)注。這個(gè)研究，為深度學(xué)習(xí)提供了一種數(shù)據(jù)結(jié)構(gòu)化的新方向。這是今年下半年第三大最后歡迎的實(shí)現(xiàn)。

論文：
https://arxiv.org/abs/1806.01261v3

GitHub地址：
https://github.com/deepmind/graph_nets

最流行的項(xiàng)目：DeOldify、BERT和Fast R-CNN

DeOldify是一個(gè)使用GAN修復(fù)黑白老照片以及重新上色的項(xiàng)目。

這個(gè)項(xiàng)目在深度學(xué)習(xí)社群引發(fā)極大的興趣，作者Jason Antic使用了SA-GANs、PG-GANs等完成了搭建。目前，這個(gè)項(xiàng)目在GitHub上超過4000標(biāo)星。

GitHub地址：
https://github.com/jantic/DeOldify

BERT的PyTorch實(shí)現(xiàn)，也獲得了廣泛關(guān)注。

這個(gè)實(shí)現(xiàn)是韓國小哥Junseong Kim完成的，他表示代碼很簡單，而且也易于理解，其中一些代碼基于The Annotated Transformer。目前這個(gè)項(xiàng)目在GitHub上獲得1500多標(biāo)星。

GitHub地址：
https://github.com/codertimo/BERT-pytorch

最后要介紹的，是Mask R-CNN的Keras/TensorFlow實(shí)現(xiàn)。

這個(gè)項(xiàng)目的架構(gòu)，基于一個(gè)Feature Pyramid Network和一個(gè)ResNet101 backbone。這個(gè)庫可用于多種場(chǎng)景，例如3D場(chǎng)景重建、自動(dòng)駕駛的目標(biāo)檢測(cè)等。目前這個(gè)項(xiàng)目在GitHub上標(biāo)星超過8000。

GitHub地址：
https://github.com/matterport/Mask_RCNN

數(shù)說現(xiàn)狀

NLP和GAN最熱

查看Top50的實(shí)現(xiàn)，最熱門的字段是生成模型和自然語言處理。

在生成模型中，GitHub上流行的實(shí)現(xiàn)包括：vid2vid，DeOldify，CycleGAN以及faceswaps。

在NLP領(lǐng)域，GitHub上流行的倉庫包括：BERT，HanLP，jieba，AllenNLP以及fastText。

7篇新論文中，只有1篇附代碼

每隔20分鐘，就會(huì)出現(xiàn)一片新機(jī)器學(xué)習(xí)論文

自從7月以來，機(jī)器學(xué)習(xí)論文的月增長率一直在3.5%左右，年增長率約50%。這意味著每個(gè)月2200篇機(jī)器學(xué)習(xí)論文被發(fā)布，明年約有3萬篇新機(jī)器學(xué)習(xí)論文會(huì)被發(fā)布。

這個(gè)速度比摩爾定律還快。

框架雙寡頭：TensorFlow和PyTorch

最后，如果你還沒聽說過Papers With Code，下面是傳送門：

https://paperswithcode.com/