中文字幕理论片,69视频免费在线观看,亚洲成人app,国产1级毛片,刘涛最大尺度戏视频,欧美亚洲美女视频,2021韩国美女仙女屋vip视频

大數(shù)據(jù)文摘出品

來源：medium

編譯：張大筆茹、胡笳、李雷、錢天培

深度學習是人工智能模型的先驅(qū)。從圖像識別、語音識別，到文字理解，甚至自動駕駛，深度學習的來臨極大地豐富了我們對AI潛力的想象。

那么，深度學習為何如此成功呢？

主流思想認為，一個重要的原因是，深度學習成功的原因是不依靠人類直覺來構(gòu)建或表示數(shù)據(jù)的特征（視覺，文本，音頻......），而是建立一個神經(jīng)網(wǎng)絡(luò)架構(gòu)來自發(fā)學習這些特征。

關(guān)鍵詞是特征。從特征工程，到特征搜索，到特征學習——每一階段的進步都能帶來巨大的性能提升。

既然“特征”上大有文章可做，那么“網(wǎng)絡(luò)結(jié)構(gòu)”是否也可以借鑒同樣的經(jīng)驗?zāi)兀?/span>

沒錯，也可以！

這個新穎的觀點已經(jīng)得到了Allen Institute for AI最新研究的支持。他們的最新研究表明，計算機學習來的神經(jīng)網(wǎng)絡(luò)架構(gòu)可以比人類設(shè)計的更好。

在訓練期間，他們的網(wǎng)絡(luò)的可以靈活改變網(wǎng)絡(luò)架構(gòu)——它既學習網(wǎng)絡(luò)參數(shù)，也學習結(jié)構(gòu)本身。所學習的架構(gòu)具有高度稀疏的特性，因此就運算運算而言，它將是一個小得多卻可以實現(xiàn)高精度的模型。

在高效稀疏計算硬件大力發(fā)展的環(huán)境下，這可能是深度學習模型下一演變階段的重要觸發(fā)因素。

在了解他們的最新成果前，讓我們先回顧一下，從二十年前到開始進入深度學習時代AI模型在計算機視覺技術(shù)領(lǐng)域的關(guān)鍵發(fā)展階段。同樣的趨勢在其他深度學習領(lǐng)域也有類似體現(xiàn)。

嘗試人工找到圖像中承載圖像語義的高維向量。成功的例子有：SIFT，HOG，ShapeContext，RBF和Intersection Kernel。這些特征和函數(shù)是基于對人類視覺識別過程的模擬。這是當時計算機視覺技術(shù)背后的基礎(chǔ)科學。經(jīng)過了幾年的直覺驅(qū)動研究，計算機視覺技術(shù)科學家并未能開發(fā)新的功能，這使得該領(lǐng)域進入了第二階段。

又叫自動搜索過程，通過組合不同的可能特征或核函數(shù)來提高特定應(yīng)用程序的準確性（例如，對象分類）。一些成功方法的包括：Feature selection methods 以及 Multiple Kernel Models。這些過程雖然計算量大，但卻能提高計算機視覺模型的準確性。另一個主要局限是搜索空間的構(gòu)建塊（特征函數(shù)）是基于人類對視覺識別的直覺手動設(shè)計的。但有一些研究表明，人類可能無法準確說出自己是如何區(qū)分對象類別的。

例如，你能說明自己如何區(qū)分狗與貓的照片嗎？你選擇的任何特征（例如耳朵上的清晰度，或眼睛中的形狀和顏色），都是貓和狗共有的，但是看照片卻能立即說出它是狗或貓。這使得一些科學家放棄用傳統(tǒng)的自下而上的模式設(shè)計特征驅(qū)動的計算機視覺模型，轉(zhuǎn)向讓計算機自己設(shè)計特征識別的階段。

這是自動從高維向量空間確定視覺特征的階段，該過程通過釋義圖像的內(nèi)容來使計算機執(zhí)行特定任務(wù)，例如對象分類。深度卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)（CNN）的發(fā)展使這種能力成為可能。由于在設(shè)計特征的過程中沒有人為干預(yù)，這種算法也被稱為端到端模型。實際上，由于該過程是高度計算密集型并且需要大量數(shù)據(jù)來訓練底層神經(jīng)網(wǎng)絡(luò)，人類幾乎無法解釋其構(gòu)造的特征。隨著并行處理器硬件（例如GPU和TPU）的進步以及大規(guī)模數(shù)據(jù)集的可用性使其成為可能并取得成功。

太贊了！深度學習好像能獨立工作了。既然如此，那么計算機視覺科學家在其中需要扮演什么角色呢？！

想象一下，如果我們用“架構(gòu)”來取代“特征”這個詞，結(jié)合上述三個階段，大概可以說明深度學習今后的發(fā)展趨勢。

這與“特征學習”階段幾乎完全一樣。需要手動為特定任務(wù)設(shè)計卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)。其主要原理是簡單但更深（即更多層）的架構(gòu)可以獲得更高的準確性。在這個階段，設(shè)計架構(gòu)和訓練（網(wǎng)絡(luò)優(yōu)化）技術(shù)是計算機視覺（以及許多其他DCNN應(yīng)用程序）的主要目標。這些網(wǎng)絡(luò)設(shè)計基于人類自身視覺識別系統(tǒng)的認知。一些成功的架構(gòu)設(shè)計包括：AlexNet，VGGNet，GoogleNet和ResNet。這些模型的主要的局限在于計算的復(fù)雜性。他們通常需要運行數(shù)十億次算術(shù)運算（浮點運算）來處理單個圖像。在實踐中，為了使模型能夠以足夠快的速度運行，通常需要使用GPU并消耗大量功率。因此，現(xiàn)代AI模型主要通過強大的云服務(wù)器來實現(xiàn)。

這促使科學家設(shè)計可以運行在邊緣設(shè)備上的更高效的AI模型。一些成功的模型包括：Xnor-net，Mobilenet和Shufflenet。類似于“特征工程”階段，幾年后，江郎才盡的研究人員轉(zhuǎn)向了“搜索”階段。

深度學習出現(xiàn)后，計算機視覺背后的基礎(chǔ)科學變?yōu)榫W(wǎng)絡(luò)架構(gòu)設(shè)計（圖片來自Joseph Cohen）

這是當前最先進的AI模型。主要原理是使用之前成功架構(gòu)的構(gòu)建塊并嘗試自動搜索這些塊的組合，以構(gòu)建新的神經(jīng)網(wǎng)絡(luò)架構(gòu)。其關(guān)鍵目標是建立一個需要少量運算卻高精度的架構(gòu)。一些成功的神經(jīng)架構(gòu)搜索方法包括：NASNet，MNASNe和FBNet。由于其可能的組合的搜索空間非常大，訓練這些模型比標準深度學習模型需要更多的計算量和數(shù)據(jù)。類似于“特征搜索”階段，這些模型也受到基于人類直覺的手動設(shè)計其構(gòu)建塊的約束。根據(jù)以前的經(jīng)驗，人類對如何設(shè)計神經(jīng)架構(gòu)的直覺沒有計算機好。最新研究表明，隨機連接的神經(jīng)網(wǎng)絡(luò)完勝幾種人工設(shè)計的架構(gòu)。

綜上所述，顯然深度學習的下一階段是讓計算機自己設(shè)計架構(gòu)。

最近我們在Xnor.ai和Allen Institute for AI建立了一個名為Discovering Neural Wirings的新模型，用于直接從數(shù)據(jù)中自動學習神經(jīng)網(wǎng)絡(luò)架構(gòu)。在該模型中，我們將神經(jīng)網(wǎng)絡(luò)設(shè)置為無約束圖并且放寬層的概念，使節(jié)點（例如圖像的通道）能夠彼此形成獨立的連接。這會使得可能的網(wǎng)絡(luò)空間會更大。在訓練期間，該網(wǎng)絡(luò)的搭建不固定——它既學習網(wǎng)絡(luò)參數(shù)，也學習結(jié)構(gòu)本身。網(wǎng)絡(luò)結(jié)構(gòu)可以包含圖中的循環(huán)，即形成了存儲器結(jié)構(gòu)的概念。所學習的架構(gòu)具有高度稀疏的特性，因此就算術(shù)運算而言它將是一個小得多卻可以實現(xiàn)高精度的模型。

代碼：

當然，類似于“特征學習”階段，這個深度學習階段需要在訓練中進行大量的計算以處理大圖并且需要大量的數(shù)據(jù)。我們堅信，隨著專門用于稀疏圖形計算的硬件的發(fā)展，自動發(fā)現(xiàn)最佳網(wǎng)絡(luò)架構(gòu)技術(shù)會越來越成熟，實現(xiàn)高度精確、高效計算的邊緣AI模型指日可待。

鏈接：