本文轉(zhuǎn)載自新智元（ID：AI_era），來源：news.sophos.co，編譯：文強 弗格森
【新智元導(dǎo)讀】 人工神經(jīng)網(wǎng)絡(luò)性能的好壞取決于哪些要素？取得了哪些進展，最新發(fā)展趨勢是什么？通過與生物神經(jīng)網(wǎng)絡(luò)的對比，本文帶來對人工神經(jīng)網(wǎng)絡(luò)的深度介紹。
能夠?qū)W習(xí)被認(rèn)為是智能生物的一大標(biāo)志。機器學(xué)習(xí)現(xiàn)在有能力從數(shù)據(jù)集中學(xué)習(xí)和推斷，從而完成復(fù)雜的任務(wù)，比如對以前從未見過的物體進行分類。
機器學(xué)習(xí)與人類學(xué)習(xí)有著驚人的相似和重要的差異。通過比較和對比生物與人工智能如何學(xué)習(xí)，我們可以建立一個更完善的架構(gòu)。
從神經(jīng)元說起
在生物神經(jīng)網(wǎng)絡(luò)中，學(xué)習(xí)源自于大腦中無數(shù)神經(jīng)元之間的連接。大腦接觸到新的刺激后，這些神經(jīng)元之間的連接改變了配置。這些更改包括出現(xiàn)新的連接，加強現(xiàn)有連接和刪除那些沒有使用的連接。例如，重復(fù)給定任務(wù)的次數(shù)越多，與這個任務(wù)相關(guān)的神經(jīng)連接就越強，最終我們會認(rèn)為這個任務(wù)被學(xué)會了。
神經(jīng)元使用記憶和感知里預(yù)先建立（pre-established）的表征來處理新的刺激。每個刺激都能讓一組神經(jīng)元在認(rèn)知過程中會被激活，而這樣的神經(jīng)元有很多很多。
這種生物學(xué)上的奇妙設(shè)計也啟發(fā)了人工智能研究者，人工神經(jīng)網(wǎng)絡(luò)（ANN）旨在抽象地模擬這種行為，但規(guī)模和形式都要小并且簡單得多。
什么是人工神經(jīng)網(wǎng)絡(luò)（ANN）？
ANN由互相連接的神經(jīng)元組成，這些神經(jīng)會接收一組輸入，以及一組連接權(quán)重的設(shè)置，然后進行一些數(shù)學(xué)運算，并將結(jié)果作為一組與生物神經(jīng)元中的突觸相似的“激活”作為輸出。ANN通常由幾百到上千個神經(jīng)元組成，但人腦的生物神經(jīng)網(wǎng)絡(luò)有數(shù)十億神經(jīng)元。
從比較高的層次看，人工神經(jīng)網(wǎng)絡(luò)由四個部分組成：
神經(jīng)元
拓?fù)浣Y(jié)構(gòu)，也即神經(jīng)元之間的連接路徑
權(quán)重
一種學(xué)習(xí)算法
在人腦生物神經(jīng)網(wǎng)絡(luò)和用軟件表達的人工神經(jīng)網(wǎng)絡(luò)之間，這四大部分有著顯著的不同。
在下圖中，我們看到一個生物神經(jīng)元。軸突（Axon）負(fù)責(zé)輸出從神經(jīng)核到其他神經(jīng)元的信息，樹突（Dendrite）則負(fù)責(zé)從其他神經(jīng)元接收信息，來自神經(jīng)元（突觸）的電化學(xué)信號聚集在細(xì)胞核中。如果電信號聚合超過突觸閾值，就會形成電化學(xué)脈沖，沿軸突向下傳播到其他神經(jīng)元的樹突。
下圖展示了一個人腦中神經(jīng)元拓?fù)浣Y(jié)構(gòu)的合理假設(shè)?？梢钥闯觯@個結(jié)構(gòu)蘊含了讓信息循環(huán)和傳播的巨大潛力。
生物神經(jīng)網(wǎng)絡(luò)中的學(xué)習(xí)：對現(xiàn)有表征進行微調(diào)，初始狀態(tài)由遺傳衍生而來
在像人腦這樣的生物神經(jīng)網(wǎng)絡(luò)中，學(xué)習(xí)是通過對現(xiàn)有表征進行微小調(diào)整實現(xiàn)的，其配置（configuration）在任何學(xué)習(xí)開始前就已經(jīng)包含了重要的信息。神經(jīng)元或權(quán)重之間的連接的強度不以隨機的方式開始，連接的結(jié)構(gòu)，即網(wǎng)絡(luò)拓?fù)湟膊⒎请S機。這種初始狀態(tài)是由遺傳衍生而來的，是進化的副產(chǎn)物。
隨著時間的推移，網(wǎng)絡(luò)通過調(diào)整拓?fù)浜蜋?quán)重來學(xué)習(xí)如何執(zhí)行新的功能。實際上，擁有一個起始表征（initial representation）對完成任務(wù)來說都很有用，這一點有證據(jù)支撐。研究表明，一個月大的新生兒可以通過學(xué)習(xí)識別陌生人和父母的臉之間的差異。換句話說，人類對“人臉”的概念在很大程度上是從父母那里傳承的。
隨著嬰兒逐漸發(fā)育成長，走過童年、青春期、成年，甚至到退休，他們每天都會看到和認(rèn)識新的朋友，并且要學(xué)習(xí)他們的樣子。而這是通過對大腦中神經(jīng)網(wǎng)絡(luò)進行微小的改變來實現(xiàn)的。
同樣的現(xiàn)象也適用于其他任務(wù)，包括被動感知任務(wù)，從識別通用對象到將聲音作為一種語音模式來處理，以及主動進行的任務(wù)，比如運動和說話。這些技能逐漸被學(xué)習(xí)，那些用于改進它們的調(diào)整幅度也不斷縮小。對應(yīng)這種現(xiàn)象的精確的拓?fù)浣Y(jié)構(gòu)，是訓(xùn)練這些生物神經(jīng)網(wǎng)絡(luò)刺激類型的函數(shù)。一個著名的例子是由諾貝爾獎得主David Hubel和Torsten Wiesel領(lǐng)導(dǎo)的單眼剝奪研究。該研究涉及在發(fā)育過程中強迫動物的眼睛閉合兩個月，觀察其主要視覺皮層的變化。
結(jié)果表明，通常對雙眼輸入有反應(yīng)的細(xì)胞變得完全不再對信號產(chǎn)生反應(yīng)。因此，動物大腦和眼睛中的細(xì)胞都發(fā)生了改變。這種現(xiàn)象也延伸到人類身上。例如，對視覺感知的心理測驗表明，相比居住在農(nóng)村的人，生活在城市中的人往往對平行線條和銳角更敏感（居住在農(nóng)村的人則對光滑的紋理漸變更敏感），很可能是城市中道路、摩天大樓和窗戶的平行結(jié)構(gòu)過多造成的。
人工神經(jīng)網(wǎng)絡(luò)中的學(xué)習(xí)：從頭開始，初始狀態(tài)隨機
與生物神經(jīng)網(wǎng)絡(luò)不同，人工神經(jīng)網(wǎng)絡(luò)（ANN）通常從頭開始訓(xùn)練，使用的素材是現(xiàn)有的針對某個問題的拓?fù)浣Y(jié)構(gòu)。目前，這些網(wǎng)絡(luò)的拓?fù)洳粫S時間發(fā)生變化，而網(wǎng)絡(luò)的權(quán)重也是通過優(yōu)化算法隨機初始化和進行調(diào)整，盡可能將輸入刺激映射到期望的輸出函數(shù)。
不過，ANN也可以基于先前存在的表征來進行學(xué)習(xí)，這一過程被稱為微調(diào)。微調(diào)也包括使用相對較慢的學(xué)習(xí)速率調(diào)整預(yù)訓(xùn)練網(wǎng)絡(luò)拓?fù)涞臋?quán)重，從而讓網(wǎng)絡(luò)在新的訓(xùn)練數(shù)據(jù)上表現(xiàn)良好。
我們也可以毫不費力地復(fù)制ANN，但是要做出一個人類大腦還需要一定的時間。
無論是從頭開始還是微調(diào)訓(xùn)練，權(quán)重更新過程都是通過在神經(jīng)網(wǎng)絡(luò)中傳遞數(shù)據(jù)
測量結(jié)果，并相應(yīng)地修改權(quán)重開始的。這就是人工神經(jīng)網(wǎng)絡(luò)如何進行“學(xué)習(xí)”的整個過程。權(quán)重會按照能在最大程度上提高所需任務(wù)性能的方向被逐漸改變，例如最大限度準(zhǔn)確識別輸入樣本的方向。人工神經(jīng)網(wǎng)絡(luò)這種學(xué)習(xí)過程，可以比作一個試圖學(xué)習(xí)識別日常物品的孩子。在嘗試失敗后，對答案的準(zhǔn)確性進行反饋，孩子再次嘗試不同的方向，為了得到正確的反應(yīng)。
ANN在學(xué)習(xí)時執(zhí)行的都是相同的任務(wù)。一旦這個學(xué)習(xí)過程完成，ANN就可以使用以前的問題表征來對學(xué)習(xí)過程中以前沒有接觸過的新刺激做出反應(yīng)。跟人類的孩子一樣，ANN通過接觸盡可能多的類似問題，讓自己學(xué)得更好。對于人類兒童，練習(xí)的次數(shù)越多，就能越快處理新的問題，因為孩子大腦中的相關(guān)神經(jīng)元連接變得更加明確。而ANN則類似于更廣泛地分配有關(guān)任務(wù)的可能刺激的廣泛分布，從而在以前沒有接觸過的相同分布中學(xué)習(xí)，應(yīng)對新的刺激。
越多接觸越好：白天鵝 vs 黑天鵝
我們?nèi)祟愒陂L久的發(fā)展中學(xué)習(xí)到，對于兒童來說，暴露在現(xiàn)實世界中的機會越多，他們就能夠?qū)W得越好，即使這種學(xué)習(xí)有時候是痛苦的。事實上，當(dāng)學(xué)習(xí)是痛苦的時候，痛苦本身就是一個很大的反饋機制。類似地，要訓(xùn)練或微調(diào)任何類型的神經(jīng)網(wǎng)絡(luò)，將ANN暴露于特定領(lǐng)域中的各種刺激是非常重要的，并且這可以確保你的模型不會對某一種刺激產(chǎn)生過擬合。
通過對特定類別的刺激進行額外的表示，網(wǎng)絡(luò)可以更好地分類新的刺激或生成概念。這適用于生物神經(jīng)網(wǎng)絡(luò)和人工神經(jīng)網(wǎng)絡(luò)，雖然生物神經(jīng)網(wǎng)絡(luò)在泛化上做得更好。這是真的，部分是因為它們暴露于更多的數(shù)據(jù)類型和模式，部分原因是由于更先進的生物拓?fù)浜蛯W(xué)習(xí)算法，并且在很大程度上是因為達爾文主義。
這一說法的一個例子，來源于Nassim Taleb開發(fā)的“黑天鵝理論”。這個術(shù)語來自于16世紀(jì)倫敦的一個“常識”，有人認(rèn)為所有天鵝都是白色的，因為沒有任何其他顏色的天鵝的記錄。因此，對他們來說，天鵝必須是白色的，才能被分類為天鵝。荷蘭探險家威爾明·德·弗萊明（Willem de Vlamingh）后來見到了西澳的黑天鵝，改變了這種固有的分類。
這里的概念是，如果一個人從小到大到只能看到白天鵝，也就是說，一個人的神經(jīng)網(wǎng)絡(luò)只能在“所有的天鵝都是白色的”這一分布上進行訓(xùn)練，這個時候給他呈現(xiàn)一個“黑天鵝”，他就不能將它分類為天鵝， 因為這是一個從未見過的天鵝。如果一個人從小到大看到天鵝有兩種顏色，那么他更適合對所有的天鵝類型進行分類，因為這個生物神經(jīng)網(wǎng)絡(luò)是在更大的天鵝類型分布上進行訓(xùn)練的，這些分布中包括了更多的知識，讓人可以更多地了解天鵝可能包含的屬性。
泛化，或者說從以前學(xué)到的知識進行抽象的能力，是一種非常有用的功能，可以通過輕微地權(quán)重調(diào)整，快速地解決跨不同領(lǐng)域的問題。這是一個神經(jīng)網(wǎng)絡(luò)針對遷移學(xué)習(xí)和解決適應(yīng)性問題的方案。
事實上，不用重新連接很多的神經(jīng)元這一點，也是平均而言經(jīng)常滑雪的人要比第一次滑雪的人滑得快的一個原因。被訓(xùn)練用于物體檢測的人工神經(jīng)網(wǎng)絡(luò)在通過微調(diào)后，也能很好用于面部識別，其性能往往比從頭開始在相同的面部識別數(shù)據(jù)集上嚴(yán)格訓(xùn)練的解決方案要更好。
人 vs 機器
應(yīng)該清楚的是，今天的人工神經(jīng)網(wǎng)絡(luò)還處于起步階段。雖然在結(jié)構(gòu)上類似，對于權(quán)重概念，神經(jīng)元（功能單位），拓?fù)鋵W(xué)習(xí)和學(xué)習(xí)算法，它們還不能模仿人類對于許多復(fù)雜類型任務(wù)的處理能力。它們的拓?fù)浣Y(jié)構(gòu)要簡單得多，它們的數(shù)量級要小一些，學(xué)習(xí)算法比較幼稚。此外，他們還不能同時接受許多異構(gòu)任務(wù)的訓(xùn)練。
隨著我們繼續(xù)構(gòu)建ANN來解決諸如檢測以前未知類型的惡意軟件的難題，我們還將繼續(xù)了解人類大腦如何完成任務(wù)?；蛘吣承╊悇e的任務(wù)，ANN實際上可以勝過人類分析人員的準(zhǔn)確性和速度。大腦中的動作電位以千秒數(shù)傳播，而ANN可以更快地對數(shù)據(jù)量進行分類。
對于其他任務(wù)，ANN的優(yōu)勢補充和增強了即使是最強大的人類思維的能力，使大型工作流程自動化。在不久的將來，ANN將開始在近人甚至超人的層面上執(zhí)行額外的任務(wù)，它們可能在數(shù)學(xué)和結(jié)構(gòu)上更類似于生物神經(jīng)網(wǎng)絡(luò)。
原文鏈接：https://news.sophos.com/en-us/2017/09/21/man-vs-machine-comparing-artificial-and-biological-neural-networks
