嚴(yán)冰冰 發(fā)自 凹非寺

量子位 報道 | 公眾號 QbitAI

深層卷積人工神經(jīng)網(wǎng)絡(luò)（Deep Convolutional ANN）是近年來視覺處理領(lǐng)域的寵兒，它們起源于簡單的淺層網(wǎng)絡(luò)（如八層結(jié)構(gòu)的AlexNet），進(jìn)化出多層級、多分支的復(fù)雜結(jié)構(gòu)（如NASNet、ResNet）。

這些深層的前饋神經(jīng)網(wǎng)絡(luò)雖然在物體識別測試中表現(xiàn)卓越，但都存在局限。

• 太過復(fù)雜：層級太多，難以與大腦視覺系統(tǒng)的腹側(cè)通路結(jié)構(gòu)對應(yīng)。
• 太不復(fù)雜：缺少具有生物學(xué)意義的大腦構(gòu)造（如循環(huán)結(jié)構(gòu)），難以匹配大腦復(fù)雜的神經(jīng)動態(tài)。

這些深層ANN繼續(xù)進(jìn)化，是否會變得越來越不像真實的大腦？

為了回答這個問題，MIT的DiCarlo實驗室推出線上測試平臺Brain-Score，評估ANN與大腦在物體識別過程中的相似程度，同時與多方合作，開發(fā)淺層網(wǎng)絡(luò)CORnet系列。

其中，最優(yōu)秀的是CORnet-S選手，它的構(gòu)造與大腦的解剖結(jié)構(gòu)更加對應(yīng)，且在機(jī)器學(xué)習(xí)評估中表現(xiàn)優(yōu)異，是迄今為止靈長類視覺腹側(cè)通路的最佳模型，為視覺處理領(lǐng)域ANN的開發(fā)與對大腦功能的深入理解提供了新思路。

構(gòu)造：簡潔輕便、模擬大腦

CORnet-S由4個層級組成，分別對應(yīng)大腦視覺腹側(cè)通路中的V1、V2、V4與IT區(qū)域，在第4層之后增加一個線性分類解碼器，對應(yīng)從IT區(qū)域信號輸出到行為選擇的處理過程。

△CORnet-S對應(yīng)大腦視覺腹側(cè)通路的4個區(qū)域；來源：arXiv:1909.06161 [cs.CV]

CORnet-S的每個層級都是一個簡單的經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)，由卷積、激活、非線性化、歸一化、池化等步驟組成，其中V2、V4、IT區(qū)域的回路結(jié)構(gòu)一致，但神經(jīng)數(shù)目不同。

△CORnet-S參數(shù)；來源：https://doi.org/10.1101/408385

CORnet-S增加了層級內(nèi)部循環(huán)的特征，其中V2與IT區(qū)域重復(fù)2次，V4區(qū)域重復(fù)4次，并且增加了跳躍連接。

△來源：arXiv:1909.06161 [cs.CV]

層級內(nèi)部循環(huán)，即將該層級的輸出作為輸入重新進(jìn)入該層級，多次重復(fù)后得到最終的輸出，模擬腦區(qū)內(nèi)部循環(huán)。

優(yōu)勢：Brain-Score與ImageNet雙高分

Brain-Score平臺從以下幾個方面評估ANN性能：

• 神經(jīng)信號預(yù)測：ANN是否能準(zhǔn)確預(yù)測神經(jīng)元（猴腦內(nèi)88處V4區(qū)域位點與168處IT區(qū)域位點）對圖像輸入的信號反應(yīng)；
• 行為預(yù)測：ANN與人類在核心物體識別中的行為模式是否一致（注意：此處評估行為的一致性，即同對同錯，而非準(zhǔn)確性）；
• 物體識別時間（OST）：ANN與大腦內(nèi)IT區(qū)域神經(jīng)元（猴腦內(nèi)424處IT區(qū)域位點）得到圖像分類信息所需時間是否一致；
• 前饋簡易度：評估ANN結(jié)構(gòu)的復(fù)雜程度，以最長通路的卷積層數(shù)為標(biāo)準(zhǔn)，相同參數(shù)的區(qū)域內(nèi)循環(huán)算作1，如CORnet-S為4層，非常簡單。

在Brain-Score平臺上可以看到，相比其他的視覺處理人工神經(jīng)網(wǎng)絡(luò)，CORnet-S得分最高，在ImageNet測試中也名列前茅，是淺層網(wǎng)絡(luò)中表現(xiàn)最好的。綜合考慮ANN的前饋簡易度因素，CORnet-S也十分具有優(yōu)勢。

△