點擊標題下「大數(shù)據(jù)文摘」可快捷關注
隨著越來越多的東西依賴于越來越難以捉摸的人工智能（AI），發(fā)現(xiàn)后者的缺陷就顯得越來越重要，此文中的黑箱研究就越來越必不可少。
上面的圖案是什么？很簡單的黃黑間條嘛。不過如果你問問最先進的人工智能，它給出的答案會是校車，而且 99% 地肯定。但 AI 錯了。
誠然，現(xiàn)在的計算機圖像識別技術已經(jīng)非常先進。比方說，下面這幅圖 AI 雖不能識別出這是一條戴著墨西哥帽的吉娃娃狗（說實話有的人也未必能認出），但是起碼能識別出這是一條戴著寬邊帽的狗。但是懷俄明大學進化人工智能實驗室最近的一項研究卻表明，這些 AI 未必總是那么靈光，就像開篇的例子那樣，最先進的 AI 把這些隨機生成的簡單圖像當成了鸚鵡、乒乓球拍、百吉餅或者蝴蝶。
這一發(fā)現(xiàn)迫使我們承認一個明顯但重要的事實：即計算機視覺和人類視覺并不一樣。而且鑒于我們日益依賴神經(jīng)網(wǎng)絡去訓練計算機識別圖像的，究竟計算機是怎么想的連我們人類都不知道了。
用進化算法欺騙AI
進化算法生成的隨機圖像，圖像下方的文字是AI識別出來的對象。
要想弄清楚這些自我訓練的算法的聰明之處，方法之一正是看看它們的愚蠢之處。研究人員決定看看最先進的圖像識別神經(jīng)網(wǎng)絡是不是容易受到主動錯誤信息的影響。比方說這些神經(jīng)網(wǎng)絡能認出貓來，那是不是也會把別的東西認成貓呢？
為此，研究人員利用進化算法生成隨機圖像作為視覺誘餌。他們首先利用程序生成一幅圖像，然后對圖像進行略微的改變。接著把原圖和略微修改后的圖一并提交給基于 ImageNet 訓練的神經(jīng)網(wǎng)絡。如果修改過的圖被 AI 認為比原圖更接近某個對象，研究人員就保留修改過的圖，然后重復此過程。否則的話就回退重試。這樣下來的結果就是最好看者生存—或者說，是計算機最能識別的的圖像存活了下來（而非最合適者—原圖）。
最后該技術生成了數(shù)十幅神經(jīng)網(wǎng)絡的確信度超過 99% 的圖像。它們有的是藍橙相間的波浪線，有的是黃黑間條紋等等，可在 AI 眼里，它們卻是海星（star fish）和校車（school bus）。
黑箱配對
AI 為什么會上當呢？有些情況是可以理解的。比方說，瞇著眼睛看的話，校車（school bus）的確看起來像是黃黑間條紋。類似地，隨機生成的“君王蝴蝶”的確看起來像是蝴蝶翅膀，而被認作“滑雪面罩（ski mask）”的圖像的確看起來像一幅夸張的人臉。
但是，研究人員還發(fā)現(xiàn) AI 通常還會被純靜態(tài)的圖像愚弄。采用一種略微不同的進化技術之后，研究人員生成了另一組圖像（下圖）。這些圖像在人眼看來幾乎都是一樣的，就像是一臺壞掉的電視上的圖像。但是在最先進的神經(jīng)網(wǎng)絡眼里，這些卻是蜈蚣（centipede）、獵豹（cheetah）、孔雀（peacock）等等。
在研究人員看來，神經(jīng)網(wǎng)絡似乎形成了各種有助于識別對象的視覺線索。這些線索有些是人類熟悉的（如校車的例子），有些則不然。上圖中例子說明至少在某些時候這些線索是顆粒度很細的。也許經(jīng)過訓練后，神經(jīng)網(wǎng)絡把一連串的“綠色綠色、紫色、綠色”像素視為孔雀看見的模式了。所以當隨機生成的圖像正好也產生了同樣的像素系列后，AI 就把它當作是孔雀了。這說明 AI 也許針對每一種對象都推理出了若干的線索，并認為通過這些線索足以識別出某一對象。
當然，人類精心制作這些圖像來愚弄 AI 也說明了一個問題，即神經(jīng)網(wǎng)絡的規(guī)模和復雜性已經(jīng)超出人類的理解范疇—哪怕我們知道 AI 能識別圖像，但對它們如何識別圖像卻并不知曉。類似的研究其目的正是想通過逆向工程的方法推導出 AI 的模型，找出人工智能的學習思路。雖然仍不甚了了，但最近兩年的黑箱研究已能管中窺豹。
AI的眼光有問題有問題嗎？
當研究人員把研究結果提交給神經(jīng)信息處理系統(tǒng)大會進行討論時，專家形成了涇渭分明的兩派意見。一組人年紀略大，領域經(jīng)驗更豐富，他們認為這個結果是完全可以理解的。另一派人則相對年輕，他們對研究結果的態(tài)度是困惑。至少在一開始對強大的算法卻把結果完全弄錯感到驚訝。請記住，盡管這些人稍微年輕一點，但個個都是在頂級 AI 大會上發(fā)表過文章的人了。
而在研究團隊負責人 Clune 看來，這反映了該領域的世代轉移。若干年以前，做 AI 的那幫人還是開發(fā) AI 的。而現(xiàn)在，神經(jīng)網(wǎng)絡已經(jīng)足夠先進，以至于研究人員拿來用就行了。
拿來就能用未必是壞事。但是隨著越來越多的東西是基于 AI 來搭建的，那么發(fā)現(xiàn) AI 的缺陷就顯得愈發(fā)的至關重要。把一些隨機像素誤認為是某種動物當然無傷大雅，但是如果 AI 讓某些色情圖片在安全搜索過濾中漏網(wǎng)性質就很嚴重了。Clune 希望這項研究可以激發(fā)其他研究人員跟進，在算法中考慮到圖像的整體結構。換句話說，讓計算機視覺更像人類視覺。
同時，這項研究也促使我們考慮 AI 其他形式的漏洞。比方說臉部識別也依賴于同類的技術，因此也會有類似缺陷。如果計算機視覺只是關注于局部特征的話，也許安上一個 3D 打印的鼻子就能讓計算機認為你是別人。戴上一個面具就能讓你從監(jiān)視系統(tǒng)中消失。計算機視覺的應用越廣泛，此類隱患就會越大。
不過從更寬泛的意義來說，這項研究帶給我們的警示是我們正進入自我學習系統(tǒng)的時代?，F(xiàn)在，我們仍然控制著自己開發(fā)出來的東西。但隨著 AI 不斷自我開發(fā)自己，有一天我們發(fā)現(xiàn)自己搞不懂 AI 也不奇怪?！坝嬎銠C做什么不再是人寫代碼寫出來的了，”Clune 說：“這幾乎是相互作用的組件間的規(guī)模效益導致的智能出現(xiàn)。”在這一智能的利用上我們無疑沒有浪費時間。但是在我們這么做的時候是否完全理解了它就不太清楚了。
摘自:35氪
大數(shù)據(jù)文摘，WeMedia自媒體聯(lián)盟成員之一
大數(shù)據(jù)文摘精彩文章：
回復安全 關于泄密、黑客、攻防的新鮮案例
回復算法 既漲知識又有趣的人和事
回復谷歌 看其在大數(shù)據(jù)領域的舉措
回復院士 看眾多院士如何講大數(shù)據(jù)
回復色情 這個,你懂的,可是你真的懂嗎？
回復大國 "大數(shù)據(jù)國家檔案"之美國等12國
回復志愿者 了解大數(shù)據(jù)文摘及如何加入
點擊"閱讀原文"了解更多天翼圖書
聯(lián)系客服
