微軟雷德蒙研究院的研究員，從左至右：Ajay Manchepalli，Rob DeLine，Lisa Ong，Chuck Jacobs，Ofer Dekel，Saleema Amershi，Shuayb Zarar，Chris Lovett，Byron Changuion
編者按：在今年Build 2017大會上，微軟首席執(zhí)行官薩提亞?納德拉提出“我們正在從目前‘移動優(yōu)先、云優(yōu)先’的世界轉(zhuǎn)移到由智能云和智能邊緣組成的新世界中”，邊緣計(jì)算正變得越來越重要。來自美國雷德蒙和印度班加羅爾的研究團(tuán)隊(duì)開源了一套嵌入式學(xué)習(xí)庫ELL，幫助開發(fā)者把深度神經(jīng)網(wǎng)絡(luò)部署到邊緣設(shè)備上。
本文譯自AI’s big leap to tiny devices opens world of possibilities（有刪減），原文地址：https://blogs.microsoft.com/next/2017/06/29/ais-big-leap-tiny-devices-opens-world-possibilities/
有時，自家花園就是展示大膽甚至有望改變世界的技術(shù)的最佳場所。微軟研究院機(jī)器學(xué)習(xí)和優(yōu)化研究組的負(fù)責(zé)人Ofer Dekel則是例證之一。
在Ofer Dekel家的花園里，松鼠經(jīng)?？幸Щò党酝段蛊骼锏镍B食，這使得他和家人無法欣賞到綻放的花朵和悅耳的鳥鳴。為了解決這個問題，Dekel訓(xùn)練了一個計(jì)算機(jī)視覺模型來偵測松鼠的出沒，并將代碼部署到Raspberry Pi 3（一種廉價且計(jì)算能力有限的單板計(jì)算機(jī)）上。該設(shè)備時刻監(jiān)測著Dekel的后院，一旦有松鼠光顧，就會觸發(fā)噴灌系統(tǒng)?！叭魏螕碛蠷aspberry Pi的愛好者都應(yīng)該可以實(shí)現(xiàn)類似的工作，”Dekel說：“但今天，他們中仍然很少有人可以做到?！?/span>
身為機(jī)器學(xué)習(xí)專家的Dekel正在努力解決這個問題。他領(lǐng)導(dǎo)著一支由30多名計(jì)算機(jī)科學(xué)家、軟件工程師和研究實(shí)習(xí)生組成的多學(xué)科融合團(tuán)隊(duì)，成員分布在美國雷德蒙和印度班加羅爾的微軟研究院中。目前，Dekel的團(tuán)隊(duì)正在開發(fā)一類新的機(jī)器學(xué)習(xí)軟件和工具，將人工智能嵌入到只有面包屑大小的計(jì)算機(jī)處理器中。這款軟件的早期預(yù)覽版已可以通過GitHub下載：
https://github.com/Microsoft/ELL（點(diǎn)擊【閱讀原文】下載）。
這個項(xiàng)目是行業(yè)技術(shù)變革的一部分，最近在美國西雅圖舉行的微軟開發(fā)者大會Build 2017上，微軟首席執(zhí)行官薩提亞·納德拉就曾對這一新變革進(jìn)行了闡述，他說：“我們正在從目前‘移動優(yōu)先、云優(yōu)先’的世界轉(zhuǎn)移到由智能云和智能邊緣組成的新世界中?！?/span>
智能邊緣
在未來世界中，每個角落都將充斥著微型智能設(shè)備——嵌在我們的衣服中，遍布在我們的住所和辦公室里，部署在汽車發(fā)動機(jī)、電梯、手術(shù)室和石油鉆機(jī)等各種場合，執(zhí)行異常監(jiān)測和預(yù)防性維護(hù)等多種任務(wù)。創(chuàng)造智能邊緣正是實(shí)現(xiàn)這一前景的前提之一。
目前，此類設(shè)備主要用作傳感器，收集數(shù)據(jù)并發(fā)送給在云端運(yùn)行的機(jī)器學(xué)習(xí)模型。微軟雷德蒙研究院商務(wù)和技術(shù)運(yùn)營總監(jiān)Shabnam Erfani說：“所有這些處理都需要大量計(jì)算，海量存儲空間，但現(xiàn)在并不可能實(shí)現(xiàn)把所有需要的硬件都裝入低成本的嵌入式設(shè)備中?！?/span>
她補(bǔ)充說，Dekel和他的同事正在試圖完成這個不可能的任務(wù)。“要大幅度縮減機(jī)器學(xué)習(xí)系統(tǒng)的大小并使之更加高效，以便在移動設(shè)備上運(yùn)行?！边@些智能設(shè)備是物聯(lián)網(wǎng)（IoT）的組成部分，只不過它們在即使沒有網(wǎng)絡(luò)連接的情況下也可以正常工作。
微軟印度研究院的研究員，從左前起：Manik Varma，Praneeth Netrapalli，Chirag Gupta，Prateek Jain，Yeshwanth Cherapanamjeri，Rahul Sharma，Nagarajan Natarajan，Vivek Gupta
微軟印度研究院資深研究員、該項(xiàng)目的共同負(fù)責(zé)人之一Manik Varma表示：“主流范式認(rèn)為這些設(shè)備是非智能的。它們只能感知周邊環(huán)境，并將傳感器讀數(shù)傳輸?shù)皆贫?，進(jìn)行機(jī)器學(xué)習(xí)。然而這種模式無法解決我們認(rèn)為有望改變世界的一些關(guān)鍵應(yīng)用場景?！?/span>
將機(jī)器學(xué)習(xí)推廣到邊緣設(shè)備，可減少帶寬限制，并消除對網(wǎng)絡(luò)延遲（即數(shù)據(jù)傳輸?shù)皆贫诉M(jìn)行處理并將結(jié)果返回設(shè)備所需的時間）的擔(dān)憂。Varma指出，利用設(shè)備自身進(jìn)行機(jī)器學(xué)習(xí)，也可以降低因不斷與云端溝通數(shù)據(jù)而帶來的電池消耗；而且將個人及其他敏感信息保留在本地，也有助于保護(hù)隱私。
研究人員設(shè)想了許多可以通過這種方法創(chuàng)造的智能設(shè)備，例如用于對遠(yuǎn)程農(nóng)場進(jìn)行精準(zhǔn)灌溉的智能土壤濕度傳感器，以及可對即將發(fā)生的癲癇提出預(yù)警以便用戶及早抵達(dá)安全場所并呼叫護(hù)理人員的大腦植入體。
“如果你正行駛在沒有網(wǎng)絡(luò)的高速公路上，你肯定希望植入體依然可以正常工作，”Varma說：“事實(shí)上，這才是你最需要幫助的時候?！?/span>
自上而下
研究團(tuán)隊(duì)正在采用“自上而下”和“自下而上”兩種方法，將機(jī)器學(xué)習(xí)模型部署到資源受限的設(shè)備上。
所謂“自上而下”的方法涉及到開發(fā)一系列算法，壓縮原先針對云端訓(xùn)練的機(jī)器學(xué)習(xí)模型，使之能夠在Raspberry Pi 3和Raspberry Pi Zero等設(shè)備上有效運(yùn)行。
如今的許多機(jī)器學(xué)習(xí)模型都使用了深層神經(jīng)網(wǎng)絡(luò)。而Dekel和他的同事正使用各種技術(shù)來壓縮深層神經(jīng)網(wǎng)絡(luò)，使之適應(yīng)小型設(shè)備。例如，一種名為“權(quán)重量化”（weight quantization）的技術(shù)可以只用幾個bit的信息量來表征每個神經(jīng)網(wǎng)絡(luò)參數(shù)，而不是標(biāo)準(zhǔn)的32bit。
微軟主管研究員Ofer Dekel
Dekel說：“我們可以將更多參數(shù)壓縮到更小的空間內(nèi)，而計(jì)算機(jī)也能用比以往快得多的速度來處理這些參數(shù)?！?/span>
為了說明差異，他播放了一個視頻，對比了最先進(jìn)的計(jì)算機(jī)視覺神經(jīng)網(wǎng)絡(luò)在壓縮前和壓縮后分別在Raspberry Pi 3s上的表現(xiàn)：兩個模型的精準(zhǔn)度相同，而壓縮版本的運(yùn)行速度卻提高了20倍。
這些訓(xùn)練算法的早期預(yù)覽版現(xiàn)已可在GitHub上下載。研究團(tuán)隊(duì)目前仍在開發(fā)一些工具，幫助愛好者、創(chuàng)客和其他非機(jī)器學(xué)習(xí)領(lǐng)域的專家順利完成數(shù)據(jù)采集和清洗、模型訓(xùn)練以及在設(shè)備上部署的端到端流程。
微軟雷德蒙研究院人機(jī)交互領(lǐng)域研究員Saleema Amershi表示：“向日常用戶提供強(qiáng)大的機(jī)器學(xué)習(xí)工具，才是AI的普及和全民化。即便我們掌握了將智能功能移植到小型設(shè)備上的技術(shù)，但如果只有機(jī)器學(xué)習(xí)專家才能夠使用它們，這又有什么意義呢？”
目前，研究團(tuán)隊(duì)正在探索的另一種壓縮技術(shù)是對神經(jīng)網(wǎng)絡(luò)進(jìn)行修剪或稀疏化以消除冗余，這將縮短計(jì)算時間，并能夠?qū)⑵洳渴鸬叫⌒陀?jì)算設(shè)備（如ARM Cortex M7）上。
微軟印度研究院的研究員，從左后起：Vivek Seshadri，Harsha Vardhan Simhadri，Suresh Parthasarathy，Priyan Vaithilingam
自下而上
上述壓縮方法只能讓現(xiàn)有的機(jī)器學(xué)習(xí)模型縮小至原來的十分之一到百分之一。但如果要將機(jī)器學(xué)習(xí)部署到Cortex M0s上（這是市面上最小的ARM處理器，物理尺寸與菜肴里磨碎了的紅辣椒片相當(dāng)，Dekel將其稱為“塵埃計(jì)算機(jī)”），這些模型需要縮小至原來的千分之一到萬分之一。
“目前還沒有辦法讓深層神經(jīng)網(wǎng)絡(luò)在僅消耗萬分之一資源的情況下仍然保持同樣的精準(zhǔn)。”Dekel說：“為此，我們有一個長期計(jì)劃——另起爐灶，為這些資源受限的平臺開發(fā)量身定制的全新機(jī)器學(xué)習(xí)技術(shù)和工具。”
自下而上的方法是從頭開始的，團(tuán)隊(duì)成員專注于構(gòu)建一個集成了多種訓(xùn)練算法的數(shù)據(jù)庫，每種訓(xùn)練算法都經(jīng)過了精細(xì)調(diào)校，可以在一系列專用場景下發(fā)揮最佳效能。例如，其中一類用于腦部植入應(yīng)用，而另一類則用來監(jiān)測噴氣發(fā)動機(jī)等設(shè)備中的異常以及預(yù)測何時需要維護(hù)。
研究團(tuán)隊(duì)所關(guān)注的最小設(shè)備是Arduino Uno，這是一種資源嚴(yán)重受限的單板計(jì)算機(jī)，RAM只有2K。研究人員用算法訓(xùn)練機(jī)器學(xué)習(xí)模型來執(zhí)行解答是非題和多選題、預(yù)測可能目標(biāo)的價值以及對項(xiàng)目進(jìn)行排序等任務(wù)。
這些模型靈感來自基于云端的系統(tǒng)，但研究人員正在對它們進(jìn)行重新設(shè)計(jì)，旨在縮減需要學(xué)習(xí)的數(shù)據(jù)量、降低計(jì)算復(fù)雜性和限制內(nèi)存需求，同時保持準(zhǔn)確性和運(yùn)行速度。
Varma解釋說：“最終，我們的模型會幾乎與基于云端的神經(jīng)網(wǎng)絡(luò)一樣精準(zhǔn)，而規(guī)模卻非常小，可以將其部署到只有幾K的RAM系統(tǒng)上?！?/span>
能夠展示此項(xiàng)研究潛力的原型設(shè)備之一是為視力受損的Varma本人量身定制的智能手杖，一旦使用者跌倒，它就會發(fā)出求援呼叫。另一項(xiàng)應(yīng)用則是一種智能手套，它可以翻譯美國手語，并通過揚(yáng)聲器讀出手語所表達(dá)的詞匯。
Varma說：“我喜歡幫助人們克服障礙，賦予他們生產(chǎn)力，幫忙他們更好地融入社會?！?/span>
想象未來
微軟研究院旨在研究從現(xiàn)在開始十年之內(nèi)有望普及的技術(shù)，而將AI嵌入微型設(shè)備的研究也是其中之一。在Dekel及其同事們看來，這將是一個充滿了智能和安全設(shè)備的世界，而且任何有創(chuàng)意并想要付諸實(shí)施的人都能夠獲得相應(yīng)的工具。
目前，該研究項(xiàng)目已經(jīng)開始為創(chuàng)客社區(qū)——那些遇到問題（就像Dekel碰到的松鼠問題一樣）并希望通過技術(shù)解決問題的人——提供服務(wù)。其中的創(chuàng)客是一些各領(lǐng)域的專家，例如一名游泳選手希望能訓(xùn)練出（智能）健身手環(huán)，用來計(jì)算圈數(shù)并能夠區(qū)分自由泳、蛙泳和蝶泳等不同泳姿。
Varma還站在整個行業(yè)的高度上為這些創(chuàng)造者設(shè)想了一個角色：開發(fā)異常監(jiān)測和維護(hù)預(yù)警的智能安全設(shè)備。他說：“等出了故障再補(bǔ)救，其成本要比在出故障之前就找出問題要高得多。”
Amershi指出，如果單純依靠少數(shù)持有人工智能博士學(xué)位的計(jì)算機(jī)科學(xué)家們來制造這些設(shè)備，那么這些設(shè)備中絕大部分都會化為泡影。她正在開發(fā)一些界面和其他工具，以減少訓(xùn)練的復(fù)雜性和單調(diào)性，并將機(jī)器學(xué)習(xí)模型部署到邊緣設(shè)備上，讓各種類型的創(chuàng)客都能夠提高生產(chǎn)力。
她說：“機(jī)器學(xué)習(xí)不是一蹴而就的，而是一門藝術(shù)。要花一些功夫、費(fèi)一些周折，引導(dǎo)機(jī)器學(xué)習(xí)模型按照你的意愿去完成工作?！?/span>
你也許還想看：
感謝你關(guān)注“微軟研究院AI頭條”，我們期待你的留言和投稿，共建交流平臺。來稿請寄：msraai@microsoft.com。
微軟小冰進(jìn)駐微軟研究院微信啦！快去主頁和她聊聊天吧。
聯(lián)系客服
