機(jī)器之心原創(chuàng)
作者：虞喵喵
「接下來(lái)，NLP 將迎來(lái) 60 多年來(lái)發(fā)展最迅速的時(shí)期?！?/p>
6 月 1 日，在微軟亞洲研究院（MSRA）的自然語(yǔ)言處理（NLP）主題溝通會(huì)上，副院長(zhǎng)周明博士以《自然語(yǔ)言處理前沿技術(shù)》為主題，分享了不少 NLP 研究心得。
周明博士，圖片來(lái)自微軟亞洲研究院微信
周明博士已經(jīng)在 NLP 領(lǐng)域鉆研近 30 年，并已于去年當(dāng)選國(guó)際計(jì)算語(yǔ)言學(xué)協(xié)會(huì)（ACL）候任主席。在過(guò)去的研究生涯中，周明博士已發(fā)表了 120 余篇重要會(huì)議和期刊論文（包括 50 篇以上的 ACL 文章），擁有 40 余項(xiàng)國(guó)際發(fā)明專(zhuān)利。
從 NLP 是什么、MSRA 在 NLP 方向上的最新進(jìn)展以及 NLP 技術(shù)的未來(lái)發(fā)展方向三部分，周明博士對(duì) NLP 技術(shù)進(jìn)行了全方位解讀。機(jī)器之心取其精華，以饗讀者。
NLP 是人工智能的開(kāi)端，語(yǔ)言智能是人工智能皇冠上的明珠
數(shù)據(jù)的大幅增強(qiáng)、計(jì)算力的大幅提升、深度學(xué)習(xí)實(shí)現(xiàn)端對(duì)端的訓(xùn)練，這些都是人工智能領(lǐng)域迎來(lái)第三次浪潮的原因。
在周明博士看來(lái)，促成這股浪潮的還有落地場(chǎng)景的出現(xiàn)。實(shí)實(shí)在在的場(chǎng)景如搜索引擎、自動(dòng)駕駛汽車(chē)等，給了用戶(hù)使用和反饋（如搜索引擎的使用者會(huì)為搜索引擎提供訓(xùn)練數(shù)據(jù)）的空間，系統(tǒng)就可以使用這些數(shù)據(jù)不斷提升。
在以計(jì)算、記憶為基礎(chǔ)的「運(yùn)算智能」之上，是以聽(tīng)覺(jué)、視覺(jué)、觸覺(jué)為代表的「感知智能」，反映在人工智能技術(shù)上為語(yǔ)音識(shí)別和圖像識(shí)別。再之上則是「認(rèn)知智能」，包含語(yǔ)言、知識(shí)和推理。金字塔的頂端，則是創(chuàng)造智能。
「語(yǔ)言智能是人工智能皇冠上的明珠」，周明博士說(shuō)道。
作為國(guó)際計(jì)算語(yǔ)言學(xué)協(xié)會(huì)（ACL）候任主席、NLP 領(lǐng)域資深研究者，周明博士特別強(qiáng)調(diào)語(yǔ)言智能在人工智能領(lǐng)域的標(biāo)志意義?！刚Z(yǔ)言智能是人工智能皇冠上的明珠，如果語(yǔ)言智能能夠突破，與他同屬認(rèn)知智能的知識(shí)和推理就會(huì)得到長(zhǎng)足的發(fā)展，整個(gè)人工智能體系就會(huì)得到很好的推進(jìn)，也有更多的場(chǎng)景可以落地?！?/p>
作為最早設(shè)立的部門(mén)之一，微軟亞洲研究院 NLP 研究組已經(jīng)發(fā)表了超過(guò) 200 篇頂級(jí)會(huì)議文章，其中 ACL 論文超過(guò) 100 篇，COLING、EMNLP 論文超過(guò) 50 篇，IJCAI、AAAI、KDD、SIGIR 論文超過(guò) 50 篇。擁有超過(guò) 100 項(xiàng)專(zhuān)利，與 10 所高校建立聯(lián)合實(shí)驗(yàn)室，并與超過(guò) 16 個(gè)高校建立合作。
其與中科院計(jì)算所合作開(kāi)發(fā)的手語(yǔ)翻譯系統(tǒng)，還曾得到過(guò) CEO 薩提亞·納德拉（Satya Nadella）上任后首次嘉獎(jiǎng)。
機(jī)器翻譯、ChatBot…… MSRA NLP 有這四方向進(jìn)展
機(jī)器翻譯
自 2007 年微軟基于統(tǒng)計(jì)的翻譯系統(tǒng)上線，到 2012 年在 21 世紀(jì)大會(huì)上展示實(shí)時(shí)語(yǔ)音翻譯系統(tǒng)，再到 2015 年 Skype Translator 實(shí)時(shí)語(yǔ)音翻譯技術(shù)上線、2016 年 Microsoft Translator Live Feature（現(xiàn)場(chǎng)翻譯功能）的推出，微軟從未放棄過(guò)在機(jī)器翻譯技術(shù)、產(chǎn)品方向上的探索。
目前微軟采用的是基于神經(jīng)網(wǎng)絡(luò)的機(jī)器翻譯方法。通過(guò)對(duì)源語(yǔ)言句子使用 LSTM 進(jìn)行雙向編碼，再通過(guò) Attention 模型體現(xiàn)不同隱節(jié)點(diǎn)對(duì)翻譯某個(gè)目標(biāo)詞的作用，逐詞生成目標(biāo)語(yǔ)言直到句尾。
對(duì)于中間的某個(gè)階段可能會(huì)出現(xiàn)多個(gè)翻譯，微軟采用的方法是通過(guò) beam search 方法保留最佳翻譯。神經(jīng)網(wǎng)絡(luò)翻譯中其中最重要的技術(shù)是對(duì)源語(yǔ)言的編碼，以及體現(xiàn)不同詞匯翻譯不同作用的 Attention 模型。
MSRA 在機(jī)器翻譯上主要有如下 2 項(xiàng)進(jìn)展，均發(fā)表在 ACL 上：
1、引入語(yǔ)言知識(shí)
編碼過(guò)程往往將源語(yǔ)言和目標(biāo)語(yǔ)言看作字符串，并沒(méi)有體會(huì)語(yǔ)言?xún)?nèi)在的句法知識(shí)和修飾關(guān)系。通過(guò)將語(yǔ)言知識(shí)引入到神經(jīng)網(wǎng)絡(luò)的編碼，可以得到更佳的翻譯。（具體指標(biāo)見(jiàn)下圖）
2、引入領(lǐng)域知識(shí)（Domain Knowledge）
很多領(lǐng)域擁有知識(shí)圖譜的，可以納入到傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯中，以規(guī)劃語(yǔ)言理解的過(guò)程。基于的假設(shè)是不同語(yǔ)言的知識(shí)圖譜可能是一致的，將輸入句子映射到知識(shí)圖譜，再基于知識(shí)圖譜增強(qiáng)解碼過(guò)程，使得譯文得到進(jìn)一步改善。
在分享會(huì)現(xiàn)場(chǎng)，微軟亞洲研究院的研究員張冬冬還展示了微軟在機(jī)器翻譯上的最新進(jìn)展——演講翻譯，所有人在進(jìn)入統(tǒng)一虛擬會(huì)議室時(shí)都可以接收到母語(yǔ)言的演講內(nèi)容（文字、語(yǔ)音），可以幫助提升跨語(yǔ)言會(huì)議交流效率。
演講翻譯系統(tǒng)瀏覽器頁(yè)面，演講者的口述內(nèi)容會(huì)被轉(zhuǎn)換為聆聽(tīng)者設(shè)定的語(yǔ)言
對(duì)話即平臺(tái)
由于人們已經(jīng)逐漸習(xí)慣在手機(jī)上聊天的體驗(yàn)，同時(shí)手機(jī)屏幕很小，相對(duì)來(lái)說(shuō)語(yǔ)音的交流會(huì)更加自然。因此微軟認(rèn)為圖形界面的下一代將是 CaaP，所謂「對(duì)話即平臺(tái)」（Conversation as Platform，CaaP）。
作為 CaaP 的技術(shù)基礎(chǔ)，通用的對(duì)話引擎架構(gòu)往往有兩層，下層為面向任務(wù)的對(duì)話、信息服務(wù)和問(wèn)答、通用聊天三個(gè)分別滿足使用者不同需求的系統(tǒng)，上層則為調(diào)度系統(tǒng)。通過(guò)調(diào)度系統(tǒng)完成任務(wù)的分類(lèi)和分配，下層系統(tǒng)會(huì)根據(jù)不同的需求指向不同的 Bot，從而為用戶(hù)提供流暢的交流體驗(yàn)。
通用對(duì)話引擎結(jié)構(gòu)示意圖
為了更快速、更高效的開(kāi)發(fā) Bot，微軟推出了 Bot Framework。開(kāi)發(fā)者只用幾行語(yǔ)句，就能開(kāi)發(fā)出滿足自己需求的 Bot。其中該框架抽取意圖和重要信息的功能，由 LUIS（Language Understanding Intelligent Service，微軟語(yǔ)言理解服務(wù)）提供。
在與敦煌研究院合作的過(guò)程中，MSRA 通過(guò)使用微軟的聊天對(duì)話技術(shù)為敦煌研究院快速開(kāi)發(fā)了相應(yīng)的客服、聊天系統(tǒng)，并能輕松集成于同一平臺(tái)。
閱讀理解
在語(yǔ)言之外，領(lǐng)域知識(shí)和常識(shí)往往在 NLP 中有非常重要的作用，閱讀理解正是檢測(cè)一個(gè)系統(tǒng)是否具備常識(shí)的最佳方式之一。
2016 年，斯坦福大學(xué)推出「NLP 領(lǐng)域的 ImageNet」——SQuAD 閱讀理解測(cè)試集，通過(guò)給定一篇文章并準(zhǔn)備相應(yīng)問(wèn)題，由算法給出問(wèn)題的答案。該數(shù)據(jù)集共有 536 篇文章，107785 個(gè)相應(yīng)問(wèn)題，并包含訓(xùn)練、開(kāi)發(fā)、測(cè)試三部分，評(píng)判標(biāo)準(zhǔn)分為精確匹配和部分匹配兩部分。
自去年 9 月至今，MSRA 一直在該數(shù)據(jù)集的測(cè)試結(jié)果上名列第一，指標(biāo)為 76.922，但距離人類(lèi) 82 左右的指標(biāo)還有一定距離。
SQuAD 測(cè)試集測(cè)試結(jié)果，第一位、第四位均為 MSRA 團(tuán)隊(duì)開(kāi)發(fā)的算法系統(tǒng)
中國(guó)文化
MSRA 一直在考慮如何將機(jī)器翻譯與中國(guó)文化相結(jié)合，因此推出了一系列如微軟對(duì)聯(lián)、微軟字謎、微軟絕句等產(chǎn)品。
不久前 MSRA 還推出了詩(shī)歌創(chuàng)作功能，即用戶(hù)提交照片后可以得到與其意境相符的自由體詩(shī)歌，并已率先登陸小冰平臺(tái)。
NLP 的未來(lái)會(huì)如何？
在周明博士看來(lái)，未來(lái) 5－10 年，NLP 技術(shù)走向成熟，并將迎來(lái)過(guò)去 60 年發(fā)展最迅速的時(shí)期。變化將會(huì)體現(xiàn)在如下 6 個(gè)部分：
通過(guò)對(duì)趨勢(shì)的分析，MSRA 也制定了未來(lái)的研究方向，包括：
在問(wèn)答環(huán)節(jié)中，周明博士還回答了機(jī)器之心關(guān)心的 NLP 領(lǐng)域問(wèn)題，比如 GAN 這種流行的學(xué)習(xí)方法對(duì) NLP 領(lǐng)域是否有很大幫助？在周明博士看來(lái)，GAN 對(duì)于機(jī)器翻譯、信息檢索的確會(huì)帶來(lái)幫助，微軟也正在研究使用 GAN 來(lái)提升機(jī)器翻譯。但目前 GAN 與 NLP 的結(jié)合仍處在開(kāi)始階段，「并沒(méi)有突飛猛進(jìn)」。
聯(lián)系客服
