2012年至今，自然語(yǔ)言處理進(jìn)入神經(jīng)網(wǎng)絡(luò)時(shí)代已經(jīng)7年，未來(lái)發(fā)展之路朝向何方？我們來(lái)看ACL 2019主席、微軟亞洲研究院副院長(zhǎng)周明博士如何解讀~
AI 科技評(píng)論按：7 月 12 日-7 月 14 日，2019 第四屆全球人工智能與機(jī)器人峰會(huì)（CCF-GAIR 2019）于深圳正式召開(kāi)。峰會(huì)由中國(guó)計(jì)算機(jī)學(xué)會(huì)（CCF）主辦，雷鋒網(wǎng)、香港中文大學(xué)（深圳）承辦，深圳市人工智能與機(jī)器人研究院協(xié)辦，得到了深圳市政府的大力指導(dǎo)，是國(guó)內(nèi)人工智能和機(jī)器人學(xué)術(shù)界、工業(yè)界及投資界三大領(lǐng)域的頂級(jí)交流博覽盛會(huì)，旨在打造國(guó)內(nèi)人工智能領(lǐng)域極具實(shí)力的跨界交流合作平臺(tái)。
周明博士在CCF-GAIR 2019會(huì)議上從什么是自然語(yǔ)言處理（NLP）、當(dāng)前技術(shù)體系以及未來(lái)發(fā)展等角度，解讀了NLP未來(lái)發(fā)展之路。我們來(lái)看。
大家下午好！今天非常榮幸來(lái)到CCF-GRIR大會(huì)，今天下午這個(gè)論壇非常有意義，講的是中國(guó)人工智能四十周年紀(jì)念活動(dòng)。
我是1985年在哈工大開(kāi)始從事機(jī)器翻譯研究的，到現(xiàn)在也已經(jīng)有30多年了，經(jīng)歷了規(guī)則、統(tǒng)計(jì)和神經(jīng)網(wǎng)絡(luò)的三個(gè)階段?；叵脒^(guò)去真是感慨萬(wàn)千，當(dāng)時(shí)可以說(shuō)是篳路藍(lán)縷，沒(méi)有什么東西，但是大家有一番熱情，要把中國(guó)自然語(yǔ)言、機(jī)器翻譯、人工智能推到世界的前沿。
中國(guó)人工智能開(kāi)始于1979年到今天轉(zhuǎn)眼過(guò)去40年了?；厥卓匆幌挛覀兊淖匀徽Z(yǔ)言處理進(jìn)展到什么程度了？我們未來(lái)的路在哪里？這就是我今天要給大家介紹的。
過(guò)去40年，自然語(yǔ)言基本上經(jīng)歷了從規(guī)則到統(tǒng)計(jì)，到現(xiàn)在的神經(jīng)網(wǎng)絡(luò)。相比過(guò)去，目前可以說(shuō)是自然語(yǔ)言處理最黃金的時(shí)期，在很多領(lǐng)域都取得了突破性的進(jìn)展。但我們審慎地看到神經(jīng)網(wǎng)絡(luò)自然語(yǔ)言處理過(guò)度依賴計(jì)算資源和數(shù)據(jù)，在建模、推理和解釋方面還存在許多的不足。因此我們想問(wèn)一下，這種模式是否可以持續(xù)？在未來(lái)的3到5年，NLP如何發(fā)展？
為了回答這個(gè)問(wèn)題，我想把神經(jīng)網(wǎng)絡(luò)自然語(yǔ)言處理的技術(shù)在這里捋一遍，有哪些關(guān)鍵的技術(shù)點(diǎn)，存在哪些不足，我們未來(lái)又如何發(fā)展。我的觀點(diǎn)是：NLP未來(lái)的發(fā)展需要計(jì)算、數(shù)據(jù)、技術(shù)、人才、合作、應(yīng)用等各個(gè)方面長(zhǎng)期協(xié)同發(fā)展。
什么叫自然語(yǔ)言處理？自然語(yǔ)言處理就是用計(jì)算機(jī)對(duì)人類語(yǔ)言進(jìn)行處理，使得計(jì)算機(jī)具備人類的聽(tīng)、說(shuō)、讀、寫能力，它是未來(lái)人工智能技術(shù)最為關(guān)鍵的核心之一。比爾·蓋茨說(shuō)過(guò)，“自然語(yǔ)言處理是人工智能皇冠上的明珠，如果我們能夠推進(jìn)自然語(yǔ)言處理，就可以再造一個(gè)微軟?！?/span>
難度：把NLP看作人工智能皇冠上的明珠，其難度可想而知。來(lái)看下面這個(gè)例子：
詞完全一樣，意義截然相反。人在理解的時(shí)候有常識(shí)，有背景，所以能夠理解；可電腦沒(méi)有常識(shí)、沒(méi)有背景，只是根據(jù)字面來(lái)處理，因此它理解的都是一樣的。這就是自然語(yǔ)言處理的難處。
歷史：自然語(yǔ)言處理隨著計(jì)算機(jī)的出現(xiàn)而出現(xiàn)，最早是做規(guī)則的系統(tǒng)，后面做統(tǒng)計(jì)的系統(tǒng)，現(xiàn)在做神經(jīng)網(wǎng)絡(luò)的系統(tǒng)。咱們中國(guó)的自然語(yǔ)言出現(xiàn)一點(diǎn)也不晚，建國(guó)之初就有人開(kāi)始做俄漢機(jī)器翻譯系統(tǒng)，后面又有人做英漢機(jī)器翻譯系統(tǒng)。我個(gè)人也有幸親歷和見(jiàn)證了機(jī)器翻譯的發(fā)展。我在哈工大的讀研時(shí)候（導(dǎo)師李生教授，1985年），從事中英機(jī)器翻譯研究，所研制的 CEMT 系統(tǒng)是中國(guó)最早通過(guò)正式鑒定的中英機(jī)器翻譯系統(tǒng)（1989年）。后來(lái)我在日本高電社領(lǐng)導(dǎo)研發(fā)了中日機(jī)器翻譯產(chǎn)品 J - 北京（1998年）。我1999年加入微軟之后先后從事了基于實(shí)例和基于統(tǒng)計(jì)機(jī)器翻譯研究，最近幾年我們做神經(jīng)機(jī)器翻譯研究。
可以說(shuō)中國(guó)的自然語(yǔ)言處理是與世界的發(fā)展同步的。目前我可以很負(fù)責(zé)任地說(shuō)，咱們中國(guó)的自然語(yǔ)言處理總體來(lái)講位居世界第二，僅次美國(guó)。為什么能有這么好的發(fā)展？得益于中國(guó)40年改革開(kāi)放，得益于各大公司和很多學(xué)校的合作，尤其值得指出的是微軟研究院與相關(guān)學(xué)校的合作影響深遠(yuǎn)。同時(shí)也得益于包括CCF在內(nèi)的各個(gè)學(xué)會(huì)過(guò)去幾十年在NLP領(lǐng)域深耕，舉辦學(xué)術(shù)會(huì)議（NLPCC最近進(jìn)入CCF-國(guó)際會(huì)議列表）和各類暑期學(xué)校和講習(xí)班，促進(jìn)學(xué)校、企業(yè)、公司各個(gè)單位合作，并推動(dòng)研究協(xié)同式、平臺(tái)式發(fā)展。
定位：人工智能就是用電腦來(lái)實(shí)現(xiàn)人類獨(dú)具的智能。使得電腦能聽(tīng)、會(huì)說(shuō)、理解語(yǔ)言、會(huì)思考、解決問(wèn)題、會(huì)創(chuàng)造。具體概括來(lái)講包括：運(yùn)算智能、感知智能、認(rèn)知智能和創(chuàng)造智能。運(yùn)算智能就是記憶和計(jì)算的能力。這一點(diǎn)計(jì)算機(jī)已經(jīng)遠(yuǎn)遠(yuǎn)超過(guò)人類。而感知智能就是電腦感知環(huán)境的能力，包括聽(tīng)覺(jué)，視覺(jué)，觸覺(jué)等等。相當(dāng)于人類的耳朵、眼睛和手。認(rèn)知智能包括語(yǔ)言理解、知識(shí)和推理。創(chuàng)造智能體現(xiàn)對(duì)未見(jiàn)過(guò)、未發(fā)生事物，運(yùn)用經(jīng)驗(yàn)，通過(guò)想象力、設(shè)計(jì)、實(shí)驗(yàn)、驗(yàn)證并予以實(shí)現(xiàn)的智力過(guò)程。
目前隨著感知智能的大幅度進(jìn)步，人們的焦點(diǎn)逐漸轉(zhuǎn)向了認(rèn)知智能。其中語(yǔ)言智能，也就是自然語(yǔ)言理解，則被認(rèn)為是皇冠上的明珠。一旦有突破，則會(huì)大幅度推動(dòng)認(rèn)知智能，并提高人工智能的技術(shù)，并促進(jìn)在很多重要場(chǎng)景落地。
過(guò)去幾年，由于數(shù)據(jù)越來(lái)越多，出現(xiàn)各種測(cè)試集；算法越來(lái)越復(fù)雜、越來(lái)越先進(jìn)，包括神經(jīng)網(wǎng)絡(luò)的架構(gòu)、預(yù)訓(xùn)練模型等等；計(jì)算能力越來(lái)越高，在這三大因素的作用下，自然語(yǔ)言處理得到了飛速的發(fā)展。
微軟在四個(gè)NLP典型任務(wù)取得了突破性的進(jìn)展。第一個(gè)是聊天機(jī)器人，我們中、日、英三種語(yǔ)言的聊天機(jī)器人均能達(dá)到跟人自由聊天23輪以上，目前在世界上是最好的。還有我們的閱讀理解技術(shù)、機(jī)器翻譯技術(shù)和語(yǔ)法檢查系統(tǒng)，在目前的測(cè)試集下都居世界領(lǐng)先水平，而且在相應(yīng)的測(cè)試集下都突破了人類的標(biāo)注水平。
自然語(yǔ)言有很多的應(yīng)用，像我們每天都用的輸入法、詞典、翻譯，以及我們跟中科院合作的手語(yǔ)翻譯、必應(yīng)的語(yǔ)音助手、小冰，還有自然語(yǔ)言的文本生成，對(duì)聯(lián)、詩(shī)詞、猜謎、音樂(lè)等等。
我給大家捋一下神經(jīng)網(wǎng)絡(luò)自然語(yǔ)言處理的技術(shù)體系。
首先是詞的編碼。詞編碼的目的是用多維向量來(lái)表征詞的語(yǔ)義。怎么做呢？著名的方法有兩個(gè)，一個(gè)是 CBOW（(Continuous Bag-of-Words），用周圍的詞預(yù)測(cè)當(dāng)前的詞；另一個(gè)是 Skip-gram，用當(dāng)前的詞預(yù)測(cè)周圍的詞。通過(guò)大規(guī)模的學(xué)習(xí)訓(xùn)練，就可以得到每個(gè)詞穩(wěn)定的多維向量，作為它的語(yǔ)義表示。
有了詞的語(yǔ)義表示，我們就可以進(jìn)而生成句子的語(yǔ)義表示，也叫句子的編碼。一般通過(guò)RNN（循環(huán)神經(jīng)網(wǎng)絡(luò)）或者CNN（卷積神經(jīng)網(wǎng)絡(luò)）來(lái)做。RNN從左到右對(duì)句子進(jìn)行建模，每個(gè)詞對(duì)應(yīng)一個(gè)隱狀態(tài)，該引狀態(tài)代表了從句首到當(dāng)前詞的語(yǔ)義信息，句尾的狀態(tài)就代表了全句的信息。CNN從理論上分別進(jìn)行詞嵌入 位置嵌入 卷積，加上一個(gè)向量表示，對(duì)應(yīng)句子的語(yǔ)義。
基于這樣的表征，我們就可以做編碼、解碼機(jī)制。比如說(shuō)我們可以用圖上的紅點(diǎn)，它代表全句的語(yǔ)義信息，來(lái)進(jìn)行解碼，可以從一種語(yǔ)言翻譯成另一種語(yǔ)言，凡是從一個(gè)序列串變成另外一個(gè)序列串都可以通過(guò)編碼、解碼機(jī)制來(lái)運(yùn)行。
隨后又引入了注意力模型。它綜合考量了在當(dāng)前狀態(tài)下對(duì)應(yīng)的編碼的每一個(gè)隱狀態(tài)，加權(quán)平均，來(lái)體現(xiàn)當(dāng)前的動(dòng)態(tài)輸入。這類技術(shù)引入之后，神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯就得到了飛速的發(fā)展。
后面又引入了Transformer。Transformer引入了自編碼，一個(gè)詞跟周圍的詞建立相似，引入多頭，可以引入多種特征表達(dá)，所以編碼效果或者編碼的信息更加豐富。
現(xiàn)在大家都在追捧預(yù)訓(xùn)練模型。它有幾個(gè)方法，第一個(gè)是ELMo，從左到右對(duì)句子編碼，也可以從右到左對(duì)句子編碼，每一層對(duì)應(yīng)的節(jié)點(diǎn)并起來(lái)，就形成了當(dāng)前這個(gè)詞在上下文的語(yǔ)義表示。用的時(shí)候就用這個(gè)語(yǔ)義加上詞本身的詞嵌入，來(lái)做后續(xù)的任務(wù)，性能便得到相應(yīng)的提高。
還有去年10月份比較火的BERT。它用左邊、右邊的信息來(lái)預(yù)測(cè)最外部的詞的信息，同時(shí)它也可以判斷下一句是真的下一句還是偽造的下一句，用兩種方式對(duì)句子每一個(gè)詞進(jìn)行編碼，得到的訓(xùn)練結(jié)果就表征了這個(gè)詞在上下文中的語(yǔ)義表示。基于這樣的語(yǔ)義表示，就可以判斷兩個(gè)句子的關(guān)系，比如說(shuō)是不是附屬關(guān)系，判斷一個(gè)句子的分類（例如Q&A中，判斷回答對(duì)應(yīng)的邊界是不是對(duì)應(yīng)提問(wèn)），以及對(duì)輸入的每一個(gè)詞做一個(gè)標(biāo)注，結(jié)果就得到一個(gè)詞性標(biāo)注。
預(yù)訓(xùn)練模型引起了很多人的關(guān)注。最早是一個(gè)靜態(tài)的詞的表征，所謂靜態(tài)詞的表征，就是不管上下文，表征是一樣的，比如“bank”這個(gè)詞有多個(gè)意思，它的表征也是一樣的。但是ELMo就要根據(jù)上下文體現(xiàn)它唯一的表征。
基于以上的方法，人們又開(kāi)發(fā)了一系列的新的方法，比如說(shuō)GPT-2，以及最近的XLNET，以及UNILM、MASS、MT-DNN、XLM，都是基于這種思路的擴(kuò)充，解決相應(yīng)的任務(wù)各有所長(zhǎng)。其中微軟研究院的 UNILM 可同時(shí)訓(xùn)練得到類似 BERT 和 GPT 的模型，而微軟 MASS 采用 encoder-decoder 訓(xùn)練在機(jī)器翻譯上效果比較好。還有 MT-DNN 強(qiáng)調(diào)用多任務(wù)學(xué)習(xí)預(yù)訓(xùn)練模型，而 XLM 學(xué)習(xí)多語(yǔ)言 BERT 模型，在跨語(yǔ)言遷移學(xué)習(xí)方面應(yīng)用效果顯著。針對(duì)預(yù)訓(xùn)練模型很多公司都有一些改進(jìn)，這里就不一一列舉了。
現(xiàn)在由于這種預(yù)訓(xùn)練模型大行其道，人們?cè)谒伎?，自然語(yǔ)言處理是不是應(yīng)該改換一種新的模態(tài)。過(guò)去我們都說(shuō)用基于知識(shí)的方法來(lái)充實(shí)當(dāng)前的輸入，但是過(guò)去都沒(méi)有做到特別好，而這種新的預(yù)訓(xùn)練模型給我們帶來(lái)一個(gè)新的啟發(fā)：
我們可以針對(duì)大規(guī)模的語(yǔ)料，提前訓(xùn)練好一個(gè)模型，這個(gè)模型既代表了語(yǔ)言的結(jié)構(gòu)信息，也有可能代表了所在領(lǐng)域甚至常識(shí)的信息，只不過(guò)我們看不懂。加上我們未來(lái)的預(yù)定的任務(wù)，這個(gè)任務(wù)只有很小的訓(xùn)練樣本，把通過(guò)大訓(xùn)練樣本得到的預(yù)訓(xùn)練模型，做到小訓(xùn)練樣本上，效果就得到了非常好的提升。
現(xiàn)在，NLP在許多任務(wù)上的性能都已經(jīng)超越了人類。聽(tīng)起來(lái)世界一片大好，我們把數(shù)據(jù)準(zhǔn)備好，買一大堆機(jī)器，只需要去訓(xùn)練就好了，不用管太多的事情。所以現(xiàn)在好多人在刷榜，有了新的任務(wù)，搞一堆模型、一堆數(shù)據(jù)、一堆機(jī)器，刷個(gè)榜，我們就畢業(yè)了。
但是我認(rèn)為不是這樣的，反而有強(qiáng)烈的危機(jī)感。
下面我就跟大家分析一下，目前存在的問(wèn)題，以及我們應(yīng)該怎么做才好。
第一個(gè)是無(wú)休止的計(jì)算資源的軍備競(jìng)賽。現(xiàn)在大家都用大規(guī)模的機(jī)器訓(xùn)練，同樣的算法，只要訓(xùn)練速度快，就可以快速迭代，然后你的水平就比別人高。與之同時(shí)，當(dāng)然也特別耗資源，許多模型一訓(xùn)練可能要好幾天或者好幾萬(wàn)美金。有時(shí)候它管事，但有時(shí)候也不管事。舉個(gè)例子：
在這個(gè)例子中，它用了10倍的蠻力，但是只有0.2%的效率提升。由于用了很多的資源，造成了環(huán)境的污染。最近有一篇網(wǎng)上比較火的論文，就是在討論這個(gè)計(jì)算模型。如果我們太依賴算力，就會(huì)對(duì)環(huán)境產(chǎn)生很大的影響。
第二個(gè)是過(guò)度依賴數(shù)據(jù)。首先你要標(biāo)數(shù)據(jù)，標(biāo)注的代價(jià)是非常大的。其次，數(shù)據(jù)有隱含歧視的問(wèn)題，通過(guò)數(shù)據(jù)分析，可能會(huì)得到歧視性的結(jié)果。另外數(shù)據(jù)有偏差，數(shù)據(jù)在標(biāo)注的時(shí)候請(qǐng)人標(biāo)注，人都是偷懶的，想最簡(jiǎn)單的方法去標(biāo)注，結(jié)果標(biāo)注的數(shù)據(jù)千篇一律，基于這樣的數(shù)據(jù)學(xué)的模型也只能解決標(biāo)注的數(shù)據(jù)，拿到真實(shí)任務(wù)上由于跟你標(biāo)注分布不一樣，所以根本不好使。比如說(shuō)我們做Q&A問(wèn)答系統(tǒng)，我們?cè)谒械膯?wèn)答里面都假設(shè)是第一名，但到了搜索引擎上有很多簡(jiǎn)單的問(wèn)題都解決不好。此外，還有數(shù)據(jù)隱私保護(hù)等等問(wèn)題。
我們現(xiàn)在再往前走一走，看一看，假如我們不在乎資源，不在乎計(jì)算，我們看神經(jīng)網(wǎng)絡(luò)處理一些典型的任務(wù)，它的表現(xiàn)如何，有哪些問(wèn)題。
我這里選了三個(gè)最典型的問(wèn)題。第一個(gè)是Rich Resource Tasks，即有足夠資源的任務(wù)，比如中英機(jī)器翻譯，網(wǎng)上有很多的資源。第二個(gè)Low Resources Tasks，即資源很少或沒(méi)有資源，比如說(shuō)中文到希伯來(lái)語(yǔ)的翻譯，幾乎沒(méi)有什么資源。第三個(gè)是Multi-turn Tasks，就是多輪的意思，我們的客服都是多輪的。這三類問(wèn)題基本上代表了自然語(yǔ)言最基本的問(wèn)題，如果這三類問(wèn)題都解決得很好，自然語(yǔ)言就基本OK了。我們看看這三類問(wèn)題現(xiàn)在處于什么位置上。
針對(duì)Rich Resource Tasks，我們做一個(gè)中-英神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯錯(cuò)誤分析。這是一個(gè)大語(yǔ)料訓(xùn)練的結(jié)果，
我這里選了三個(gè)最典型的問(wèn)題。第一個(gè)是Rich Resource Tasks，即有足夠資源的任務(wù)，比如中英機(jī)器翻譯，網(wǎng)上有很多的資源。第二個(gè)Low Resources Tasks，即資源很少或沒(méi)有資源，比如說(shuō)中文到希伯來(lái)語(yǔ)的翻譯，幾乎沒(méi)有什么資源。第三個(gè)是Multi-turn Tasks，就是多輪的意思，我們的客服都是多輪的。這三類問(wèn)題基本上代表了自然語(yǔ)言最基本的問(wèn)題，如果這三類問(wèn)題都解決得很好，自然語(yǔ)言就基本OK了。我們看看這三類問(wèn)題現(xiàn)在處于什么位置上。
針對(duì)Rich Resource Tasks，我們做一個(gè)中-英神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯錯(cuò)誤分析。這是一個(gè)大語(yǔ)料訓(xùn)練的結(jié)果，
我們可以看到，盡管是基于大語(yǔ)料的，但翻出來(lái)的結(jié)果還有很多錯(cuò)誤，包括翻錯(cuò)詞、丟詞、不合語(yǔ)法等。
例如這個(gè)“土方”不是“earth”，而是“土耳其”的意思。因?yàn)樯窠?jīng)網(wǎng)絡(luò)現(xiàn)在不可解釋，它是黑箱，你也不知道它在哪兒丟的，有可能是數(shù)據(jù)問(wèn)題，有可能是模型問(wèn)題。
還有成語(yǔ)，成語(yǔ)是很麻煩的，你即使學(xué)了很多的成語(yǔ)，在一個(gè)新的句子中，成語(yǔ)的翻譯也要發(fā)生變化，所以它要?jiǎng)討B(tài)的計(jì)算。
所以即使在這樣的足夠資源的算法里面，仍然存在眾多的問(wèn)題要研究，比如說(shuō)丟詞，如何把詞典集成進(jìn)來(lái)，如何上下文判斷一些問(wèn)題，然后還有領(lǐng)域自適應(yīng)、主體自適應(yīng)等等，誰(shuí)也不敢說(shuō)這些問(wèn)題通過(guò)Rich-Resource就解決了，這里面有上下文件聯(lián)系的問(wèn)題，還有數(shù)據(jù)歧視的問(wèn)題，還有Multi-task learning，還有Human knowledge。
第二個(gè)是Low Resources Tasks，就是沒(méi)什么語(yǔ)料，學(xué)起來(lái)很難，因此要借力。常用的有三種。
第一是遷移模型，把從其它語(yǔ)料中學(xué)習(xí)到的內(nèi)容遷移過(guò)來(lái)。遷移訓(xùn)練最常見(jiàn)的就是前面介紹的預(yù)訓(xùn)練模型，把它加到目標(biāo)任務(wù)上。
第二是跨語(yǔ)言學(xué)習(xí)，即從其它語(yǔ)言學(xué)習(xí)過(guò)來(lái)。比如說(shuō)英文有很多語(yǔ)料，我把英文的訓(xùn)練模型用到法語(yǔ)、德語(yǔ)上，這個(gè)方式很流行。
第三是利用種子進(jìn)行迭代學(xué)習(xí)，比如我有一個(gè)小辭典，有幾條規(guī)則，有幾條雙語(yǔ)，我能不能用它當(dāng)做一個(gè)引子，做一個(gè)冷啟動(dòng)，啟動(dòng)之后再迭代改進(jìn)。
雖然我們做了很多的研究，但是在Low-Resource方面，我們并沒(méi)有一個(gè)很好的辦法。首先Low-Resource如何建模，如何從數(shù)據(jù)分析中做無(wú)監(jiān)督或少監(jiān)督的學(xué)習(xí)，這是沒(méi)有明確回答的問(wèn)題。怎么做Transfer Learning，怎么做Unsupervised learning，也是目前的一個(gè)難題。還有一些先驗(yàn)的規(guī)則辭典，如何讓它冷啟動(dòng)起來(lái)；人能不能參與其中幫助一個(gè)開(kāi)始弱小的系統(tǒng)逐漸變得更加強(qiáng)大。這些都是目前熱門的話題，都還沒(méi)有很好地解決。
第三個(gè)是Multi-turn Task（多輪問(wèn)題）。以多輪對(duì)話為例。我們看下面這個(gè)例子：
我們可以看到，對(duì)于小孩子很簡(jiǎn)單的問(wèn)題，電腦卻不知道該怎么回答。其原因在于目前的自然語(yǔ)言處理還沒(méi)有很好地解決常識(shí)和推理的問(wèn)題。
此外，還有前后不一致、自我矛盾的問(wèn)題。比如說(shuō)用戶問(wèn)“你今天多大了”？聊天機(jī)器人說(shuō)“我16了”。隔幾天用戶又問(wèn)“你今天多大了”？它可能說(shuō)“我24歲”，自己前后不一致了.還有空間不一致、邏輯不一致的問(wèn)題.這就需要人跟機(jī)器對(duì)話的時(shí)候，要有一個(gè)記憶體系，把說(shuō)過(guò)的話的特征存儲(chǔ)起來(lái)，將來(lái)在用的時(shí)候，要抽取這樣的信息來(lái)表征一個(gè)機(jī)器人各方面的信息。
推理是要做很多事情。第一是要了解上下文，說(shuō)過(guò)什么話，答過(guò)什么問(wèn)題，干過(guò)什么事都要存儲(chǔ)起來(lái)，記憶起來(lái)。第二是各種各樣的知識(shí)要用起來(lái)。第三才是推理的部分，這里面涉及到語(yǔ)義分析、上下文的指代消解、省略消解。最后，還有就是可解釋的問(wèn)題，如果你的推理不可解釋的話，那就沒(méi)有人會(huì)相信，導(dǎo)致你的系統(tǒng)無(wú)法進(jìn)行進(jìn)一步的推進(jìn)。
我們未來(lái)到底需要什么樣的自然語(yǔ)言處理系統(tǒng)呢？我認(rèn)為要做出可解釋、有知識(shí)、有道德、可自我學(xué)習(xí)的NLP系統(tǒng)。這是一個(gè)很高的目標(biāo)，現(xiàn)在離這個(gè)目標(biāo)差得很遠(yuǎn)。
我們?cè)趺礃觼?lái)實(shí)現(xiàn)這樣的目標(biāo)呢？我們要從具體的任務(wù)出發(fā)，找出存在的問(wèn)題。剛才我說(shuō)了，Rich-Resource存在什么問(wèn)題呢？上下文建模、數(shù)據(jù)糾偏、多任務(wù)學(xué)習(xí)、人類知識(shí)的理解。再往下，Low-Resource又有什么問(wèn)題要解決呢？我也列出了一些問(wèn)題。多輪要解決什么問(wèn)題呢？就是要解決知識(shí)常識(shí)、上下文建模、推理機(jī)制、可解釋等等。
如果我們有所推進(jìn)的話，我們的認(rèn)知智能就會(huì)進(jìn)一步提升，包括語(yǔ)言的理解水平、推理水平、回答問(wèn)題能力、分析能力、解決問(wèn)題的能力、寫作能力、對(duì)話能力等等。然后再加上感知智能的進(jìn)步，聲音、圖象、文字的識(shí)別和生成的能力，以及多模態(tài)文、圖交叉的能力，通過(guò)文字可以生成圖象，根據(jù)圖象可以生成描述的文字等等，我們就可以推進(jìn)很多人類的應(yīng)用，包括搜索引擎、智能客服，包括教育、財(cái)政、電子商務(wù)等等各個(gè)方面的應(yīng)用。也可以把AI技術(shù)用在我們的產(chǎn)業(yè)上，幫助產(chǎn)業(yè)實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型。
要想實(shí)現(xiàn)這件事其實(shí)是不容易的，需要各個(gè)方面綜合努力，所以NLP的未來(lái)之路需要不同的公司、學(xué)校、政府、企業(yè)、投資等等各個(gè)角度進(jìn)行配合。
我這里總結(jié)一下，主要有6個(gè)角度非常重要。
第一是計(jì)算機(jī)的能力，剛才說(shuō)到芯片、存儲(chǔ)器、云計(jì)算和管理，與之有關(guān)的還有模型壓縮和加速問(wèn)題。
第二是數(shù)據(jù)方面，數(shù)據(jù)非常重要，全社會(huì)都要貢獻(xiàn)自己的數(shù)據(jù)，然后取長(zhǎng)補(bǔ)短，大家一起努力。數(shù)據(jù)上面還有一個(gè)隱私保護(hù)下的學(xué)習(xí)，這是非常重要的一點(diǎn)。
第三是模型，剛才說(shuō)到很多，有監(jiān)督的學(xué)習(xí)、無(wú)監(jiān)督的學(xué)習(xí)、少監(jiān)督的學(xué)習(xí)，然后是預(yù)訓(xùn)練模型，還有神經(jīng)網(wǎng)絡(luò)跟人類知識(shí)和常識(shí)如何結(jié)合，把推理和可解釋性融入到我們的學(xué)習(xí)體系之中。
第四是人才培養(yǎng)，一定要靠人來(lái)實(shí)現(xiàn)整體的過(guò)程。人才如何進(jìn)行培養(yǎng)呢？要注重實(shí)踐性，讓他們有很強(qiáng)的實(shí)踐意識(shí)，而不是天天去推公式，還要有邏輯上的理解。
第五是合作，校企合作、不同學(xué)科的合作、國(guó)家的合作、企業(yè)界、投資界、政府各個(gè)方面的合作，形成一個(gè)生態(tài)，大家在里面各得其所，來(lái)穩(wěn)步推進(jìn)。
第六是強(qiáng)調(diào)應(yīng)用，通過(guò)應(yīng)用獲得真實(shí)的數(shù)據(jù)、用戶的反饋，然后改進(jìn)我們的系統(tǒng)，也通過(guò)應(yīng)用提升學(xué)生的動(dòng)手能力，也是通過(guò)應(yīng)用使我們了解人和機(jī)器在一個(gè)真實(shí)的系統(tǒng)里如何相得益彰、互相配合，實(shí)現(xiàn)人工智能和人類智能的雙向結(jié)合。
謝謝大家！
End
我們將會(huì)在本次峰會(huì)后，在「AI投研邦」上線CCF GAIR 2019峰會(huì)完整視頻與各大主題專場(chǎng)白皮書，包括機(jī)器人前沿專場(chǎng)、智能交通專場(chǎng)、智慧城市專場(chǎng)、AI芯片專場(chǎng)、AI金融專場(chǎng)、AI醫(yī)療專場(chǎng)、智慧教育專場(chǎng)等。「AI投研邦」會(huì)員們可免費(fèi)觀看全年峰會(huì)視頻與研報(bào)內(nèi)容，掃碼進(jìn)入會(huì)員頁(yè)面了解更多。峰會(huì)期間專享立減399元福利，可進(jìn)入頁(yè)面直接領(lǐng)取，或私信助教小慕（微信：moocmm）咨詢。（最后一天50個(gè)名額，速搶。）
聯(lián)系客服
