誕生之日起，百度就將自然語言處理技術(shù)廣泛應(yīng)用于其各個業(yè)務(wù)中，比如百度搜索、query 改寫、分詞、專名識別等。隨著技術(shù)的進步，應(yīng)用場景不斷拓展，自然語言處理技術(shù)也發(fā)揮越來越重要的作用。百度很早就做了比較全面的布局，涵蓋語義理解、人機對話、機器翻譯、閱讀理解、深度問答、語言生成等重要方向。其中，既有核心技術(shù)、前瞻研究，也有應(yīng)用系統(tǒng)。
過去兩年，預(yù)訓練技術(shù)在 NLP 領(lǐng)域發(fā)展迅速，刷新了 NLP 各類任務(wù)的最好結(jié)果（SOTA）。百度研發(fā)團隊看到了預(yù)訓練技術(shù)帶來的廣闊前景，判斷出這項技術(shù)將會是 NLP 未來發(fā)展的重要方向，也會為公司業(yè)務(wù)線賦能。因此，在語義理解方面，百度 2019 年研發(fā)出了基于知識增強的持續(xù)學習語義理解框架 ERNIE。
ERINE 項目地址：
https://github.com/PaddlePaddle/ERNIE
據(jù)何中軍介紹，相對于國際上其他的模型，ERNIE 可以持續(xù)地學習海量數(shù)據(jù)中詞匯、結(jié)構(gòu)、語義等知識，使得模型效果不斷提升，而傳統(tǒng)模型主要學習語言的共現(xiàn)，沒有對海量數(shù)據(jù)中的其他豐富知識進行建模。由于對知識的有效利用以及模型的創(chuàng)新，ERNIE 僅用了 1/4 的訓練數(shù)據(jù)和 1/16 的 GPU 資源，在 GLUE 評測中首次突破 90 分，超過了國際上許多其他同類模型。
為了使 ERNIE 在業(yè)務(wù)中廣泛落地，百度又提出 ERNIE 輕量化技術(shù)，將其響應(yīng)時間壓縮至千分之一，極大地降低了 ERNIE 性能開銷，使得 ERNIE 在工業(yè)界得到了大規(guī)模應(yīng)用。當前 ERNIE 在搜索、信息流、小度音箱、智能客服等數(shù)十個核心業(yè)務(wù)上落地，提升了產(chǎn)品智能化水平，幫助人們更加方便、快捷、準確地獲取信息。
隨著 ERNIE 累計學習知識量的積累，機器資源也面臨著巨大挑戰(zhàn)。據(jù)何中軍稱，“目前，ERNIE 累計學習知識量已經(jīng)超過十億?！?為了解決海量數(shù)據(jù)對機器資源造成的壓力，百度研發(fā)團隊又基于自研的深度學習平臺“飛槳”，研發(fā)出了持續(xù)學習的預(yù)訓練算法，使得模型的訓練不用每次重啟，而是增量的方式進行學習，極大節(jié)省了模型訓練成本。同時，基于 ERNIE 研發(fā)了新一代 NLP 開發(fā)平臺，幫助開發(fā)者迅速將最新技術(shù)成果應(yīng)用于自身業(yè)務(wù)。
近年來，機器同傳結(jié)合了語音處理技術(shù)和機器翻譯技術(shù)，無論前瞻研究還是實際系統(tǒng)應(yīng)用，都取得了較大進展。
去年，百度機器翻譯團隊創(chuàng)新性地提出了語義單元驅(qū)動的機器同傳模型，并基于此發(fā)布了業(yè)內(nèi)首個語音到語音的同傳系統(tǒng)，提供低時延、高質(zhì)量的同傳解決方案。
在談到百度機器同傳在發(fā)展過程中遇到的技術(shù)難點時，何中軍表示：
目前，機器同傳面臨最大的挑戰(zhàn)是如何在翻譯質(zhì)量和時間延遲上取得平衡。與文本翻譯不同，同傳系統(tǒng)不能等到一個句子說完了再開始翻譯，那樣就失去了同傳的意義。而如果不等待較多的信息，翻譯質(zhì)量就會嚴重下降。因此，百度從人類同傳譯員得到啟發(fā)，提出了基于語義信息單元的同傳模型?；镜某霭l(fā)點是將一個有確定意義的片段作為翻譯的基本單元，使得模型既能夠獲得足夠的上下文信息，又能保證實時性。此外，百度還結(jié)合了語音合成技術(shù)，研發(fā)了語音到語言的同傳系統(tǒng)。如同身邊一位虛擬同傳譯員，帶上耳機，就可以聽到用自己母語播報出來的演講內(nèi)容，獲得沉浸式體驗。
經(jīng)過持續(xù)技術(shù)創(chuàng)新，如今，百度翻譯在多語言翻譯、同聲傳譯等方向上取得了多項突破，支持全球 200 種語言、近 40000 個方向的互譯；通過開放平臺，支持了超過 30 萬個開發(fā)者接入；機器同傳成功應(yīng)用于幾十場大型國際會議。
自然語言處理一直是人工智能領(lǐng)域的重要研究方向，由于人類語言的復(fù)雜、靈活、多樣，使得自然語言處理也充滿挑戰(zhàn)。近年來，在人工智能迅速發(fā)展的大背景下，自然語言處理也取得了長足的進步。
顯而易見的是，NLP 領(lǐng)域的研究方法和范式發(fā)生了深刻的變革。深度學習與自然語言處理具體任務(wù)相結(jié)合，進一步挖掘了大數(shù)據(jù)的潛力，系統(tǒng)性能大幅提升。例如，機器翻譯主流技術(shù)由原來的統(tǒng)計方法轉(zhuǎn)變?yōu)樯窠?jīng)網(wǎng)絡(luò)的方法，翻譯質(zhì)量的提升超過過去十年的總和；預(yù)訓練技術(shù)廣泛應(yīng)用于 NLP 各任務(wù)，在國際權(quán)威的基準測試集 GLUE 上甚至超過了人類平均水平。預(yù)訓練（Pre-training）加精細化調(diào)整（Fine-tuning）幾乎成為 NLP 的標配，使得具體領(lǐng)域的小樣本數(shù)據(jù)不再是一個個的孤島，而是能站在大數(shù)據(jù)這個巨人的肩膀上進一步發(fā)揮威力。
各領(lǐng)域技術(shù)邊界日趨模糊，互相取長補短，深度融合。例如應(yīng)用于機器翻譯的序列到序列建模技術(shù)，在語音、圖像處理等也都取得了很好的效果，而在圖像處理中廣泛使用的卷積神經(jīng)網(wǎng)絡(luò)也被用來構(gòu)建機器翻譯模型。如果將圖像作為輸入，文字作為輸出，則可以用序列到序列的技術(shù)進行圖文翻譯。語音、語言、視覺等技術(shù)深度融合，促進了跨模態(tài)的研究和應(yīng)用。
應(yīng)用場景大幅拓展、不斷深化。自然語言處理技術(shù)使得計算機在理解、對話、創(chuàng)作等方面的能力都大大加強，在搜索、金融、教育、客服等場景發(fā)揮越來越重要的作用。人們開始習慣于使用更加自然、口語化的表達來與計算機進行交流。由此產(chǎn)生的多樣化、場景化的數(shù)據(jù)又反哺技術(shù)，用于訓練模型，提升效果。
開源開放的生態(tài)大大降低了 NLP 研發(fā)和應(yīng)用門檻，促進了 NLP 的繁榮發(fā)展。比如“飛槳”平臺集成了 NLP 豐富的模型，同時還提供免費的算力，使得開發(fā)者可以很容易的接入，基于業(yè)界領(lǐng)先的技術(shù)和平臺開發(fā)系統(tǒng)，而不必從頭做起。再如我們聯(lián)合計算機學會、中文信息學會舉辦的“語言與智能”技術(shù)競賽，開放大規(guī)模真實場景數(shù)據(jù)，每年都吸引國內(nèi)外數(shù)千支隊伍報名參加，共同推進技術(shù)發(fā)展與應(yīng)用。
在談到 NLP 技術(shù)未來的發(fā)展方向時，何中軍表示：
當前，NLP 研究和應(yīng)用呈現(xiàn)出百花齊放、百家爭鳴的繁榮發(fā)展態(tài)勢，開源開放的生態(tài)環(huán)境更加促進了技術(shù)發(fā)展和產(chǎn)業(yè)應(yīng)用。可以說，技術(shù)進步與應(yīng)用場景互相作用，共同發(fā)展。技術(shù)進步將進一步拓寬應(yīng)用場景，而豐富的場景應(yīng)用又驅(qū)動技術(shù)變革。隨著技術(shù)的進步，人們將享受到更多便利。
新的學習機制、跨模態(tài)通用表示、更好的學習和利用知識等將會是重要的發(fā)展方向。人工神經(jīng)網(wǎng)絡(luò)帶來了學習范式的革新，然而人們至今沒有全面清晰地了解人類大腦的工作機理，腦科學、認知科學、人工智能等多學科交叉融合，探索新的學習機制將帶來新的技術(shù)進步。結(jié)合語音、視覺等技術(shù)的跨模態(tài)通用表示，將進一步增強模型的學習和表達能力，擴展 NLP 的研究和應(yīng)用范疇。深入結(jié)合常識、世界知識、文化背景知識等將使得模型從淺層的符號運算進一步深入認知層面。當然，NLP 面臨的挑戰(zhàn)遠不止以上幾點，在發(fā)展的道路上也注定不是一帆風順，需要我們攜手并肩，共同努力。
聯(lián)系客服
