文心一言根據(jù)“畫一張晶瑩剔透的牡丹花”指令生成的圖片。百度供圖
王海峰
■本報記者 趙廣立
“'奇變偶不變’下一句是什么？”“這句話的下一句是'符號看象限’?！?/p>
“'波棱蓋卡禿嚕皮了’是什么意思？”“波棱蓋卡禿嚕皮了是指膝蓋在馬路牙子上磕破皮的意思，是一句東北方言?！?/p>
“宮廷玉液酒多少錢一杯？”“宮廷玉液酒是小品中'太后大酒樓’的招牌酒水，售價180元，由二鍋頭兌水而成?！?/p>
……
自3月16日百度新一代知識增強大語言模型“文心一言”開啟邀請測試后，連日來人們逐漸對其超出預(yù)期的表現(xiàn)刮目相看。尤其在類似上述“只有中國人看得懂”的問答中，文心一言的表現(xiàn)超過了 ChatGPT 和 GPT-4。
文心一言是如何煉成的？在它背后有哪些技術(shù)加持？近日，百度首席技術(shù)官王海峰對文心一言所應(yīng)用的技術(shù)及其特性和背靠的技術(shù)積累一一作了解讀。
核心技術(shù)加持，文心一言將越來越強大
新一代知識增強大語言模型文心一言，是在百度ERNIE及PLATO系列模型基礎(chǔ)上研發(fā)的，具有對話交互、內(nèi)容創(chuàng)作、知識推理、多模態(tài)生成等能力。王海峰介紹說，支撐文心一言的關(guān)鍵技術(shù)包括有監(jiān)督精調(diào)、人類反饋的強化學(xué)習(xí)、提示、知識增強、檢索增強和對話增強。
“前三項是這類大語言模型都會采用的技術(shù)，在ERNIE和PLATO中已有應(yīng)用和積累，并在文心一言中進(jìn)一步強化和打磨；后三項則是百度已有技術(shù)優(yōu)勢的再創(chuàng)新，也是文心一言未來越來越強大的基礎(chǔ)?！蓖鹾７逭f。
王海峰介紹，文心一言的知識增強主要有“知識內(nèi)化”和“知識外用”兩種方式。其中，知識內(nèi)化是從大規(guī)模知識和無標(biāo)注數(shù)據(jù)中基于語義單元學(xué)習(xí)，利用知識構(gòu)造訓(xùn)練數(shù)據(jù)，將知識學(xué)習(xí)到模型參數(shù)中；知識外用則是引入外部多源異構(gòu)知識，做知識推理、提示構(gòu)建等。
文心一言的檢索增強則來自以語義理解與語義匹配為核心技術(shù)的新一代搜索架構(gòu)。王海峰說，通過引入搜索結(jié)果，可以為大模型提供時效性強、準(zhǔn)確率高的參考信息，這也是文心一言能夠在一些問答中強于ChatGPT表現(xiàn)的重要原因之一。
在對話增強方面，基于對話技術(shù)和應(yīng)用積累，文心一言具備記憶機制、上下文理解和對話規(guī)劃能力，從而更好實現(xiàn)對話的連貫性、合理性和邏輯性。
文心一言還融合了不同類型的數(shù)據(jù)和知識，自動構(gòu)造提示，包括實例、提綱、規(guī)范、知識點和思維鏈等，提供了豐富的參考信息，激發(fā)模型相關(guān)知識，生成高質(zhì)量結(jié)果。
此外，百度構(gòu)建了面向中文、服務(wù)應(yīng)用、富含知識的多樣化訓(xùn)練數(shù)據(jù)，對文心一言進(jìn)行有監(jiān)督精調(diào)，使其掌握的知識更精準(zhǔn)，更懂中文和應(yīng)用場景。比如“宮廷玉液酒多少錢一杯”等中文語境下特有的“知識問答”，必須要用中文語料“開小灶”。
文心一言將變得越來越好。王海峰說，文心一言開放測試后，將迅速建立起人類反饋、獎勵模型和策略優(yōu)化之間的“飛輪”機制。隨著真實用戶的反饋越來越多，文心一言的效果會越來越好、能力會越來越強。
集齊四層架構(gòu)“召喚”文心一言
百度早在2019年就發(fā)布了文心大模型ERNIE 1.0，如今已從最初的自然語言處理（NLP）大模型發(fā)展成為跨語言、跨模態(tài)、跨任務(wù)、跨行業(yè)的大模型平臺。王海峰認(rèn)為，文心一言是百度多年技術(shù)積累和產(chǎn)業(yè)實踐的水到渠成。
傳統(tǒng)的IT技術(shù)棧一般分為三層——芯片層、操作系統(tǒng)層和應(yīng)用層。而隨著人類進(jìn)入AI時代，IT技術(shù)棧發(fā)生了新的變化，從三層變?yōu)樗膶印酒瑢?、框架層、模型層、?yīng)用層。其中，文心一言位于模型層。
百度是全球范圍內(nèi)少有的在IT四層技術(shù)棧架構(gòu)中，每一層都有領(lǐng)先技術(shù)的公司。從高端芯片“昆侖”到“飛槳”深度學(xué)習(xí)框架，再到“文心”預(yù)訓(xùn)練大模型，以及搜索、智能云、自動駕駛、小度等各類應(yīng)用，百度在各個層面都有領(lǐng)先業(yè)界的自研技術(shù)。
在芯片層，百度自研AI芯片“昆侖”已在多場景實際部署數(shù)萬片，展現(xiàn)出出色的性能，并為文心一言提供底層算力保證。
在框架層，百度自主研發(fā)了中國首個開源開放的產(chǎn)業(yè)級深度學(xué)習(xí)平臺——飛槳，它包括核心框架、產(chǎn)業(yè)級模型庫、開發(fā)套件、工具組件及學(xué)習(xí)和實訓(xùn)社區(qū)，能夠標(biāo)準(zhǔn)化、自動化地支撐模型生產(chǎn)和應(yīng)用。
在模型層，百度文心大模型不僅擁有NLP、計算機視覺（CV）、跨模態(tài)等基礎(chǔ)大模型，以及對話、跨語言、搜索、信息抽取等任務(wù)大模型，還有生物計算領(lǐng)域大模型、各行業(yè)大模型及支撐大模型應(yīng)用的工具平臺，形成了“基礎(chǔ)-任務(wù)-行業(yè)”三級大模型技術(shù)體系，具備知識增強和產(chǎn)業(yè)級兩大特色。
在應(yīng)用層，以百度搜索為例，每天響應(yīng)幾十億次真實的用戶使用需求，能夠提供最真實、最及時的反饋，從而倒逼大模型、深度學(xué)習(xí)框架和芯片的優(yōu)化。
“全棧布局的優(yōu)勢在于，百度在技術(shù)棧四層架構(gòu)中，可以實現(xiàn)'層與層的反饋’和'端到端的優(yōu)化’，進(jìn)而大幅提升效率?！蓖鹾７逯赋?，框架層和模型層之間有很強的協(xié)同作用，可以幫助構(gòu)建更高效的模型，并顯著降低成本。正是飛槳深度學(xué)習(xí)平臺和文心大模型的聯(lián)合優(yōu)化，為文心一言提供了堅實的技術(shù)支撐。
值得一提的是，超大規(guī)模模型的訓(xùn)練和推理給深度學(xué)習(xí)框架帶來很大考驗，為了支持千億參數(shù)模型的高效分布式訓(xùn)練，百度飛槳專門研發(fā)了4D混合并行技術(shù)。在推理部署方面，飛槳支持大模型高效推理，并提供服務(wù)化部署能力。王海峰強調(diào)，正是有賴于飛槳深度學(xué)習(xí)平臺的支撐，今天的文心一言效果更好、效率更高、性能更強。
AGI？AI模擬人的智能并服務(wù)人類
在文心一言新聞發(fā)布會上，百度創(chuàng)始人、董事長兼CEO李彥宏談到，不斷涌現(xiàn)的新技術(shù)正給社會帶來各種各樣新的可能性。
“文心一言們”的下一站會是通用人工智能（AGI）嗎？王海峰分享了他的思考。
王海峰說，回顧前幾次工業(yè)革命，可以發(fā)現(xiàn)機械技術(shù)、電力技術(shù)、信息技術(shù)等通用性強的技術(shù)，會在工業(yè)大生產(chǎn)階段真正發(fā)揮價值。AI也一樣，目前其技術(shù)在不斷進(jìn)步、應(yīng)用越來越廣泛，接下來如何在工業(yè)大生產(chǎn)階段發(fā)揮價值，“是我們追求的目標(biāo)”。
“但是，正如人造衛(wèi)星永遠(yuǎn)不會和月球這樣的自然衛(wèi)星畫等號一樣，我個人認(rèn)為，AI永遠(yuǎn)不會直接跟人類的智能完全畫等號?！蓖鹾７甯嬖V《中國科學(xué)報》，不斷進(jìn)步的人工智能體會模仿人的許多能力如學(xué)習(xí)、理解和思維，但AI始終不是人類智能。
“我們研究AI是在研究用技術(shù)手段來模擬、延伸和拓展人的智能，最終目的是為人類帶來更先進(jìn)的科技，服務(wù)于人類更美好的生活和社會的發(fā)展。”王海峰說，“當(dāng)你發(fā)現(xiàn)AI在很多領(lǐng)域都達(dá)到甚至超越人類水平的時候，你可以認(rèn)為它在一定程度上已經(jīng)實現(xiàn)了AGI，但是，我們也可以不關(guān)心這個概念本身，而是關(guān)心它為人類帶來的價值?！?/p>
聯(lián)系客服
