機(jī)器之心報(bào)道
百度文心一言效果到底怎樣呢？我們親自試了試，結(jié)果發(fā)現(xiàn)……
數(shù)天前，GPT-4 的發(fā)布可以說給全球科技巨頭都帶來了巨大的壓力，即使是谷歌，都似乎被壓的有些抬不起頭。
而在國內(nèi)，一直悶頭打造文心一言的百度昨日站到了聚光燈下。
頂著 GPT-4 帶來的壓力，昨日百度正式發(fā)布了知識(shí)增強(qiáng)大語言模型「文心一言」。
在當(dāng)天的 Demo 環(huán)節(jié)，百度創(chuàng)始人、董事長兼 CEO 李彥宏展示了文心一言在文學(xué)創(chuàng)作、商業(yè)文案創(chuàng)作、數(shù)理邏輯推算、中文理解和多模態(tài)生成五大方面的能力。
中國俗話說，是騾子是馬拉出來遛遛。在拿到測(cè)試資格后，機(jī)器之心立即體驗(yàn)了一把文心一言。
圖：文心一言的對(duì)話界面
初體驗(yàn)帶來的驚喜
在獲得體驗(yàn)資格后，很多讀者期待我們用這些問題來測(cè)試文心一言。
下圖中為 GPT-4 為文心一言設(shè)計(jì)的測(cè)試題，從文學(xué)、翻譯、創(chuàng)作、邏輯推理等多個(gè)角度測(cè)試，在網(wǎng)上也廣為流傳。
那么結(jié)果如何？我們挑選了幾個(gè)有代表性的回答來看。
首先是翻譯問題，要求翻譯成「優(yōu)美」的中文詩句。效果確實(shí)很贊。
然后是量子糾纏的科學(xué)問題，從結(jié)果來看知識(shí)性的回答效果不錯(cuò)。
最后的邏輯推理問題：回答有缺陷。但從結(jié)果中我們明顯可以看出文心一言是的確進(jìn)行分析了，有思維鏈，但是結(jié)果不對(duì)。
然后，我們也測(cè)試了一個(gè)在 ChatGPT 上經(jīng)常玩的梗，文心一言也能拿捏。
另外，文心一言也具備多模態(tài)生成能力，包括生成圖片、生成語音（包括方言）以及生成視頻的能力。
以生成圖片為例，我們讓文心一言生成了一張湖心亭看雪的水墨畫，生成速度、效果都挺令人滿意的。
現(xiàn)場(chǎng)李彥宏 Demo 的生成視頻的能力給觀眾留下深刻印象。但目前還未開放，期待后續(xù)的更新。
一番體驗(yàn)下來， 文心一言真的超乎了我們的預(yù)期。目前來看，腦暴的題目答的很好；翻譯和文生圖的效果真的很贊；寫代碼能力還有很大的提升空間。雖然有的問題也會(huì)和 ChatGPT 一樣「胡說八道」，但畢竟嶄新出爐，相信后續(xù)迭代會(huì)有提升。
專注中文理解與生成
揭秘文心一言背后的關(guān)鍵技術(shù)
體驗(yàn)完文心一言，我們來了解下其背后的技術(shù)。在昨天的發(fā)布會(huì)上，百度 CTO 王海峰總結(jié)介紹了文心一言背后的關(guān)鍵技術(shù)。
從整體來看，百度文心一言基于知識(shí)增強(qiáng)千億大模型 ERNIE，同時(shí)借鑒了文心對(duì)話大模型 PLATO，二者的技術(shù)都在文心一言身上得到了延伸，在訓(xùn)練過程中不斷改進(jìn)。
具體來講，文心一言包含了六個(gè)核心技術(shù)模塊，分別是有監(jiān)督精調(diào)、人類反饋的強(qiáng)化學(xué)習(xí)、提示以及知識(shí)增強(qiáng)、檢索增強(qiáng)和對(duì)話增強(qiáng)。其中前三類技術(shù)是對(duì)話大模型都會(huì)用到的，后三類技術(shù)為百度已有技術(shù)優(yōu)勢(shì)的再創(chuàng)新，它們共同構(gòu)筑了文心一言的技術(shù)根基，并在對(duì)話效果上得到充分釋放和呈現(xiàn)。
持續(xù)優(yōu)化對(duì)話大模型通用技術(shù)
針對(duì)有監(jiān)督精調(diào)，除了標(biāo)準(zhǔn)的有監(jiān)督精調(diào)技術(shù)，百度也做了針對(duì)性的優(yōu)化。首先文心一言做了更多中文標(biāo)注數(shù)據(jù)，基于對(duì)中國語言文化和中文應(yīng)用場(chǎng)景的理解來選擇數(shù)據(jù)，因而在中文任務(wù)上更好用。其次服務(wù)應(yīng)用，百度在為其個(gè)人用戶和企業(yè)客戶服務(wù)中積累了大量對(duì)應(yīng)用需求的理解，在精調(diào)數(shù)據(jù)時(shí)發(fā)揮了作用。最后富含知識(shí)，除了將知識(shí)圖譜應(yīng)用在知識(shí)增強(qiáng)過程中，還基于知識(shí)圖譜產(chǎn)生了很多事實(shí)證明有效的數(shù)據(jù)來用于數(shù)據(jù)精調(diào)。
我們知道，OpenAI 在調(diào)優(yōu) ChatGPT 時(shí)使用了監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)的組合，其中強(qiáng)化學(xué)習(xí)組件用到了人類反饋的強(qiáng)化學(xué)習(xí)（RLHF）訓(xùn)練機(jī)制，使得模型在訓(xùn)練中使用人類反饋以最小化無益、失真或偏見的輸出。
百度也非?？粗?RLHF 機(jī)制在訓(xùn)練中的重要性，提出了一套完整的技術(shù)，也被證明非常有效。首先接收人類反饋，然后使用反饋數(shù)據(jù)來訓(xùn)練獎(jiǎng)勵(lì)模型，最后再做強(qiáng)化學(xué)習(xí)的策略優(yōu)化。但應(yīng)看到，由于文心一言剛剛上線，用戶需求和反饋數(shù)據(jù)尚不充分，因而后續(xù)一定會(huì)基于更多真實(shí)反饋獲得進(jìn)化。
提示（prompt）已經(jīng)成為與大模型尤其是對(duì)話大模型互動(dòng)最自然直觀的方式。千億以上參數(shù)的大模型往往蘊(yùn)含了極其豐富的數(shù)據(jù)和知識(shí)，如何快速準(zhǔn)確找到并應(yīng)用這些數(shù)據(jù)和知識(shí)變得至關(guān)重要。這時(shí)提示構(gòu)建得好不好將直接影響語言模型表現(xiàn)出的能力，因此文心一言在這方面下了大功夫。
當(dāng)用戶輸入提示時(shí)可以基于很多自動(dòng)構(gòu)建的方法來提升效果，比如補(bǔ)充實(shí)例（解題時(shí)給出示例）、創(chuàng)作時(shí)給出提綱、規(guī)范等。此外大語言模型也會(huì)出現(xiàn)錯(cuò)誤，這時(shí)加入已知的準(zhǔn)確知識(shí)點(diǎn)也能提升回答準(zhǔn)確性。最后在構(gòu)建提示時(shí)加入思維鏈也會(huì)使答案更合理，邏輯更清晰。
獨(dú)特優(yōu)勢(shì)構(gòu)成文心一言強(qiáng)大根基
除了繼續(xù)強(qiáng)化打磨大語言模型的通用技術(shù)，百度還針對(duì)知識(shí)增強(qiáng)、檢索增強(qiáng)和對(duì)話增強(qiáng)三個(gè)已有優(yōu)勢(shì)進(jìn)行再創(chuàng)新。
知識(shí)增強(qiáng)是文心大模型的核心特色之一，通過從海量的知識(shí)和數(shù)據(jù)中融合學(xué)習(xí)，模型能夠?qū)崿F(xiàn)更高的效率、更好的效果、更強(qiáng)的可解釋性。做到這些需要兩方面的技術(shù) —— 知識(shí)內(nèi)化和知識(shí)外用。知識(shí)內(nèi)化是從大規(guī)模知識(shí)和無標(biāo)注數(shù)據(jù)中，基于語義單元學(xué)習(xí)，利用知識(shí)構(gòu)造訓(xùn)練數(shù)據(jù)，將知識(shí)學(xué)習(xí)到模型參數(shù)中；知識(shí)外用是指知識(shí)在模型參數(shù)中未內(nèi)化進(jìn)去，但在推理過程中引入外部多源異構(gòu)知識(shí)，做知識(shí)推理、提示構(gòu)建等。
此外通過知識(shí)圖譜來構(gòu)建訓(xùn)練數(shù)據(jù)，達(dá)到知識(shí)內(nèi)化的效果。百度擁有世界上最大的多源異構(gòu)知識(shí)圖譜，包含了 50 億實(shí)體和 5500 億事實(shí)，并在不斷演進(jìn)和更新。除了基于知識(shí)圖譜進(jìn)行知識(shí)推理，還可以基于知識(shí)來構(gòu)建提示。
百度在搜索領(lǐng)域擁有很多領(lǐng)先技術(shù)，每天響應(yīng)幾十億次真實(shí)的用戶使用需求。發(fā)展到了今天，百度新一代搜索架構(gòu)已經(jīng)發(fā)展到了基于語義理解和匹配，其中文心大模型分別理解用戶輸入和文檔，形成雙塔模型，然后基于理解進(jìn)行匹配。
這套搜索架構(gòu)與包括文心一言在內(nèi)的文心大模型有著天然不可分的關(guān)聯(lián)，在做生成模型時(shí)可以進(jìn)行聯(lián)合優(yōu)化，將檢索中一些有價(jià)值的結(jié)果（如精準(zhǔn)的信息）帶入生成過程。通過引入搜索結(jié)果，為大模型提供時(shí)效性強(qiáng)、準(zhǔn)確率高的參考信息，更好地滿足用戶需求。
百度在對(duì)話領(lǐng)域同樣擁有很多對(duì)話技術(shù)和應(yīng)用積累。我們知道，對(duì)話很多時(shí)候不是一個(gè)問題和一個(gè)答案，有上下文的多輪對(duì)話才是常態(tài)，因此記憶機(jī)制和上下文理解都很重要。同時(shí)長對(duì)話還要考慮對(duì)話規(guī)劃，這些結(jié)合起來才能實(shí)現(xiàn)更好的對(duì)話連貫性、合理性和邏輯性。
可以看到，打造出一個(gè)出色的大模型哪有那么容易，在技術(shù)上需要持續(xù)創(chuàng)新。AI 研發(fā)就像燒一壺開水，比 100℃更難的是從 0℃到 99℃。王海峰表示，文心一言是百度多年技術(shù)積累和產(chǎn)業(yè)實(shí)踐的水到渠成。
這一切可以追溯到 2010 年，彼時(shí)深度學(xué)習(xí)尚未大火，百度即開始全面布局人工智能，是全球?yàn)閿?shù)不多、進(jìn)行全棧布局的人工智能公司。從底層芯片到框架、模型和應(yīng)用，百度都擁有領(lǐng)先的自研技術(shù)和產(chǎn)品，通過層與層之間的相互反饋、端到端優(yōu)化提升效率，貫通整個(gè) AI 全產(chǎn)業(yè)鏈。
尤其飛槳深度學(xué)習(xí)平臺(tái)和文心大模型的聯(lián)合優(yōu)化為文心一言提供了堅(jiān)實(shí)的技術(shù)支撐。飛槳支撐了文心一言從開發(fā)訓(xùn)練到推理部署的整個(gè)流程，在開發(fā)訓(xùn)練層面，飛槳?jiǎng)屿o統(tǒng)一的開發(fā)范式和自適應(yīng)分布式架構(gòu)，實(shí)現(xiàn)大模型的靈活開發(fā)和高效訓(xùn)練；在推理部署層面，飛槳支持大模型高效推理，提供服務(wù)化部署能力，包括計(jì)算融合、軟硬協(xié)同的稀疏量化、模型壓縮等。
同時(shí)，文心大模型自 2019 年發(fā)布 ERNIE 1.0 以來，已經(jīng)全面涵蓋了 NLP、CV、跨模態(tài)、生物計(jì)算以及行業(yè)大模型，并基于大模型推出了 AI 作畫產(chǎn)品文心一格和產(chǎn)業(yè)級(jí)搜索系統(tǒng)文心百中。
飛槳深度學(xué)習(xí)平臺(tái)和文心大模型是支撐文心一言的底氣。文心一言還延續(xù)了文心大模型知識(shí)增強(qiáng)的特色，通過理解和生成能力的集成獲得極大助益。
作為國內(nèi)搜索領(lǐng)域的頭號(hào)玩家，在可預(yù)見的未來，百度或?qū){借文心一言引領(lǐng)中文搜索市場(chǎng)的代際變革，為用戶帶來更便捷友好的搜索體驗(yàn)。此外以文心一言為契機(jī)的大語言模型和生成式 AI 也將助力金融、能源、媒體、政務(wù)等千行百業(yè)的智能化變革。
正如李彥宏在會(huì)上所說，「百度希望和大家一起，推動(dòng)人工智能技術(shù)進(jìn)步，讓所有人都能使用最先進(jìn)的生產(chǎn)力工具，讓所有人都能從中受益?！?/span>
最后感慨一句，ChatGPT、GPT-4 的連番發(fā)布，讓我們一直憂心中國 AI 技術(shù)能否跟上海外的步伐。昨天百度的新聞發(fā)布會(huì)，我們能看到有人調(diào)侃吐槽，但也看到更多人愿意抱著寬容的態(tài)度看待百度勇敢邁出的第一步。期待在百度的這一步之后，更多中國企業(yè)能夠走的更遠(yuǎn)。
讀者福利：機(jī)器之心獲得了 5 個(gè)邀請(qǐng)碼，請(qǐng)大家留言自己想和文心一言互動(dòng)的問題，今天24點(diǎn)前點(diǎn)贊高的5個(gè)讀者將獲得。
聯(lián)系客服
