明敏 發(fā)自 凹非寺

大模型中的“羅翔老師”，出現(xiàn)了！

北大團(tuán)隊(duì)打造的法律大模型ChatLaw，發(fā)布即沖上知乎熱搜第一。

它具備大模型能力和充足法律知識(shí)，能給法律小白們答疑解惑、提供法律建議。

比如針對(duì)網(wǎng)絡(luò)熱議事件，它能給出應(yīng)該參考的法條，并針對(duì)具體案例進(jìn)行分析：

還可以生成專業(yè)的法律文書：

仿佛就像是在和真人律師對(duì)話。

如果它察覺(jué)到人類需要尋求人工服務(wù)時(shí)，還會(huì)推薦相應(yīng)的法律援助中心。

同時(shí)ChatLaw也能成為專業(yè)律師們的小助手，幫他們處理繁瑣的基礎(chǔ)工作。

這就是北京大學(xué)深圳研究生院-兔展智能AIGC聯(lián)合實(shí)驗(yàn)室（主任：北大田永鴻教授）帶來(lái)的最新工作。

他們?cè)谕ㄓ么竽Ｐ突A(chǔ)上，使用大量法律領(lǐng)域結(jié)構(gòu)化文本數(shù)據(jù)進(jìn)行訓(xùn)練，并找來(lái)資深律師輔助人工標(biāo)注、進(jìn)行高質(zhì)量事實(shí)型多輪對(duì)話，最后煉成了ChatLaw。

與此同時(shí)還開源了3個(gè)模型：ChatLaw-13B、ChatLaw-33B和ChatLaw-TextVec。

效果到底如何？我們已經(jīng)拿到內(nèi)測(cè)資格實(shí)際體驗(yàn)了~

而且和主創(chuàng)團(tuán)隊(duì)問(wèn)了問(wèn)ChatLaw背后更多細(xì)節(jié)。

大模型中的“羅翔老師”

進(jìn)入主頁(yè)后，可以發(fā)現(xiàn)ChatLaw提供對(duì)話、寫作、知識(shí)庫(kù)三種模式。

以對(duì)話模式為例，又可分為普通類和專業(yè)類。對(duì)話模型包括快速、均衡和詳細(xì)三種，可以按照自己的需要來(lái)做選擇。

然后就可以用最普通的大白話，來(lái)向ChatLaw描述自己的遭遇了。

和常見(jiàn)的通用大模型不同，ChatLaw不是一上來(lái)就回答問(wèn)題，而是會(huì)先引導(dǎo)你補(bǔ)充更多詳細(xì)信息。

這也符合一般法律咨詢的情況，當(dāng)事人往往很難一次性提供全面的信息，很多表述都不明確。

在得到補(bǔ)充信息后，它就能做出相應(yīng)的分析了。

當(dāng)然ChatLaw還能處理更加復(fù)雜的情況，比如從文件中抽取關(guān)鍵信息做出分析。

在下面的場(chǎng)景中，當(dāng)事人描述了自己突然被公司強(qiáng)制解雇的情況，ChatLaw簡(jiǎn)單分析后認(rèn)為，這可能存在勞務(wù)糾紛，為了能更準(zhǔn)確提供建議，它需要當(dāng)事人提供勞動(dòng)合同以及解雇通知等。

可以看到ChatLaw是支持上傳文件的。

在拿到對(duì)應(yīng)后，它將信息總結(jié)成了一個(gè)清晰的樹狀圖，并將事實(shí)用法律語(yǔ)言進(jìn)行描述，和當(dāng)事人確認(rèn)情況。

而且ChatLaw也能處理多模態(tài)信息，比如讀取錄音文件。

更進(jìn)一步還可以生成法律文書。

而且不光是給普通人提供法律咨詢服務(wù)，ChatLaw還能充當(dāng)專業(yè)律師的助手。

比如可以基于上下文批量生成文書。

所以，ChatLaw是如何實(shí)現(xiàn)如上效果的？

先驗(yàn)知識(shí)約束+模型調(diào)度

在構(gòu)成上，ChatLaw是由1個(gè)調(diào)度模型和3個(gè)子模型組成。

這使得它能更加專業(yè)地解決具體問(wèn)題。

主要?jiǎng)?chuàng)新性工作有兩方面：

• 先驗(yàn)知識(shí)約束
• 模型調(diào)度

這兩方面工作可以有效降低模型幻覺(jué)，并讓它能更加靈活智能地解決問(wèn)題。

先來(lái)看先驗(yàn)知識(shí)約束方面。

研究團(tuán)隊(duì)認(rèn)為，對(duì)于一個(gè)垂直領(lǐng)域大模型而言，需要既專業(yè)又準(zhǔn)確。

尤其是法律這種嚴(yán)肅的行業(yè)，一定要盡可能降低模型回答的錯(cuò)誤率。

但對(duì)于通用大模型來(lái)說(shuō)，訓(xùn)練數(shù)據(jù)集中往往沒(méi)有包含非常充足的專業(yè)法律知識(shí)。比如ChatGPT顯然是沒(méi)有拿國(guó)內(nèi)法條訓(xùn)練過(guò)的，亂回答的現(xiàn)象非常嚴(yán)重。

這也就是常說(shuō)的“模型幻覺(jué)”問(wèn)題。

想要避免就需要進(jìn)行大量的專業(yè)知識(shí)訓(xùn)練，即先驗(yàn)知識(shí)約束。

在這方面，研究團(tuán)隊(duì)使用大量判例文書、法律法規(guī)和司法解釋，建立了一個(gè)大規(guī)模知識(shí)庫(kù)。

同時(shí)和北大國(guó)際法學(xué)院、行業(yè)知名律師事務(wù)所合作，確保數(shù)據(jù)專業(yè)性。

然后在訓(xùn)練階段將這些法律數(shù)據(jù)注入大模型中，專門建立一個(gè)微調(diào)子模型，可以進(jìn)行關(guān)鍵詞檢索，來(lái)改善單純依賴矢量數(shù)據(jù)庫(kù)檢索時(shí)不準(zhǔn)確的問(wèn)題。

同時(shí)在推理階段也引入多個(gè)模塊，將通識(shí)模型、專業(yè)模型和知識(shí)庫(kù)融為一體，在推理中進(jìn)行約束，以保證ChatLaw生成正確的法律建議，盡可能減少模型幻覺(jué)。

具體模型架構(gòu)如下：

目前這一方法也同步在arXiv上發(fā)表。

據(jù)了解，團(tuán)隊(duì)還特地整理了過(guò)去十年的法考考試題，建立了一個(gè)包含2000個(gè)問(wèn)題的司法考試測(cè)試集。

通過(guò)ELO機(jī)制進(jìn)行檢驗(yàn)，ChatLaw模型在測(cè)試集上成功擊敗GPT4，獲得最高分。

同時(shí)也論證了在專業(yè)領(lǐng)域，百億參數(shù)量的模型可以保持卓越的準(zhǔn)確性。

而在實(shí)際應(yīng)用場(chǎng)景中，僅僅有強(qiáng)大的專業(yè)能力還不夠，還需要能夠靈活應(yīng)對(duì)各種提問(wèn)。

在這方面，ChatLaw提出了一個(gè)“調(diào)度模型”的概念。

研究團(tuán)隊(duì)使用針對(duì)性微調(diào)訓(xùn)練了一個(gè)專用調(diào)度模型，它能夠?qū)?wèn)題進(jìn)行分析，然后對(duì)子模型和插件進(jìn)行調(diào)度重組，最終呈現(xiàn)出多個(gè)模態(tài)的輸入和輸出。

這樣一來(lái)，ChatLaw就能將文件、音頻、文字整合在一起分析，同時(shí)支持法律文書、思維導(dǎo)圖等輸出，還能推薦專業(yè)的法律援助。

值得一提的是，除了發(fā)布ChatLaw，團(tuán)隊(duì)還一并開源了三個(gè)模型。

• ChatLaw-13B，此版本為學(xué)術(shù)demo版，基于姜子牙Ziya-LLaMA-13B-v1訓(xùn)練而來(lái)，中文各項(xiàng)表現(xiàn)很好，但是邏輯復(fù)雜的法律問(wèn)答效果不佳，需要用更大參數(shù)的模型來(lái)解決。
• ChatLaw-33B，此版本為學(xué)術(shù)demo版，基于Anima-33B訓(xùn)練而來(lái)，邏輯推理能力大幅提升，但是因?yàn)锳nima的中文語(yǔ)料過(guò)少，導(dǎo)致問(wèn)答時(shí)常會(huì)出現(xiàn)英文數(shù)據(jù)。
• ChatLaw-Text2Vec，使用93w條判決案例做成的數(shù)據(jù)集基于BERT訓(xùn)練了一個(gè)相似度匹配模型，可將用戶提問(wèn)信息和對(duì)應(yīng)的法條相匹配，例如：

“請(qǐng)問(wèn)如果借款沒(méi)還怎么辦？”

“合同法(1999-03-15): 第二百零六條 借款人應(yīng)當(dāng)按照約定的期限返還借款。對(duì)借款期限沒(méi)有約定或者約定不明確，依照本法第六十一條的規(guī)定仍不能確定的，借款人可以隨時(shí)返還；貸款人可以催告借款人在合理期限內(nèi)返還?！?/span>

兩段文本的相似度計(jì)算為0.9960.

在官方展示的測(cè)試中，ChatLaw還可以具備聯(lián)網(wǎng)能力，效果可以更好。

不過(guò)由于目前服務(wù)器資源不足，暫時(shí)關(guān)閉了法條檢索模塊。

以及在用戶隱私保護(hù)方面，ChatLaw會(huì)對(duì)上傳的文件數(shù)據(jù)進(jìn)行脫敏處理。

和ChatExcel團(tuán)隊(duì)師出同門

不過(guò)為啥研究團(tuán)隊(duì)想要做一個(gè)法律領(lǐng)域的專業(yè)大模型呢？

這就還得從一家跑路的雅思機(jī)構(gòu)說(shuō)起了……

主創(chuàng)團(tuán)隊(duì)小哥表示，2018年他報(bào)名的雅思課，才開課一星期機(jī)構(gòu)就卷錢跑路了。他想要通過(guò)法律途徑維權(quán)，結(jié)果發(fā)現(xiàn)這還真不是一件容易的事：

請(qǐng)一個(gè)律師至少要3000塊，包括法律咨詢、寫訴訟狀等……成本太高了。

但普通人自己來(lái)搞定這些，又確實(shí)很難。比如需要使用“法言法語(yǔ)”描述問(wèn)題等……

結(jié)合今年的趨勢(shì)他就想到，能不能讓大模型來(lái)給普通人提供法律咨詢服務(wù)。

畢竟大數(shù)據(jù)也顯示，2022年，全國(guó)法院共受理案件3372.3萬(wàn)件，其中由律師辦理訴訟案件僅有824.4萬(wàn)件。74%的案件沒(méi)有律師參與，當(dāng)事人只能自己寫材料、訴訟、協(xié)商。

而且主創(chuàng)團(tuán)隊(duì)還從專業(yè)法律人士方面了解到，律師們也很希望有一個(gè)AI工具能夠幫自己提升工作效率，輔助完成一些基本工作。

（工作發(fā)表后馬上有專業(yè)人士留言希望AI能提供更強(qiáng)大的功能）

ChatLaw的幕后團(tuán)隊(duì)是北京大學(xué)深圳研究生學(xué)院-兔展智能AIGC聯(lián)合實(shí)驗(yàn)室。

值得一提的是，他們和之前爆火過(guò)的ChatExcel團(tuán)隊(duì)師出同門。

都是來(lái)自北京大學(xué)信息工程學(xué)院袁粒老師課題組。

袁粒是北京大學(xué)信息工程學(xué)院助理教授、博士生導(dǎo)師。

團(tuán)隊(duì)主創(chuàng)成員有三位，分別是課題組內(nèi)的準(zhǔn)博士生伯華、家熙，以及研究生晏陽(yáng)。

此外他們也聯(lián)合了北京大學(xué)國(guó)際法學(xué)院、阿爾法律師事務(wù)所提供法律專業(yè)建議和指導(dǎo)。

對(duì)于法律領(lǐng)域大模型，團(tuán)隊(duì)表示他們認(rèn)為這在國(guó)內(nèi)有著巨大的發(fā)展空間。

只有中國(guó)，擁有如此巨大規(guī)模的人口，統(tǒng)一的法律服務(wù)市場(chǎng)，規(guī)范的法律判例。

因此，我們堅(jiān)定的向這個(gè)項(xiàng)目投入算力、資源、人力。也許我們的產(chǎn)品現(xiàn)在還有諸多未完善的地方，但技術(shù)的發(fā)展是非線性的。也許在未來(lái)某個(gè)時(shí)間點(diǎn)，我們能夠超越GPT，為這片土地的普通人帶來(lái)普惠的法律服務(wù)。

據(jù)了解，目前ChatLaw已經(jīng)有一些落地合作，而法律領(lǐng)域還只是北大-兔展智能AIGC實(shí)驗(yàn)室的第一步。

未來(lái)兩個(gè)月內(nèi)，他們預(yù)計(jì)會(huì)陸續(xù)推出政務(wù)、金融等領(lǐng)域的大模型。

并且已經(jīng)有了商業(yè)計(jì)劃，“想做中國(guó)版Cohere”。專注于企業(yè)服務(wù)?；诜伞⒄?wù)、金融3個(gè)領(lǐng)域，不斷完善行業(yè)級(jí)大模型。

但同時(shí)這些能力也會(huì)繼續(xù)向普通人開放。

感興趣的童鞋，可戳下方體驗(yàn)鏈接申請(qǐng)內(nèi)測(cè)~

官方地址：https://www.chatlaw.cloud/?

GitHub地址：
https://github.com/PKU-YuanGroup/ChatLaw

論文地址：
https://arxiv.org/abs/2306.16092

— 完 —

量子位 QbitAI · 頭條號(hào)簽約

關(guān)注我們，第一時(shí)間獲知前沿科技動(dòng)態(tài)