這陣子在整理各種數(shù)據(jù)文件，發(fā)現(xiàn)這些年寫的文字材料還真不少，統(tǒng)計(jì)出來(lái)各種亂七八糟的文章合集 3700 多篇。突然就有了個(gè)大膽的想法：是否可以基于當(dāng)前火熱的各種大模型，結(jié)合這些文字材料構(gòu)建本地知識(shí)庫(kù)？
各種搜索后發(fā)現(xiàn)，還真有不少此類應(yīng)用。就目前個(gè)人了解，此類技術(shù)主要有兩個(gè)方向：
基于大模型的增強(qiáng)搜索技術(shù)。利用現(xiàn)有的通用大模型（如 GPT 4.0、Claude 2 等提供 API 的閉源大模型、各種開(kāi)源大模型等），不對(duì)已有模型進(jìn)行額外的訓(xùn)練，僅利用大模型對(duì)文字語(yǔ)言的理解能力，從提供的各類文檔中識(shí)別并總結(jié)問(wèn)題的結(jié)果。這種方法容易實(shí)施，而且有大量現(xiàn)成的開(kāi)源代碼可用。不過(guò)此類模型的最大缺點(diǎn)在于沒(méi)有對(duì)大模型進(jìn)行針對(duì)性的訓(xùn)練，模型創(chuàng)造比較有限，只擅長(zhǎng)于本地文檔搜索。
對(duì)現(xiàn)有大模型進(jìn)行遷移學(xué)習(xí)。整理文檔資料，將其處理為模型能夠識(shí)別的數(shù)據(jù)集，基于當(dāng)前的大模型，對(duì)大模型進(jìn)行訓(xùn)練。前提是大模型權(quán)重?cái)?shù)據(jù)必須是已知的，而且模型訓(xùn)練需要非常多的計(jì)算資源。當(dāng)前已有一些開(kāi)源大模型提供了基礎(chǔ)權(quán)重?cái)?shù)據(jù)，其中有些模型（如 LLAMA 2 的 7 B、Chat-GLM 2 -6 B 等）可以在本地單機(jī)上部署使用（親測(cè) 3090 顯卡即可 ），因此有望在本地對(duì)這些模型進(jìn)行微調(diào)訓(xùn)練。
前兩天開(kāi)源的 LLAMA 2 雖然評(píng)價(jià)比較高，不過(guò)當(dāng)前對(duì)中文的支持極差。Chat-GLM 2 的中文支持較好，不過(guò)個(gè)人感覺(jué)模型能力稍弱（可能是 ChatGPT 用的多，和 ChatGPT 比起來(lái)比較弱），不過(guò)前期可以搭一個(gè)框架，后期慢慢訓(xùn)練。
之前利用 langchain+ChatGLM-6 B，利用部分自己翻譯的 Fluent 文檔搭建了個(gè)極小型的個(gè)人知識(shí)庫(kù)，感覺(jué)還是蠻好玩兒的，雖然模型性能表現(xiàn)差了些（額，有時(shí)候會(huì)胡言亂語(yǔ)）。
過(guò)陣子寫篇訓(xùn)練過(guò)程總結(jié)文章，有興趣的道友可以一起玩兒。
（完）
聯(lián)系客服
