近日，由清華技術(shù)成果轉(zhuǎn)化的公司智譜AI開源了GLM系列模型的新成員——中英雙語對話模型ChatGLM-6B，支持在單張消費級顯卡上進行推理使用。這是繼此前開源GLM-130B千億基座模型之后，智譜AI再次推出大模型方向的研究成果。與此同時，基于千億基座模型的ChatGLM也同期推出，初具問答和對話功能，現(xiàn)已開啟邀請制內(nèi)測（內(nèi)測申請網(wǎng)址chatglm.cn），后續(xù)還會逐步擴大內(nèi)測范圍。
據(jù)悉，ChatGLM-6B 是一個開源的、支持中英雙語問答的對話語言模型，并針對中文進行了優(yōu)化。該模型基于 General Language Model (GLM) 架構(gòu)，具有 62 億參數(shù)。結(jié)合模型量化技術(shù)，用戶可以在消費級的顯卡上進行本地部署（INT4 量化級別下最低只需 6GB 顯存）。ChatGLM-6B 使用了和 ChatGLM 相同的技術(shù)，針對中文問答和對話進行了優(yōu)化。經(jīng)過約 1T 標識符的中英雙語訓(xùn)練，輔以監(jiān)督微調(diào)、反饋自助、人類反饋強化學(xué)習(xí)等技術(shù)的加持，62 億參數(shù)的ChatGLM-6B 雖然規(guī)模不及千億模型，但大大降低了推理成本，提升了效率，并且已經(jīng)能生成相當符合人類偏好的回答。
模型開源的地址為：
https://github.com/THUDM/ChatGLM-6B
具體來說，ChatGLM-6B具備以下特點：
充分的中英雙語預(yù)訓(xùn)練：ChatGLM-6B在1:1比例的中英語料上訓(xùn)練了1T的token量，兼具雙語能力。
優(yōu)化的模型架構(gòu)和大小：吸取GLM-130B訓(xùn)練經(jīng)驗，修正了二維RoPE位置編碼實現(xiàn)，使用傳統(tǒng)FFN結(jié)構(gòu)。6B（62億）的參數(shù)大小，也使得研究者和個人開發(fā)者自己微調(diào)和部署ChatGLM-6B成為可能。
較低的部署門檻：FP16 半精度下，ChatGLM-6B 需要至少 13 GB 的顯存進行推理，結(jié)合模型量化技術(shù)，這一需求可以進一步降低到 10GB（INT8） 和 6GB（INT4），使得 ChatGLM-6B 可以部署在消費級顯卡上。
更長的序列長度：相比 GLM-10B（序列長度1024），ChatGLM-6B序列長度達2048，支持更長對話和應(yīng)用。
人類意圖對齊訓(xùn)練：使用了監(jiān)督微調(diào)（Supervised Fine-Tuning）、反饋自助（Feedback Bootstrap）、人類反饋強化學(xué)習(xí)（Reinforcement Learning from Human Feedback）等方式，使模型初具理解人類指令意圖的能力。輸出格式為markdown，方便展示。
基于以上特點，ChatGLM-6B在一定條件下具備較好的對話與問答能力，以下是ChatGLM-6B的對話效果展示：
不過由于ChatGLM-6B模型的容量較小，不可避免地存在一些局限和不足，包括：
相對較弱的模型記憶和語言能力。在面對許多事實性知識任務(wù)時，ChatGLM-6B可能會生成不正確的信息，也不太擅長邏輯類問題（如數(shù)學(xué)、編程）的解答。
可能會產(chǎn)生有害說明或有偏見的內(nèi)容：ChatGLM-6B只是一個初步與人類意圖對齊的語言模型，可能會生成有害、有偏見的內(nèi)容。
較弱的多輪對話能力：ChatGLM-6B的上下文理解能力還不夠充分，在面對長答案生成和多輪對話的場景時，可能會出現(xiàn)上下文丟失和理解錯誤的情況。
同時，智譜AI還開啟了ChatGLM線上模型的內(nèi)測。相比起ChatGLM-6B，ChatGLM線上模型的能力提升主要來源于獨特的千億基座模型GLM-130B。它采用了不同于BERT、GPT-3以及T5的GLM架構(gòu)，是一個包含多目標函數(shù)的自回歸預(yù)訓(xùn)練模型。2022年11月，斯坦福大學(xué)大模型中心對全球30個主流大模型進行了全方位的評測，GLM-130B是亞洲唯一入選的大模型。在與OpenAI、Google Brain、微軟、英偉達、Meta AI的各大模型對比中，評測報告顯示GLM-130B在準確性和公平性指標上與GPT-3 175B (davinci) 接近或持平，魯棒性、校準誤差和無偏性優(yōu)于GPT-3 175B（下圖）。
基于千億基座的ChatGLM線上模型目前在chatglm.cn進行邀請制內(nèi)測，用戶需要使用邀請碼進行注冊，也可以填寫基本信息申請內(nèi)測。
由ChatGLM生成的對話效果展示：
整體而言，ChatGLM距離國際頂尖大模型研究和產(chǎn)品還有一定差距，GLM團隊也在博客中坦言了這一點，并表示將持續(xù)研發(fā)并開源更新版本的ChatGLM和相關(guān)模型。歡迎大家下載ChatGLM-6B，基于它進行研究和（非商用）應(yīng)用開發(fā)。GLM團隊希望能和開源社區(qū)研究者和開發(fā)者一起，推動大模型研究和應(yīng)用在中國的發(fā)展。
博客鏈接請見：https://chatglm.cn/blog
?
關(guān)于智譜AI
?
智譜AI由清華大學(xué)計算機系的技術(shù)成果轉(zhuǎn)化而來，致力于打造新一代認知智能通用模型，提出了Model as a Service（MaaS）的市場理念。公司于2021年合作研發(fā)了雙語千億級超大規(guī)模預(yù)訓(xùn)練模型GLM-130B，并主導(dǎo)構(gòu)建了高精度通用知識圖譜，把兩者有機融合為數(shù)據(jù)與知識雙輪驅(qū)動的認知引擎，并基于此千億基座模型打造 ChatGLM （chatglm.cn）。此外，智譜AI也推出了認知大模型平臺Bigmodel.ai，形成AIGC產(chǎn)品矩陣，包括高效率代碼模型CodeGeeX、高精度文圖生成模型CogView等，提供智能API服務(wù)。通過認知大模型鏈接物理世界的億級用戶、賦能元宇宙數(shù)字人、成為具身機器人的基座，賦予機器像人一樣“思考”的能力。官網(wǎng)請見（zhipuai.cn）
聯(lián)系客服
