專為數(shù)據(jù)庫打造：DB-GPT用私有化LLM技術(shù)定義數(shù)據(jù)庫下一代交互方式
DB-GPT 簡化了這些基于大型語言模型 (LLM) 和數(shù)據(jù)庫的應(yīng)用程序的創(chuàng)建。
2023 年 6 月，螞蟻集團發(fā)起了數(shù)據(jù)庫領(lǐng)域的大模型框架 DB-GPT。DB-GPT 通過融合先進的大模型和數(shù)據(jù)庫技術(shù)，能夠系統(tǒng)化打造企業(yè)級智能知識庫、自動生成商業(yè)智能（BI）報告分析系統(tǒng)（GBI），以及處理日常數(shù)據(jù)和報表生成等多元化應(yīng)用場景。DB-GPT 開源項目發(fā)起人陳發(fā)強表示，“憑借大模型和數(shù)據(jù)庫的有機結(jié)合，企業(yè)及開發(fā)者可以用更精簡的代碼來打造定制化的應(yīng)用。我們期望 DB-GPT 能夠構(gòu)建大模型領(lǐng)域的基礎(chǔ)設(shè)施，讓圍繞數(shù)據(jù)庫構(gòu)建大模型應(yīng)用更簡單，更方便”。據(jù)悉，DB-GPT 社區(qū)自成立以來，已匯聚了京東、美團、阿里巴巴、唯品會、螞蟻集團等眾多互聯(lián)網(wǎng)企業(yè)的開發(fā)者共同參與，短短半年時間便迅速成長為一個近萬星的開源社區(qū)，受到了行業(yè)和開發(fā)者的認可。期間也多次登上 GitHub Trending、Hacker News 首頁。圖 1: 通過自然語言與數(shù)據(jù)庫對話生成圖表圖 2：Excel 對話動態(tài)生成分析報表在過去的六個月里，DB-GPT 項目的代碼已經(jīng)從最初提交第一行代碼到當(dāng)前版本 0.4.4，隨著項目功能的精細打磨和版本的持續(xù)迭代，項目團隊也隨之發(fā)布了一篇關(guān)于 DB-GPT 的研究論文，該論文詳細介紹了項目的核心技術(shù)，包括 RAG、多模型管理框架 SMMF、Text2SQL 的自動化微調(diào)以及基于數(shù)據(jù)驅(qū)動的 Multi-Agents 等關(guān)鍵特性的實現(xiàn)架構(gòu)和實驗對比。接下來，讓我們了解下 DB-GPT 論文的相關(guān)內(nèi)容:- 論文地址：https://arxiv.org/pdf/2312.17449.pdf
- 論文代碼：https://github.com/eosphoros-ai/DB-GPT
- 論文官網(wǎng)：https://dbgpt.site/
- 英文文檔：https://docs.dbgpt.site/docs/overview
- 中文文檔：https://www.yuque.com/eosphoros/dbgpt-docs/bex30nsv60ru0fmx
ChatGPT 和 GPT-4 等大型語言模型（LLMs）展示了它們在模擬人類對話和理解復(fù)雜查詢方面的卓越天賦，同時引領(lǐng)了一個跨領(lǐng)域融合 LLMs 的新趨勢。當(dāng)這些模型和外部工具相結(jié)合，它們的能力得到進一步增強，使它們能夠搜索互聯(lián)網(wǎng)上的相關(guān)信息，同時可以利用外部工具創(chuàng)建更復(fù)雜、功能更豐富的應(yīng)用程序。在數(shù)據(jù)庫領(lǐng)域，傳統(tǒng)系統(tǒng)往往依賴技術(shù)專家的深厚知識和對領(lǐng)域特定的結(jié)構(gòu)化查詢語言 (SQL) 的熟練掌握來進行數(shù)據(jù)訪問和操作。而 LLMs 的出現(xiàn)為自然語言接口鋪平了道路，使用戶能夠通過自然語言查詢和數(shù)據(jù)庫進行交互，從而實現(xiàn)了數(shù)據(jù)庫交互的簡單化和直觀化。即便如此，如何巧妙地運用 LLM 增強數(shù)據(jù)庫的操作性，以便打造功能強大的終端用戶應(yīng)用程序，仍然是一個懸而未決的難題。目前多數(shù)研究采用的一種直接方法，即直接使用常用的 LLM（例如 GPT-4）并通過簡潔的少量示例提示（few-shot prompting）或交互式上下文學(xué)習(xí)（ICL）來進行交互。這一方法的優(yōu)勢在于，它不太可能過度擬合訓(xùn)練數(shù)據(jù)，并且能夠靈活適應(yīng)新數(shù)據(jù)，然而，其劣勢在于與中型 LLM 的微調(diào)方案相比，性能可能尚未達到最佳。 此外，為了進一步促進與數(shù)據(jù)庫的智能交互，眾多研究和實踐中已嘗試將 LLM 支持的自動推理和決策過程（又名 agent）融入到數(shù)據(jù)庫應(yīng)用程序中。然而，知識代理（knowledge agent）往往是為特定場景和任務(wù)量身打造的，而非通用型，這一點限制了它們在廣泛應(yīng)用場景下的大規(guī)模使用。雖然在以 LLM 為核心的數(shù)據(jù)庫交互中隱私保護措施至關(guān)重要，但這方面的深入研究仍顯不足。以往的研究大多是普適性目標，而非針對數(shù)據(jù)庫操作而精心設(shè)計的。在此研究中，作者提出了 DB-GPT 框架，這是一個旨在借助 LLM 技術(shù)而打造的智能化、生產(chǎn)級的項目，它使用私有化技術(shù)提取、構(gòu)建和訪問數(shù)據(jù)庫的數(shù)據(jù)。DB-GPT 不僅充分發(fā)揮了 LLM 的自然語言理解和生成的潛能，而且還通過 agent 代理和插件機制不斷優(yōu)化其數(shù)據(jù)驅(qū)動的引擎。表 1 展示了 DB-GPT 和 LangChain、LlamaIndex、PrivateGPT、ChatDB 等工具在多個維度的綜合比較。綜上所述，DB-GPT 具有以下明顯優(yōu)點：隱私和安全保護。DB-GPT 為用戶提供了極致的部署靈活性，允許在個人設(shè)備或本地服務(wù)器上進行安裝，并且能夠在沒有互聯(lián)網(wǎng)連接的狀態(tài)下運行。這確保了在任何時刻，數(shù)據(jù)都沒有離開執(zhí)行環(huán)境，徹底杜絕了數(shù)據(jù)泄露的風(fēng)險。在數(shù)據(jù)處理模塊，通過模糊數(shù)據(jù)集中的個人標識符，大幅度降低私人信息被未經(jīng)授權(quán)訪問和濫用的風(fēng)險。多源知識庫問答優(yōu)化。與傳統(tǒng)的知識庫問答系統(tǒng)（KBQA）相比，DB-GPT 設(shè)計構(gòu)建了一條靈活、高效、支持雙語的數(shù)據(jù)處理 pipeline，它能夠?qū)⒍嘣捶墙Y(jié)構(gòu)化數(shù)據(jù)（例如：PDF、網(wǎng)頁、圖像等）攝取到中間數(shù)據(jù)中表示，隨后將這些數(shù)據(jù)存儲在結(jié)構(gòu)化知識庫中，在此基礎(chǔ)上，系統(tǒng)能夠高效檢索和查詢最相關(guān)的信息片段，并借助于其強大的自然語言生成能力，為用戶提供詳盡的自然語言回答。Text-to-SQL 微調(diào)。為了進一步增強生成能力，DB-GPT 對 Text-to-SQL 任務(wù)的幾個常用 LLM（例如 Llama-2、GLM）進行了微調(diào)，從而顯著降低了非 SQL 專業(yè)知識的用戶與數(shù)據(jù)交互的門檻。據(jù)作者了解，在同類研究中，有 LlamaIndex、SQLCoder 等集成了此類微調(diào)的替代方案，但它并未針對雙語查詢進行優(yōu)化。集成知識代理（knowledge agent）和插件。Agent 是一款自動推理和決策的引擎。DB-GPT 作為一個完全可用于生產(chǎn)環(huán)境的成熟項目，它賦能用戶通過高級數(shù)據(jù)分析技術(shù)開發(fā)并部署應(yīng)用會話代理，進而促進數(shù)據(jù)的交互式應(yīng)用。此外，它還提供一系列查詢和檢索服務(wù)插件，用作與數(shù)據(jù)交互的工具。論文對 DB-GPT 的性能進行了周密的評估，這不僅涵蓋了各種基準任務(wù)（例如 Text-to-SQL 和 KBQA），還包括了案例研究和調(diào)查來評估其可用性和場景偏好。在多數(shù)評價指標上，DB-GPT 展現(xiàn)出了優(yōu)于競爭對手的性能表現(xiàn)。DB-GPT 的整體流程如圖 1 所示。在建立檢索增強生成 (RAG) 框架時，DB-GPT 系統(tǒng)集成了新穎的訓(xùn)練和推理技術(shù)，顯著增強了其整體性能和效率。本節(jié)將描述每個階段的設(shè)計，包括模型架構(gòu)以及訓(xùn)練和推理范式。盡管 LLM 通常在大量的開源數(shù)據(jù)或其他地方的獨有數(shù)據(jù)上訓(xùn)練，但是仍然可以使用 RAG 技術(shù)通過額外的私人數(shù)據(jù)增強 LLM 知識問答能力。如圖 2 所示，DB-GPT 的 RAG 系統(tǒng)架構(gòu)由三個階段組成：知識構(gòu)建、知識檢索和自適應(yīng)上下文學(xué)習(xí) (ICL)。知識構(gòu)建。DB-GPT 的知識庫是一個匯集自各個領(lǐng)域的龐大的文檔的集合，其中文檔數(shù)量N很大。為了更加精細地處理這些信息，論文將每個文檔分為多個段落，其中表示第 n 個文檔的段落索引。隨后，通過一個編碼器 encoder將每個段落嵌入到多維的 embedding。值得注意的是，DB-GPT 不僅采用了傳統(tǒng)的基于向量的知識表示，還融入了倒排索引和圖索引技術(shù)，使得用戶能夠迅速且精準地檢索到與上下文相關(guān)的數(shù)據(jù)，如圖 3 所示。知識檢索。當(dāng)接收到語言查詢x時，DB-GPT 通過另一個編碼器 encoder將x嵌入到向量 q 中。在此基礎(chǔ)之上，DB-GPT 從知識庫中檢索前 K 個相關(guān)段落，其中K是超參數(shù)。如圖 4 所示，DB-GPT 支持各種檢索器模型，例如 Embedding Retriever（根據(jù)余弦相似度進行檢索）、Keyword Retriever（其中匹配關(guān)鍵詞而不是整個句子）。在下面的段落中，默認情況下使用 Embedding Retriever。學(xué)習(xí)嵌入和搜索。得益于對編碼器 和 的精確訓(xùn)練，DB-GPT 確信更高的相似性分數(shù)代表著與查詢更為貼切的段落。直觀上，真實相關(guān)的查詢 - 段落對，它們的向量點積相對較大。DB-GPT 的編碼器 encoder 采用了 Multilingual-E5-base 模型架構(gòu)，旨在優(yōu)雅的實現(xiàn)雙語文檔的編碼與處理。LLM 的自適應(yīng) ICL 和生成。在這一階段，DB-GPT 系統(tǒng)通過執(zhí)行 ICL 來響應(yīng)生成。系統(tǒng)首先根據(jù)和查詢 query 的余弦相似度對 K 個搜索結(jié)果進行排序，然后選取排名最前的 J 個（其中 J ≤ K）結(jié)果，將這些結(jié)果插入到預(yù)定義的上下文提示模板中，最后 LLM 生成響應(yīng)。ICL 是一種在訓(xùn)練或推理階段通過在處理過程中納入額外的上下文來提高 LLM 性能的技術(shù)。ICL 的引入不僅增強了語言模型對上下文的理解，還提高了模型的可解釋和推理技能。值得注意的是，ICL 的性能很大程度上取決于特定的設(shè)置，包括提示模板、選擇的示例、上下文示例的數(shù)量以及示例的順序。在 DB-GPT 系統(tǒng)中，提供了多種制定提示模板的策略（示例見清單 1）以適應(yīng)不同的需求。此外，論文采用了相應(yīng)的隱私保護措施，確保個人信息得到妥善保存。部署和推理：面向服務(wù)的多模型管理框架 SMMF模型即服務(wù) (MaaS) 是一種云端的人工智能的服務(wù)模式，它向開發(fā)人員和企業(yè)提供即時可用的預(yù)配置、預(yù)訓(xùn)練的機器學(xué)習(xí)模型。在 DB-GPT 框架中，為了精簡模型的適配流程，提升運作效率，并優(yōu)化模型部署的性能表現(xiàn)，提出面向服務(wù)的多模型框架（SMMF）。該框架旨在為多模型部署和推理提供一個快速和便捷的平臺。SMMF 主要由模型推理層和模型部署層兩個部分組成。模型推理層是一個專門為了適配多樣化的 LLM 而設(shè)計的推理平臺，包括 vLLM、文本生成推理 (TGI，HuggingFace 模型推理) 和 TensorRT。而模型部署層則承擔(dān)著橋梁的角色，充當(dāng)了底層推理層和上層模型服務(wù)功能之間的媒介。模型部署層：在 DB-GPT 的模型部署框架層內(nèi)，一系列組件協(xié)同工作。由 API server 和 model handler 組成的任務(wù)負責(zé)向應(yīng)用程序?qū)犹峁姶蟮哪Ｐ头?wù)功能。model controller 占據(jù)中心位置，不僅負責(zé)元數(shù)據(jù)的治理，同時也充當(dāng)大規(guī)模部署架構(gòu)的紐帶。此外，model worker 的作用至關(guān)重要，它直接與推理設(shè)備和底層基礎(chǔ)環(huán)境直接連接，確保模型能夠發(fā)揮最佳的性能。DB-GPT 是一個多角色支持的系統(tǒng)，為數(shù)據(jù)分析師、軟件工程師和數(shù)據(jù)庫架構(gòu)師等用戶提供與數(shù)據(jù)庫交互的全流程體驗，同時配備了精心編排設(shè)計的標準操作程序（SOPs）。受到 MetaGPT 理念的啟發(fā)，DB-GPT 為不同 agent 分配不同的角色，發(fā)揮其獨特的優(yōu)勢和專長來解決具有挑戰(zhàn)性的任務(wù)。通過精準的協(xié)調(diào)機制，DB-GPT 實現(xiàn)了不同 LLM agents 間的高效協(xié)作，促進它們之間溝通、共享信息和集體推理?；?Text-to-SQL 微調(diào)后的 LLM，DB-GPT 可以快速開發(fā)和部署具有與數(shù)據(jù)庫高級交互能力的智能 agent。此外，與適用于特定用例且行為受限的 LlamaIndex 組件不同，DB-GPT 使 agent 在更少的約束下具有更強的通用推理能力。雖然 LLM 具有強大的能力，但它并非在每項任務(wù)上都能發(fā)揮最佳性能表現(xiàn)。LLM 可以通過合并插件來執(zhí)行多個步驟，收集相關(guān)信息，而非直接回答問題。區(qū)別于通用的插件，DB-GPT 的插件專門為數(shù)據(jù)庫交互模式而設(shè)計。這種設(shè)計有利于通過自然語言查詢數(shù)據(jù)庫，簡化用戶查詢表達式，同時增強了 LLM 的查詢理解和執(zhí)行能力。數(shù)據(jù)庫交互模式由模式分析器 (schema analyzer) 和查詢執(zhí)行器 (query executor) 兩個組件組成。模式分析器 (schema analyzer)，負責(zé)將模式解析為 LLM 可以理解的結(jié)構(gòu)化表達；查詢執(zhí)行器 (query executor)，則負責(zé)根據(jù) LLM 的自然語言響應(yīng)在數(shù)據(jù)庫上執(zhí)行相應(yīng)的 SQL 查詢。另外，DB-GPT 還與第三方服務(wù)集成，例如 WebGPT 中提出的 web search，用戶無需離開聊天即可在另一個平臺上執(zhí)行任務(wù)。借助這些插件，DB-GPT 能夠以強大的生成能力（論文將其稱為生成數(shù)據(jù)分析）來執(zhí)行多個端到端數(shù)據(jù)分析問題。具體詳情可以參閱論文的說明性示例。RAG 的實現(xiàn)代碼參考了開源項目 LangChain 的代碼。Web 端的 UI 實現(xiàn)細節(jié)，可以參考作者的另一個開源項目：https://github.com/eosphoros-ai/DB-GPT-Web。其余的訓(xùn)練細節(jié)請參考原論文，或者訪問 DB-GPT 開源項目地址：https://github.com/eosphoros-ai/DB-GPT，來獲取更加全面準確的信息。論文中提出了旨在評估 DB-GPT 系統(tǒng)性能的實驗，包括 Text-to-SQL 響應(yīng)的生成質(zhì)量和 MS-RAG 的 QA 性能，并提供生成數(shù)據(jù)分析的定性結(jié)果。在公有數(shù)據(jù)集 Spider 上，本項目采用了 Text-to-SQL 的技術(shù)進行評估，其中訓(xùn)練使用 train 集，評估使用 dev 集。評估指標使用的是執(zhí)行準確率（Execution Accuracy, 簡稱 EX）。該指標通過對比預(yù)測的 SQL 查詢結(jié)果與特定數(shù)據(jù)庫實例中的真實 SQL 查詢結(jié)果來衡量。EX 越高，代表模型性能越好?？紤]到雙語文本支持需求，在 DB-GPT 框架實驗中選取了 Qwen 系列和 Baichuan 系列作為基礎(chǔ)的 LLM，實驗結(jié)果如表 2 所示。表 2 顯示了 DB-GPT 系統(tǒng)在 Text-to-SQL 微調(diào) pipeline 的有效性，無論是通義千問模型還是百川模型，微調(diào)后模型 EX 指標都有顯著提升。論文在多種開放域問答（open-domain QA）任務(wù)中對 RAG 框架進行了實驗。作者專門構(gòu)建了兩個 QA 數(shù)據(jù)集，分別聚焦于數(shù)據(jù)庫領(lǐng)域和金融領(lǐng)域：DatabaseQA 和 FinancialQA。在構(gòu)建 DatabaseQA 時，作者從三個代表性數(shù)據(jù)庫系統(tǒng)（OceanBase、MySQL 和 MongoDB）中收集了 1000 個 PDF 形式的公開教程作為素材。而 FinancialQA 的素材則是從研究機構(gòu)出版的文檔樣本中抽取了 1000 個。對于每個數(shù)據(jù)集，論文構(gòu)建 100 個測試問題，這些問題均由專家根據(jù)難易程度進行注釋。有關(guān)數(shù)據(jù)集的更多詳細信息，請參閱論文附錄。為了確保答案質(zhì)量評估準確性，論文指定三位專家對每個回復(fù)進行打分，評分范圍為 0 – 5 分，其中較高分數(shù)代表更為優(yōu)質(zhì)的答案。評分結(jié)果取三位專家評分的平均值，以此作為最終得分。論文選取 4 個 LLM 作為基礎(chǔ)模型，分別是：Qwen、Baichuan、ChatGLM 和 ChatGPT3.5。由于 ChatGPT3.5 并非開源模型，作者無法在框架中對其進行 Text-to-SQL 的微調(diào)。RAG 在兩個數(shù)據(jù)集上的實驗結(jié)果如表 3 和表 4 所示，在所有測試的數(shù)據(jù)集上，并沒有一個模型能夠在所有的情況下都勝出：ChatGPT-3.5 在 DatabaseQA 數(shù)據(jù)集上表現(xiàn)最佳，而 ChatGLM 在 FinancialQA 數(shù)據(jù)集上獲得最佳性能。DB-GPT 集成了大部分流行的開源和商業(yè) LLM，用戶可以根據(jù)自己的 RAG 任務(wù)需求自由選擇最適合的模型。DB-GPT 集成了 vLLM 作為主要推理框架，實驗過程中，為了保持一致性，論文將每一個輸入提示（prompt）的長度固定為 8 個 token，并將輸出的最大長度設(shè)置為 256 個 token。實驗采用了以下三個評價指標：- 首字延遲 First Token Latency (FTL)：以毫秒為單位，代表 DB-GPT 模型部署框架收到請求時該時刻開始，到進行推理解碼第一個 token 所花費的時間。
- 推理延遲 Inference Latency（IL）：以秒為單位測量，表示從 DB-GPT 模型部署框架接收到模型推理請求到生成完整的響應(yīng)的時間。
- 吞吐量：DB-GPT 模型部署框架每秒中處理的所有用戶和所有請求的 token 數(shù)量。
Qwen 和 Baichuan 模型在 SMMF 方法上的實驗結(jié)果如表 5 和表 6 所示，結(jié)果表明使用 vLLM 模型推理框架顯著提高了模型的吞吐量，同時大幅度降低了首字延遲和推理延遲。值得注意的是，隨著數(shù)量并發(fā)用戶數(shù)增加，使用 vLLM 框架推理帶來的性能提升變得特別明顯。因此，DB-GPT 選擇將 vLLM 集成為 SMMF 使用的默認推理框架。經(jīng)過這一年的實踐與抽象，為了具備更廣泛的生產(chǎn)級應(yīng)用能力，DB-GPT 對架構(gòu)進行了分層。如下圖所示，主要分為以下 7 層，自上而下以此為:- 可視化層：可視化層主要的工作是對話、交互、圖表顯示、可視化編排等能力。
- 應(yīng)用層：基于底層能力的應(yīng)用構(gòu)建，如 GBI 應(yīng)用、ChatDB 類應(yīng)用、ChatData 類應(yīng)用、ChatExcel 類應(yīng)用等。
- 服務(wù)層：服務(wù)層主要是對外暴露的服務(wù)，比如 LLMServer、APIServer、RAGServer、dbgptserver 等。
- 核心模塊層：核心模塊主要有三個分別是，SMMF、RAGs、Agents。
- 協(xié)議層：協(xié)議層主要是指 AWEL (Agentic Workflow Expression Language), 即智能體編排語言，是專門為大模型應(yīng)用開發(fā)設(shè)計的智能體工作流表達式語言。
- 訓(xùn)練層：訓(xùn)練層主要關(guān)注 Text2SQL、Text2DSL、Text2API 方向的微調(diào)，提供標準的微調(diào)腳手架。
- 運行環(huán)境：運行環(huán)境是指整個框架的運行在什么環(huán)境當(dāng)中，我們后期會優(yōu)先支持基于 Ray 與 Kubernetes 的環(huán)境。
用戶可以基于這些基礎(chǔ)框架能力，更好的打造生產(chǎn)級應(yīng)用。更多關(guān)于 DB-GPT 的進展可以關(guān)注其社區(qū)。 - DB-GPT 論文：DB-GPT: Empowering Database Interactions with Private Large Language Models.
- DB-GPT 框架開源項目：https://github.com/eosphoros-ai/DB-GPT
- DB-GPT 前端可視化項目：https://github.com/eosphoros-ai/DB-GPT-Web
- DB-GPT Text2SQL 微調(diào)項目: https://github.com/eosphoros-ai/DB-GPT-Hub
- DB-GPT 插件倉庫: https://github.com/eosphoros-ai/DB-GPT-Plugins
- Text2SQL 學(xué)習(xí)資料與前沿跟蹤: https://github.com/eosphoros-ai/Awesome-Text2SQL
本站僅提供存儲服務(wù)，所有內(nèi)容均由用戶發(fā)布，如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請
點擊舉報。
