.

林詠華：打造基座大模型等同于AI中的CPU，以開源、評測推動產(chǎn)業(yè)落地

①林詠華結(jié)合智源研發(fā)過程的講解，讓聽友知其然并知其所以然。

    6月20日，163期文匯講堂“數(shù)字強國”系列啟動，首期《AIGC驅(qū)動生產(chǎn)力躍升與良好未來塑造》在華東師大舉辦。北京智源人工智能研究院副院長兼總工程師林詠華應(yīng)邀作主講，華東師大哲學(xué)系楊國榮致辭《科技發(fā)展與人類生活》，計算機學(xué)院賀樑、哲學(xué)系酈全民、付長珍、潘斌、劉梁劍參與數(shù)字&人文圓桌對談，13位聽友現(xiàn)場互動。     

    校內(nèi)外7600余人觀看華東師大微信號直播?，F(xiàn)場發(fā)放了50枚NFT數(shù)字徽章。     

    本次講座由文匯報社、上海樹圖區(qū)塊鏈研究院、華東師大中國現(xiàn)代思想與文化研究所、華東師大哲學(xué)系倫理與智慧研究中心聯(lián)合主辦。     

   本版整理 李念 攝影 周文強 版式 李潔

    嘉賓主講     

      非常高興借此機會和大家分享我過去多年在AI（人工智能）領(lǐng)域經(jīng)歷的機遇和挑戰(zhàn)：從小模型走到大模型，從科研成果落地到產(chǎn)業(yè)。在過去幾十年，人工智能起起落落。去年6月之前，整個人工智能處在前一波浪潮往下落的一個區(qū)間。去年下半年，出現(xiàn)了兩個現(xiàn)象級的應(yīng)用：一是文生圖，二是以Chat GPT為代表的大模型技術(shù)的涌現(xiàn)和爆發(fā)。這兩個事件把整個AI從一個拐點引向下一個起點，而這個新起點是由大模型引領(lǐng)未來人工智能發(fā)展的十年。

    思考一：帶來研發(fā)范式改變

    為什么研發(fā)范式很重要？因為當(dāng)科研界將一個技術(shù)做到突破和創(chuàng)新后，它們?nèi)绾螐V泛地落地到各行各業(yè)，與其研發(fā)范式、研發(fā)產(chǎn)品的代價息息相關(guān)。     

    至今，AI研發(fā)范式經(jīng)歷了三個階段的變化。

    過去十年：預(yù)訓(xùn)練模型+微調(diào)訓(xùn)練的遷移學(xué)習(xí)      

    第一個階段是從頭開始訓(xùn)練領(lǐng)域模型。最初深度學(xué)習(xí)出現(xiàn)時，大家考慮的都是如何利用手上海量的數(shù)據(jù)，通過諸多計算資源，把模型從頭到尾訓(xùn)練出來，然后再將它部署到各行各業(yè)。因為需要大量數(shù)據(jù)、算力，尤其是所需的整個AI全棧的技術(shù)人才特別昂貴，因此，這種范式無法持久。     

    2014年，在幾個AI頂級峰會上分別出現(xiàn)了描述預(yù)訓(xùn)練模型+微調(diào)的遷移學(xué)習(xí)技術(shù)的文章。利用擁有1000多萬張圖片、涵蓋常見的2萬種物品的圖片庫，訓(xùn)練出通用的視覺分類基礎(chǔ)模型，其規(guī)模是中小量級的模型。此后，大家利用醫(yī)療影像分析、工業(yè)的缺陷檢測等自己領(lǐng)域的數(shù)據(jù)對它進(jìn)行訓(xùn)練。這一過程是從一個通用領(lǐng)域到另一個專用領(lǐng)域的遷移學(xué)習(xí)。從今天視角來看，相當(dāng)于一個初中畢業(yè)生通過三年的專科培訓(xùn)，成為了一個具有專業(yè)技能的專員。     

    由此，研發(fā)范式進(jìn)入第二個階段——由預(yù)訓(xùn)練的基礎(chǔ)模型加上小批量的數(shù)據(jù)和少量的算力的微調(diào)訓(xùn)練，就可以形成企業(yè)要落地到不同場景的不同模型。這種范式中，行業(yè)企業(yè)只需要做少量數(shù)據(jù)收集和處理、模型微調(diào)訓(xùn)練、部署模型服務(wù)等部分工作，從人力、物力、財力上來看，投入量減少了幾倍、甚至十倍。     

    計算機視覺領(lǐng)域的遷移學(xué)習(xí)，帶動了過去十年的AI潮起潮落。這整個過程可稱為小模型的階段。     

    從2013到2015年，人工智能因為遷移學(xué)習(xí)的出現(xiàn)，讓基于深度學(xué)習(xí)的計算機視覺分析，在多個領(lǐng)域落地變得似乎更加容易，人工智能被認(rèn)為有望大范圍成功。商湯、云從、依圖、格靈深瞳等在內(nèi)的眾多AI公司紛紛創(chuàng)立，受到投資界的普遍追捧。     

   但從2017年之后，人工智能從高潮慢慢緩落。到2020年，拿到融資而成立AI公司的數(shù)字從2007年頂峰時的4000家落至600-700家，以至于在過去一兩年甚至出現(xiàn)了AI泡沫破滅的眾多說法。     

    為什么跟大家分享這些？眼看AI又一個新的十年潮起涌現(xiàn)，作為從業(yè)者需要深入思考：為何前一個十年出現(xiàn)萬眾期待，最后并未如想象在各行各業(yè)廣泛落地？而在未來十年，該做對什么，使得新一輪技術(shù)潮起后能得到更好的發(fā)展，而非快速潮落。

    當(dāng)下階段：基礎(chǔ)大模型+應(yīng)用提示     

    在當(dāng)下的第三階段研發(fā)范式中，基礎(chǔ)大模型很重要的是基座，一是需要用海量的預(yù)訓(xùn)練數(shù)據(jù)去訓(xùn)練它，通常是千億級以上的數(shù)據(jù)。二是參數(shù)量很大，幾十億參數(shù)是入門，很多時候會達(dá)到百億級參數(shù)，甚至千億級參數(shù)。三是所需要的算力更大。這種基礎(chǔ)大模型幫助我們學(xué)習(xí)各種通用的知識，包括實現(xiàn)各種模型的能力，如理解能力、生成能力，甚至涌現(xiàn)能力。目前看到的GPT-4、GPT-3.5、LLaMA、北京智源人工智能研究院（以下簡稱“智源”）新研發(fā)出來的天鷹Aquila等，都是基礎(chǔ)大模型。它最突出的能力是提示學(xué)習(xí)能力，跟人很像，可以做到有樣學(xué)樣。     

    在這個階段，只要做API（應(yīng)用程序編程接口）調(diào)用，就可適用到下游行業(yè)企業(yè)的應(yīng)用領(lǐng)域，成本大幅度降低。

    思考二：大模型如何產(chǎn)業(yè)落地？

   大模型如何產(chǎn)業(yè)落地？這一步走好才能讓上億甚至數(shù)十億、數(shù)百億元在大模型上的研發(fā)投入，能夠真正帶領(lǐng)所有行業(yè)的智能化提升。

    從通用的問答聊天功能通向?qū)I(yè)行業(yè)的應(yīng)用      

    大模型的應(yīng)用方式有兩種：一種是提示學(xué)習(xí)，另一種是指令微調(diào)訓(xùn)練。     

    大模型是“記不住”提示學(xué)習(xí)的過程的，如果僅靠提示學(xué)習(xí)中的“提示”，勢必每一次的API調(diào)用都得帶上冗長、而且越來越長的提示，這在實際產(chǎn)品中很難滿足。因此在產(chǎn)品真正落地時，必須要引入指令微調(diào)。指令微調(diào)就是利用基礎(chǔ)模型的知識完成指定的任務(wù)。就像本科生學(xué)了大量知識后，需要一個上崗培訓(xùn)。     

    今天看到的ChatGPT不是一個基礎(chǔ)模型，它是一個經(jīng)過很多指令對它進(jìn)行微調(diào)的對話模型，所以它似乎做什么都很在行。智源的天鷹AquilaChat對話模型，也是在Aquila基礎(chǔ)模型之上經(jīng)過指令微調(diào)才可回答人類的各種問題。比如6月8日正好是全國高考，測試時它在10秒內(nèi)就完成了當(dāng)天的高考作文。     

    通過指令微調(diào)的大模型還只具備通用的能力，即主要是面對互聯(lián)網(wǎng)的應(yīng)用，如閑聊、問答。如果希望大模型能夠真正服務(wù)于更多的實體經(jīng)濟，就需要考慮如何把大模型落地到專業(yè)行業(yè)里。很重要的一點是要在通用能力的基礎(chǔ)模型之上，通過加入大量專業(yè)領(lǐng)域知識進(jìn)行持續(xù)訓(xùn)練，形成專業(yè)領(lǐng)域的基礎(chǔ)模型。     

    所以，綜合來看，基礎(chǔ)模型訓(xùn)練相當(dāng)于通用領(lǐng)域的本科生學(xué)習(xí)，基礎(chǔ)模型在專業(yè)知識數(shù)據(jù)的持續(xù)訓(xùn)練相當(dāng)于專業(yè)領(lǐng)域的研究生深造學(xué)習(xí)，之后再進(jìn)行指令微調(diào)訓(xùn)練，相當(dāng)于專業(yè)領(lǐng)域的上崗培訓(xùn)。

    如何克服落地時遇到的遺忘率和幻覺率      

    在現(xiàn)實落地中會遇到大模型的遺忘率和幻覺率。     

    遺忘率就是“記不住”。無論模型大小，如果只讓模型看過2-3遍的數(shù)據(jù)，它能記住的只有百分之幾的數(shù)據(jù)量。這就產(chǎn)生了一對矛盾。首先從版權(quán)保護(hù)的角度看，如果它因為讀了大量文章，而產(chǎn)生大篇幅與原文相同的內(nèi)容，是否會導(dǎo)致版權(quán)問題？這是有待解決的問題。其次，如果模型的記憶力只有百分之幾，版權(quán)問題就不會那么嚴(yán)重。但當(dāng)真正產(chǎn)業(yè)落地時，這又會成為較大的問題，即模型訓(xùn)練了半天卻記不住。     

    “幻覺率”就是我們常說的一本正經(jīng)的胡說八道。成因是什么？第一，預(yù)訓(xùn)練的數(shù)據(jù)集可能會包含某一些錯誤的信息，很多來自二十年前、三十年前，會昨是今非。第二，更多可能是模型的數(shù)據(jù)預(yù)訓(xùn)練的上億、幾億的數(shù)據(jù)里沒有直接包含相關(guān)信息。這會導(dǎo)致我們面對嚴(yán)肅的行業(yè)時，如醫(yī)療、金融、法律等，必須考慮用什么額外的技術(shù)來降低幻覺率。

    未來十年，大模型和小模型如何并存     

    我個人認(rèn)為，未來十年大模型和小模型必定會共存，這兩個技術(shù)更多時候可以相互融合。     

    對過去十年發(fā)展起來的小模型的AI公司、科研團(tuán)隊，在大模型時代是否都需要遷往大模型？應(yīng)該如何利用已有積累做得更好？     

    第一，可以把原有在小模型時代的算法進(jìn)行更新?lián)Q代，把大模型新的技術(shù)融入到小模型。舉例，Transformer模型結(jié)構(gòu)被認(rèn)為是大模型時代重要的技術(shù)標(biāo)志。用Transformer為基礎(chǔ)的VIT計算機視覺模型，來替代小模型時代的CNN網(wǎng)絡(luò)，發(fā)現(xiàn)在達(dá)到差不多準(zhǔn)確率的情況下，大模型在預(yù)訓(xùn)練階段可節(jié)省1/4的顯存，推理速度只需要ResNet50的58%時延，上線所需要的資源更少。這的確打破了大模型技術(shù)必須是資源消耗高的定律。     

    第二，應(yīng)用新的方法解決以前的難題。比如Meta公司在今年3月發(fā)布的視覺分割大模型SAM，能做到視覺范圍內(nèi)各種物體被精準(zhǔn)地分割出來。這種技術(shù)可以用于清點超市、倉庫等的貨物數(shù)量。此前一直很難做到，有一些小模型公司已將SAM大模型落地。     

    第三，大模型中的小模型。例如我們新發(fā)布的AquilaChat天鷹對話模型，僅70億參數(shù)，通過int4量化技術(shù)，就可在4G的顯存上運行起來。而當(dāng)前國產(chǎn)邊緣側(cè)的芯片都已經(jīng)有8G顯存。所以，大模型浪潮下，很多AI小模型賽道的公司，完全可以煥發(fā)一種更新的活力。

    思考三：打造基礎(chǔ)大模型重如CPU      

    大模型中最重要的是下面的基座模型。打造基座大模型就等同于AI中的CPU一樣的重要。     

    投入昂貴，百億參數(shù)動輒千萬元以上     

    第一，除了做芯片、CPU的流片以外，基礎(chǔ)模型已經(jīng)成為AI大模型時代單一產(chǎn)品投入最大的部分。一般而言，300億參數(shù)的模型，包括數(shù)據(jù)、訓(xùn)練、評測的成本、所有的人力、物力、算力加起來，要耗資2000萬元；而上千億參數(shù)的模型，則約在4000多萬元甚至更高。所以動輒幾千萬元訓(xùn)出一個模型，投入十分高昂。     

    第二，基礎(chǔ)大模型決定了下游各種模型的重要能力。從能力來看，大模型的理解能力、涌現(xiàn)能力、上下文學(xué)習(xí)能力都是由這個基礎(chǔ)模型的結(jié)構(gòu)、尺寸等等決定。從知識來看，無論是通用知識還是專業(yè)知識都是在基礎(chǔ)模型訓(xùn)練過程中學(xué)習(xí)到的。

    價值觀的保證首先需要干凈的語料庫     

    第三，從合規(guī)性和安全性來看，對于內(nèi)容生成的模型，其生成的內(nèi)容是否積極陽光，無偏見和倫理問題等，很大程度是由基礎(chǔ)模型決定。      

    基礎(chǔ)模型如何獲得人類的價值觀？通過訓(xùn)練語料。國內(nèi)外一些科研機構(gòu)、公司訓(xùn)練基礎(chǔ)模型，通常應(yīng)用到Common crawl語料庫，這是互聯(lián)網(wǎng)訓(xùn)練語料全球最大的集合。但其中只有很少的是中文數(shù)據(jù)，而所有中文數(shù)據(jù)中，又只有17%的網(wǎng)源、網(wǎng)站、網(wǎng)址是來自于國內(nèi)。     

    基于已出現(xiàn)的這種風(fēng)險，我們訓(xùn)練的中文語料均來自智源從2019年積累至今的數(shù)據(jù)，99%以上是來自咱們國內(nèi)的站源。國內(nèi)站源具有的優(yōu)點是都有ICP備案許可，所以也規(guī)范了網(wǎng)絡(luò)內(nèi)容的可靠性和可信度。     

    開發(fā)中英文、可商用基礎(chǔ)模型造福下游企業(yè)     

    第四，從版權(quán)和商用許可來看，非商用許可的大模型，企業(yè)后續(xù)無法商用。據(jù)統(tǒng)計，今年1月至5月，新發(fā)布的國外開源語言大模型共有39個，其中可直接商用的是16個；而國內(nèi)開源語言大模型只有11個，且僅有1個對話模型是有可商用許可。基礎(chǔ)模型對整個產(chǎn)業(yè)的發(fā)展價值更大。截至5月底，國外發(fā)布的開源語言大模型里只有5個是基礎(chǔ)模型，而國內(nèi)發(fā)布的開源語言大模型里只有2個是基礎(chǔ)模型，是復(fù)旦的MOSS和清華的CPM—Bee。     

    因此，作為非盈利科研機構(gòu)的智源，我們倡導(dǎo)更多的力量做這樣的投入：第一，支持中英雙語的基座模型。中文里有很多知識是需要直接被訓(xùn)練到模型，依靠翻譯無法將許多中文知識納入其中。第二，希望可以支持商用許可協(xié)議，在預(yù)訓(xùn)練階段就可以開源，這才能夠避免眾多企業(yè)重復(fù)資源建造基座模型。第三，符合國內(nèi)數(shù)據(jù)合規(guī)需要，尤其是納入優(yōu)秀、高質(zhì)量的中文內(nèi)容。     

    另外，代碼模型是大模型產(chǎn)業(yè)落地的一種很重要的模型，具有廣闊應(yīng)用前景?；贏quila-7B強大的基礎(chǔ)模型能力，我們用更少的代碼訓(xùn)練數(shù)據(jù)，小參數(shù)量，高效實現(xiàn)了目前性能最好的中英雙語代碼模型。我們分別在英偉達(dá)和國產(chǎn)芯片上完成了代碼模型的訓(xùn)練，通過支持不同芯片架構(gòu)的代碼+模型的開源，推動芯片創(chuàng)新和百花齊放。

     思考四：評測變得無比重要     

    大模型訓(xùn)練要緊抓兩頭：一頭是數(shù)據(jù)，一頭是評測。     

    為什么評測很重要？一個300億參數(shù)的模型，每天對它投入的算力是10萬元，十分昂貴。而正因為它大，在整個過程中更需要關(guān)注所有的細(xì)節(jié)，一旦出現(xiàn)問題，要及時做出調(diào)整。

    需要各種評測方法評測大模型復(fù)雜的能力     

    此外，大模型的能力很復(fù)雜，很難用單一指標(biāo)表明這個模型在未來使用的各種能力，所以要使用各種評測方法和評測集對它進(jìn)行評測。在大模型訓(xùn)練穩(wěn)定之后，就要開始指令微調(diào)訓(xùn)練，再進(jìn)行循環(huán)迭代，不斷調(diào)整。如果在過程中只用計算機客觀評測，很難準(zhǔn)確及系統(tǒng)性地看到主觀的生成能力，因此還必須加入主觀評測。而主觀評測至今還只能由人類進(jìn)行，我們也嘗試用ChatGPT配合人類進(jìn)行評測。最后優(yōu)選的模型還要進(jìn)入red-team評測，也就是找一組未參與模型研發(fā)的人員扮演用戶群，對這個模型進(jìn)行各種提問，包括各種惡意、刁鉆的提問，來評估這個模型的效果。     

    智源打造了FlagEval天秤大模型評測系統(tǒng)，包括了中、英雙語的客觀、主觀22個評測集合，8萬多個評測項?；谀壳白钚碌脑u測，AquilaChat以大約相當(dāng)于其他模型50%的訓(xùn)練數(shù)據(jù)量達(dá)到了最優(yōu)性能。

    評測已經(jīng)演進(jìn)到認(rèn)知能力和人類思維能力     

    大模型從去年進(jìn)入所有人的視野，其能力發(fā)展迅速。同時評測的難度也一路攀高，相當(dāng)于不斷地拉長尺子，才能更好地量度大模型的能力。     

    隨著大模型能力的提升，對評測產(chǎn)生了四個臺階的演進(jìn)：     

    第一，理解能力。過去十年、二十年，AI一直是以理解能力評測為主，無論是計算機視覺還是自然語言處理。     

    第二，生成能力。現(xiàn)在已經(jīng)出現(xiàn)了AI生成內(nèi)容，這不得不依靠人類的主觀進(jìn)行評測。主觀評測的質(zhì)量很難完全保障一致和客觀性，雖然也逐步引入一些AI的輔助手段，但在很多的測試案例上仍然偏差很大。     

    第三，認(rèn)知能力。當(dāng)前人們考量各種大模型，已經(jīng)不認(rèn)為它們只是一個能說會寫的語言模型，而是希望看到各種各樣的知識能力、認(rèn)知能力。因此，對評測來說，更大的挑戰(zhàn)是如何刻畫一個全人類的認(rèn)知能力。另外，很多人用各類考題考驗這些模型，但這些考題很多都已經(jīng)被泄露到模型的訓(xùn)練語料，所以這種認(rèn)知能力的評測也有失偏頗。     

    第四，人類思維能力。更困難的是，很多人希望這個模型更加像一個人類的思維一樣去理解、去思辨。所以對于模型的心智能力應(yīng)該怎樣評判、評價，就需要多學(xué)科的交叉。

     思考五：保持工匠精神與好奇心      

     在大模型時代，擁有近200個全職研究人員的智源看到各種各樣的現(xiàn)實問題、技術(shù)的問題，亟需AI領(lǐng)域內(nèi)外學(xué)科的科研人員團(tuán)結(jié)協(xié)作，共同去突破。無論文生圖還是ChatGPT的應(yīng)用，都離不開冰山下整個大模型全技術(shù)棧的積累，而這正是智源一直致力于打造的部分——所有的基礎(chǔ)模型，包括數(shù)據(jù)集、數(shù)據(jù)工具、評測工具，甚至包括AI系統(tǒng)、多種的跨芯片技術(shù)的支撐。這是我們的使命，既要打造冰山以下的大模型技術(shù)棧，同時以可商用的形式全部開源出來。     

大模型時代一方面需要以工匠的精神鍛造每一個大模型，每一步都要精雕細(xì)琢；另一方面，大模型里有太多的未知，需要以追星逐月的好奇心去探究。只有我們探究得更好，才能讓它在產(chǎn)業(yè)落地得更穩(wěn)，未來的十年才能是潮起后不斷地穩(wěn)步向前發(fā)展。

.