中文字幕理论片,69视频免费在线观看,亚洲成人app,国产1级毛片,刘涛最大尺度戏视频,欧美亚洲美女视频,2021韩国美女仙女屋vip视频

就說程序員的手速有多快吧，首個(gè)開源ChatGPT項(xiàng)目已經(jīng)出現(xiàn)了！

基于谷歌語言大模型PaLM架構(gòu)，以及使用從人類反饋中強(qiáng)化學(xué)習(xí)的方法（RLHF），華人小哥Phillip Wang復(fù)刻了一個(gè)ChatGPT出來。

項(xiàng)目GitHub星已經(jīng)超過1.7k了，而且還在一路飆升ing。

不過一反常態(tài)的是，網(wǎng)友們看到“開源ChatGPT”卻沒有火速開沖，反倒齊刷刷在發(fā)問：

這……有人能run？

開源了但沒完全開？

項(xiàng)目的核心內(nèi)容，是在PaLM架構(gòu)上實(shí)現(xiàn)基于人類反饋的強(qiáng)化學(xué)習(xí)。

其中，PaLM（Pathways Language Model）是谷歌在今年4月發(fā)布的5400億參數(shù)全能大模型，基于Pathways系統(tǒng)訓(xùn)練，BERT之父Jacob Devlin為主要貢獻(xiàn)者之一。

PaLM可以完成寫代碼、聊天、語言理解等任務(wù)，并且在大多數(shù)任務(wù)上實(shí)現(xiàn)了SOTA少樣本學(xué)習(xí)性能。

另一個(gè)核心點(diǎn)是RLHF“從人類反饋中強(qiáng)化學(xué)習(xí)”。

OpenAI提出InstructGPT時(shí)就用到了這一方法，它能讓AI的回答更加符合情景要求，降低“有害性”。

具體分三步：

第一步，找一些人寫下示范答案，來微調(diào)GPT-3模型，訓(xùn)練監(jiān)督模型baseline。

第二步，收集某個(gè)問題的幾組不同輸出數(shù)據(jù)，由人類對幾組答案進(jìn)行排序，在此數(shù)據(jù)集上訓(xùn)練獎勵(lì)模型。

第三步，使用RM作為獎勵(lì)函數(shù)，近端策略優(yōu)化（PPO）算法微調(diào)GPT-3策略，以強(qiáng)化學(xué)習(xí)方法最大化獎勵(lì)。

ChatGPT使用的GPT-3.5，其中text-davinci-002就是在code-davinci-002的基礎(chǔ)上，采用了InstructGPT訓(xùn)練方法改進(jìn)得到。

正是基于如上兩方面核心內(nèi)容，作者實(shí)現(xiàn)了ChatGPT的復(fù)刻。

大致步驟有3步：

首先來訓(xùn)練一下PaLM，就和其他自回歸Transformer一樣。

第二……

等等，訓(xùn)練PaLM？？？這確定不是在開玩笑？

現(xiàn)在明白為啥大家都覺得這個(gè)開源項(xiàng)目完全不能run了……

打個(gè)不恰當(dāng)?shù)谋确?，這就像如果想吃熊肉，那先自己去打頭熊來。

項(xiàng)目中只有PaLM架構(gòu)和代碼，沒有預(yù)先訓(xùn)練好的權(quán)重。

所以完成第一步，大概效果就是……

話雖如此，但還是繼續(xù)接著往下看看……

第二步，就要訓(xùn)練基于RLHF的獎勵(lì)模型了。作者使用的是一種輕量級訓(xùn)練大語言模型方法LoRA，這種方法是開源的。

然后，再把之前訓(xùn)練好的模型和獎勵(lì)模型用強(qiáng)化學(xué)習(xí)進(jìn)行微調(diào)。

經(jīng)過這三步后，就能得到一個(gè)開源版的ChatGPT了。

這中間面臨的問題包括巨大的計(jì)算量、超大模型和難收集的文本……所以有人也不免發(fā)問：

有沒有一種可能，它也沒啥用？

不過有網(wǎng)友覺得這本質(zhì)上還是一件好事啦。

AI的一個(gè)關(guān)鍵區(qū)別就是，每有一個(gè)重大突破，很快就會出現(xiàn)一個(gè)開源版本。

實(shí)際上，開源項(xiàng)目作者小哥Philip Wang一直都熱衷于復(fù)刻各種明星項(xiàng)目，過去還嘗試過Dall·E 2、AlphaFold 2等。

以及LAION也發(fā)起了一個(gè)類似項(xiàng)目Open Assistant，他們將通過“眾籌腦力”的方式，共同開發(fā)一個(gè)開源的聊天AI。

Stable Diffusion用的開放數(shù)據(jù)集，就是這一組織做的。

感興趣的童鞋不妨去試試看~

PaLM-rlhf-pytorch主頁：
https://github.com/lucidrains/PaLM-rlhf-pytorch

Open Assistant主頁：
https://github.com/LAION-AI/Open-Assistant

參考鏈接：
[1]https://twitter.com/rasbt/status/1608133663937495041
[2]https://twitter.com/omarsar0/status/1608143718460055552