中文字幕理论片,69视频免费在线观看,亚洲成人app,国产1级毛片,刘涛最大尺度戏视频,欧美亚洲美女视频,2021韩国美女仙女屋vip视频

打開APP
userphoto
未登錄

開通VIP,暢享免費(fèi)電子書等14項(xiàng)超值服

開通VIP
GPT背后的提升源自prompt tuning——prompt統(tǒng)一范式,“萬物皆可生成”。

原創(chuàng)文章第191篇,專注“個(gè)人成長(zhǎng)與財(cái)富自由、世界運(yùn)作的邏輯,AI量化投資"。

01 人工智能的路徑

圖像技術(shù)再如何突破,我是比較無感的,因?yàn)閳D像里包含的信息非常有限,談不上智能。人

人工智能的前途一個(gè)是NLP,可是由于沒有落地場(chǎng)景,NLP研究一度比較雞肋。

我之前設(shè)想過一種路徑,知識(shí)圖譜+深度強(qiáng)化學(xué)習(xí)=AGI。知識(shí)圖譜代表結(jié)構(gòu)化的信息,可以使用bert這樣的預(yù)訓(xùn)練模型來提取。深度強(qiáng)化學(xué)習(xí)在alphago上證明了其有效性。知識(shí)+概率學(xué)習(xí)的模式,也許可以帶來智能。

但知識(shí)圖譜這條路比NLP本身還難落地。

chatGPT給出了一個(gè)新的可能性。GPT與bert預(yù)訓(xùn)練沒有本質(zhì)區(qū)別,底層都是transformer,也就是都是預(yù)測(cè)下一個(gè)字的概率模型。那如何解決語義與知識(shí)體系的問題呢?

我們需要審視一下模型進(jìn)化的核心邏輯。

以GPT3為首提出是基于預(yù)訓(xùn)練語言模型的新的微調(diào)范式:Prompt-Tuning,其通過添加模板的方法來避免引入額外的參數(shù),從而讓語言模型可以在小樣本(Few-shot)或零樣本(Zero-shot)場(chǎng)景下達(dá)到理想的效果。

傳統(tǒng)模式:自從GPT、EMLO、BERT的相繼提出,以Pre-training + Fine-tuning 的模式在諸多自然語言處理(NLP)任務(wù)中被廣泛使用,其先在Pre-training階段通過一個(gè)模型在大規(guī)模無監(jiān)督語料上預(yù)先訓(xùn)練一個(gè)預(yù)訓(xùn)練語言模型(Pre-trained Language Model,PLM),然后在Fine-tuning階段基于訓(xùn)練好的語言模型在具體的下游任務(wù)上再次進(jìn)行微調(diào)(Fine-tuning),以獲得適應(yīng)下游任務(wù)的模型。這種模式在諸多任務(wù)的表現(xiàn)上超越了傳統(tǒng)的監(jiān)督學(xué)習(xí)方法,不論在工業(yè)生產(chǎn)、科研創(chuàng)新還是競(jìng)賽中均作為新的主流方式。

這種預(yù)訓(xùn)練+微調(diào)的模式,最大的問題在于:下游任務(wù)的目標(biāo)與預(yù)訓(xùn)練的目標(biāo)差距過大導(dǎo)致提升效果不明顯,微調(diào)過程中依賴大量的監(jiān)督語料等。

超大規(guī)模的模型只要配合好合適的模板就可以極大化地發(fā)揮其推理和理解能力。其開創(chuàng)性提出in-context learning概念。

其實(shí)prompt看似復(fù)雜,但理解起來并不難。

把下游的任務(wù),都轉(zhuǎn)化成“提示”,“模板”。這樣就變成是一個(gè)“完形填空”的問題。把閱讀理解轉(zhuǎn)成完形填空。

Prompt Tuning的本質(zhì)是復(fù)用預(yù)訓(xùn)練語言模型在預(yù)訓(xùn)練階段所使用的目標(biāo)和參數(shù)

  • 萬物皆可生成:將所有任務(wù)統(tǒng)一為文本生成,極大化利用單向語言模型目標(biāo);

  • 萬物皆可抽取:將所有任務(wù)統(tǒng)一為抽取式閱讀理解,并設(shè)計(jì)抽取式預(yù)訓(xùn)練目標(biāo);

  • 萬物皆可推理:將所有任務(wù)建模為自然語言推斷(Natural Language Inference)或相似度匹配任務(wù)。

?最近大火的ChatGPT則是基于“萬物皆可生成”的思想,將單向語言模型的ALM發(fā)揮到極致,實(shí)現(xiàn)對(duì)所有任務(wù)的大一統(tǒng)。

prompt是一個(gè)有意思的范式,生成也好,抽取也好,推理也罷,都可以統(tǒng)一到這個(gè)大范式下面,大大提升了預(yù)訓(xùn)練模型的商業(yè)潛力,值得一試。

本站僅提供存儲(chǔ)服務(wù),所有內(nèi)容均由用戶發(fā)布,如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請(qǐng)點(diǎn)擊舉報(bào)
打開APP,閱讀全文并永久保存 查看更多類似文章
猜你喜歡
類似文章
Prompt Learning-使用模板激發(fā)語言模型潛能
一文搞懂!如何高效微調(diào)你的 LLM
過去三個(gè)月,LLaMA系模型發(fā)展如何?指令微調(diào)的核心問題又是什么?
基于CLIP,浙大提出:ActionCLIP,用檢索的思想做視頻動(dòng)作識(shí)別!性能SOTA!代碼已開源!
【AI化學(xué)】GPT-3在化學(xué)與材料科學(xué)任務(wù)中的應(yīng)用表現(xiàn)如何?
關(guān)于ChatGPT的五個(gè)最重要問題
更多類似文章 >>
生活服務(wù)
熱點(diǎn)新聞
分享 收藏 導(dǎo)長(zhǎng)圖 關(guān)注 下載文章
綁定賬號(hào)成功
后續(xù)可登錄賬號(hào)暢享VIP特權(quán)!
如果VIP功能使用有故障,
可點(diǎn)擊這里聯(lián)系客服!

聯(lián)系客服