一、Google的BERT
來(lái)源：51CTO技術(shù)棧
本文將深入研究大語(yǔ)言模型領(lǐng)域的最新進(jìn)展，改變AI的6大NLP語(yǔ)言模型，每個(gè)模型能夠引入的增強(qiáng)功能、以及潛在功能應(yīng)用與限制。
在快速發(fā)展的人工智能（AI）領(lǐng)域，自然語(yǔ)言處理（Natural Language Processing，NLP）已成為了研究人員和開發(fā)人員的關(guān)注焦點(diǎn)。作為該領(lǐng)域顯著進(jìn)步的標(biāo)志，近年來(lái)業(yè)界出現(xiàn)了多種突破性的語(yǔ)言模型。它們推動(dòng)了機(jī)器理解和生成能力的進(jìn)行。在本文中，我們將深入研究大語(yǔ)言模型領(lǐng)域的最新進(jìn)展，探索每個(gè)模型能夠引入的增強(qiáng)功能、以及潛在功能應(yīng)用。
下面，我們將從2018年具有開創(chuàng)性的BERT模型開始，向您介紹如下大語(yǔ)言模型：
Google的BERT（https://www.topbots.com/top-6-nlp-language-models-transforming-ai-in-2023/#bert）
OpenAI的GPT-3（https://www.topbots.com/top-6-nlp-language-models-transforming-ai-in-2023/#gpt3）
Google的LaMDA（https://www.topbots.com/top-6-nlp-language-models-transforming-ai-in-2023/#lamda）
Google的PaLM（https://www.topbots.com/top-6-nlp-language-models-transforming-ai-in-2023/#palm）
Meta AI的LLaMA（https://www.topbots.com/top-6-nlp-language-models-transforming-ai-in-2023/#llama）
OpenAI的GPT-4（https://www.topbots.com/top-6-nlp-language-models-transforming-ai-in-2023/#gpt4）
一、Google的BERT
2018年，Google AI團(tuán)隊(duì)推出了源于Transformers的Bidirectional Encoder Representations（BERT）自然語(yǔ)言處理（NLP）模型。它在設(shè)計(jì)上允許模型考慮每個(gè)單詞的左右與上下文。雖然其概念相對(duì)簡(jiǎn)單，但是BERT能夠在11種NLP任務(wù)上獲得最新的結(jié)果。其中包括問(wèn)答、已命名實(shí)體識(shí)別、以及與一般語(yǔ)言理解相關(guān)的其他任務(wù)。該模型標(biāo)志著NLP進(jìn)入了預(yù)訓(xùn)練語(yǔ)言模型標(biāo)準(zhǔn)的新時(shí)代。
1、目標(biāo)
消除早期語(yǔ)言模型的局限性，特別是在預(yù)訓(xùn)練中表現(xiàn)出的單向性。這些限制了可用于預(yù)訓(xùn)練的架構(gòu)選擇，以及微調(diào)的方法。例如，OpenAI的GPT v1使用從左到右的架構(gòu)，其中每個(gè)token（表征）只關(guān)注變形的自我關(guān)注層（self-attention）中的先前token。因此，這種設(shè)置對(duì)于語(yǔ)句級(jí)（sentence-level）任務(wù)來(lái)說(shuō)是次優(yōu)的，而對(duì)于token級(jí)任務(wù)則更加不利。畢竟在token級(jí)任務(wù)中，合并雙方的上下文是非常重要的。
2、如何處理
該模型通過(guò)隨機(jī)屏蔽一定比例的輸入標(biāo)記來(lái)訓(xùn)練深度雙向模型，從而避免單詞陷入間接“看到自己”的循環(huán)（https://www.reddit.com/r/MachineLearning/comments/9nfqxz/r_bert_pretraining_of_deep_bidirectional/）。
此外，BERT通過(guò)構(gòu)建一個(gè)簡(jiǎn)單的二元分類任務(wù)，來(lái)預(yù)訓(xùn)練句子關(guān)系模型，以預(yù)測(cè)句子B是否緊跟在句子A之后，從而使之能夠更好地理解句子之間的關(guān)系。
訓(xùn)練一個(gè)包含了大數(shù)據(jù)的大模型，其中包括33億字的語(yǔ)料庫(kù)、1024個(gè)隱藏的24種Transformer塊、以及340M參數(shù)。
3、結(jié)果
該技術(shù)提升了11項(xiàng)NLP任務(wù)，其中包括：
獲得了80.4%的GLUE分?jǐn)?shù)，比之前的最佳成績(jī)提高了7.6%。
在SQuAD上獲得93.2%的準(zhǔn)確性，比人類的表現(xiàn)超出了2%。
提供了一個(gè)預(yù)先訓(xùn)練的模型，不需要對(duì)特定的NLP任務(wù)進(jìn)行任何實(shí)質(zhì)性的架構(gòu)修改。
4、在哪里可以了解更多關(guān)于這項(xiàng)研究的信息？
研究論文：《BERT：用于語(yǔ)言理解的深度雙向Transformer預(yù)訓(xùn)練》（https://arxiv.org/abs/1810.04805）
博客文章：《開源BERT：Google AI帶來(lái)的、最先進(jìn)的自然語(yǔ)言處理預(yù)訓(xùn)練》（https://ai.googleblog.com/2018/11/open-sourcing-bert-state-of-art-pre.html）
5、在哪里可以獲得實(shí)現(xiàn)代碼？
Google Research發(fā)布的官方Github存儲(chǔ)庫(kù)，其中包含了Tensorflow代碼和BERT的預(yù)訓(xùn)練模型（https://github.com/google-research/bert）。
BERT的PyTorch實(shí)現(xiàn)也可以在GitHub上找到（https://github.com/codertimo/BERT-pytorch）。
二、OpenAI的GPT-3
OpenAI團(tuán)隊(duì)引入了GPT-3，作為為每個(gè)語(yǔ)言任務(wù)提供標(biāo)記數(shù)據(jù)集的替代方案。他們建議，擴(kuò)展語(yǔ)言模型可以提高與任務(wù)無(wú)關(guān)的小樣本（few-shot）性能。為了測(cè)試這一建議，他們訓(xùn)練了一個(gè)帶有175B參數(shù)的自回歸語(yǔ)言模型——GPT-3，并評(píng)估了它在二十多種NLP任務(wù)上的性能。在小樣本學(xué)習(xí)、單樣本學(xué)習(xí)、以及零樣本學(xué)習(xí)下的評(píng)估表明，GPT-3取得了不俗的結(jié)果，它們甚至偶爾會(huì)超過(guò)微調(diào)模型，獲得最新的結(jié)果。
1、目標(biāo)
當(dāng)需要對(duì)每個(gè)新語(yǔ)言任務(wù)標(biāo)記數(shù)據(jù)集時(shí)，可將其作為現(xiàn)有解決方案的替代。
2、如何處理
研究人員建議擴(kuò)大語(yǔ)言模型，以提高與任務(wù)無(wú)關(guān)的小樣本的表現(xiàn)。
GPT-3模型使用與GPT-2相同的模型和架構(gòu)，包含了修改初始化、預(yù)規(guī)范化和可逆標(biāo)記化。
不過(guò)，與GPT-2相比，它在轉(zhuǎn)換層中使用了交替的密集和本地帶狀稀疏專注模式（banded sparse attention patterns），這與Sparse Transformer（https://arxiv.org/abs/1904.10509）十分類似。
3、結(jié)果
未經(jīng)微調(diào)的GPT-3模型在許多NLP任務(wù)上都取得了令人滿意的結(jié)果，甚至有時(shí)超過(guò)了針對(duì)特定任務(wù)進(jìn)行微調(diào)的最先進(jìn)模型：
在CoQA基準(zhǔn)測(cè)試中，零樣本設(shè)置為81.5 F1，單樣本設(shè)置為84.0 F1，小樣本設(shè)置為85.0 F1，而微調(diào)SOTA的得分為90.7 F1。
在TriviaQA的基準(zhǔn)測(cè)試中，零樣本的準(zhǔn)確率為64.3%，單樣本的準(zhǔn)確率為68.0%，小樣本的準(zhǔn)確率為71.2%，比目前的水平(68%)高出了3.2%。
在LAMBADA數(shù)據(jù)集上，零樣本的準(zhǔn)確率為76.2%，單樣本的準(zhǔn)確率為72.5%，小樣本的準(zhǔn)確率為86.4%，比目前的技術(shù)水平(68%)高出了18%。
在人類參與的評(píng)估中，由175b參數(shù)的GPT-3模型生成的新聞文章，很難與真實(shí)文章相區(qū)分開來(lái)。
4、在哪里可以了解更多關(guān)于這項(xiàng)研究的信息？
研究論文：《小樣本學(xué)習(xí)語(yǔ)言模型》
5、從哪里可以獲得實(shí)現(xiàn)代碼?
雖然無(wú)法直接獲得其代碼，但是可以獲取其被發(fā)布在GitHub上（https://github.com/openai/gpt-3）的一些統(tǒng)計(jì)數(shù)據(jù)集，以及來(lái)自GPT-3的無(wú)條件的、未過(guò)濾的2048個(gè)token的樣本。
三、Google的LaMDA
對(duì)話應(yīng)用語(yǔ)言模型(Language Models for Dialogue Applications，LaMDA)是通過(guò)對(duì)一組專門為對(duì)話設(shè)計(jì)的、基于Transformer的神經(jīng)語(yǔ)言模型進(jìn)行微調(diào)而創(chuàng)建的。這些模型最多有137B參數(shù)，并且經(jīng)過(guò)訓(xùn)練可以使用外部的知識(shí)來(lái)源。LaMDA有三個(gè)關(guān)鍵性目標(biāo)——質(zhì)量、安全性和真實(shí)性（groundedness）。結(jié)果表明，微調(diào)可以縮小其與人類水平的質(zhì)量差距，但在安全性和真實(shí)性方面，該模型的性能仍然低于人類水平。
作為ChatGPT的替代品，谷歌最近發(fā)布了由LaMDA提供支持的Bard（https://blog.google/technology/ai/bard-google-ai-search-updates/）。盡管Bard經(jīng)常被貼上無(wú)聊的標(biāo)簽，但它可以被視為谷歌致力于優(yōu)先考慮安全的證據(jù)。
1、目標(biāo)
該模型是為開放域的對(duì)話式應(yīng)用構(gòu)建的。其對(duì)話代理不但能夠就任何主題展開對(duì)話，而且可以保證其響應(yīng)是合理的、特定于上下文的、基于可靠來(lái)源的、以及合乎道德的。
2、如何處理
基于Transformer（https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html）的LaMDA是Google Research于2017年發(fā)明并開源的神經(jīng)網(wǎng)絡(luò)架構(gòu)。和其他BERT和GPT-3等大語(yǔ)言模型類似，LaMDA是在TB級(jí)的文本數(shù)據(jù)的基礎(chǔ)上訓(xùn)練出來(lái)的。它能夠了解單詞之間的關(guān)系，進(jìn)而預(yù)測(cè)接下來(lái)可能出現(xiàn)的單詞。
然而，與大多數(shù)語(yǔ)言模型不同的是，LaMDA經(jīng)歷了對(duì)話訓(xùn)練，因此能夠捕捉到，將開放式對(duì)話與其他語(yǔ)言形式區(qū)分開來(lái)的細(xì)微差別。
同時(shí)，該模型也通過(guò)微調(diào)來(lái)提高其反應(yīng)的敏感性、安全性和特殊性。例如，雖然像“那很好（That's nice）”和“我不知道（I don 't know）”之類的短語(yǔ)，在許多對(duì)話場(chǎng)景中可能有不同的含義，但是它們不太可能會(huì)導(dǎo)致后續(xù)有趣對(duì)話的發(fā)生。
通常，LaMDA生成器首先會(huì)生成幾個(gè)候選的響應(yīng)，然后根據(jù)它們的安全性、敏感性、特殊性、以及有趣程度，對(duì)其進(jìn)行評(píng)分。其中，安全得分較低的響應(yīng)會(huì)被過(guò)濾掉。最終，生成器會(huì)選擇排名靠前的結(jié)果作為響應(yīng)。
3、結(jié)果
一系列定性評(píng)估證實(shí)，LaMDA可以參與各種主題的開放式對(duì)話。該模型的反應(yīng)不但是明智的、具體的、有趣的，并且能夠基于可靠的外部來(lái)源進(jìn)行適當(dāng)修改。
盡管到目前為止該模型已取得了大幅進(jìn)展，但是許多文字工作者也認(rèn)識(shí)到該模型仍然存在許多局限性，可能導(dǎo)致產(chǎn)生不適當(dāng)、甚至有害的響應(yīng)內(nèi)容。
4、在哪里可以了解更多關(guān)于這項(xiàng)研究的信息？
研究論文：《LaMDA：對(duì)話式應(yīng)用語(yǔ)言模型》（https://arxiv.org/abs/2201.08239）
Google Research團(tuán)隊(duì)的博客文章：
《LaMDA：邁向安全、真實(shí)、高質(zhì)量的對(duì)話模型》（http://ai.googleblog.com/2022/01/lamda-towards-safe-grounded-and-high.html）
《LaMDA：我們的突破性對(duì)話技術(shù)》（https://blog.google/technology/ai/lamda/）
《通過(guò)語(yǔ)言理解世界》（https://blog.google/technology/ai/understanding-the-world-through-language/）
5、在哪里可以獲得實(shí)現(xiàn)代碼？
我們可以在GitHub的鏈：https://github.com/conceptofmind/LaMDA-rlhf-pytorch處，找到用于LaMDA預(yù)訓(xùn)練架構(gòu)的開源式PyTorch實(shí)現(xiàn)。
四、Google的PaLM
Pathways Language Model（PaLM）是一個(gè)包含了540億個(gè)參數(shù)的基于Transformer的語(yǔ)言模型。它使用Pathways在6144個(gè)TPU v4芯片上進(jìn)行訓(xùn)練。這是一種新的機(jī)器學(xué)習(xí)系統(tǒng)，可在多個(gè)TPU Pod上進(jìn)行高效訓(xùn)練。該模型展示了在小樣本學(xué)習(xí)中擴(kuò)展的好處，能夠在數(shù)百種語(yǔ)言理解和生成基準(zhǔn)上，產(chǎn)生最先進(jìn)的結(jié)果。PaLM在多步推理任務(wù)上優(yōu)于經(jīng)過(guò)微調(diào)的先進(jìn)模型，而且在BIG基準(zhǔn)測(cè)試中的表現(xiàn)，也超過(guò)了人類的平均水平。
1、目標(biāo)
提高大語(yǔ)言模型規(guī)模對(duì)于如何影響小樣本學(xué)習(xí)的理解。
2、如何處理
該模型的關(guān)鍵思想是使用Pathways系統(tǒng)，來(lái)擴(kuò)展具有540億個(gè)參數(shù)語(yǔ)言模型的訓(xùn)練：
其開發(fā)團(tuán)隊(duì)在兩個(gè)Cloud TPU v4 Pod中使用Pod級(jí)別的數(shù)據(jù)并行性，同時(shí)在每個(gè)Pod中使用到了標(biāo)準(zhǔn)數(shù)據(jù)和模型的并行性。
他們能夠?qū)⒂?xùn)練擴(kuò)展到6144個(gè)TPU v4芯片中，這是迄今為止用于訓(xùn)練的最大基于TPU的系統(tǒng)配置。
該模型實(shí)現(xiàn)了57.8%的硬件FLOP利用率的訓(xùn)練效率，這也是迄今為止大語(yǔ)言模型能夠達(dá)到的最高訓(xùn)練效率。
PaLM模型的訓(xùn)練數(shù)據(jù)包括了英語(yǔ)、以及多語(yǔ)言數(shù)據(jù)集組合，其中不乏高質(zhì)量的Web文檔、書籍、維基百科、對(duì)話、以及GitHub代碼。
3、結(jié)果
大量實(shí)驗(yàn)表明，隨著團(tuán)隊(duì)擴(kuò)展到更大的模型，該模型的性能會(huì)急劇上升。目前，PaLM 540B在多項(xiàng)困難任務(wù)中，都達(dá)到了突破性的性能。例如：
語(yǔ)言理解和生成。被引入的模型可以在29種任務(wù)中的28個(gè)上超過(guò)了之前大模型的小樣本性能。其中包括：?jiǎn)柎鹑蝿?wù)、完形填空、句子完成、上下文閱讀理解、常識(shí)推理、以及SuperGLUE（譯者注：一種基于圖卷積神經(jīng)網(wǎng)絡(luò)的特征匹配算法）等任務(wù)。PaLM在大基準(zhǔn)任務(wù)上的表現(xiàn)，展示了它可以區(qū)分因果關(guān)系，并在適當(dāng)?shù)纳舷挛闹欣斫飧拍畹慕M合。
推理。通過(guò)8-shot（樣本）的提示，PaLM解決了GSM8K中58%的問(wèn)題。這是數(shù)千個(gè)具有挑戰(zhàn)性的小學(xué)水平數(shù)學(xué)問(wèn)題的基準(zhǔn)。它超過(guò)了之前通過(guò)微調(diào)GPT-3 175B模型獲得的55%的最高分。PaLM還展示了在需要多步邏輯推理、世界知識(shí)、以及深入語(yǔ)言理解等復(fù)雜組合的情況下，生成顯式解釋的能力。
代碼生成。PaLM的性能與經(jīng)過(guò)微調(diào)的Codex 12B相當(dāng)，同時(shí)它所使用的Python代碼減少了50倍。這證實(shí)了大語(yǔ)言模型可以更有效地從其他編程語(yǔ)言、以及自然語(yǔ)言數(shù)據(jù)中轉(zhuǎn)移學(xué)習(xí)。
4、在哪里可以了解更多關(guān)于這項(xiàng)研究的信息？
研究論文：《PaLM，使用路徑擴(kuò)展語(yǔ)言建?！罚╤ttps://arxiv.org/abs/2204.02311）
博客文章：《Pathways Language Model（PaLM）：Google Research擴(kuò)展到540億個(gè)參數(shù)，以實(shí)現(xiàn)突破性性能》（https://ai.googleblog.com/2022/04/pathways-language-model-palm-scaling-to.html）
5、在哪里可以獲得實(shí)現(xiàn)代碼？
PaLM研究論文中有關(guān)特定Transformer架構(gòu)的非官方PyTorch實(shí)現(xiàn)，可在GitHub的鏈接--https://github.com/lucidrains/PaLM-pytorch處獲得。不過(guò)，它不會(huì)擴(kuò)展，僅出于教育目的而發(fā)布。
五、Meta AI的LLaMA
Meta AI團(tuán)隊(duì)曾斷言，在更多token上訓(xùn)練較小的模型，更容易針對(duì)特定產(chǎn)品的應(yīng)用，進(jìn)行重新訓(xùn)練和微調(diào)。因此，他們引入了LLaMA（Large Language Model Meta AI），這是一組具有7B到65B參數(shù)的基礎(chǔ)語(yǔ)言模型。LLaMA 33B和65B在1.4萬(wàn)億個(gè)token上進(jìn)行了訓(xùn)練，而最小的模型LLaMA 7B則在13萬(wàn)億個(gè)token上進(jìn)行了訓(xùn)練。他們只使用公開可用的數(shù)據(jù)集，而不依賴于專有或受限的數(shù)據(jù)。該團(tuán)隊(duì)還實(shí)施了關(guān)鍵的架構(gòu)增強(qiáng)和訓(xùn)練速度的優(yōu)化技術(shù)?？傊?，LLaMA-3B的性能優(yōu)于GPT-10，體積小了65倍以上，而LLaMA-65B則表現(xiàn)出與PaLM-540B相仿的性能。
1、目標(biāo)
證明了不依賴于專有或受限的數(shù)據(jù)源，僅在可公開訪問(wèn)的數(shù)據(jù)集上，訓(xùn)練性能最佳模型的可行性。
為研究界提供更小、性能更高的模型，從而使那些無(wú)法訪問(wèn)大量基礎(chǔ)設(shè)施的人能夠研究大語(yǔ)言模型。
2、如何處理
為了訓(xùn)練LLaMA模型，研究人員只使用公開可用的數(shù)據(jù)，并與開源相兼容。同時(shí)，他們還對(duì)標(biāo)準(zhǔn)的Transformer架構(gòu)進(jìn)行了一些改進(jìn)：
采用GPT-3方法，通過(guò)規(guī)范化每個(gè)Transformer子層的輸入，而不是歸一化輸出，來(lái)增強(qiáng)訓(xùn)練的穩(wěn)定性。
受到了PaLM模型的啟發(fā)，研究人員用SwiGLU激活函數(shù)，取代了ReLU非線性，以提高性能。
受到了Su等人（2021，https://arxiv.org/abs/2104.09864）的啟發(fā)，他們消除了絕對(duì)位置的嵌入，而是在網(wǎng)絡(luò)的每一層都加入了旋轉(zhuǎn)位置的嵌入（rotary positional embeddings，RoPE）。
最后，Meta AI團(tuán)隊(duì)通過(guò)如下方式提高了模型的訓(xùn)練速度：
避免存儲(chǔ)注意力權(quán)重（storing attention weights）或計(jì)算屏蔽的鍵/查
評(píng)分（computing masked key/query scores），而使用高效的因果多頭注意力（multi-head attention implementation）的實(shí)現(xiàn)。在向后傳遞期間，使用檢查點(diǎn)最大程度地減少了各種重新計(jì)算的激活。
重疊性的激活計(jì)算和GPU之間通過(guò)網(wǎng)絡(luò)進(jìn)行通信。
3、結(jié)果
盡管減小了3倍以上，但是LLaMA-13B仍然超過(guò)了GPT-10，而LLaMA-65B仍然相對(duì)PaLM-540B具有競(jìng)爭(zhēng)力。
4、在哪里可以了解更多關(guān)于這項(xiàng)研究的信息？
研究論文：《LLaMA，開放高效的基礎(chǔ)語(yǔ)言模型》（https://arxiv.org/abs/2302.13971）
博客文章：《Meta AI的基礎(chǔ)性65億參數(shù)大語(yǔ)言模型--LLaMA的介紹》（https://ai.facebook.com/blog/large-language-model-llama-meta-ai/）
5、在哪里可以獲得實(shí)現(xiàn)代碼？
Meta AI在個(gè)案評(píng)估的基礎(chǔ)上，為學(xué)術(shù)研究人員、政府、民間組織、學(xué)術(shù)機(jī)構(gòu)、以及全球行業(yè)研究實(shí)驗(yàn)室相關(guān)的個(gè)人，提供了對(duì)于LLaMA的訪問(wèn)。您可以通過(guò)GitHub存儲(chǔ)庫(kù)的鏈接：https://github.com/facebookresearch/llama進(jìn)行申請(qǐng)。
六、OpenAI的GPT-4
GPT-4是一種大規(guī)模的多態(tài)模型，可以接受圖像和文本的輸入，并生成文本輸出。出于競(jìng)爭(zhēng)和安全的考慮，其相關(guān)模型架構(gòu)和訓(xùn)練的具體細(xì)節(jié)被隱匿了。在性能方面，GPT-4在傳統(tǒng)基準(zhǔn)測(cè)試上已超越了以前的語(yǔ)言模型，并在用戶意圖理解和安全屬性方面表現(xiàn)出了顯著改進(jìn)。同時(shí)，該模型還在各種考試中達(dá)到了人類水平的表現(xiàn)能力，例如，在模擬統(tǒng)一律師考試中，就取得了前10%的分?jǐn)?shù)。
1、目標(biāo)
開發(fā)一種可以接受圖像和文本輸入，并產(chǎn)生文本輸出的大規(guī)模多態(tài)模型。
開發(fā)在各種規(guī)模上可預(yù)測(cè)的基礎(chǔ)設(shè)施和優(yōu)化方法。
2、如何處理
鑒于競(jìng)爭(zhēng)格局和安全影響，OpenAI決定隱瞞有關(guān)架構(gòu)、模型大小、硬件、訓(xùn)練計(jì)算、數(shù)據(jù)集構(gòu)建、以及訓(xùn)練方法等詳細(xì)信息，僅透露了：
GPT-4是基于Transformer的模型，經(jīng)過(guò)了預(yù)先訓(xùn)練，可預(yù)測(cè)文檔中的下一個(gè)token。
它利用公開可用的數(shù)據(jù)和第三方許可的數(shù)據(jù)。
該模型使用來(lái)自人類反饋的強(qiáng)化學(xué)習(xí)（Reinforcement Learning from Human Feedback，RLHF）進(jìn)行微調(diào)。
3、結(jié)果
GPT-4在大多數(shù)專業(yè)和學(xué)術(shù)考試中，都達(dá)到了人類水平的表現(xiàn)能力，尤其是在模擬統(tǒng)一律師考試中，就取得了前10%的分?jǐn)?shù)。
在傳統(tǒng)的NLP基準(zhǔn)測(cè)試上，預(yù)先訓(xùn)練的基礎(chǔ)GPT-4模型優(yōu)于現(xiàn)有的語(yǔ)言模型和先前最先進(jìn)的系統(tǒng)，且無(wú)需針對(duì)特定于基準(zhǔn)的制作、或額外的訓(xùn)練協(xié)議。
在遵循用戶意圖方面，GPT-4表現(xiàn)出了實(shí)質(zhì)性的改進(jìn)，在來(lái)自ChatGPT和OpenAI API的5214項(xiàng)提示中，它的響應(yīng)比GPT-3.5的響應(yīng)高出70.2%。
與GPT-3.5相比，GPT-4的安全性得到了明顯增強(qiáng)，特別是在響應(yīng)違禁內(nèi)容的請(qǐng)求時(shí)，明顯下降了82%；而在對(duì)于醫(yī)療建議和自我傷害等敏感請(qǐng)求的策略上，則增加了29%。
4、在哪里可以了解更多關(guān)于這項(xiàng)研究的信息？
研究論文：《OpenAI的GPT-4技術(shù)報(bào)告》（https://arxiv.org/abs/2303.08774）
博客文章：《OpenAI的GPT-4》（https://openai.com/research/gpt-4）
5、在哪里可以獲得實(shí)現(xiàn)代碼？
目前，仍無(wú)法獲悉GPT-4的代碼實(shí)現(xiàn)。
七、大語(yǔ)言模型的實(shí)際應(yīng)用
近年來(lái)最重要的AI研究突破，主要來(lái)自在龐大的數(shù)據(jù)集上訓(xùn)練的大語(yǔ)言模型。這些模型展示了卓越的性能，并將對(duì)諸如：客服、營(yíng)銷、電子商務(wù)、醫(yī)療保健、軟件開發(fā)、以及新聞業(yè)等領(lǐng)域，帶來(lái)徹底的改變。在大語(yǔ)言模型的廣泛應(yīng)用中，我們以GPT-4為例，其典型應(yīng)用場(chǎng)景包括：
以聊天機(jī)器人和虛擬助手為互動(dòng)形式的自然語(yǔ)言理解和生成。
不同語(yǔ)言之間的機(jī)器翻譯。
產(chǎn)生文章、報(bào)告或其他文本文檔的摘要。
可用于市場(chǎng)研究或社交媒體的情緒監(jiān)控與分析。
可用于營(yíng)銷、社交媒體或創(chuàng)意類寫作的內(nèi)容生成。
可用于客戶支持或知識(shí)庫(kù)的問(wèn)答系統(tǒng)。
提供垃圾郵件篩選、主題分類或文檔組織的文本分類。
提供個(gè)性化的語(yǔ)言學(xué)習(xí)和輔導(dǎo)工具。
支持代碼生成和軟件開發(fā)協(xié)助。
協(xié)助醫(yī)療、法律和技術(shù)文件的分析和協(xié)助。
適用于殘障人士的功能輔助工具，例如文本與語(yǔ)音之間的相互轉(zhuǎn)換。
語(yǔ)音識(shí)別和轉(zhuǎn)錄服務(wù)。
八、風(fēng)險(xiǎn)和限制
當(dāng)然，在現(xiàn)實(shí)生活中部署此類模型之前，我們需要考慮由此產(chǎn)生的相應(yīng)風(fēng)險(xiǎn)和限制。有趣的是，如果您向GPT-4詢問(wèn)其風(fēng)險(xiǎn)和局限性，它可能會(huì)為您提供一長(zhǎng)串相關(guān)考慮。在此基礎(chǔ)上，我進(jìn)行了按需篩選和添加，并為您列出了如下大語(yǔ)言模型的關(guān)鍵風(fēng)險(xiǎn)和限制：
偏見和歧視：大語(yǔ)言模型需要從大量的文本數(shù)據(jù)中學(xué)習(xí)，而這些數(shù)據(jù)很可能包含了偏見和歧視性內(nèi)容。因此，由此生成的輸出，也可能會(huì)在無(wú)意中延續(xù)了刻板印象、冒犯性語(yǔ)言、以及基于性別、種族或宗教等因素的歧視。
錯(cuò)誤信息：大語(yǔ)言模型可能會(huì)生成事實(shí)上不正確、具有誤導(dǎo)性或過(guò)時(shí)的內(nèi)容。雖然這些模型在各種來(lái)源上已進(jìn)行了訓(xùn)練，但它們可能并不總是提供最準(zhǔn)確或最新的信息。發(fā)生這種情況，通常源于模型會(huì)優(yōu)先考慮生成語(yǔ)法的正確性，或是看起來(lái)一致的輸出，即使它們具有一定的誤導(dǎo)性。
缺乏理解：盡管這些模型似乎能夠理解人類語(yǔ)言，但它們主要是通過(guò)識(shí)別訓(xùn)練數(shù)據(jù)中的模式和關(guān)聯(lián)統(tǒng)計(jì)來(lái)實(shí)現(xiàn)的。它們本身對(duì)于自己生成的內(nèi)容，并沒有深刻的理解，這有時(shí)會(huì)導(dǎo)致無(wú)意義的、或不相關(guān)的輸出。
不當(dāng)內(nèi)容：雖然開發(fā)者努力減少大語(yǔ)言模型生成冒犯性、有害或不適當(dāng)?shù)膬?nèi)容，但是由于訓(xùn)練數(shù)據(jù)的性質(zhì)、以及模型無(wú)法識(shí)別上下文或用戶意圖，因此此類情況仍有發(fā)生的可能。
九、小結(jié)
綜上所述，大語(yǔ)言模型能夠生成類似人類的文本、自動(dòng)執(zhí)行的日常任務(wù)、以及在創(chuàng)意和分析過(guò)程中提供各項(xiàng)幫助。這使得它們已成為了如今快節(jié)奏的、技術(shù)驅(qū)動(dòng)的世界中，不可或缺的工具。它們不但徹底改變了自然語(yǔ)言處理領(lǐng)域，并且在提高各類角色和行業(yè)的生產(chǎn)力方面，顯示出了巨大的潛力。
當(dāng)然，正如上文提到的，鑒于大模型的相關(guān)局限性與風(fēng)險(xiǎn)，以及可能出現(xiàn)的偏見、錯(cuò)誤、甚至是惡意使用等問(wèn)題也不容忽視。隨著我們持續(xù)將AI驅(qū)動(dòng)的技術(shù)，整合到日常生活中，必須在利用其能力和確保人類監(jiān)管之間取得平衡。我們只有負(fù)責(zé)任地去謹(jǐn)慎采用生成式人工智能技術(shù)，才能為人類更美好的未來(lái)鋪平道路。
聯(lián)系客服
