ChatGPT 一下子火起來。不過，對于還沒有認真研究這個領(lǐng)域的做數(shù)字營銷的朋友而言，很多術(shù)語撲面而來，理解起來太費勁。
畢竟，我們做數(shù)字營銷，是ChatGPT 等AIGC技術(shù)的應(yīng)用者，但不是開發(fā)者。可是，如果不了解重要概念，在應(yīng)用時候就會難以真正理解背后的原理，就會被具體的功能牽著鼻子走，而難以有創(chuàng)新。
所以，下面這些“黑話”，以及背后的邏輯，我們有必要知道。
GPT
GPT是
“Generative Pre-trained Transformer”
?。ㄉ尚皖A(yù)訓練變換模型）的縮寫，目的是為了使用深度學習生成人類可以理解的自然語言。
理解人類自然語言的模型有多種，GPT只是其中的一種。另一種很著名的模型是BERT 模型（后面會講）。
GPT也不只是用在跟你“聊天”上的ChatGPT ，它還有更底層作為基座的InstructGPT 。
目前我們討論的GPT一般指的是GPT-3以及它的升級版GPT-3.5，但GPT目前已經(jīng)到了第四版，也就是GPT-4 。
GPT-3 是由人工智能公司OpenAl 訓練與開發(fā)，該模型設(shè)計基于谷歌開發(fā)的變換語言模型（Transformer 模型，后面會提到）。OpenAI 于 2020 年 5 月發(fā)表了GPT-3 的論文，微軟在 2020 年 9 月 22 日宣布取得了GPT-3 的獨家授權(quán)。
所以，現(xiàn)在大家都說，微軟贏麻了，谷歌慌得了，就是因為ChatGPT 微軟的“勢力范圍”。
畢竟，如果所有人都找ChatGPT 問問題，而不在搜索引擎上搜索，谷歌的廣告業(yè)務(wù)不就芭比Q了嗎？
但，遲早人們可以用自然語言跟機器對話得到問題的答案。搜索引擎作為信息入口的功能，肯定會被既能直接提供答案，又能作為信息入口的GPT等新方式所取代。
生成式AI 和判別式AI
生成式AI ，就是幫你做東西的AI。判別式AI ，就是機器能夠幫助辨別東西的AI，也叫決策式AI 。
比如，ChatGPT，在你提問之后說話給你巴拉巴拉一大堆，這就是生成式AI。你讓一個作圖AI，按照你提的要求做個畫，這也是生成式AI。
生成式AI 為啥火，因為它能夠直接響應(yīng)人，直接跟人交流，這是人們最期待的AI 方式。就跟《星際穿越》里面的TARS 機器人一樣。
判別式AI ，也挺重要的，典型的就是讓機器具有像人一樣的認識能力。比如，人工視覺、聽音識曲、自動感知后自動判別然后再自動決策等。我們數(shù)字營銷行業(yè)的營銷自動化（MA ），就很可以利用上判別式AI 。比如，自主判別某個用戶是否屬于高機會型潛在客戶，然后自動為他提供相應(yīng)的商業(yè)信息或營銷誘餌。
生成式AI 和判別式AI 沒有孰優(yōu)孰劣之分，它們是機器智能的兩個必備能力。就如同人，既要有判斷力，也要有創(chuàng)造力。既能有決定做不做一件事情的能力，也要有能夠把事情做出來的能力。兩種AI 就是對應(yīng)的人的這兩種能力。
語料
語言的材料。這個詞并不是在ChatGPT 等自然語言AI產(chǎn)生之后才產(chǎn)生的。例如，我們學習一門外語，也需要語料。畢竟，沒有人天生就懂一門自己從來沒有見過的語言。
我時常在想，當中國人第一次接觸英語的時候，是誰這么聰明，能第一個學會英語呢？肯定是一個“中外混血兒”，他的媽媽是老外，爸爸是中國人吧！
但事實上，并不需要這樣，據(jù)說最早學會外語的中國人是學者，或者應(yīng)該說，最早學會中文的外國人是學者（南懷仁、湯若望這些），然后他們又教會中國人學會外語。他們怎么學會的？就是基于生活在中國（或者外國），而擁有了豐富的語料資源。
語料的英語是Corpus，字典上的解釋是：一套書面文本，特別是某一特定作者的全部作品或某一特定主題的寫作。
在ChatGPT 等模型中，語料被分解為Token 和各種向量關(guān)系，通過預(yù)訓練的方式，人們基于這些Token 和向量關(guān)系，建立起各種參數(shù)和模型，成為可被機器“消化、吸收”的原始學習素材。
所以，語料是ChatGPT的原材料，沒有語料，就沒有ChatGPT。
我這篇文章，未來就有很大可能成為某些自然語言人工智能模型的語料。
Token
Token 是語言模型用于處理和生成文本的文本單位。我們通常認為，一個單詞就是一個Token，但實際上并不如此，比如OpenAI 算兩個token，分別是open和ai，再比如ChatGPT是chat 、g、p 和t 這四個token。
Token對ChatGPT至關(guān)重要，是ChatGPT理解和生成語言的最基本元素。
在用戶輸入一段話后，它使用一個分詞算法將每個輸入的單詞拆分成token 。例如，“Hello world！”將被拆分為3個 token ：[“Hello”，“world”，“！”]。“I’m happy ??”將被拆分為5個token：[“I”, “'”, “m”, “happy”, “??”]。
簡單講，ChatGPT通過預(yù)先訓練（預(yù)訓練是無監(jiān)督學習的方式，關(guān)于監(jiān)督學習和無監(jiān)督學習，我們后面介紹）生成了一個token 列表和不同token 之間的關(guān)系參數(shù)（后面也會介紹參數(shù)是什么），這些參數(shù)的數(shù)量極為龐大（以千億甚至萬億計）。之后，則通過監(jiān)督學習不斷優(yōu)化這些token 和參數(shù)。最終，能夠讓機器自主找到不同的語境下最合適的token 和參數(shù)，從而以最合適地方式把token 組合起來，形成人能夠讀懂的、合理的表達。
當然，這個過程很復(fù)雜，要用到近幾年才出現(xiàn)的“Transformer ”模型，這個模型推動了ChatGPT的成功。
參數(shù)
參數(shù)這個東西，是人工智能中非常重要的一個概念，也是人工智能得以實現(xiàn)的非常重要的手段。
理解參數(shù)是什么，并不困難。首先，你需要理解，人工智能本質(zhì)上仍然是“輸入 - 計算 - 輸出”的經(jīng)典計算機模式。這個模式，從來沒有發(fā)生過改變。改變的（或者更準確說，應(yīng)該是進化的），主要是機器計算的能力越來越強大了。
那么，機器怎么能夠越來越強大到，自己能夠做出“充滿智能”的計算，而不需要人去干預(yù)呢？
這就是參數(shù)在其中起到的作用。
你可以這么簡單地去理解參數(shù)：
在人工智能下，計算，不再是人去直接寫算式，而是讓機器去自主地調(diào)節(jié)“計算公式”。這個“公式”，隨著要解決的問題的復(fù)雜度的升高，里面包含的變量和常量就會越來越多。每個常量或者變量所占有的權(quán)重不一樣，對它們賦予不同的權(quán)重，計算后輸出的結(jié)果也就會非常不同。機器要做的事情，就是基于它輸出的這些結(jié)果的正確與否（結(jié)果正確與否，通常是人告訴機器的，但在一些應(yīng)用中，也可以不需要人），來調(diào)整這些權(quán)重，直到每一次計算出來的結(jié)果，都是正確或接近正確的。
這些權(quán)重，實際上，就是參數(shù)。
除了權(quán)重之外，還有支持向量機中的支持向量，以及線性回歸或者邏輯回歸中的系數(shù)，也都是參數(shù)。支持向量和回歸是什么，就不再多做介紹了，感興趣的朋友查一下度娘，內(nèi)容很多。
人工智能的一個重要方法（但不是唯一方法），就是通過訓練，不斷讓機器學會自主調(diào)整這些參數(shù)。
據(jù)說GPT-3有1750億個參數(shù)。不過，據(jù)說，參數(shù)也不是越多越好。這些，我們就不深究了。
LM
?。ù竽Ｐ?，Large Model ）
現(xiàn)在另一個非?；鸬母拍钍谴竽Ｐ汀?/p>
我先講講模型。
模型，就是我們在前面講“參數(shù)”的時候，所提到的“計算公式”。
計算公式能夠適應(yīng)不同的場景（語境）的一個原因，就是因為這些公式里面有可被不斷動態(tài)調(diào)整的參數(shù)。當然，公式本身也是可調(diào)的，也不是一成不變的。你可以簡單地人為，參數(shù)和公式，就組成了模型?；诓粩嘣黾拥膶W習材料（比如語料和token ），以及不斷告訴機器它所做出的結(jié)果的正確與否，機器就能不斷迭代和優(yōu)化參數(shù)和公式。這個過程也就是模型不斷被訓練的過程。
人工智能、機器學習、深度學習等等這些技術(shù)，背后都離不開模型。模型的好壞，一方面由最初算法的好壞決定，另一方面，也由學習訓練過程的好壞決定。
我們把語料轉(zhuǎn)成token ，目的也就是讓機器能夠基于這些素材，建立模型，并不斷優(yōu)化。
那么，什么是大模型呢？
其實，當你看了我前面講的“參數(shù)”是指什么，大模型也就很容易理解，就是那些擁有很多參數(shù)的模型。
ChatGPT目前千億級別的量級的參數(shù)，肯定是大模型。
國內(nèi)的大廠，也都在做大模型，也是至少百億級別量級的參數(shù)。它們的大模型也不是都跟ChatGPT一樣只是用在自然語言上，更多的，是應(yīng)用在了廣告投放或者內(nèi)容推薦上。當然，也可用在更廣泛的領(lǐng)域。
LLM大語言模型
?。↙arge Language Model）
了解了大模型，就很容易理解LLM （大語言模型）了。
大模型中，專門用來理解、處理、生成自然語言的模型，就是大語言模型。
大語言模型的大，主要就是我們前面所說的參數(shù)量特別大。而參數(shù)量大，又必須以語料庫和token 數(shù)量大為基礎(chǔ)。
前面也有提到，ChatGPT和BERT都是典型的大語言模型。未來，肯定還會有更多的大語言模型出現(xiàn)。
現(xiàn)在看來，ChatGPT占得了先機，因為它更適合生成式任務(wù)。
谷歌的BERT（據(jù)說百度也是用的類似于BERT的模型）的原理是采用遮擋方法，就是把一句話的上下文遮擋住，然后讓機器去“猜測”被遮擋的部分是什么，然后不斷對猜測的結(jié)果進行反饋，以訓練機器理解語言的能力。這種方式，讓BERT更加適合于判別式任務(wù)。
舉個例子，給BERT 一段文本和一個問題，讓它在這個文本中找到這個問題的答案，或者判斷這個文本的情緒傾向是更積極還是更消極。這些事情，BERT 很擅長。
不過，ChatGPT不是這么干的，它直接模仿人類從左到右的閱讀，是一個“單向”的語言訓練模型。所謂“單向”，就是從一句話（或者一段話）出發(fā)，去預(yù)測它后面應(yīng)該接上什么話。所以，這就創(chuàng)造了我們今天跟ChatGPT對話的模式（常?？吹剿槐菊?jīng)地“騙人”和胡說八道）。
另外，ChatGPT也好，還是BERT也好，都是基于我們前面幾次提到的“Transformer 模型”。這個模型是目前最熱的一個自然語言機器學習模型，利用了被稱為“自注意力機制（Self-Attention Mechanism ）”的方法。這個模型對不從事人工智能研發(fā)的朋友來說，理解起來不是很簡單，我就不多介紹了。你需要知道的是，為什么現(xiàn)在機器理解語言的速度變快了，背后就是這個模型的功勞，它可以讓機器并行計算，大大提高了速度。
Prompt
和Prompt Engineering
Prompt的意思是提示。
Prompt Engineering的意思是提示工程。
有人說，這就是魔法師的“念咒”：對機器念咒，就輸出給你你想要的東西。對，差不多。
Prompt 這個詞在計算機科學中出現(xiàn)的很早，類似于你給機器下達的指令，但這個指令又不是程序命令，而更偏向于人類的自然語言。今天，在生成式AI 中，prompt 其實就是給機器提要求。它是自然語言的要求，不過最好能夠精煉、言簡意賅，并且清除表示你想要什么。
不過，任何提問，哪怕是對著人提問，把問題描述清楚，都是一個非常重要的前提。衡量一個人是否聰明的一個重要標志性指針，就是這個人的提問，是不是更高水平的。
對機器的提問或者指示，也需要有更高的水平，機器才能更好理解，并最終能夠按照你的需要給你做出輸出。
所以，如何提出更好的prompt 是要學習的。有點類似于，你要學會如何跟機器說話。有些人在淘寶上販賣現(xiàn)成的prompts ，已經(jīng)成為了一個商機。
Prompt engineering則是把給機器下達指令作為一個嚴肅的工程技術(shù)來進行研究。它所做的事情，不僅是讓我們的指令更合理，更能幫助我們得到我們想要的回答。更是幫助挖掘人工智能的極限，以及找到人工智能的缺陷。
Prompt engineering有很多的方法，比如few-shot 方法、zero-shot 方法、CoT 方法等。我在后面介紹。
聯(lián)系客服
