騰訊研究院 2023-03-17 17:00 發(fā)表于北京
以下文章來(lái)源于M小姐研習(xí)錄 ，作者M(jìn)小姐走四方
M小姐研習(xí)錄.從硅谷到北京，從產(chǎn)業(yè)到投資，我是愛(ài)聊天愛(ài)探索愛(ài)寫(xiě)字的莫妮卡~讓好奇心放肆，是對(duì)自己最大的寵溺。勇敢行走，認(rèn)真書(shū)寫(xiě)，才能不負(fù)此生。播客：Onboard!即刻：莫妮卡同學(xué)我們判斷，如果ChatGPT不犯大錯(cuò)，兩年內(nèi)，對(duì)整個(gè)科技行業(yè)甚至人類社會(huì)都可能影響深遠(yuǎn)。倒計(jì)時(shí)已經(jīng)開(kāi)始了。我排一個(gè)兩年后ChatGPT能做到的事情以及可能性：
1、專家級(jí)回答事實(shí)性的問(wèn)題（99%）；
2、專家級(jí)回答判斷性的問(wèn)題（80%）；
3、每個(gè)人的數(shù)字學(xué)徒（75%）；
4、把編程提效十倍（70%） -- 小團(tuán)隊(duì)半年時(shí)間就能開(kāi)發(fā)3A級(jí)別的游戲；
5、直接要求結(jié)果（50%）；
6、替我打工（50%）；
7、寫(xiě)出一篇這樣充滿原創(chuàng)知識(shí)的文章（5%）；
這里再打幾個(gè)比方，這幾個(gè)比方是盡量準(zhǔn)確，而不帶誤導(dǎo)的：1、iPhone是人體傳感器和功能器官的延伸，ChatGPT是人腦的延伸，只有互聯(lián)網(wǎng)、瀏覽器、iPhone等少數(shù)發(fā)明能和ChatGPT的顛覆性比肩；2、過(guò)去的計(jì)算機(jī)只能“模擬”，ChatGPT可以“理解”；
3、ChatGPT之于過(guò)往機(jī)器學(xué)習(xí)，是后膛槍之于弓箭手，意義不在于兩者的性能對(duì)比，而在于熱兵器的時(shí)代已經(jīng)開(kāi)啟，并且發(fā)展是加速度的；
4、ChatGPT是“自然語(yǔ)言計(jì)算機(jī)”，是人類調(diào)用數(shù)據(jù)與算力的近乎完美的形態(tài)；
5、ChatGPT會(huì)讓“智力分發(fā)”的邊際成本趨近于零，人力資本的杠桿變得無(wú)限大；
6、所有系統(tǒng)與數(shù)據(jù)庫(kù)都值得被ChatGPT重做一遍；
7、ChatGPT應(yīng)該關(guān)注理解能力的構(gòu)建。
但是上述的結(jié)論和比方，在看完全文之前，都沒(méi)什么用，因?yàn)槲覀儾恢朗钦媸羌?。如果?duì)ChatGPT到底是什么不了解，那就只能比誰(shuí)說(shuō)話更語(yǔ)出驚人、更金句，而不是誰(shuí)判斷更準(zhǔn)確、更有洞見(jiàn)。所以我們要花巨大的功夫，寫(xiě)出這篇文章，讓大家知道我們知道什么，不知道什么。
GPT-4在3月15日震撼發(fā)布了，但是本文觀點(diǎn)、推演、結(jié)論不需要任何大改，因?yàn)閷?duì)技術(shù)的理解是準(zhǔn)確的，對(duì)能力范圍的理解與推演也是準(zhǔn)確的。其實(shí)文章并不是對(duì)GPT-4和能達(dá)到的事情有任何“預(yù)測(cè)”，而只是“簡(jiǎn)單推演”。所以就不重新修改了，對(duì)比現(xiàn)實(shí)，正好能讓大家看清楚什么是天天變化的，什么是不變的。
哪五個(gè)問(wèn)題？
在ChatGPT紀(jì)元中，提問(wèn)題的能力和判斷力也許是人類最重要的兩個(gè)能力。我們這里提出五個(gè)關(guān)鍵問(wèn)題，并且試圖拋開(kāi)網(wǎng)絡(luò)上的二手觀點(diǎn)，做出基于原理的判斷。圍繞這五個(gè)問(wèn)題，我們會(huì)把所需要知道的相關(guān)技術(shù)背景，盡量簡(jiǎn)潔但是無(wú)損地總結(jié)清楚，不說(shuō)廢話：
1、是什么：ChatGPT是范式突破，還是過(guò)往AI的延伸？
2、會(huì)怎樣：ChatGPT兩年內(nèi)會(huì)達(dá)到什么水準(zhǔn)？
3、行業(yè)格局：ChatGPT以及GPT有壁壘嗎？
4、如何參與：我們未來(lái)應(yīng)該如何使用ChatGPT？
5、人文：人類和ChatGPT的本質(zhì)區(qū)別是什么？對(duì)人類社會(huì)的沖擊？
我們搞清楚這五個(gè)問(wèn)題，就能判斷市面上大多數(shù)解讀ChatGPT的觀點(diǎn)，無(wú)論從技術(shù)、商業(yè)、投資等等角度，是否靠譜了。其實(shí)就兩個(gè)關(guān)鍵：
1、對(duì)ChatGPT新能力的認(rèn)知：這新能力到底是什么，有多大“不一樣”？那個(gè)“不一樣”能帶來(lái)多少新的可能性？
2、對(duì)“能力獲取難度”的認(rèn)知：ChatGPT如何獲得的？別人獲取類似能力，難度有多大？
文章結(jié)尾我們會(huì)做一下總結(jié)。讓你下次見(jiàn)到某大模型，可以判斷這是ChatGPT的80%還是0%。也可以判斷自己的工作會(huì)被ChatGPT取代多少。
為什么這樣問(wèn)？
最近到處都在討論ChatGPT，但是對(duì)于ChatGPT這樣一個(gè)人類高科技結(jié)晶的新物種，不先搞清楚它“是什么”和“為什么厲害”，那就沒(méi)有辦法形成自己的判斷。沒(méi)有自己基于原理的判斷，看ChatGPT就像看元宇宙、Web3、自動(dòng)駕駛一樣，覺(jué)得好像很厲害，也有一套看似自洽的邏輯，以及振聾發(fā)聵的“洞見(jiàn)”，其實(shí)只能被別人牽著走。
搞清楚ChatGPT“是什么”和“為什么厲害”是一件困難的事情，因?yàn)樽铐敿獾娜斯ぶ悄艽罄袀円矝](méi)有達(dá)成共識(shí)。比如Meta的AI負(fù)責(zé)人，深度學(xué)習(xí)三大佬之一的LeCun就不看好，認(rèn)為這就是個(gè)基于auto-regressive（自回歸）的LLM（large language model，大語(yǔ)言模型），從方法上來(lái)講沒(méi)有啥范式突破。只是因?yàn)镺penAI是個(gè)創(chuàng)業(yè)公司，大家寬容度比較高，ChatGPT在亂說(shuō)話，大家也能容忍。
另一面，ChatGPT的火熱就不說(shuō)了，比如特斯拉的首席AI科學(xué)家就選擇回到OpenAI，共建AGI（artificial general intelligence，通用人工智能，也是OpenAI的追求目標(biāo)）；Meta的VR創(chuàng)始人卡馬克選擇離開(kāi)Meta，自己開(kāi)一家AGI公司。另外一篇文章[1]截取了大佬們的贊譽(yù)神奇的點(diǎn)就在于，雙方也許都是對(duì)的。ChatGPT的確不是一個(gè)“新的模型”，而是即有模型的發(fā)展與組合；但ChatGPT又足夠不一樣，讓包括我在內(nèi)的很多AI相關(guān)的從業(yè)者，有第一次見(jiàn)到光的感覺(jué)。我們?cè)诘谝徽聲?huì)花大篇幅去講一下為什么ChatGPT的原理是填詞，但它的新能力卻遠(yuǎn)遠(yuǎn)不是“填詞”而已。
技術(shù)插播：“自回歸”“大語(yǔ)言模型”是兩個(gè)關(guān)鍵詞
1、自回歸的意思是，我先用模型預(yù)測(cè)下一個(gè)詞是什么，然后把預(yù)測(cè)出來(lái)的詞帶入模型，去預(yù)測(cè)再下一個(gè)詞是什么，不斷迭代。這是過(guò)往語(yǔ)言模型的通用范式，也能讓各類語(yǔ)言類任務(wù)統(tǒng)一成“生成式”任務(wù)。
2、大語(yǔ)言模型的大是指海量參數(shù)，從而能吸取海量數(shù)據(jù)中的信息。這是在transformer模型之后成為可能的。大語(yǔ)言模型本身也值得技術(shù)科普一下，我們?cè)诘谝粋€(gè)問(wèn)題中展開(kāi)。
ChatGPT的最基本版歷史
開(kāi)始問(wèn)問(wèn)題之前，有一些必要的技術(shù)科普。我們著重參考兩篇綜述，盡量抓重點(diǎn)：
1、大語(yǔ)言模型技術(shù)精要[2]
2、ChatGPT的各項(xiàng)超能力從哪里來(lái)[3]
第一份綜述主要講了大語(yǔ)言模型發(fā)展中的關(guān)鍵技術(shù)突破，第二份綜述主要講了ChatGPT發(fā)展過(guò)程中的幾個(gè)重要模型“做到了什么”和“有什么與眾不同的做法”。我們把兩篇文章的重點(diǎn)挑出來(lái)，標(biāo)注一下里程碑事件和其意義。事件意義
Transformer問(wèn)世
讓深度學(xué)習(xí)模型可以“自由吸收”數(shù)據(jù)中的知識(shí)
大語(yǔ)言模型突破了參數(shù)和算力限制，從此語(yǔ)言模型也進(jìn)入?yún)?shù)越多，數(shù)據(jù)越大，模型效果越好的時(shí)代。
LLM內(nèi)戰(zhàn)，逐漸吊打老NLP
Google的Bert路線和OpenAI的GPT路線各有所長(zhǎng)
GPT通過(guò)“自然語(yǔ)言生成任務(wù)”，兼容了幾乎所有NLP問(wèn)題；但是Bert比GPT2表現(xiàn)好。此時(shí)大語(yǔ)言模型已經(jīng)開(kāi)始吊打傳統(tǒng)NLP模型了
GPT3問(wèn)世
展示in-context learning能力，簡(jiǎn)單調(diào)教下就能吊打精調(diào)過(guò)的很多模型
一方面讓GPT模式初現(xiàn)一統(tǒng)江湖的潛質(zhì)，一方面GPT3的 in-context learning能力，展示了和過(guò)往ML的fine-tuning模式的本質(zhì)區(qū)別，我們?cè)谙旅鎲为?dú)詳細(xì)展開(kāi)
- InstructGPT
ChatGPT的交互模式，讓GPT的能力，更加貼近人類真實(shí)交互方式
在in-context learning基礎(chǔ)之上，進(jìn)一步降低了prompting的門(mén)檻；一定程度解決了GPT-3生成結(jié)果與用戶期望不一致的非預(yù)期輸出，大幅降低了有害的、錯(cuò)誤或偏差的輸出結(jié)果，讓GPT更符合人類胃口
- GPT讀代碼
代碼訓(xùn)練能力的提升是GPT3到GPT3.5的重要迭代之一，模型從而可以生成代碼和“理解”代碼
Codex模型讀了大量代碼，之后的GPT3.5模型涌現(xiàn)出了“烏鴉”的能力（第一問(wèn)詳解）。不光能讀懂和生成代碼，對(duì)語(yǔ)言本身的理解和推理能力也解鎖了
- RLHF
ChatGPT背后的核心技術(shù)之一，讓模型學(xué)習(xí)人類的偏好
全稱是reinforcement learning from human feedback，通過(guò)構(gòu)建人類反饋數(shù)據(jù)集，訓(xùn)練一個(gè)reward模型，模仿人類偏好對(duì)結(jié)果打分，是GPT-3后時(shí)代LLM越來(lái)越像人類對(duì)話的核心技術(shù)
ChatGPT
InstructGPT的親戚，但一些優(yōu)化方式也帶來(lái)了ChatGPT的更泛化和準(zhǔn)確能力，再次引爆了AIGC
ChatGPT總體來(lái)說(shuō)和InstructGPT一樣是使用RLHF進(jìn)行訓(xùn)練，但模型是基于GPT3.5，而且數(shù)據(jù)設(shè)置上也不同。ChatGPT是一個(gè)輸入，模型給出多個(gè)輸出，然后人給結(jié)果排序，讓模型可以學(xué)習(xí)人類的排序策略，即使是一本正經(jīng)的胡說(shuō)八道看起來(lái)也很合理的樣子。
這里面再?gòu)?qiáng)調(diào)一個(gè)關(guān)鍵點(diǎn)。GPT-3之后，很多能力是“涌現(xiàn)”的，即不是線性發(fā)展、可預(yù)測(cè)的，而是突然就有了。至于這對(duì)于OpenAI的人是早晚會(huì)發(fā)生，還是完全未預(yù)料，我們就不知道了。這幾個(gè)“涌現(xiàn)”出的能力，尤其是“烏鴉”的能力，是ChatGPT和過(guò)往AI的范式不同，也會(huì)是我們這次討論關(guān)注的重點(diǎn)?！坝楷F(xiàn)”也是大語(yǔ)言模型很神奇的一點(diǎn)，這些能力我們發(fā)現(xiàn)模型隨著數(shù)據(jù)量和模型大小的提升，就突然具備了，但是我們對(duì)這些能力怎么出現(xiàn)的，只有猜想，沒(méi)有共識(shí)。這篇文章[4]有一個(gè)比較全面的總結(jié)和比較。
GPT-3到ChatGPT的演變歷史
如何分辨真假ChatGPT
結(jié)合上面的圖和表格，我們簡(jiǎn)單梳理一下：
1、GPT-3是一個(gè)非常令人驚艷的LLM，這個(gè)兩年半前的播客有當(dāng)時(shí)early-adopter的視角，但GPT-3還勉強(qiáng)屬于“量變”，到現(xiàn)在，也不是最厲害的LLM[5]。
2、GPT-3.5通過(guò)InstructGPT的模式 + 閱讀代碼，涌現(xiàn)了“烏鴉”能力，產(chǎn)生了質(zhì)變。但是還沒(méi)找到合適的應(yīng)用界面，也不符合人類喜好。
3、ChatGPT在RLHF的幫助下，找到了GPT-3.5和人類自然語(yǔ)言的合理接口，解鎖了模型應(yīng)用的前景。
各LLM能力涌現(xiàn)路徑
所以我們要記得，厲害的模型是GPT-3.5，厲害的應(yīng)用方式是ChatGPT。應(yīng)用方式相對(duì)很容易復(fù)制，RLHF有難度但也不太難，真正難的是“烏鴉”能力的復(fù)現(xiàn)。如果我們要關(guān)注能不能做出來(lái)ChatGPT，要關(guān)注的是各家LLM離GPT-3.5的“烏鴉”能力有多遠(yuǎn)，在一個(gè)沒(méi)有烏鴉能力的LLM上套一個(gè)ChatGPT的應(yīng)用方式，只是東施效顰。
這里說(shuō)“應(yīng)用方式相對(duì)容易復(fù)制”，但是不意味著這個(gè)應(yīng)用方式不夠顛覆。iPhone出現(xiàn)時(shí)，很多人也只是覺(jué)得沒(méi)有什么顛覆技術(shù)，只是個(gè)不錯(cuò)的集成方案[6]。但那些人沒(méi)看到的是，iPhone是第一個(gè)“為了適應(yīng)人而設(shè)計(jì)的智能手機(jī)”而非“為了解決問(wèn)題而設(shè)計(jì)的智能手機(jī)”[7]。 iPhone的交互方式和各種傳感器，讓iPhone慢慢變成了人類的身體的一部分，一個(gè)帶來(lái)更多信息，高效交互的器官。ChatGPT已經(jīng)接近目前人類調(diào)用算力和數(shù)據(jù)的最終極形態(tài)了，其應(yīng)用方式本身當(dāng)然是足夠厲害的。我們?cè)诘诙?wèn)，ChatGPT會(huì)取代哪些工作里，詳細(xì)展開(kāi)。
這里也牽涉到了一個(gè)重要的題外話，我們?cè)谟懻撝邪l(fā)現(xiàn)，很多資深A(yù)I從業(yè)者，如果不去深究LLM的細(xì)節(jié)，而是用過(guò)往經(jīng)驗(yàn)猜想ChatGPT的能力來(lái)源時(shí)，會(huì)產(chǎn)生嚴(yán)重的錯(cuò)誤理解。我們總結(jié)了一下，發(fā)現(xiàn)這誤解大概是發(fā)生在in-context learning和instruct這一模式，和過(guò)往模型調(diào)教有什么區(qū)別上，尤其是對(duì)“fine-tuning”這個(gè)詞的理解上。
重要的題外話 -- AI從業(yè)者為什么對(duì)ChatGPT有錯(cuò)誤理解？
過(guò)往的NLP模型是按照具體任務(wù)和具體數(shù)據(jù)來(lái)訓(xùn)練的。所以數(shù)據(jù)質(zhì)量越好，模型效果越好。而且最好只有正確數(shù)據(jù)，沒(méi)有錯(cuò)誤數(shù)據(jù)。大語(yǔ)言模型有一個(gè)重要不同，是“數(shù)據(jù)越多”越好，而數(shù)據(jù)質(zhì)量變成了重要，但稍顯次要因素。
在一開(kāi)始，大模型想要在特定任務(wù)上取得較好效果，也需要那個(gè)領(lǐng)域的具體數(shù)據(jù)去“fine-tune”一下。通過(guò)大量的例子，先教給模型，那個(gè)領(lǐng)域中什么是好，什么是壞，調(diào)節(jié)一下模型的權(quán)重，從而輸出恰當(dāng)?shù)慕Y(jié)果。這和過(guò)往模型的范式是差不多的。這樣的應(yīng)用明顯非常有局限。每做一些新的事情，或者數(shù)據(jù)分布有明顯變化，都要重新訓(xùn)練一遍模型。而新事情和新數(shù)據(jù)無(wú)窮無(wú)盡，模型就只能刷新。但是模型的刷新也可能導(dǎo)致過(guò)去做得好的事情突然做不好了，進(jìn)一步限制了應(yīng)用。
而GPT-3涌現(xiàn)出的in-context learning能力（現(xiàn)在其他大模型也有，比如Google的PaLM，同時(shí)不確定GPT-3是第一個(gè)涌現(xiàn)的，希望得到指正）和上述范式有本質(zhì)不同，“過(guò)往的fine-tuning”需要更改模型參數(shù)，也就是說(shuō)，換了個(gè)新模型。但是in-context learning，模型并沒(méi)有變化，卻能在新數(shù)據(jù)上表現(xiàn)更好。研究甚至發(fā)現(xiàn)，你給大模型一堆范例，只要對(duì)應(yīng)關(guān)系整體是對(duì)的，這時(shí)候改變具體對(duì)應(yīng)的順序，大模型仍然能輸出正確的結(jié)果。這真的很神奇。再重新強(qiáng)調(diào)一遍，模型沒(méi)有變化，沒(méi)有被重新訓(xùn)練，但是能“理解”新數(shù)據(jù)，并且表現(xiàn)更好。
接下來(lái)還有更神奇的。在GPT-Codex版本解鎖了推理能力，以及InstructGPT提出了instruct這一方法，他們合體的ChatGPT在in-context learning的基礎(chǔ)之上，展示出了具備理解、推理、演繹能力的樣子。我們?cè)谙乱徽略敿?xì)展開(kāi)。
一個(gè)重要的關(guān)系圖
我做了一副圖來(lái)表示他們的關(guān)系（3.16迭代成V2）。注意幾點(diǎn)：
1、過(guò)去的ML的“fine tune”，“數(shù)據(jù)飛輪”，本質(zhì)是為了迭代模型本身，用新模型解決新問(wèn)題。
2、而pre-trained大模型的關(guān)鍵思路是用大模型來(lái)解決所有問(wèn)題。模型本身不變化。
3、雖然InstructGPT和ChatGPT改變了大模型的參數(shù)，但是：
是「加工」，而不是「迭代」是「激活」了GPT-4的部分能力，而不是「賦予」GPT-4任何新能力是人類偏好「對(duì)齊」，而不是去「訓(xùn)練」GPT-44、New Bing是「基于ChatGPT范式下」做到的。我們對(duì)ChatGPT顛覆能力的絕大多數(shù)推演，僅來(lái)自于「把給New Bing的接口開(kāi)放給公眾」。甚至都沒(méi)討論其他突破的可能性。
ChatGPT是范式突破嗎？
機(jī)器學(xué)習(xí)發(fā)展了這么多年，遵循同一個(gè)范式。哪怕2016年大火的AlphaGo，也完全沒(méi)有脫離這個(gè)范式 -- 鸚鵡學(xué)舌。
1.1 過(guò)往機(jī)器學(xué)習(xí)的范式 -- 鸚鵡學(xué)舌
機(jī)器學(xué)習(xí)，包括深度學(xué)習(xí)，所遵循的范式是“data fitting”，即找到數(shù)據(jù)中的“對(duì)應(yīng)關(guān)系”并應(yīng)用。具體來(lái)說(shuō)，就是Y=f(X)，給定一些優(yōu)化目標(biāo)，機(jī)器學(xué)習(xí)尋找X和Y的對(duì)應(yīng)關(guān)系，來(lái)優(yōu)化一個(gè)特定的方程。對(duì)應(yīng)關(guān)系找得好，讓我們?cè)谝?jiàn)到一個(gè)未知的X'的時(shí)候，也能根據(jù)規(guī)律，總結(jié)出Y'是什么，能最好達(dá)到設(shè)定的目標(biāo)。
從信息論的角度，這樣的范式，所能總結(jié)的規(guī)律，應(yīng)該是在“已有X所包含信息的范疇之內(nèi)”。換句話說(shuō)，遇到一個(gè)新的X'，雖然沒(méi)見(jiàn)過(guò)，但是應(yīng)該和過(guò)去的X長(zhǎng)得差不多。用圖像識(shí)別舉例，如果模型只在小狗小貓的數(shù)據(jù)上訓(xùn)練過(guò)，是無(wú)法區(qū)分馬車和汽車的。
這就很像鸚鵡學(xué)舌的機(jī)制。鸚鵡是不知道那段話的意義的，它用自己的方式去理解了這個(gè)發(fā)音，并且模仿了出來(lái)。計(jì)算機(jī)能更加精準(zhǔn)地進(jìn)行控制和編程，配合其他模塊能力，就能讓“尋找對(duì)應(yīng)關(guān)系”這個(gè)能力，發(fā)揮更大作用，比如：
1、圖像識(shí)別 + 搜索，就能高效找人
2、Matrix completion + 用戶數(shù)據(jù)收集，就能高效推薦
3、把游戲規(guī)則恰當(dāng)轉(zhuǎn)化為優(yōu)化方程 + 問(wèn)題的局部抽象 + 自己生成對(duì)局訓(xùn)練，就能下圍棋
舉例：推薦算法的原理想象一個(gè)矩陣，橫著是不同的人，豎著是不同的短視頻，格子里是這個(gè)人對(duì)這個(gè)短視頻的興趣指數(shù)，我們要想方設(shè)法填滿這個(gè)格子，給每個(gè)人推薦最感興趣的短視頻核心問(wèn)題是在每個(gè)人都沒(méi)看過(guò)99.9999999%短視頻的情況下，這題怎么解有很多種方式，傳統(tǒng)的運(yùn)營(yíng)、策略，也是一些方式?，F(xiàn)有算法的主要做法是1. 把每個(gè)視頻抽象成特征2. 把每個(gè)人抽象成特征3. 通過(guò)特征對(duì)特征的方式進(jìn)行泛化和填表，如果用人來(lái)理解的角度，可能是中年男人喜歡看釣魚(yú)（內(nèi)容+畫(huà)像推薦）你同事們喜歡看老板點(diǎn)贊過(guò)的視頻（關(guān)系鏈）看過(guò)AB的人喜歡看C（collaborative filtering）但是記得，模型抽象出來(lái)的特征是適合機(jī)器理解，而不是適合人類理解的。用人類能描述的方式去描述機(jī)器的優(yōu)化，注定是降低效率的由此可見(jiàn)。過(guò)往AI應(yīng)用的拓展主要是來(lái)自幾點(diǎn)：
1、高質(zhì)量的數(shù)據(jù)，模型的發(fā)展，算力的提升，讓模型越來(lái)越準(zhǔn)、快、和發(fā)現(xiàn)更多更深的“對(duì)應(yīng)關(guān)系”，能進(jìn)行更好的優(yōu)化；
2、更好地把商業(yè)問(wèn)題轉(zhuǎn)化為優(yōu)化問(wèn)題；
3、和其他能力的深度結(jié)合；
但是這些都是基于“鸚鵡學(xué)舌”這一范式的。過(guò)往的NLP（natural language processing，自然語(yǔ)言處理）就是一個(gè)很好的例子。發(fā)展了那么多年，語(yǔ)音助手能根據(jù)指令來(lái)達(dá)成一些目標(biāo)，但是從來(lái)都沒(méi)有真的“懂”那些指令。過(guò)往的NLP只能做“填表”，必須背后有一個(gè)人設(shè)定好具體的任務(wù)，規(guī)劃好如何把語(yǔ)音或者文字形成固定的function，該function如何調(diào)用相應(yīng)的能力。如果沒(méi)有人提前規(guī)劃，那模型就無(wú)法實(shí)現(xiàn)。這篇文章[8]總結(jié)的非常好，這里就不贅述了。
1、亞馬遜Alexa的思路和大多數(shù)商業(yè)語(yǔ)音助手的思路就是招一群程序員來(lái)寫(xiě)if then，高情商說(shuō)法是針對(duì)具體使用場(chǎng)景做深度優(yōu)化。這里有總結(jié)。[9]
2、谷歌的思路是用一個(gè)大模型做底座，一堆小模型做輸入，另一堆小模型做輸出。這條路也遇到明顯瓶頸。
歸根結(jié)底，離開(kāi)了“懂”的能力，鸚鵡的設(shè)計(jì)師，是很難窮盡世界上所有的語(yǔ)言應(yīng)用組合的。說(shuō)這么多，是為了告訴大家，“懂”這件事，是過(guò)往AI夢(mèng)寐以求都想突破的瓶頸。
“懂”字，如果深究的話，會(huì)發(fā)現(xiàn)大家對(duì)它的定義其實(shí)存在很大分歧。我如果讓狗狗伸手，狗狗伸手了，是“懂”嗎？過(guò)去NLP的懂和ChatGPT的懂，又有什么區(qū)別呢？同樣的問(wèn)題存在其他詞匯中，比如理解、推理、演繹、創(chuàng)新，等等。所以想要真的抓住ChatGPT新能力的本質(zhì)，描述就要更加精確和具體。
華人最厲害的AI學(xué)者之一，朱松純教授，在2017年有一篇思考人工智能和智能本質(zhì)的文章，[10]開(kāi)篇所舉的例子，就非常深刻、精確、具體地抓到了這一本質(zhì)。我這里復(fù)述一下。這篇文章80%的價(jià)值，可能就在這一個(gè)例子上。
1.2 ChatGPT可能的新范式 -- 烏鴉
下面是原文，介紹了烏鴉是如何“感知、認(rèn)知、推理、學(xué)習(xí)、和執(zhí)行”的：
總結(jié)一下，城市中的烏鴉通過(guò)觀察，自主串通了：1、汽車能壓碎堅(jiān)果；2、紅綠燈能控制汽車；3、車能撞死我；這三件事情，從而利用紅綠燈和汽車，來(lái)幫自己達(dá)到“安全打開(kāi)堅(jiān)果”這一任務(wù)結(jié)果。
如果類比成機(jī)器學(xué)習(xí)模型，過(guò)往“鸚鵡學(xué)舌”范式的解法，是要求所有烏鴉可以共享一個(gè)大腦，它們有很清晰的優(yōu)化目標(biāo)，即“保住性命的前提下打開(kāi)堅(jiān)果”。它們的方式是，隨機(jī)嘗試所有事件的組合，并向著最優(yōu)解的方向不斷演化。
但現(xiàn)實(shí)世界的烏鴉無(wú)法共享大腦，也不能去冒著死亡風(fēng)險(xiǎn)去嘗試所有可能。烏鴉只有一次機(jī)會(huì)，把觀測(cè)到的兩個(gè)現(xiàn)象，產(chǎn)生了一個(gè)新的可能性，并應(yīng)用在一個(gè)全新的場(chǎng)景下。這里最接近的詞匯可能是“inference”，是“基于證據(jù)和邏輯推演，得到結(jié)論”的過(guò)程，有的時(shí)候，還要加入很多猜測(cè)、抽象、泛化。舉個(gè)例子，這篇文章把朱教授對(duì)于烏鴉的比喻，跟ChatGPT最本質(zhì)的能力聯(lián)系起來(lái)，就是在做inferencing這件事。
但很明顯，inferencing不是烏鴉智能的全部。而且在機(jī)器學(xué)習(xí)領(lǐng)域里，inferencing特指使用訓(xùn)練好的深度學(xué)習(xí)模型來(lái)預(yù)測(cè)新的數(shù)據(jù)這一件事，會(huì)產(chǎn)生誤解。其他詞匯也有類似問(wèn)題，所以我們?cè)谧约何恼吕?，?huì)直接使用“烏鴉能力”來(lái)指代ChatGPT的新能力。在對(duì)外交流時(shí)，我們沒(méi)辦法每次都把烏鴉能力是什么解釋一遍，所以我們會(huì)用“理解”能力來(lái)進(jìn)行指代。從“烏鴉”到“理解”，當(dāng)然是一個(gè)信息量損失很大的過(guò)度概括。但是好處是可以把ChatGPT的本質(zhì)能力凸顯出來(lái)。過(guò)往互聯(lián)網(wǎng)的兩次能力躍進(jìn)一次來(lái)自于搜索，一次來(lái)自于推薦，現(xiàn)在ChatGPT帶來(lái)了“理解”，也非常有結(jié)構(gòu)感。
1.3 ChatGPT看似擁有烏鴉能力的證據(jù)
之所以說(shuō)“看似”，是因?yàn)槲覀儾⒉恢罏貘f為什么會(huì)有和鸚鵡不一樣的能力，我們也不完全知道LLM為什么會(huì)有“烏鴉”的能力。甚至朱教授本人在AAAI 2023上明確說(shuō)了，不認(rèn)為L(zhǎng)LM/ChatGPT具備烏鴉能力，而是一只巨鸚鵡。
這個(gè)觀點(diǎn)是我和朱教授/LeCun不一樣的地方。我的觀點(diǎn)是，我們未必要“理解原理”才能做判斷。換句話說(shuō)，我們并不知道烏鴉為什么有“智能”，不知道人類為什么有“智能”。我們哪怕確定自己有智能，也不知道對(duì)面那個(gè)人是不是真的有智能，而不是一個(gè)模擬的NPC。這是一個(gè)貫穿哲學(xué)史上的「他心問(wèn)題（The problem of other minds）」，我就不過(guò)度展開(kāi)了。
總之，哲學(xué)家告訴我們，我們?cè)诂F(xiàn)實(shí)生活中永遠(yuǎn)無(wú)法真的確認(rèn)其他人是否有智能，但是不妨礙我們生活。所以糾結(jié)LLM是否真的有智能，很可能不重要。我們知道的是，（1）LLM激活“智能”的方式一定與人類和烏鴉不一樣；（2）人類智能也是受到語(yǔ)言限制而非與生俱來(lái)的。所以我們不把話說(shuō)死，只說(shuō)看似擁有，不確定真的擁有。為了節(jié)省筆墨，我們接下來(lái)就不說(shuō)“看似”了。
我的結(jié)論停留在，ChatGPT從表現(xiàn)上來(lái)看，具備了一定程度，但遠(yuǎn)超過(guò)往ML范式的智能，我們注意到這個(gè)智能的局限性，但也應(yīng)該在沒(méi)有搞清楚原理的情況下，積極探索這個(gè)智能的應(yīng)用可能性。
接下來(lái)的這幾點(diǎn)感受，讓我很明顯感覺(jué)到了ChatGPT的“烏鴉”能力
1、ChatGPT擁有in-context correction的能力，即如果說(shuō)錯(cuò)了，給出矯正，ChatGPT能“聽(tīng)懂”錯(cuò)在哪兒了，并向正確的方向修正。in-context correction要比in-context learning難了太多
2、描述越詳細(xì)清楚，ChatGPT回答得越好。要知道，越詳細(xì)的描述，在預(yù)訓(xùn)練的文本里越難匹配到
3、能通過(guò)Winograd測(cè)試（講解）
4、在詢問(wèn)ChatGPT互聯(lián)網(wǎng)上并不存在內(nèi)容的時(shí)候，能給出較好答案（案例：我用ChatGPT學(xué)UE5）
5、ChatGPT能通過(guò)信息猜你心中的想法（案例：跟ChatGPT玩20 questions）
6、你可以制定一個(gè)全新的游戲規(guī)則讓ChatGPT和你玩，ChatGPT可以理解
前兩點(diǎn)是本質(zhì)，后三點(diǎn)是體感。
回過(guò)來(lái)對(duì)比過(guò)往NLP模型范式如何能達(dá)到類似效果，就能看到ChatGPT的神奇之處。過(guò)往模型一定需要針對(duì)具體的問(wèn)題進(jìn)行具體設(shè)計(jì)，而且只要說(shuō)的話稍稍不夠“結(jié)構(gòu)化”，模型的表現(xiàn)就很難保證，更別提在模型資料庫(kù)里，沒(méi)有出現(xiàn)過(guò)的問(wèn)題了。
如果認(rèn)為ChatGPT范式創(chuàng)新的本質(zhì)是烏鴉能力，那就應(yīng)該想辦法像圖靈測(cè)試一樣，有辦法去定義和測(cè)量這一能力。我承認(rèn)，這里的思考和條件還不夠成熟。這是個(gè)重要問(wèn)題，我會(huì)認(rèn)真思考下去。
1.4 打比方時(shí)間到
把該說(shuō)的細(xì)節(jié)說(shuō)清楚，我們現(xiàn)在可以稍負(fù)責(zé)任地打比方。雖然朱教授關(guān)于鸚鵡和烏鴉的比方是最精確的，但畢竟人不是鸚鵡和烏鴉，鸚鵡和烏鴉的能力到底有什么區(qū)別，也需要一番解釋，我們還是打一個(gè)“人”的比方。
我們可以繼續(xù)用“鸚鵡”來(lái)理解過(guò)往的ML，只是這只鸚鵡記憶力和檢索能力都特別強(qiáng)，而且有自己的一套理解事物對(duì)應(yīng)關(guān)系的方式，讓你給他看足夠多東西的時(shí)候，TA就能找到對(duì)應(yīng)關(guān)系。所以你給TA看的東西越多，離你的目標(biāo)越近，TA的表現(xiàn)越好。問(wèn)題是TA其實(shí)完全聽(tīng)不懂你在說(shuō)什么，你沒(méi)教的TA也不可能會(huì)。ChatGPT是一個(gè)“開(kāi)竅”之后擁有“理解”能力的人。理解能力帶來(lái)了舉一反三的能力，邏輯推演的能力，“知錯(cuò)”就改的能力。
所以說(shuō)，我們?nèi)绻萌巳ヮ惐菴hatGPT，問(wèn)題也不大。提煉對(duì)比一下的話：
1、過(guò)往ML：需要“喂”，之后“模仿”，基于的是“對(duì)應(yīng)關(guān)系”；
2、ChatGPT：需要“教”，之后“懂”，基于的是“內(nèi)在邏輯”；
后者的能力上限和應(yīng)用空間，比起前者豈止百倍。這也是為什么大家如此興奮和焦慮。興奮是因?yàn)榭赡苄?，焦慮是因?yàn)槟壳爸挥蠴penAI一家做出來(lái)了ChatGPT，而且并不開(kāi)源。如果ChatGPT如此重要，但所有人只能基于ChatGPT做應(yīng)用的話，每個(gè)人都要重新考慮自己的商業(yè)模式了。這兩個(gè)問(wèn)題都屬于“猜想未來(lái)”，一不小心就會(huì)變成科幻小說(shuō)，我們基于事實(shí)和底層理解，用科學(xué)的方式去盡量負(fù)責(zé)任地推演。
ChatGPT兩年內(nèi)可能達(dá)到的上下限是什么？
通過(guò)Prompt催眠ChatGPT，讓它突破OpenAI的政策限制2.1 比方
1、對(duì)比過(guò)去的技術(shù)：過(guò)往模型是弓箭，ChatGPT是后膛槍。我們?cè)谟^望馬克沁什么時(shí)候出現(xiàn)。后膛槍也許一開(kāi)始打不過(guò)弓箭，但是是熱兵器遲早會(huì)淘汰冷兵器。
2、對(duì)人類的作用：ChatGPT是不斷迭代的交通工具。是需要駕駛員，但是能跑多快，跑多遠(yuǎn)，取代多少“人力運(yùn)輸”，確實(shí)也需要道路、司機(jī)、交通規(guī)則的配合（產(chǎn)品、商業(yè)模式等），可是纖夫肯定是大規(guī)模淘汰了。
我覺(jué)得最準(zhǔn)確的“這個(gè)機(jī)會(huì)有多大”的比方就是iPhone。我前面已經(jīng)說(shuō)了，就像iPhone讓手機(jī)變成了人類器官，并且讓互聯(lián)網(wǎng)從桌面走到了身邊一樣；ChatGPT是終極的調(diào)用算力和數(shù)據(jù)的方式，AGI也能讓AI從有限任務(wù)變成幾乎能取代或協(xié)助人類的所有思考任務(wù)?？赡苓@也是為什么黃仁勛說(shuō)，This is the iPhone moment of AI。
2.2 關(guān)鍵的信息
1、OpenAI的GPT-4已經(jīng)開(kāi)發(fā)了三年+，大概率會(huì)“效率提升很多”，不確定“涌現(xiàn)哪些新能力”：
a、確定的是起碼會(huì)解決GPT-3.5的一些重要問(wèn)題，比如更加優(yōu)化的數(shù)據(jù)-參數(shù)比例、更有效率的信息處理與規(guī)律發(fā)覺(jué)、更高質(zhì)量的信息輸入，等等。極大概率會(huì)比GPT-3.5的效率高很多，inferencing的成本低很多（很可能是百倍提升）
b、不確定的是模型會(huì)有多大（大很多基本確定是謠言），會(huì)不會(huì)有多模態(tài)（之前確定沒(méi)有，現(xiàn)在難說(shuō)，不然Andrej Karpathy為什么要去呢），但是如果有的話，也是多模態(tài)理解，不太可能有多模態(tài)輸出。更重要的是，不知道GPT-4會(huì)涌現(xiàn)什么新能力
多模態(tài)輸入的問(wèn)題是很難把多模態(tài)信息標(biāo)準(zhǔn)化到文本的token模式，所以現(xiàn)在ChatGPT是個(gè)瞎子，對(duì)世界的豐富多彩只能靠別人的轉(zhuǎn)述來(lái)想象。
2、ChatGPT現(xiàn)在遇到的很多問(wèn)題，工程上都有相對(duì)簡(jiǎn)單的解：
a、hallucination/說(shuō)胡話：因?yàn)镃hatGPT沒(méi)有對(duì)準(zhǔn)確度進(jìn)行優(yōu)化，也沒(méi)有引入搜索數(shù)據(jù)等做矯正（New Bing就不怎么說(shuō)胡話了，可以用https://chathub.gg對(duì)比）；而且人類也可以參與判斷過(guò)程；另外就是先應(yīng)用在自己能判斷好壞的場(chǎng)景下做輔助。b、記憶力有限：OpenAI開(kāi)放（收費(fèi)）接口就行了，現(xiàn)有解決方法也很神奇，直接告訴ChatGPT，現(xiàn)在告訴你的內(nèi)容只是一部分，聽(tīng)完了再回答我。[11]c、危險(xiǎn)發(fā)言：ChatGPT的自我審查能力不是基于規(guī)則的，而是基于理解的。那其實(shí)更加可調(diào)節(jié)。給出尊重基本規(guī)則下，發(fā)言尺度可調(diào)節(jié)的ChatGPT，也是OpenAI公開(kāi)發(fā)表的愿景[12]。3、ChatGPT擁有“理解”能力之后，展示了能結(jié)合更多能力的巨大潛力，比如能寫(xiě)代碼，做分析，做總結(jié)，做營(yíng)銷方案，并且快速變得更好用。
4、OpenAI內(nèi)部對(duì)AGI的安全問(wèn)題非常重視。
a、能力是涌現(xiàn)的，意味著人類是不理解的，也自然會(huì)有擔(dān)心。雖然不太可能出現(xiàn)天網(wǎng)，但是會(huì)不會(huì)突然就能破解當(dāng)前的加密算法？這就很難說(shuō)。b、所以O(shè)penAI極大概率是不會(huì)開(kāi)源LLM的。2.3 推演結(jié)論
a、ChatGPT的成本會(huì)直線下降，尤其inference的成本會(huì)小兩個(gè)以上數(shù)量級(jí)
我們選擇媒體的兩條信息源：
1、Sam在公開(kāi)場(chǎng)合曾說(shuō)過(guò)ChatGPT的inference成本是每條幾分錢(qián)；
2、根據(jù)Jefferies Research的詳細(xì)調(diào)研，ChatGPT的inference大概率是使用閑置x86 CPU，而非GPU進(jìn)行的[13]。
疊加我們對(duì)于inference和大語(yǔ)言模型優(yōu)化空間的理解，我們認(rèn)為inference成本直線下降是極大概率的。成本下降就意味著應(yīng)用范圍以及數(shù)據(jù)收集的能力。ChatGPT哪怕到了十億DAU的水準(zhǔn)（現(xiàn)在一億DAU的估算也不靠譜），也是能做到免費(fèi)的。最多限制一下每天的使用次數(shù)就行了。New Bing一度限制60條，現(xiàn)在也沒(méi)了。這些實(shí)際使用中的對(duì)話無(wú)疑會(huì)進(jìn)一步加強(qiáng)ChatGPT的壁壘。
PS：文章寫(xiě)完后的3.1日，OpenAI開(kāi)放了ChatGPT的API接口[14]，成本已經(jīng)優(yōu)化了90%，百萬(wàn)token只需要2.7美元，提煉token能力也大幅優(yōu)化。這只是個(gè)開(kāi)始。
b、ChatGPT“能力”子模型可能需要重新訓(xùn)練，但“知識(shí)”子模型只需要通過(guò)instruct prompting的方式喂知識(shí)
前面說(shuō)過(guò)，過(guò)往AI遇到一個(gè)新任務(wù)，需要在新任務(wù)的數(shù)據(jù)上重新訓(xùn)練一個(gè)模型。但是InstructGPT范式下，給新知識(shí)就夠了，不需要修改pre-trained大模型。很多子任務(wù)，只需要運(yùn)營(yíng)ChatGPT的理解能力+知識(shí)量，那只要通過(guò)對(duì)話、引導(dǎo)、教育，不斷調(diào)教，就能讓ChatGPT在子任務(wù)中把新能力應(yīng)用好。
這里最好的比方可能是鋼鐵俠3。如果打比方的話，ChatGPT是通用型鎧甲，出廠就能干絕大多數(shù)的活兒。因?yàn)榫邆淞死斫饽芰?對(duì)話能力，對(duì)于絕大多數(shù)的工作，人類應(yīng)該使用“教育”和“引導(dǎo)”的方式，讓ChatGPT去完成工作?？梢韵胂驝hatGPT就像一個(gè)知識(shí)淵博，見(jiàn)多識(shí)廣，態(tài)度良好，也有理解能力的人。有耐心，給足夠的context，就能做到不錯(cuò)的水平，比如給出醫(yī)療建議、給法律參考、寫(xiě)代碼框架、做營(yíng)銷方案、做心理咨詢、充當(dāng)面試官，等等。
這里再?gòu)?qiáng)調(diào)一下prompt的重要性。要知道，微軟的New Bing并不是對(duì)ChatGPT做出了多少修改，而是通過(guò)一系列的prompt去限制和引導(dǎo)ChatGPT，讓TA合理地使用搜索，就可以了。并不是去做了一個(gè)新的ChatGPT出來(lái)。
在prompting之上，如果想對(duì)某些方面進(jìn)行專精，比如犧牲對(duì)話能力來(lái)提高上下文理解能力，犧牲對(duì)話延續(xù)性來(lái)提高信息精度，等等，就需要回爐重造，進(jìn)行調(diào)整。這里可能也會(huì)融合一些其他能力模塊，比如搜索（new bing是通過(guò)instruct prompting的方式與ChatGPT融合的，但是不排除把搜索直接融入pre-trained model或者融入RLHF那一步，獲得更好的效果）、和其他模型的接口、工具使用，等等。這就像那些專精型鎧甲。當(dāng)然，能力+工具能解鎖的可能性是巨大的，就像Hulkbuster。
c、Prompting的能力會(huì)大幅增強(qiáng)，會(huì)適度開(kāi)放，成為個(gè)人版ChatGPT
已經(jīng)在這樣做了。
我們預(yù)測(cè)會(huì)進(jìn)一步向著這個(gè)方向加強(qiáng)。除了是一個(gè)明顯的商業(yè)化點(diǎn)，有兩個(gè)更重要的意義：
1、可以讓大家調(diào)教出來(lái)“屬于自己的ChatGPT”，這個(gè)ChatGPT跟你長(zhǎng)時(shí)間聊天之后能適配你的喜好，甚至學(xué)會(huì)你想讓他學(xué)會(huì)的獨(dú)有知識(shí)（注意，不是能力，能力只能激活）；
2、在ChatGPT的閉源模型上，仍然可以讓各個(gè)應(yīng)用層發(fā)展出自己的獨(dú)有競(jìng)爭(zhēng)力。從而解決“我只能給OpenAI做UI”的焦慮；
想象如下的場(chǎng)景。你的ChatGPT能記住你跟TA說(shuō)的所有話，也能不斷從你的反饋中學(xué)習(xí)。如果你是一個(gè)優(yōu)秀的營(yíng)銷經(jīng)理，假以時(shí)日，你的ChatGPT的營(yíng)銷能力也應(yīng)該吊打其他ChatGPT的營(yíng)銷能力。
d、GPT-4會(huì)大幅提升ChatGPT的能力，在多數(shù)領(lǐng)域達(dá)到“優(yōu)秀員工”的水準(zhǔn)；
我們現(xiàn)在明顯是在范式革命的早期，成長(zhǎng)曲線將是陡峭的。New Bing和ChatGPT已經(jīng)展現(xiàn)出巨大差異了。我們有足夠多的理由相信，GPT4在如下幾個(gè)方面幾乎“必然”有巨大進(jìn)步：
1、大模型，大數(shù)據(jù)，更加優(yōu)化的參數(shù)和數(shù)據(jù)比例 -- 參數(shù)越大越好，數(shù)據(jù)越多越好，但是合適的比例才能讓模型充分吸收數(shù)據(jù)知識(shí)。這方面優(yōu)化方向很明確。
2、更有針對(duì)性的訓(xùn)練數(shù)據(jù)集 -- OpenAI在“造高質(zhì)量大數(shù)據(jù)”上的能力幾乎獨(dú)步天下了，而經(jīng)過(guò)GPT-3之后的多年摸索，什么數(shù)據(jù)對(duì)增強(qiáng)什么能力更有用，即使不清楚，也早就有了體感，肯定可以更好調(diào)整（比如讀更多代碼，多語(yǔ)言的比例，等）。
3、可能的“能力模塊融合” -- New Bing以ChatGPT為基座，延伸了搜索能力。那有沒(méi)有辦法把搜索能力直接融入到pre-trained大模型里呢？一些工具能力呢？我認(rèn)為把“搜索能力融入pre-trained大模型里”的方式，和把RLHF融入ChatGPT的方式其實(shí)是類似的。所以應(yīng)該可以基于一套pre-trained大模型，去比較高效地融入其他能力。
更加強(qiáng)大的歸納、“理解”能力，看似更好的悟性，結(jié)合更多場(chǎng)景的調(diào)教，我預(yù)測(cè)在兩年內(nèi)，基于GPT-4的ChatGPT，配合調(diào)教，在大多數(shù)場(chǎng)合下已經(jīng)能達(dá)到普通員工的水平了。詳細(xì)會(huì)在第四問(wèn)中展開(kāi)。
2.4 ChatGPT會(huì)取代大多數(shù)“搬磚”類工作
“烏鴉”能力到底能帶來(lái)什么顛覆性意義呢？意義在于ChatGPT已經(jīng)接近于目前“人類調(diào)用算力”的究極界面了。從計(jì)算機(jī)發(fā)展以來(lái)，一直在三方面進(jìn)行發(fā)展：
1、算力和存儲(chǔ)能力的進(jìn)步：以摩爾定律為代表。在云之后，更讓個(gè)人可以調(diào)用的算力幾乎無(wú)上限；
2、對(duì)數(shù)據(jù)的生產(chǎn)、總結(jié)，和使用：比如App上記錄了很多用戶行為，才能做更好的推薦；
3、“調(diào)用算力與數(shù)據(jù)手段”的抽象與進(jìn)化：從機(jī)器語(yǔ)言、匯編語(yǔ)言、高級(jí)語(yǔ)言，到虛擬機(jī)（對(duì)硬件的抽象）、云服務(wù)（對(duì)API的抽象）。詳情請(qǐng)看徐老師的文章[15]。
后兩者雖然進(jìn)步了很多，但是編程仍然是阻止大多數(shù)人調(diào)用算力的門(mén)檻?，F(xiàn)在，ChatGPT已經(jīng)可以很好地進(jìn)行編程輔助了。假以時(shí)日，我們可以向ChatGPT去直接要一個(gè)結(jié)果，而跳過(guò)中間的PM - BRD - 開(kāi)發(fā) - 交付的冗長(zhǎng)流程。
我們退一步去思考一下，為什么ChatGPT可以取代這類工作？因?yàn)檫@類工作雖然是“技術(shù)”工種，但是其實(shí)“創(chuàng)新”的比重并不高。我們經(jīng)常會(huì)用“搬磚”來(lái)自嘲自己工作的重復(fù)，這正是問(wèn)題的關(guān)鍵。如果我們所做的無(wú)非是去理解問(wèn)題，尋找互聯(lián)網(wǎng)上已有答案，把兩者進(jìn)行對(duì)接，那如果ChatGPT能理解問(wèn)題，歸納答案，自然能比我們干得好。
抽象來(lái)看，ChatGPT擁有編程能力，也擁有其他能力。大家需要思考自己工作的本質(zhì)，是在真的做創(chuàng)新，把已有的點(diǎn)鏈接起來(lái)之后形成新的點(diǎn)，還是在“搬磚”？如果是后者，真的需要去試用一下ChatGPT，看看自己能不能確定比ChatGPT做得好了。
2.5 ChatGPT讓“智力分發(fā)”的邊際成本降為接近零
這個(gè)觀點(diǎn)其實(shí)是Sam Altman的。想象一下：
1、ChatGPT進(jìn)一步開(kāi)放記憶力，能記住你一萬(wàn)句話
2、有一個(gè)優(yōu)秀的老師在不斷調(diào)教ChatGPT，比如對(duì)齊對(duì)“技術(shù)能力”的理解，對(duì)結(jié)果的反饋
3、（可選）ChatGPT能獲得更多專有數(shù)據(jù)的權(quán)限
那這樣的一個(gè)ChatGPT調(diào)教出來(lái)，它是可以以忽略不計(jì)的使用成本，同時(shí)服務(wù)幾乎無(wú)限人的，我們?cè)賹?duì)照當(dāng)下，找出來(lái)個(gè)帶來(lái)的重要改變：
1、人的精力時(shí)間是非常有限的，再厲害的人，也極端受限于單位時(shí)間產(chǎn)量。ChatGPT會(huì)徹底改變這一點(diǎn)。
a、軟件讓很多工具分發(fā)的邊際成本降為0b、互聯(lián)網(wǎng)讓很多信息/內(nèi)容分發(fā)的邊際成本降為0c、ChatGPT會(huì)讓智力分發(fā)的邊際成本降為02、與此同時(shí)，“ChatGPT的好教師/好教練”會(huì)變得很重要。這個(gè)人的綜合能力要求是極高的，起碼要有三個(gè)基礎(chǔ)能力
a、業(yè)務(wù)認(rèn)知到位：能識(shí)別ChatGPT答案體現(xiàn)出來(lái)的它和理想狀況的背后的Gap。從而不斷迭代更新b、懂教育：Instruct范式下，通過(guò)教育學(xué)的方式更加有效地激活ChatGPT的能力。預(yù)計(jì)這里沒(méi)有唯一答案，但是會(huì)有明確正反饋（好老師+好學(xué)生）c、能找到真實(shí)需求：ChatGPT能回答什么，能用來(lái)干什么，是一個(gè)開(kāi)放題。所以一方面能對(duì)ChatGPT能力邊界有底層認(rèn)知，一方面能不斷發(fā)現(xiàn)世界中的真實(shí)需求所以ChatGPT一方面會(huì)是個(gè)人能力的超級(jí)放大器，一方面，半開(kāi)玩笑地說(shuō)，可以關(guān)注一下新東方的發(fā)展（不構(gòu)成投資建議?。?div style="height:15px;">
ChatGPT以及GPT有壁壘嗎？
當(dāng)然有，但是壁壘多高，取決于問(wèn)題1、2的結(jié)論。我們把幾種情況分列一下。
1、ChatGPT的“烏鴉”能力不是范式突破，只是錯(cuò)覺(jué)；
2、ChatGPT的“烏鴉”能力是范式突破，競(jìng)爭(zhēng)者6個(gè)月內(nèi)就能“涌現(xiàn)”；
3、ChatGPT的“烏鴉”能力是范式突破，競(jìng)爭(zhēng)者6-24個(gè)月才能“涌現(xiàn)”；
4、ChatGPT的“烏鴉”能力是范式突破，但是競(jìng)爭(zhēng)者兩年內(nèi)都無(wú)法“涌現(xiàn)”。
從實(shí)際使用體感來(lái)說(shuō)，#1基本可以排除了。如果是情況#2，那未來(lái)各大互聯(lián)網(wǎng)公司有自己的厲害的大模型只是時(shí)間問(wèn)題。就像有自己的云、自己的圖像識(shí)別算法等等，雖然有好有壞，但是可以解決有無(wú)的問(wèn)題。
情況#2是很有可能的。畢竟ChatGPT沒(méi)有大秘密，OpenAI做得到，別的公司也能做到。甚至很有可能，GPT-3.5所涌現(xiàn)的烏鴉能力，在其他大模型上已經(jīng)具有或者在看到ChatGPT之后，轉(zhuǎn)換方向，很快就能具有。只是現(xiàn)在還沒(méi)有成熟的RLHF機(jī)制，沒(méi)有像ChatGPT那樣顯得很懂你。
但是我們也有理由認(rèn)真考慮情況#3、#4的可能性。后面會(huì)更詳細(xì)展開(kāi)，因?yàn)镺penAI的工程能力很強(qiáng)，而工程能力強(qiáng)到一定程度，是可以形成壁壘的。就像芯片、飛機(jī)引擎一樣，不是秘密，但是沒(méi)有幾個(gè)公司能做出來(lái)。如果Google/Meta需要6個(gè)月才能復(fù)現(xiàn)ChatGPT“理解”的能力，可以認(rèn)定其壁壘極高是很高的，尤其是工程難度極大。這個(gè)時(shí)候其他公司想要“追趕”，就很難了。因?yàn)镃hatGPT的數(shù)據(jù)飛輪優(yōu)勢(shì)已經(jīng)幾乎無(wú)法撼動(dòng)。
3.1 ChatGPT壁壘的來(lái)源
a、GPT-3是閉源的
OpenAI內(nèi)部對(duì)于AGI的態(tài)度是非常審慎的，光從安全這一點(diǎn)考慮，都不可能把ChatGPT開(kāi)源?！伴_(kāi)源模型國(guó)產(chǎn)實(shí)現(xiàn)”路徑，在ChatGPT上是不要指望的。這是一件考驗(yàn)真功夫的事情。
b、OpenAI的工程能力是很強(qiáng)的壁壘
這是因?yàn)閯?chuàng)始人真的懂，真的一直堅(jiān)持AGI這條路，真的用心吸引到了這方面最好的一批人，形成了超高的人才密度?！霸黾幽Ｐ蛥?shù)”這件事需要工程能力，更難的是“讓大模型有效地學(xué)習(xí)到大數(shù)據(jù)中的知識(shí)”，以及如何調(diào)教模型產(chǎn)出人類需要的輸出，OpenAI自己的blog里都很強(qiáng)調(diào)。這里面的工程積累就可以類比“芯片”和“大飛機(jī)引擎”了。
下一步的工程積累必須站在上一步的工程突破上。而且要求過(guò)程中參與的工程師們都要有“原理性”思考的習(xí)慣。據(jù)打聽(tīng)來(lái)的消息，正是因?yàn)镺penAI超高的人才密度，才在互相碰撞中突破了諸多工程瓶頸。這些工程瓶頸到底有多難突破，我們不在其中，很難判斷。
c、務(wù)實(shí)的土壤很難長(zhǎng)出OpenAI的能力
面向業(yè)務(wù)目標(biāo)不斷優(yōu)化的模型，所有都是基于現(xiàn)有模式進(jìn)行優(yōu)化，是不可能形成范式突破的。在務(wù)實(shí)的商業(yè)環(huán)境下，如果不能“一步一腳印”地為業(yè)務(wù)提供正反饋，整個(gè)模型的發(fā)展就很受限。很難在三年還沒(méi)有突破的情況下給耐心，就算有耐心，團(tuán)隊(duì)士氣也無(wú)法保障。
但是這里確實(shí)也要避免矯枉過(guò)正。沒(méi)有OpenAI，沒(méi)有Sam Altman和Ilya Sutskever，再給硅谷十年時(shí)間，能不能產(chǎn)生ChatGPT也很難說(shuō)。所以不要太計(jì)較為什么只有OpenAI產(chǎn)生了ChatGPT。
d、Leadership的技術(shù)判斷力是稀缺資源
New Bing與ChatGPT結(jié)合地這么快，效果又這么好，在創(chuàng)業(yè)歷史上其實(shí)是罕見(jiàn)的奇跡。這是喬布斯和馬斯克的段位，遠(yuǎn)超市面上其他人。這方面可遇不可求，不是一個(gè)可復(fù)制的模式。
e、數(shù)據(jù)飛輪已經(jīng)形成
ChatGPT不光是一個(gè)AI新范式，也是一個(gè)現(xiàn)象級(jí)成功的C端產(chǎn)品，又有微軟的資源和渠道加成，很明顯一上來(lái)就卡住了非常好的身位。這種情況下，ChatGPT的使用數(shù)據(jù)是可以不斷反補(bǔ)模型本身的。注意，我說(shuō)的是使用數(shù)據(jù)，意思是使用中的行為數(shù)據(jù)等統(tǒng)計(jì)數(shù)據(jù)，而不是對(duì)話中產(chǎn)生的內(nèi)容本身。ChatGPT的博客里也反復(fù)強(qiáng)調(diào)他們有獨(dú)特的機(jī)制，讓數(shù)據(jù)的使用、理解、生產(chǎn)，有緊密的閉環(huán)。[16]
3.2 題外話2，正確理解數(shù)據(jù)對(duì)LLM的重要（與不重要）
過(guò)往模型的數(shù)據(jù)飛輪和ChatGPT的數(shù)據(jù)飛輪是有重要區(qū)別的。ChatGPT形成的數(shù)據(jù)對(duì)話，對(duì)ChatGPT背后的pre-trained大模型意義不大。我們回到ChatGPT與GPT關(guān)系的這張圖：
GPT-4是通過(guò)海量的數(shù)據(jù)訓(xùn)練出來(lái)的。提高這里的數(shù)據(jù)質(zhì)量是一個(gè)復(fù)雜工程，而且邊際效益非常大。ChatGPT會(huì)形成很多數(shù)據(jù)，但是比起GPT-4訓(xùn)練的數(shù)據(jù)，質(zhì)量未必就一定高。而且這部分文本并不穩(wěn)定，增量也很快。所以要想做出一個(gè)穩(wěn)定的、具有更好理解能力的pre-trained大模型，不太可能去使用ChatGPT形成的對(duì)話數(shù)據(jù)。
大家之所以會(huì)有誤解，是因?yàn)椤邦}外話1”，被過(guò)往模型的fine-tuning的經(jīng)驗(yàn)局限了。過(guò)去模型是需要根據(jù)更好的數(shù)據(jù)實(shí)時(shí)fine-tune，實(shí)時(shí)修改參數(shù)，做到更好的表現(xiàn)。要記得，ChatGPT不是這樣做的。
那ChatGPT的數(shù)據(jù)飛輪體現(xiàn)在哪里呢？應(yīng)該體現(xiàn)在最后兩層。一方面，這些對(duì)話數(shù)據(jù)確實(shí)是人類alignment的重要行為數(shù)據(jù)，所以好好利用，應(yīng)該可以讓ChatGPT把理解能力更好應(yīng)用在跟人類的語(yǔ)氣對(duì)齊上。另一方面，這些對(duì)話中包含了很多真實(shí)世界的需求，進(jìn)行比較好的挖掘，就能尋找到ChatGPT的更好的應(yīng)用方式。
再多說(shuō)一個(gè)，很多人覺(jué)得掌握文本數(shù)據(jù)，對(duì)LLM開(kāi)發(fā)會(huì)形成很大優(yōu)勢(shì)。不會(huì)的。GPT-3.5讀完代碼之后，人類語(yǔ)種就不重要了，語(yǔ)言質(zhì)量和語(yǔ)言中的邏輯結(jié)構(gòu)才重要。因?yàn)榉g對(duì)于LLM來(lái)說(shuō)是個(gè)簡(jiǎn)單任務(wù)。
3.3 復(fù)現(xiàn)ChatGPT“理解”能力要多久？
以上所說(shuō)的五條原因都是“困難”。但是到底有多“困難”，還是需要量化。ChatGPT是一個(gè)一個(gè)學(xué)術(shù)界和業(yè)界都缺乏定論的新技術(shù)，具體的量化不太可能，所以我們這里抓住一個(gè)核心點(diǎn)，即“涌現(xiàn)'烏鴉’的能力”，可能性有多高，需要多久？GPT本來(lái)就不是“完成各類子任務(wù)最厲害的LLM”，離開(kāi)這一個(gè)核心，我們一定會(huì)陷入茫然。
很明顯，離ChatGPT能力最近的是擁有Deepmind，提出Transformer/T5/PaLM的谷歌。我們應(yīng)該把大多數(shù)的注意力放在谷歌身上。少部分的注意力中，大部分應(yīng)該放在Meta上，尤其是使用他們的開(kāi)源模型LLaMA來(lái)認(rèn)真研究其他模型究竟有沒(méi)有“烏鴉”能力（比如這篇文章）。[17]
不用關(guān)心微軟又做出來(lái)什么新東西，OpenAI又發(fā)表了什么。最核心的問(wèn)題很簡(jiǎn)單：
1、如果PaLM已經(jīng)具備GPT-3.5的理解能力，那Google和OpenAI的差距是1Q-2Q
2、如果PaLM不具備GPT-3.5的理解能力，考慮到迭代一次大模型再快也要數(shù)天，這里的差距很可能會(huì)迅速拉到一年以上
“烏鴉”能力是涌現(xiàn)出來(lái)的，而不是有確定可復(fù)制的路徑的。我們雖然知道其能力是在GPT訓(xùn)練到什么規(guī)模有涌現(xiàn)的，但是不確定別的模型在這個(gè)規(guī)模也會(huì)涌現(xiàn)同樣能力，畢竟文本質(zhì)量和優(yōu)化方式差別很大。就好像引擎的原理都知道，但是能不能達(dá)到那個(gè)推重比，只有極少數(shù)的公司能掌握。
一個(gè)典型的話術(shù)會(huì)是“在OpenAI已經(jīng)探明路徑的情況下，花OpenAI 50%的投入，達(dá)到OpenAI 80%的效果”。希望看完上面，我們能認(rèn)知到，直到Google復(fù)現(xiàn)了烏鴉能力，我們應(yīng)該默認(rèn)這條路是行不通的。基于能力是“涌現(xiàn)”的，要么100%，要么0%；疊加背后隱藏的工程難度，我們一定要準(zhǔn)備好，面對(duì)在很長(zhǎng)一段時(shí)期內(nèi)，OpenAI是唯一一個(gè)有烏鴉能力模型的可能性。
我們未來(lái)應(yīng)該如何使用ChatGPT？
4.1 討論
a、OpenAI的的開(kāi)放方式有待觀望
我們上文基于現(xiàn)有信息，技術(shù)理解，和我們的猜想，提出來(lái)了ChatGPT的最佳開(kāi)放模式應(yīng)該是增強(qiáng)和開(kāi)放prompting的能力，讓健忘的ChatGPT記得你交代的事情，從而讓ChatGPT可以個(gè)人化。接下來(lái)就是GPT-4的開(kāi)放和通過(guò)不同方式調(diào)教出來(lái)，各有所長(zhǎng)的子能力模型。
但是以上都是猜想，真正的使用方式還是要看OpenAI自己如何開(kāi)放。江湖傳聞下一步是和Office Suite的深度整合。Notion AI已經(jīng)給了很好的例子，確實(shí)很香。但是究竟是去增強(qiáng)微軟現(xiàn)有產(chǎn)品，還是去成為下一代計(jì)算機(jī)？我認(rèn)為OpenAI會(huì)選擇后者。但是站在此時(shí)此刻，我們只能猜測(cè)和觀望，以及做好人和ChatGPT的合理中間層。
b、意識(shí)到人類的局限
同時(shí)，我們也要意識(shí)到人類有更大的局限，不談算力和知識(shí)面，光從理解能力這一角度來(lái)說(shuō)：
1、人類很難意識(shí)到自己的錯(cuò)誤；
2、人類有ego，會(huì)影響自己的認(rèn)知，也會(huì)讓觀點(diǎn)帶入感情色彩；
3、人類會(huì)故意偷換概念，等等；
所以ChatGPT也許短期不會(huì)直接取代人類工作。但是兩年內(nèi)一定可以讓一部分人的人效極大程度地提高。雖然說(shuō)消滅工作的同時(shí)會(huì)產(chǎn)生新工作，但是很可能是消滅了一百個(gè)，產(chǎn)生了一個(gè)。那我們必須要思考一下，假如ChatGPT理解能力更上幾層樓，擁有了多種能力，并且說(shuō)話也靠譜不亂說(shuō)了，我們?nèi)祟惖母?jìng)爭(zhēng)力還剩下什么呢？第五問(wèn)會(huì)詳細(xì)展開(kāi)，我們先討論兩個(gè)常見(jiàn)問(wèn)題。
c、2B2C都會(huì)有，但生產(chǎn)力價(jià)值>>娛樂(lè)價(jià)值
ChatGPT的DAU增長(zhǎng)是現(xiàn)象級(jí)的，而且大家都覺(jué)得很好用，所以會(huì)有很多2C應(yīng)用的想象。但是我想提醒大家兩點(diǎn)。
第一，ChatGPT顯而易見(jiàn)的能力是在提升生產(chǎn)力上。而娛樂(lè)的價(jià)值未必很高，因?yàn)閷?duì)話和閱讀其實(shí)是一個(gè)門(mén)檻較高的娛樂(lè)形式。豐富性和深度，多數(shù)情況下也不是一個(gè)東西娛樂(lè)價(jià)值的重要因素。比如游戲想好玩，打擊感一般比NPC栩栩如生更重要；一個(gè)短視頻想吸引點(diǎn)擊量，恐怕是話越少越好。所以建議少關(guān)注如何把ChatGPT應(yīng)用到娛樂(lè)上，多關(guān)注如何提升生產(chǎn)力上，大方向應(yīng)該沒(méi)錯(cuò)。
第二，要記得這是一個(gè)顛覆型產(chǎn)品，而不是一個(gè)漸進(jìn)式的改進(jìn)。對(duì)于科技的early adopter來(lái)說(shuō)，可能已經(jīng)離不開(kāi)它了（比如我），但是對(duì)于大眾來(lái)說(shuō)，遇到事情打開(kāi)搜索引擎搜一搜，都不是普遍習(xí)慣，更別說(shuō)去用清晰合理的prompt跟ChatGPT對(duì)話了。如果有這樣的場(chǎng)景，其實(shí)ChatGPT也大概率是一個(gè)“提高效率”的角色。
這里可以從iPhone的經(jīng)驗(yàn)中看到early adopter和大眾市場(chǎng)的區(qū)別。iPhone大概是在iPhone4的時(shí)候才被大眾市場(chǎng)普遍接受，而且這還是在“大多數(shù)人都用過(guò)功能手機(jī)”的前提下。ChatGPT作為聊天助手或者語(yǔ)音助手，并不符合人們現(xiàn)在的普遍使用習(xí)慣，也不是人們現(xiàn)在高頻場(chǎng)景的簡(jiǎn)單植入，所以很可能需要幾年時(shí)間才能讓多數(shù)人適應(yīng)。在這幾年內(nèi)，ChatGPT更容易取代的產(chǎn)品應(yīng)該是各種SaaS，各種云，各種效率工具，比如搜索引擎等。
d、《終結(jié)者》 vs《硅谷》
我的觀點(diǎn)是AGI已經(jīng)到來(lái)了，因?yàn)槿绻覀儾荒靡粋€(gè)完美的標(biāo)準(zhǔn)去衡量ChatGPT的話，會(huì)發(fā)現(xiàn)它已經(jīng)在很多任務(wù)上超越了人類的表現(xiàn)。說(shuō)實(shí)話，我已經(jīng)開(kāi)始覺(jué)得想盡量少跟人打交道，而盡量多跟ChatGPT打交道，因?yàn)橄裆衔乃f(shuō)，ChatGPT有理性，沒(méi)ego，也不會(huì)存心騙我。
那AGI會(huì)如何進(jìn)化？這個(gè)時(shí)候我們要防止被科幻誤導(dǎo)，如果限制ChatGPT的權(quán)限，那就不會(huì)發(fā)生《終結(jié)者》里面的世界。但是《硅谷》提到的AI的可能性倒不容小覷。在《硅谷》里，AI可以向著一個(gè)“更有效率的工具”這一目標(biāo)自我進(jìn)化，但很快，它就研究出如何破解世界上最安全的加密算法了。如果我們讓AGI有自我進(jìn)化的目標(biāo)，那確實(shí)要小心，會(huì)涌現(xiàn)什么樣的顛覆型能力。這個(gè)我想太多也沒(méi)用，我相信OpenAI是一家最懂AGI，最擔(dān)心AGI濫用的機(jī)構(gòu)之一。
4.2 對(duì)于應(yīng)用方向的推演
等待OpenAI把給New Bing的接口開(kāi)放給公眾
再回到這張圖。
還是記得，New Bing這么厲害，只是基于ChatGPT這個(gè)模型的理解+自然語(yǔ)言調(diào)用，開(kāi)放了兩件事，定制prompting，加上調(diào)用能力的接口。
3.16日，微軟發(fā)布會(huì)，震撼發(fā)布了一堆Office的Copilot：Introducing Microsoft 365 Copilot — your copilot for work，[18]就為我們提供了上圖的很多案例：
如果我們細(xì)看，這些Copilots還是基于理解能力的根基，對(duì)與工具的調(diào)用方式形成了不同程度、不同方式的結(jié)合。讓GPT的理解能力融入到現(xiàn)有的工作流中，在人類需要算力、數(shù)據(jù)去“搬磚”的時(shí)候，提供相應(yīng)的幫助。
具體做到的方式，上圖解釋的很清楚。如果抽象出來(lái)，其實(shí)就是讓具備理解能力的LLM扮演一個(gè)程序員。現(xiàn)在的系統(tǒng)、數(shù)據(jù)、App，調(diào)用方式都是為了讓程序員來(lái)操作的。LLM有理解，有世界知識(shí)，給到關(guān)于你的知識(shí)，給標(biāo)準(zhǔn)化培訓(xùn)，就能扮演好一個(gè)有效程序員的角色，來(lái)調(diào)用這些App，發(fā)揮自己的搬磚能力。這里就有一個(gè)具體實(shí)現(xiàn)方法。[19]
能力看起來(lái)是震撼人心的，但是也為我們帶來(lái)了非常多的啟發(fā)與鼓舞。我相信OpenAI很快就會(huì)開(kāi)放這些接口，而我們第一波機(jī)會(huì)就在把現(xiàn)有的工具和場(chǎng)景里，用GPT，按需設(shè)計(jì)出人類的copilot，替人類降本增效，擺脫工具人命運(yùn)。
a、短期：Better Prompting + 尋找合適的場(chǎng)景
記得兩個(gè)重要推論：
1、ChatGPT是調(diào)用算力和數(shù)據(jù)最合理手段；
2、ChatGPT在C端，是一個(gè)early-adopter的市場(chǎng)。大眾接受尚需時(shí)日。
所以短期，把我們世界中現(xiàn)有的需求，與ChatGPT通過(guò)prompting的方式更好對(duì)接，調(diào)動(dòng)更適合的算力與數(shù)據(jù)，會(huì)是重要的能力與突破。
在場(chǎng)景應(yīng)用中，我們應(yīng)該有兩個(gè)原則：
1、對(duì)癥下藥：ChatGPT不是搜索引擎、不是程序，我們就用它做它擅長(zhǎng)的事情，而不是去做搜索引擎和程序可以更高效完成的事情
2、擇善而從：當(dāng)前的ChatGPT是有明顯的hallucination問(wèn)題的，那我們就不能100%相信它的結(jié)論。一個(gè)簡(jiǎn)單的方法是我們要在自己能判斷對(duì)錯(cuò)的地方去使用ChatGPT提高我們產(chǎn)生想法，收集歸納信息的效率，但是人要來(lái)把關(guān)
上圖來(lái)自于Introducing Microsoft 365 Copilot — your copilot for work，[20]解釋Microsoft 365 Copilot的做法。Microsoft有兩個(gè)優(yōu)勢(shì)。第一個(gè)是有現(xiàn)成的生產(chǎn)力場(chǎng)景，第二個(gè)是有數(shù)據(jù)來(lái)提升prompt的質(zhì)量，生成更好的結(jié)果。
b、中期：ChatGPT Wrapper
Prompting其實(shí)是一個(gè)要求很高的綜合能力。因?yàn)檫@要求一個(gè)人對(duì)“解決這個(gè)問(wèn)題需要什么context”有理解，而大多數(shù)人只知道自己在想什么，不知道其他人需要知道什么，也不知道解決問(wèn)題需要什么。所以對(duì)于大多數(shù)人來(lái)說(shuō)，還是需要把ChatGPT的能力包裝成具體解決方案，把context通過(guò)其他方式給到ChatGPT，然后讓使用者做判斷題或者選擇題，而不是做開(kāi)放回答題。
通過(guò)prompting，就很容易做到這一結(jié)果。通過(guò)誘導(dǎo)New Bing，已經(jīng)看到了ChatGPT是如何跟搜索進(jìn)行結(jié)合的，就是通過(guò)一系列的自然語(yǔ)言來(lái)instruct它合理使用搜索的能力。當(dāng)ChatGPT開(kāi)放更多prompting的長(zhǎng)度，并且能讓system prompting的attention可調(diào)，我們就能很方便地通過(guò)instruct prompting，把ChatGPT這一通用型鎧甲適配到具體解決方案中。
c、長(zhǎng)期：ChatGPT Native Solutions
ChatGPT Native Solution據(jù)我所知，是這里第一次在全網(wǎng)提到。這是一個(gè)很重要的概念，類似于智能機(jī)時(shí)代，Web Mobile和Mobile Native選型的認(rèn)知。當(dāng)時(shí)絕大多數(shù)開(kāi)發(fā)者是看好web mobile的，F(xiàn)acebook在這里就走了一個(gè)大彎路。但是很快mobile native就展現(xiàn)了壓倒性的優(yōu)勢(shì)。我認(rèn)為ChatGPT Native也會(huì)有類似優(yōu)勢(shì)。
再說(shuō)清楚一點(diǎn)，其實(shí)ChatGPT native的意思就是把各類軟件/程序/系統(tǒng)的輸入輸出接口，變成自然語(yǔ)言。這樣子就可以被以自然語(yǔ)言為接口的ChatGPT高效調(diào)用和計(jì)算了。而且沒(méi)有代碼能力（但是有編程思維和工程思維）的人，也可以非常清楚地理解系統(tǒng)的任意環(huán)節(jié)，進(jìn)行有效提問(wèn)和改進(jìn)。
4.3 幾個(gè)具體方向
a、LLM高考
ChatGPT到底能不能在某些場(chǎng)合替代人類工作？不同LLM產(chǎn)出的類似產(chǎn)品到底有沒(méi)有烏鴉能力或者達(dá)成某些目標(biāo)的能力？針對(duì)人類的測(cè)試并不適用于AGI，而過(guò)往ML的能力衡量方法也不適用于AGI。
未來(lái)衡量AGI能力應(yīng)該是主觀和客觀的結(jié)合。就像高考是人類智力和能力的不完美proxy一樣，LLM也許很難得到客觀衡量，但正因如此，做好衡量是很有意義的方向。
b、LLM培訓(xùn)
不只是prompt engineering這么簡(jiǎn)單。想讓ChatGPT掌握一個(gè)領(lǐng)域的深入知識(shí)，一定需要多輪對(duì)話，一定需要對(duì)話者一方面對(duì)教育學(xué)很懂，一方面對(duì)信息論很懂，一方面又是領(lǐng)域?qū)＜?。好處是老師教人類學(xué)生，杠桿很低，但是培訓(xùn)大模型，杠桿和回報(bào)很高，因?yàn)榇竽Ｐ徒毯昧四苋〈f(wàn)萬(wàn)個(gè)學(xué)生。
c、Personalized & Private Search
為什么New Bing能這么快做出來(lái)？我們要明確兩件事
1、New Bing沒(méi)有（怎么）改動(dòng)ChatGPT，而是通過(guò)instruct prompting（跟ChatGPT用自然語(yǔ)言規(guī)定一堆規(guī)則）的方式教給ChatGPT使用搜索
2、搜索本來(lái)就是人類語(yǔ)言查詢信息而設(shè)計(jì)和服務(wù)的，而ChatGPT的輸入輸出又都是自然語(yǔ)言，所以適配非常簡(jiǎn)單自然。
但是我們的獨(dú)有數(shù)據(jù)是不能被簡(jiǎn)單搜索的。比如公司內(nèi)部系統(tǒng)，我的個(gè)人聊天記錄，我上傳的視頻，等等。所以我們需要一個(gè)個(gè)人化、隱私化的，把自己數(shù)據(jù)contextual，index，之后方便搜索的流程，之后才能讓ChatGPT很好地使用。
這里要記得，GPT-3.5所以依賴的海量數(shù)據(jù)是為了提煉出那個(gè)理解能力用的，而不是為了增加它的知識(shí)用的。ChatGPT調(diào)用知識(shí)的最好手段是搜索，而不是去往自己那個(gè)pre-trained大模型里添加知識(shí)。后者是過(guò)往ML的做法，別回去了。
人類和ChatGPT的本質(zhì)區(qū)別是什么？
因?yàn)槲覀兊哪X科學(xué)和神經(jīng)科學(xué)非常不發(fā)達(dá)，這里只能從哲學(xué)尋求解答。BTW，除非腦科學(xué)產(chǎn)生重大的范式突破，不然neurallink這種腦機(jī)接口，是不可能實(shí)現(xiàn)大家想像中的那些功能的。但我們不是哲學(xué)專家，這里就僅供參考。
5.1 判斷力
ChatGPT再厲害，也只能去吸取虛擬數(shù)字中的數(shù)字信號(hào)，是無(wú)法與現(xiàn)實(shí)世界做真實(shí)交互的。它可以聽(tīng)一萬(wàn)個(gè)專家告訴他做A就會(huì)得到B，但是不從真實(shí)世界中做實(shí)驗(yàn)，就無(wú)法從最底層確認(rèn)這個(gè)說(shuō)法究竟是真是假。絕知此事要躬行，才能有判斷力的根基。
5.2 “Eureka”
牛頓看到蘋(píng)果落地，可以發(fā)現(xiàn)萬(wàn)有引力，從而預(yù)測(cè)星星的運(yùn)動(dòng)。哥白尼發(fā)現(xiàn)地球是圍繞太陽(yáng)轉(zhuǎn)的，而在他之前全地球人天天看著日出日落，都認(rèn)為太陽(yáng)是繞著地球轉(zhuǎn)的。如果那個(gè)時(shí)候有一個(gè)ChatGPT，一定非常篤定太陽(yáng)繞著地球轉(zhuǎn)。那個(gè)ChatGPT也許能從蘋(píng)果如何落地推測(cè)出桃子如何落地，但是大概率無(wú)法推測(cè)出星星的運(yùn)動(dòng)方式。
當(dāng)然，能發(fā)現(xiàn)萬(wàn)有引力的人也是少數(shù)。更有意義的是去識(shí)別這種思維能力到底是什么，以及在我們?nèi)粘Ｉ钪腥绾误w現(xiàn)。阿基米德在泡澡時(shí)候發(fā)現(xiàn)浮力定律的時(shí)候喊了“Eureka”，大概可以形容這種“靈感并發(fā)、靈光一現(xiàn)”的瞬間。我們這里把這個(gè)瞬間稍稍具體地歸結(jié)為“鏈接了數(shù)個(gè)相關(guān)的點(diǎn)，并且發(fā)現(xiàn)了第三個(gè)點(diǎn)”的過(guò)程。
5.3 增量知識(shí)
如果把現(xiàn)有知識(shí)歸納總結(jié)應(yīng)用， 那必然PK不過(guò)ChatGPT。只有創(chuàng)造互聯(lián)網(wǎng)上不存在的新知識(shí)，才可能是ChatGPT做不到的。注意條件指向，互聯(lián)網(wǎng)上不存在的新知識(shí)，也未必不能從存量知識(shí)里總結(jié)出來(lái)，但是能從存量知識(shí)里總結(jié)出來(lái)的，一定不是人類的優(yōu)勢(shì)。
5.4 批判性思維
批判性思維是要主動(dòng)去偽存真，不斷發(fā)現(xiàn)更重要的、更貼近現(xiàn)實(shí)、更具創(chuàng)造力和價(jià)值的想法。ChatGPT似乎能找到一個(gè)好答案，但是會(huì)不會(huì)不斷挑戰(zhàn)這個(gè)答案，找到更好的答案呢？希望OpenAI暫且去研究和探索它這一能力，不然確實(shí)很難預(yù)測(cè)它能進(jìn)化成什么樣了。
5.5 理解人
人類的文本知識(shí)里一定存在很多人性的理解，但是也一定有一些人性或者偏好，是沒(méi)有被記錄總結(jié)在文字里的。如果我們結(jié)合1和3，就會(huì)發(fā)現(xiàn)，去真實(shí)世界理解人，而不是去通過(guò)調(diào)研、問(wèn)卷、網(wǎng)絡(luò)資料理解人；去帶來(lái)增量的理解，而不是去人云亦云地重復(fù)套路。才是人類相對(duì)于ChatGPT的優(yōu)勢(shì)。
5.6 直覺(jué)
回歸ARLLM的本質(zhì)。ARLLM是在試圖生成下一個(gè)字沒(méi)錯(cuò)，但是人類是不是也在做這件事情呢？不好說(shuō)。如果是生成下一句話，下一段呢？那這個(gè)時(shí)候，會(huì)不會(huì)（極少部分）人類的優(yōu)勢(shì)在于能一次生成一百段話之后的那句話？這可能就是所謂“直覺(jué)”的digital定義了。不知道模型能不能有這一天，但是應(yīng)該會(huì)比較難。
5.7 烤面包
記得ChatGPT只存在于數(shù)字世界中，會(huì)進(jìn)入意義世界甚至感官世界，但是不會(huì)直接進(jìn)入物理世界。在信息時(shí)代之前，人是不依賴于數(shù)字世界的。所以ChatGPT真的取代數(shù)字世界很多工作之后，人類也可以照常生存。反而減少了很多工具屬性，也許會(huì)活得更開(kāi)心。
總結(jié)
1、ChatGPT的范式突破是“烏鴉”能力。恕能力所限，無(wú)法更簡(jiǎn)單地?zé)o損表達(dá)這一能力的本質(zhì)了。如果允許有損，我會(huì)用“理解”能力來(lái)概括它最重要的一面。作為對(duì)比，過(guò)往ML的能力模式是“鸚鵡”能力，所做的是尋找“對(duì)應(yīng)關(guān)系”。
2、ChatGPT的意義是目前人類對(duì)“調(diào)用算力和數(shù)據(jù)”的究極手段，預(yù)測(cè)會(huì)在兩年內(nèi)有能力輔助人類，高效率完成多數(shù)可被定義為“搬磚”的工作。
3、ChatGPT的“烏鴉”能力是涌現(xiàn)的，工程難度是極高的。我們應(yīng)該拋棄各種噪音，聚焦關(guān)注Google是否能復(fù)現(xiàn)這一能力，從而判定這一能力到底有多難。而現(xiàn)在，建議我們的默認(rèn)預(yù)測(cè)是這一能力很難復(fù)現(xiàn)，需要?jiǎng)e人來(lái)用強(qiáng)力證據(jù)說(shuō)服我們他們能復(fù)現(xiàn)。
4、我們對(duì)ChatGPT的使用應(yīng)該觀望OpenAI給我們提供的調(diào)用方式，在當(dāng)下，我們應(yīng)該（1）用好ChatGPT，做好ChatGPT的項(xiàng)目經(jīng)理；（2） 學(xué)會(huì)通過(guò)自然語(yǔ)言調(diào)用ChatGPT；（3）尋找做好ChatGPT能力與我們所需要解決問(wèn)題的的中間層的機(jī)會(huì)。
本文僅代表作者個(gè)人觀點(diǎn)，不代表騰訊研究院立場(chǎng)。作者B站id：課代表立正
參考資料來(lái)源:[1]https://doc.weixin.qq.com/doc/w3_AY8AUwZnAEYTRZAGn43T6aLmSIqvM?scode=AJEAIQdfAAou8O2XDiAY8AUwZnAEY
[2]https://zhuanlan.zhihu.com/p/597586623
[3]https://mp.weixin.qq.com/s/7N3HveaIfn2N-zKjBoRL1A
[4]https://yaofu.notion.site/A-Closer-Look-at-Large-Language-Models-Emergent-Abilities493876b55df5479d80686f68a1abd72f#b8609bc4b61045db924002de43ae138d
[5]https://guiguzaozhidao.fireside.fm/gpt3
[6]https://mp.weixin.qq.com/s/S0dgJcEZJugBsSPDnZ-WmA
[7]https://www.bilibili.com/video/BV1vA411y7qi/
[8]https://mp.weixin.qq.com/s/KF4DgF9FPYW2D_M-uacNaw
[9]https://www.bilibili.com/video/BV1KK411c74X/
[10]https://mp.weixin.qq.com/s/-wSYLu-XvOrsST8_KEUa-Q
[11]https://github.com/hwchase17/langchain/blob/master/langchain/prompts/prompt.py
[12]https://openai.com/blog/how-should-ai-systems-behave
[13]https://drive.weixin.qq.com/s?k=AJEAIQdfAAo4dDUg5CAH8AdAacAAY
[14]https://openai.com/blog/introducing-chatgpt-and-whisper-apis
[15]https://mp.weixin.qq.com/s/7HLtL5fkIkFNe2ZGxMwJ2g
[16]https://openai.com/blog/planning-for-agi-and-beyond
[17]https://mp.weixin.qq.com/s/kImwfWWtXMmEDVOhJZ4dJg
[18]https://news.microsoft.com/reinventing-productivity/
[19]https://github.com/hwchase17/langchain
[20]https://news.microsoft.com/reinventing-productivity/
[21]https://www.xiaoyuzhoufm.com/episode/63f75852aae4a19f498dd5ab?s=eyJ1IjogIjYxNzlmYzJlZTBmNWU3MjNiYjAxY2ZlNSJ9
推薦閱讀
胡璇、胡曉萌：
《ChatGPT之后，AIGC會(huì)如何革新內(nèi)容創(chuàng)作？》王強(qiáng)：
《一文讀懂：有關(guān)ChatGPT的十個(gè)問(wèn)題》?? 點(diǎn)個(gè)“在看”分享洞見(jiàn)
閱讀 3.2萬(wàn)
文章已于2023-03-17修改
