中文字幕理论片,69视频免费在线观看,亚洲成人app,国产1级毛片,刘涛最大尺度戏视频,欧美亚洲美女视频,2021韩国美女仙女屋vip视频

01.

關(guān)于大模型的幾個關(guān)鍵判斷

判斷 1:  

OpenAI 是新一代通用計算機(jī)

大模型到底是什么？會產(chǎn)生哪些影響？我們認(rèn)為這個問題可以收斂到 OpenAI  是什么以及 OpenAI 現(xiàn)階段在做什么。OpenAI 不僅是在 LLM 領(lǐng)域從基礎(chǔ)模型到產(chǎn)品化、商業(yè)化進(jìn)展最快的團(tuán)隊，也是我們目前看到的全球最堅定信仰 AGI 的團(tuán)隊，這個信仰影響了他們的路線圖、技術(shù)和商業(yè)策略的選擇。從不同角度對 OpenAI 做定義可以幫我們來判斷 OpenAI 未來的天花板，以及整個 LLM 的格局。

· 新一代底層技術(shù)設(shè)施：首先可以將大模型類比為 GPU 、搜索入口以及操作系統(tǒng)等數(shù)字基礎(chǔ)設(shè)施，這些領(lǐng)域都呈現(xiàn)出 9:1 的市場格局，頭部壟斷效應(yīng)極強(qiáng)，而 OpenAI 現(xiàn)階段的優(yōu)勢和站位讓它有機(jī)會獲得 90% 左右的市場份額，開發(fā)者和生態(tài)會成為很強(qiáng)的壁壘；

· 新一代公有云：Sam Altman 對于 OpenAI 當(dāng)前的規(guī)劃是專注做一個通用的智能平臺，為大模型之上的應(yīng)用提供 AI 能力，作為大模型生態(tài)的 Infra，OpenAI 的角色就像 AWS，公有云呈現(xiàn)了 5:3:2 的格局，OpenAI 作為頭部公司有機(jī)會享受至少 50% 的市場；

· 新一代終端：大模型時代最大的特征就是讓人們能夠用自然語言和計算機(jī)形成交互，自然語言操縱機(jī)器的形式會產(chǎn)生新的交互、也就有了下一代終端的機(jī)會。如果參考定義了移動時代的 iPhone 和其他智能手機(jī)的格局，那么作為頭部的 OpenAI 也有機(jī)會可以拿走 70% 左右的市場份額。

總體上，我們認(rèn)為 OpenAI 在海外至少可以拿走 60% 以上的份額，至于能否到 80-90% 核心就看其他幾股力量在大模型領(lǐng)域的動作：

1. OpenAI 后續(xù) AGI 能力涌現(xiàn)速度：微軟和 OpenAI 現(xiàn)在的各項資源比全球所有團(tuán)隊都好，模型迭代速度極快，其他團(tuán)隊還在追趕和 OpenAI 之間的窗口期；

2. 雖然現(xiàn)階段并沒有太多出色的產(chǎn)品表現(xiàn)，但中長期仍舊要關(guān)注 Google、Apple、AWS 以及 Tesla 這四家大廠在大模型領(lǐng)域的動作以及與 OpenAI 之間的潛在競爭點，市場不會讓 OpenAI 和微軟一家獨大；

3. 開源大模型。拾象內(nèi)部的判斷是到今年底能有 GPT-4 水平的開源模型出來，并且有可能來自AWS、Nvidia、Meta 中的其中一家，從時間線上 OpenAI 同期有可能已經(jīng)發(fā)布了 GPT-5。

判斷2: Foundation Models 將拿走價值鏈的大頭

現(xiàn)階段我們可以將大模型相關(guān)的上下游的玩家分為 3 類：

· 基礎(chǔ)模型：核心代表就是 OpenAI、Anthropic；

· AI Infra：底層模型和上層應(yīng)用之間的中間件，例如 Hugging Face、Weight&Biaes；

· AI 應(yīng)用：現(xiàn)階段出現(xiàn)的 Killer Apps 還不多，ChatGPT 是一個主要代表。

短期來看，以 OpenAI、Anthropic 為代表的基礎(chǔ)模型能力邊界還在不斷的拓寬，會占據(jù)價值鏈中最主要的環(huán)節(jié)；而中期隨著模型的能力和發(fā)展速度漸漸穩(wěn)定后，Infra 層會有更穩(wěn)定的工作流和機(jī)會出現(xiàn)，同時應(yīng)用層也會出現(xiàn)深入某個垂直領(lǐng)域的新一代 Saas 和消費級的 Killer Apps。

由于大模型的能力還在不斷提升，形成類似操作系統(tǒng)的下游生態(tài)過程中，我們認(rèn)為在這個過程中價值占比最大的會是形成生態(tài)壁壘的大模型公司。

判斷 3 ：從 Mobile 到 LLM ：數(shù)據(jù)組織效率和能力再度加強(qiáng)

Mobile 時代，手機(jī)作為新的終端最重要的是帶來和 LBS 傳感器和大屏幕兩個變化，在此基礎(chǔ)上，本地生活和短視頻應(yīng)用完成了大爆發(fā)；此外，手機(jī)的隨身便捷性讓可采集的數(shù)據(jù)顆粒度比 PC 時代上升到了新的量級。沿著這個邏輯，如果我們站在“大模型是新一代計算機(jī)平臺”這一語境中，大模型相對于 Mobile 又到底帶來了變化，基于這些變化，人和數(shù)據(jù)、計算機(jī)的交互又會如何演進(jìn)？

最大的變化是，計算機(jī)真正開始理解人類的自然語言。在此之前，我們需要編程代碼和固定程序才能和計算機(jī)做交互，而現(xiàn)在用自然語言和行為動作就可以做交互。

交互方式變得更寬廣后帶來了第二個大的變化：計算機(jī)可采集的數(shù)據(jù)比以往更多、更細(xì)。這些數(shù)據(jù)大部分是非結(jié)構(gòu)化數(shù)據(jù)，甚至我們個人都沒意識到、但可以被計算機(jī)采集，針對企業(yè)和消費者的數(shù)據(jù)一定會爆發(fā)很多，Snowflake、Databricks 等數(shù)據(jù)基礎(chǔ)設(shè)施在我們看來還會持續(xù)收益。

可采集的數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)規(guī)模的變化對美國 SaaS 行業(yè)影響，有利的地方是 SaaS 公司的成本結(jié)構(gòu)會發(fā)生變化，過去企業(yè)內(nèi)配置的算法工程師團(tuán)隊可以被 AGI 取代、或者在 AGI 的基礎(chǔ)上縮減規(guī)模、獲得盈利，這是組織管理層面的上的影響，但對于相當(dāng)一部分 SaaS 公司還應(yīng)該關(guān)注的風(fēng)險是自身的價值是否會被 AGI 所淹沒，尤其是工具型 SaaS。

交互方式帶來產(chǎn)品形態(tài)的變化，AI Native 對產(chǎn)品經(jīng)理本身的能力也提出了新的要求。在過去，產(chǎn)品經(jīng)理做的事情是把用戶需求抽象出來就可以，現(xiàn)在要求產(chǎn)品經(jīng)理非常懂大模型的能力和邊界，因為很多產(chǎn)品的服務(wù)都能夠通過大模型來實現(xiàn)，這就要求新一代產(chǎn)品經(jīng)理的出現(xiàn)。

判斷 4 ：LLM 的邊界是什么？

LLM 的通用能力很強(qiáng)，但反過來看，有哪些事情是 LLM 現(xiàn)階段做不到的？或者短期內(nèi)我們會對它預(yù)期過高了？

最核心的一點是，如果我們將 OpenAI、以及其他大模型公司比作大腦的話，大腦只有身體是不夠的。對于 OpenAI 來說，和微軟的合作的就像是大腦和身體的結(jié)合，多模態(tài)是眼睛和耳朵，所以雖然今天 LLM 在我們看來已經(jīng)很強(qiáng)了，但仍舊在成長過程中。

從能力邊角層面，我們認(rèn)為具備了擁有專有數(shù)據(jù)、網(wǎng)絡(luò)效應(yīng)、規(guī)模效應(yīng)以及機(jī)器人這些涉及到物理世界環(huán)節(jié)的領(lǐng)域，是暫時不會被 LLM 的能力所淹沒，相對而言具有壁壘的場景。

在當(dāng)下的時點，我們可以把 LLM 的能力比作自動駕駛的 L2 —— 有一定的理解能力和執(zhí)行能力，但仍舊需要具體的指令；在 4-5 年后，LLM 到了自己的 L4 階段，不僅會獲得主動解決問題的能力，也極有可能會超越人類最強(qiáng)大腦。

判斷 5: 大模型探索的下一步：給“腦子”裝上“手”

Action 是大模型探索的下一步。Action 的相關(guān)探索可以類比為“給大模型的腦子裝上手”。使用工具的能力，是人類智能的重要特點。對于大語言模型也是如此。大語言模型有很強(qiáng)的理解能力，但還不足以判斷自己生成內(nèi)容的置信度，在部分?jǐn)?shù)學(xué)計算、實時知識場景下用外部工具才能得到更準(zhǔn)確的回答。因此在大模型出色的理解能力之上，教會他使用計算機(jī)上的各種工具，是對其能力最大的提升。

在 Action 的實現(xiàn)上，除了 OpenAI  的 Plugin，我們看到 Adept 和 Inflection 這兩家早期團(tuán)隊想以自然語言為基礎(chǔ)，為用戶打造新的 LUI （語言為基礎(chǔ)的 UI）方式。

在 Action 實現(xiàn)后，傳統(tǒng)的 App 生態(tài)和 Saas 軟件生態(tài)會被打破，體現(xiàn)為三個方面：

1）下游站點的價值有可能被削弱；

2）定義之后大模型與應(yīng)用互聯(lián)的 api 標(biāo)準(zhǔn)，之后應(yīng)用接入都會迎合這一標(biāo)準(zhǔn)；

3）LMO ( Large Model Optimization ) 在未來可能會取代傳統(tǒng) SEO（Search Engine Optimization）。

02.

AI Native 的應(yīng)用會是什么樣？

現(xiàn)階段我們很難精確定義未來的 AI Native 應(yīng)用會長什么樣，這里提供一些觀察視角。我們認(rèn)為 AI Native 不能只是語言模型的嵌套，而是對現(xiàn)有軟件服務(wù)的重構(gòu)：

1. 交互的重構(gòu)

圖形界面仍然承載高頻、剛需、易抽象的功能，但低頻、靈活度高、復(fù)雜的用戶需求（以前可能通過低代碼實現(xiàn)）能通過和 LLM 交互來解決。從用戶學(xué)習(xí)如何使用復(fù)雜產(chǎn)品，變成產(chǎn)品能適應(yīng)用戶需求，用戶輸入也從有限變成無限，比如輸入給 MidJourney 的 Prompt 可以無限靈活。

2. 數(shù)據(jù)和信息重構(gòu)

CRM 記錄姓名、電話等結(jié)構(gòu)化數(shù)據(jù)，以 Gong 為代表的 AI-based CRM 則是記錄分析 B2B 銷售和客戶錄音。人們常說數(shù)據(jù)是石油，LLM 明顯把煉油能力增強(qiáng)了，高價值行業(yè)和企業(yè)內(nèi)部曾經(jīng)難記錄、難處理的數(shù)據(jù)都可以被重新以前分析。數(shù)據(jù)和信息的重構(gòu)也意味著 AI 能承擔(dān)更多決策權(quán)。

3. 服務(wù)的重構(gòu)

服務(wù)的重構(gòu)分為兩種：

· 一種是 AI 有能力直接提供服務(wù)。設(shè)計師、旅行規(guī)劃這類發(fā)散性服務(wù)能先被滿足，律師咨詢（Donotpay）等需要推斷、推理的服務(wù)后被滿足。Character.ai 和 Quora 推出的 Poe 也可以被看成提供了情感陪伴和知識問答服務(wù)；

· 第二種是 AI 能讓消費決策到交易發(fā)生的鏈路變短。以前用戶需要在下廚房搜索菜譜，再到生鮮平臺下單，有了 ChatGPT Plugin 功能，菜譜和購買食材都可以在一個對話框里完成。

4. 反饋機(jī)制的重構(gòu)

傳統(tǒng)產(chǎn)品的迭代更多在產(chǎn)品 feature 層面，而以生成模型為基座的產(chǎn)品，不僅能通過 context learning 的能力讓用戶多輪嘗試，糾正輸出結(jié)果，還能根據(jù)用戶產(chǎn)生的數(shù)據(jù)和反饋迭代模型。ChatGPT 是把數(shù)據(jù)飛輪做得很好的爆款產(chǎn)品，GPT-4 的貢獻(xiàn)者名單里還有專門的 data flywheel 負(fù)責(zé)人。Midjourney 的四選一，Poe、Character.ai 設(shè)置的 like 和 dislike 按鈕，都是一些獲取用戶反饋的方法。

03.

科技大廠融合 LLM ：

Attention is all you need

過去 6 個月和未來 6 個月是爭奪用戶和開發(fā)者注意力的競爭期。

我們整理了目前二級上市科技公司、科技獨角獸和 LLM 的結(jié)合，發(fā)現(xiàn)大部分都還處于中間發(fā)展階段：有比較明確的大的集成的方向、產(chǎn)品才剛出來，例如微軟的 Office 365 Copilot 也處于 beta 測試階段。GitHub Copilot、Notion AI、Snapchat（My.ai) 以及 Duolingo（Duolingo Max）屬于進(jìn)展得比較深入的幾家。

二級公司整體在等未來 6-8 個月的窗口期，在今年下半年來驗證目前的集成項目是否能從客戶增長、訂價保護(hù)等層面獲得更反饋。微軟和 Google 投了 AI research 的公司之外，大部分二級市場科技公司幾乎沒有在 LLM 進(jìn)行提前投入，所以基本上大家都在統(tǒng)一起跑線上。

目前的二級市場上市科技公司、科技獨角獸在和 LLM 結(jié)合中找的場景，可以大體分為四類：

1. 作為內(nèi)部提效工具，省成本：數(shù)據(jù)審核、產(chǎn)品開發(fā)、客服等都是典型的運(yùn)用場景，例如我們舉例的 Chime、Bubble 都屬于這一類型；

2. 自然融入現(xiàn)有業(yè)務(wù)場景：大多數(shù)公司在做的嘗試都屬于這一類場景，也是一種線性的思考邏輯，就是我們哪些場景比較適合用，在具體的實踐上，大家的普遍做法就是說不斷測試場景，最后可能挑出來 10- 20 個比較好的，再到后期選擇 4-5 重點去做；

3. 利用大模型對過去比較難的業(yè)務(wù)進(jìn)行突破：有一些公司會說將希望 LLM 成為一個突破點，來實現(xiàn)過去很難做起來、或者很難突破的業(yè)務(wù)。

例如 Segment， Segment 的主要業(yè)務(wù)是提供實時消費者數(shù)據(jù)，傳統(tǒng)的 CRM 的數(shù)據(jù)和業(yè)務(wù)之間其實并不直接銜接，因為過去 CRM 采集到的數(shù)據(jù)可能也有錯的、并且也過時了，但在 LLM 基礎(chǔ)上，Segment 其實反而提供更實時、更有效的數(shù)據(jù)。

Zoom 的嘗試也類似。Zoom 一直想要突破“開會軟件”的限制，也因此推出了 VoIP、Zoom IQ for Sales 等新業(yè)務(wù)，目前也是通過疊加 AI 能力來做突破，并且 Zoom 的執(zhí)行力層面比競爭對手更快，可能會幫助他們在訂單層面獲得一些突破。

4. 通過 LLM 獲得新的戰(zhàn)略增長點：典型代表是微軟 Azure 和 OpenAI 的結(jié)合。Salesforce 也是比較典型的實操案例。

在拾象的 Mapping 和追蹤中，全球頂級 CEO 們對于 LLM 尚未形成共識，尤其是和業(yè)務(wù)結(jié)合的時間點的判斷上。這其中微軟最為激進(jìn)，認(rèn)為 GPT-4 已經(jīng)是 AGI 的一種形態(tài)，而 Office 365 Copilot 是 Enterprise-Ready ，總體上，這些觀點可以被分為 4 個派別：

04.

OpenAI  案例研究

OpenAI 里最重要的人是誰？

OpenAI 的組織活力來自自上而下對 AGI 的堅定信仰、極高的人才密度，以及自下而上推動創(chuàng)新的實驗機(jī)制。

在接觸過 OpenAI 團(tuán)隊后，我們能感覺到他們對 AGI 的信仰遠(yuǎn)超同行。對外界來說，ChatGPT 的爆發(fā)是一場行業(yè)地震，但對 OpenAI 來說，是他們堅持探索 AGI 路線多年后的其中一個成果，前面許多年并沒有太多人關(guān)注。這件事有點像一幫人默默在沙漠里造原子彈，等到發(fā)射時眾人才恍然大悟。

OpenAI 對 AGI 的信仰既來自管理層自上而下的愿景，也來自在內(nèi)部切身感受到 Scaling Law 帶來的模型能力變化。

OpenAI 的幾位 Co-founder 湊齊了業(yè)內(nèi)最好的工程師+科學(xué)家+企業(yè)家，團(tuán)隊人才密度高，每個人都是六邊形戰(zhàn)士。從整體組織上看，基建部分的 scaling 團(tuán)隊和超算團(tuán)隊支持所有模型訓(xùn)練和應(yīng)用團(tuán)隊。OpenAI 目前約有 400 人，此處列舉在科學(xué)和工程方面最核心的幾位：

· Sam Altman：美國最懂 PMF 的人，自帶流量，給全球講好 OpenAI AGI 故事。

作為 CEO，Sam 將 OpenAI 的內(nèi)部氛圍組織得很好，有位前員工告訴拾象團(tuán)隊，當(dāng) 2018 年 GPT-2 的論文被駁回時，Sam 在團(tuán)隊周會上將拒信的內(nèi)容朗讀給所有員工，并告訴大家在通往成功的路上總會有阻礙，但是大家一定要有信念。

· Greg Brockman：OpenAI 內(nèi)部的大管家和沖鋒隊長，?程能?和基礎(chǔ)設(shè)施的打造者。

作為 OpenAI 的早期重要聯(lián)創(chuàng)之一，Greg 是一位數(shù)一數(shù)二的工程天才，Greg 本人有 80% 的時間在寫代碼，我們了解到 OpenAI 內(nèi)部的模型訓(xùn)練的 infra 架構(gòu)基本都由 Greg 一個人完成，包括了 GPT-4 的 Infra。同時，Greg 也想一個沖鋒隊長，能在大家都不知如何下手時候帶隊沖鋒。

· Ilya Sutskever ：DL 啟蒙者，幫助 OpenAI 及時?上 Transformer 路線。

Ilya 在 OpenAI 屬于精神領(lǐng)袖的存在，他的技術(shù)直覺和品味很好，能夠找到一些大家之前沒有很重視的方向，比如 Scaling 能 work，三年前大家都不相信的時候特別堅持。

· Wojciech Zaremba：聯(lián)創(chuàng)，攻堅手，親自放棄機(jī)器人探索后打造 Codex。

在 GPT-4 的研究中，Wojciech 創(chuàng)建了 GPT-4 的數(shù)據(jù)集并負(fù)責(zé)了強(qiáng)化學(xué)習(xí)和 Alignment 中的人類數(shù)據(jù)管理工作。很多人評價 GPT-4 之所以能和別的大語言模型拉開差距，模型很重要，數(shù)據(jù)更重要。

· John Schulman：RLHF 的開創(chuàng)者，打造了 OpenAI 的 RL 基礎(chǔ)設(shè)施。

John 在 Reinforcement Learning 的積累成就了目前的 ChatGPT。John 在 GPT-4 的開發(fā)過程中是 RL 和 Alignment 的帶隊人。

· Jan Leike：落地 instruct GPT , 把 alighment 帶到新高度。

Alignment 是 OpenAI  區(qū)別于 Google 等大廠的重要能力，Jan Leike 帶領(lǐng)團(tuán)隊攻堅遞歸獎勵模型、辯論、迭代放大三大研究，并主導(dǎo)落地了 Instruct GPT，在 GPT-4 的開發(fā)過程中也負(fù)責(zé)了 Alignment 部分。

· Andrej Karpathy：從特斯拉回歸的創(chuàng)始成員和 CV 大牛，OpenAI 做多模態(tài)的有力加速器。

Andrej 曾加入 Tesla 擔(dān)任 Sr. Director of AI?；貧w OpenAI 后，Andrej 在 Twitter 上表示自己將在 OpenAI 創(chuàng)造另一個“JARVIS”，意味著 Andrej 回歸后會探索 AI 與語音識別的交互。

· Mira Murati：OpenAI 新晉 CTO ，引領(lǐng)了 OpenAI 在 AI 安全上的探索。

Mira 的背景十分有趣，在加入 OpenAI 之前，Mira 在 Leap Motion 負(fù)責(zé)產(chǎn)品和工程（Leap Motion  是 MidJourney  CEO 的上一個創(chuàng)業(yè)項目），Mira 在職業(yè)生涯早期還曾在 Tesla 擔(dān)任產(chǎn)品。我們認(rèn)為 Mira 可能是人機(jī)交互領(lǐng)域最重要的 PM 之一。

· Lilian Weng：前沿技術(shù)和應(yīng)用研究的橋梁，也是 OpenAI 高管團(tuán)隊中唯一的中國人。

Lilian 是前沿技術(shù)和應(yīng)用研究的橋梁，通過設(shè)計 API 拓寬了 GPT 的應(yīng)用領(lǐng)域。在 GPT-4 項目中，她主導(dǎo)了應(yīng)用領(lǐng)域的研究。在她的 Lil Log 中有很多研究的分享，是在 AI 從業(yè)者中很有影響力的博客。

· Jakub Pachocki：OpenAI 的預(yù)訓(xùn)練專家，Sam 在 GPT-4 發(fā)布后專門感謝的人。

他參與了 OpenAI 幾乎大部分成功項目——深度參與了 Gym 和 Dota 的研究，負(fù)責(zé)了其中核心技術(shù)的攻堅，后帶領(lǐng)推理和深度學(xué)習(xí)組。作為 GPT-4 預(yù)訓(xùn)練和整個項目的負(fù)責(zé)人（整個項目一共有兩位 overall lead），Sam Altman 在 GPT-4 發(fā)布后發(fā)布一條 Twitter：“GPT-4 預(yù)訓(xùn)練方法的成就離不開 Jakub 的領(lǐng)導(dǎo)力和遠(yuǎn)見?！?/em>

OpenAI 的組織方式能夠有自下而上的創(chuàng)新（ChatGPT 就是一個自下而上的 idea），也能在確定目標(biāo)后集中力量朝一個方向努力，和傳統(tǒng)科研機(jī)構(gòu)單兵作戰(zhàn)的方式不同。此外，OpenAI 給員工也有足夠的激勵，工資+期權(quán)平均成本 120 萬美金/人/年，相對于 Google、Microsoft 等大廠也十分優(yōu)渥。

優(yōu)秀人才的號召力、吸引人的組織氛圍以及優(yōu)渥的激勵讓 OpenAI 正在“掏空”整個硅谷的科學(xué)家和 Super Talents。

Google Brain 的 AI 人才不斷流動至 OpenAI

OpenAI 在 GPT-4 的論文里公布了貢獻(xiàn)者名單，該名單顯示，有 249 位員工深度參與了 GPT-4  的研究與開發(fā) 。GPT-4 的貢獻(xiàn)名單分工非常清晰，可以作為大語言模型公司搭建團(tuán)隊的參考：

開發(fā) GPT-4 需要六個方向的研究團(tuán)隊：預(yù)訓(xùn)練（Pretraining）、長上下文語義理解（Long context）、視覺理解（Vision）、強(qiáng)化學(xué)習(xí)和對齊（RL & alignment）、評估分析（Evaluation & analysis）、部署（Deployment）。這六個部分不分主次，缺一不可。

每個方向除了領(lǐng)導(dǎo)團(tuán)隊外，又會拆分成不同的小組。成員并非只負(fù)責(zé)單個工作，而是在不同小組身兼數(shù)職。值得關(guān)注的是，Data 工作部分中有很多一線負(fù)責(zé)預(yù)訓(xùn)練、Alignment 的科學(xué)家參與其中，說明大模型的數(shù)據(jù)質(zhì)量是由很多模型訓(xùn)練的科學(xué)家親力親為共同完成的。

此外，OpenAI 的發(fā)展中微軟的支持也相當(dāng)重要，相當(dāng)于 Google 對 Deep Mind 的支持。例如，微軟的 CTO 和 EVP Kevin scott 是第一個接觸 OpenAI、將其帶入微軟的人，Sam 曾在第二次創(chuàng)業(yè)做 Loopt 就想招攬他去做 CTO；Scott Gruthrie 是微軟整個生態(tài)系統(tǒng) copilot 微軟 365 Azure 等產(chǎn)品的負(fù)責(zé)人，真正將 OpenAI 接入系統(tǒng) azure 的基建也由他負(fù)責(zé)，在 OpenAI 的發(fā)展中，微軟幾次“大義滅親”，把計算資源從員工手里收走傾斜到 OpenAI。下圖是在雙方合作中發(fā)揮重要作用的微軟高管。

Source：The Information

OpenAI 走向大模型是漸進(jìn)的過程

從歷史來看，OpenAI 絕對不是第一天就想做大語言模型的，這是一個漸進(jìn)的過程。我們把 OpenAI 的前 ChatGPT 時代的歷史大致分成了三部分：

· 15-17 年：通過開發(fā)者產(chǎn)品打基本功。

在這一階段，OpenAI 確立了自己重要的產(chǎn)品風(fēng)格 —— 定期得有產(chǎn)品成果跟社區(qū)和用戶互動。通過一系列開發(fā)者工具包或者環(huán)境，OpenAI 建立了開發(fā)者圈子的影響力。同時，在交付這些產(chǎn)品過程中，團(tuán)隊認(rèn)識到工程會成為研究的瓶頸，開始進(jìn)行了工程基建和“研究與工程并重”的文化打造。

· 17-19 年：逐漸轉(zhuǎn)向“語言模型”和“大模型”。

這個階段 OpenAI 做的事情其實比較分散，包括機(jī)器人、語言模型、打 Dota 2 以及其他圍繞深度強(qiáng)化學(xué)習(xí)的探索，這些都被認(rèn)為是可能通往 AGI 的路。有兩個項目讓他們聚焦到大語言模型：

第一個項目是 17 年的情緒神經(jīng)元，OpenAI 團(tuán)隊相信更好的理解才能帶來更好的預(yù)測，這個工作印證了這一點。因此他們將更多注意力分給了語言模型，并且趕上了 Transformer 架構(gòu)放大了這塊兒的突破可能性；

第二個項目是 OpenAI Five 打 Dota 2。這個游戲由 Elon Musk 推薦給 OpenAI 團(tuán)隊，團(tuán)隊也覺得人從小學(xué)習(xí)和理解世界的行為和游戲很像，因此重點嘗試了這個項目。過程中隨著 scale up，F(xiàn)ive 能打的對手從業(yè)余選手逐步升級到世界冠軍，加深了團(tuán)隊對于“規(guī)?！钡男叛龊?AGI 實現(xiàn)的可能性。

· 19-21 年：從 GPT-3 開始建立了一套大模型的產(chǎn)品打法。

從 20 年 6 月 GPT-3 API 出來后，OpenAI 探索出一套產(chǎn)品和市場互動的路徑，將一個用例不確定的東西拋給市場和開發(fā)者，讓大家自己探索用例。這種做法對于學(xué)術(shù)界和 Deepmind 這樣的公司是難以想象的，但事實證明非常有效，為 OpenAI 帶來了生態(tài)和用戶數(shù)據(jù)的飛輪。

走大模型路線意味著大算力投入，OpenAI 在 19 年選擇更專注這個方向后，做了 3 件事，建立了一套匹配大模型的經(jīng)營策略：

1. 把已經(jīng)有些成果出來的機(jī)器人團(tuán)隊砍掉，非常有魄力。事實證明這也是正確的選擇，這個團(tuán)隊后面大多數(shù)成員轉(zhuǎn)方向做代碼的工作，產(chǎn)出了 Codex；

2. 和微軟深度綁定；

3. 嘗試自己建立造血能力。在通過 AGI 的路上，只依靠微軟是不夠的。OpenAI 還在持續(xù)探索自己的商業(yè)化能力，例如 OpenAI Foundry 就是 Greg 非常重視的項目，它解決了企業(yè)級客戶的數(shù)據(jù)安全和領(lǐng)域 fine tuning 問題。

除了沿著歷史發(fā)展脈絡(luò)來看 OpenAI 的演進(jìn)，我們還可以反過來看，OpenAI 在這個過程中做了什么非共識或者超過對手的選擇。

有三個重要問題我們認(rèn)為可以構(gòu)成開放的思維實驗題：

1. 從技術(shù)和研究角度：OpenAI 在 17 年下半年迅速上了 Transformer 的車，新的公司能不能有這樣的敏感度？能不能把握住下一個 Transformer 級的變化？

2. 從投資人角度：18 年是 OpenAI 非共識最強(qiáng)的時候，在各項子任務(wù) GPT-2 效果均不如 BERT 的情況下，把我們放回去愿不愿意投？

站在投資角度，2018 年可能是 OpenAI 最不被看好的時候 —— BERT 一出世就把 GPT-2 從 GLUE 排行榜上淘汰了，學(xué)界的論文和業(yè)界的各類子任務(wù)都選擇使用 BERT。大多數(shù)人都惋惜 GPT 沒用到下文的信息，認(rèn)為“它將作為 BERT 的古怪前身被塵封入史冊”。但是我們回頭看最重要的一點，這種只有上文信息的自然語言生成模式在終局天然兼容了自然語言理解任務(wù)，能擁有這個大的認(rèn)知和判斷，而不是陷入對子任務(wù)效果的比較非常關(guān)鍵。

3. 從中國創(chuàng)業(yè)者角度，在沒有受科幻小說荼毒那么深的情況下，是否跟隨 OpenAI 和 Anthropic 的道路鼓吹 Al Safety，如何建立我們自己的 Safe AGI 定義？

很多 AI 圈子里的歐美人從小讀科幻小說長大，內(nèi)心有兩個深深的信念：第一是“AGI 來了之后人類連拔電線的機(jī)會都沒有”；第二是“我不是壞人，別人都是壞人”，所以選擇閉源、Alignment、Safety……我們中國人文化背景不一樣，第一要意識到 LLM 跟社會的關(guān)系，第二也要思考怎么建立自己的 Safe AGI 定義。

GPT 的進(jìn)階：充分運(yùn)用算力，擺脫傳統(tǒng)思路，實現(xiàn)通用泛化

· Alignment

Alignment 是 ChatGPT 走紅的最關(guān)鍵技術(shù)，也是除了 Anthropic 外其他公司所忽視的技術(shù)重點。Alignment 是大模型的一個社會化過程，可以用來規(guī)范模型的“言行舉止”。

在 Alignment 過程中，大家往往會提到 RLHF，但其中最關(guān)鍵的是 HF 部分的數(shù)據(jù)創(chuàng)新與標(biāo)注。Instuction tuning 是目前主流做 Alignment 的方式，RL 只有當(dāng)模型經(jīng)過這一步 Align 到一定程度后才能起到顯著的增益。這一方法會在未來地位將會更加重要，因為如果模型繼續(xù)按照 scaling law 增長下去，同時如果他們又能隨意分配模型技能點，那么這個模型就遲早會在特定領(lǐng)域上超越這個領(lǐng)域里最好的專家；那么在這個時候，alignment 的問題就不止是安全，同時也是如何駕馭遠(yuǎn)超人類的強(qiáng)人工智能。在強(qiáng)人工智能階段，alignment 做的事情會像是運(yùn)動員和教練的關(guān)系：運(yùn)動員在他的項目上遠(yuǎn)超教練，但教練依然可以訓(xùn)練運(yùn)動員做得更好。

· 多模態(tài)

OpenAI已經(jīng)在內(nèi)部開發(fā)的模型中加入了多模態(tài)能力。這一舉動有兩個重要意義：

1. 從數(shù)據(jù)量級的角度看，多模態(tài)是必然的趨勢。因為當(dāng)下人類積累的文本數(shù)據(jù)已經(jīng)接近被耗盡了，而引入圖片、視頻將能引入新的海量數(shù)據(jù)，讓大模型進(jìn)一步發(fā)揮其 scaling law 讓學(xué)習(xí)能力提升的規(guī)律。

2. 多模態(tài)的加入也很可能產(chǎn)生出新的突現(xiàn)能力。如果多模態(tài)領(lǐng)域能有能力突破的話，未來能基于文字（甚至是多模態(tài)）的 prompt 達(dá)到圖文并茂的效果，這一突破影響極大，可能改變我們組織信息的形式，也可能使最近因為數(shù)據(jù)量卡脖子的自動駕駛領(lǐng)域有所突破。

谷歌最新公布的 PALM-e 很值得關(guān)注，是在多模態(tài)領(lǐng)域的一次重要嘗試，也呈現(xiàn)了一定的涌現(xiàn)能力。但在多模態(tài)極其復(fù)雜的場景下，其所能實現(xiàn)的任務(wù)通用性還很一般，相比 GPT 在語言場景的通用性，未來還有很長的路要走。

· 模型評估系統(tǒng)化：模型效果度量尚未出現(xiàn)北極星指標(biāo)

目前在大模型領(lǐng)域已經(jīng)由學(xué)界公布了一套全面的評估體系稱為 HELM。此外 Anthropic 也公布了一套效果不錯的評估數(shù)據(jù)集。目前的評估方式全面性有余，泛用性不足，熟悉 LLM 的人自己準(zhǔn)備一套全面的問題清單測試下回答是否符合預(yù)期，可能是效率更高的方式。當(dāng)前最接近這一目標(biāo)的是 Perplexity，當(dāng) AI 以一定的概率輸出某一句話時，其困惑度越低、確定性越高，代表其越約定這句話與我們的問題是 Align 的。從生成可控性的角度看，這的確是當(dāng)下最重要的指標(biāo)之一，其背后與香農(nóng)的熵理論也高度接近。未來隨著 LLM 的繼續(xù)突破，一定會有更多重要的 metrics 出現(xiàn)。

· 能力邊界：LLM 只擅長 bottom-up 的思維方式，激發(fā)人類創(chuàng)造力而非取代

當(dāng)前的 LLM 技術(shù)路線是基于上文的逐字生成，決定了當(dāng)前 AI 不具備 top-down 設(shè)計規(guī)劃的能力。無論是文本還是多模態(tài)，都需要人使用明晰的 prompt 來做引導(dǎo)和設(shè)計。這決定了在分工上，人是設(shè)計師和指路人，AI 是實踐者和探索者。

OpenAI 接下來有哪些動作

OpenAI 在本月中旬發(fā)布了 GPT-4，后續(xù)又迅速推出了 Plugin 這一功能，我們可以圍繞這些重要事件來看 OpenAI 接下來可能還會有動作、以及帶來的影響：

1. Plugin 插件：

Plugin 最直接的作用就是重構(gòu)了信息分發(fā)的方式，用戶可以在同一個界面中完成和不同知識庫的交互，Plugin 還能夠替代用戶執(zhí)行很多操作，縮短了很多行為、交易的鏈路。Plugin 的推出對于互聯(lián)網(wǎng)信息分發(fā)、產(chǎn)品間的組織和聚合狀態(tài)、以及商業(yè)模式都會產(chǎn)生重要影響：

· 商業(yè)模式：插件接入大模型，收取相應(yīng)費用；

· 下游站點的價值有可能被削弱；

· 傳統(tǒng) SEO（Search Engine Optimization） 未來可能成為 LMO (Large Model Optimization)；

· Plugin 有能力和先發(fā)優(yōu)勢定義大模型與應(yīng)用互聯(lián)的 api 標(biāo)準(zhǔn)，之后應(yīng)用接入都會迎合這一標(biāo)準(zhǔn)；

· 解決原本知識時效性差 + 胡說八道的問題。

2. 閉源學(xué)術(shù)圈，開源創(chuàng)業(yè)圈：

出于 AI Safety 的考慮，OpenAI 在發(fā)布 GPT-4 時也完全沒有探討自己的技術(shù)細(xì)節(jié)，但很多創(chuàng)業(yè)在發(fā)布前就已經(jīng)提前使用到了 GPT-4 來開發(fā)自己的產(chǎn)品，對于 OpenAI 來說這是不斷的鞏固下游商業(yè)生態(tài)的方式，總體上 OpenAI 對于生態(tài)的構(gòu)建是十分積極的，這也是加深自身商業(yè)壁壘的一個重要路徑。

3. 和微軟更深度的合作：

除了對創(chuàng)業(yè)圈的開放，OpenAI 也通過和 Office、Teams、Azure、Surface（消費級終端）等產(chǎn)品或業(yè)務(wù)加入 AI 功能，例如之前 Microsoft 365 Copilot，在 Azure 上也在推出 To B 的解決方案來集成 OpenAI 本身的 API 能力。

4. OpenAI 還會在 AGI 領(lǐng)域進(jìn)行哪些投入：

· Agent 能力：讓模型主動獲取數(shù)據(jù)。當(dāng)前的大模型是被動的去輸入一些信息，這也和算力限制有關(guān)，但未來這一定是要做的一個方向；

· 消費級終端：新硬件才能采集更多的非結(jié)構(gòu)化數(shù)據(jù)作為證實，肯定是他們也在布局的東西。隨著大語言模型的提升，可能未來還有很多像自動駕駛機(jī)器人可能會都會因為當(dāng)中的理解能力而受益。

5. 模型大拆?。?/strong>

當(dāng)基礎(chǔ)模型變成更接近人腦的、多專家的一個網(wǎng)絡(luò)時，未來需要某個模塊的能力的時候，把某個模塊可能可以蒸餾或者拆解出來，做一些特定的職能，這都是他們未來會現(xiàn)在已經(jīng)在努力嘗試的一個方向。

05.

相較于應(yīng)用層，

未來 3-5 年 AI Infra 的確定性機(jī)會更高

AI Infra 主要分為模型層和工具層：模型包括開源、閉源以及從模型到應(yīng)用的端到端的公司；工具層主要圍繞著模型訓(xùn)練和模型推理兩大板塊 mapping 了各個細(xì)分環(huán)節(jié)。

我們目前更看好 AI Infra 的機(jī)會，在現(xiàn)在這個時點，Infra 和應(yīng)用層相比更穩(wěn)定，并且不用特別擔(dān)心底層模型能力大幅提升后受到?jīng)_擊。模型的價值毋庸置疑，Infra 工具在未來 5 年內(nèi)也會有爆發(fā)式的增長，核心邏輯是大模型公司搞軍備競賽，賣武器的公司增長一定十分可觀。

在 AI Infra 領(lǐng)域，除 OpenAI 外，我們還重點關(guān)注 Anthropic、Hugging Face，以及 Weights&Biases 等。

· Anthropic：

作為與 OpenAI 和 DeepMind（Google）并列的 LLM 模型領(lǐng)域 Top3 的公司，Anthropic 是其中唯一沒有與大廠深度綁定的，Anthropic 的大語言模型 Claude 被認(rèn)為是 OpenAI ChatGPT 最大的競爭對手。核心團(tuán)隊來自 OpenAI，CEO Dario Amodei 曾是 OpenAI 的研究和安全 VP。Dario 認(rèn)為 OpenAI 大模型有很多安全問題尚未解決，便急于商業(yè)化，促使他帶領(lǐng) GPT-2 和 GPT-3 的核心作者們離開 OpenAI 創(chuàng)立 Anthropic，Anthropic 因此也十分注重 AI Safety。Anthropic的愿景是構(gòu)建可靠的、可解釋的和可操控的 AI 系統(tǒng)。

· Hugging Face：

Hugging Face 是全球最大的 AI/ML 社區(qū)和平臺，也是 AI/ML 重要基礎(chǔ)設(shè)施之一。Hugging Face 的核心業(yè)務(wù)位于 ML Workflow 的上游，是 AI/ML 的入口，用戶可以在社區(qū)托管和共享 AI/ML 模型和數(shù)據(jù)集，也可以構(gòu)建、訓(xùn)練和部署 ML 模型，與此同時，Hugging Face 不斷向下游探索商業(yè)化路徑，包括私人模型庫、模型推理和部署、AutoTrain 等。若下游布局順利，商業(yè)化取得成功，Hugging Face 將有可能滲透至 ML Workflow 的各個環(huán)節(jié)，成為 AI/ML 的中心。

· Weights & Biases：

Weights & Biases 聚焦于模型實驗管理環(huán)節(jié)，未來還可能切入下游的模型監(jiān)控領(lǐng)域，這兩個環(huán)節(jié)是 AI/ML 領(lǐng)域 Datadog 級別的生態(tài)位，有機(jī)會誕生出 AI/ML 時代的 Datadog。

大模型訓(xùn)練的復(fù)雜程度和資源消耗程度使大模型企業(yè)對模型實驗管理工具的需求激增，Weights & Biases 已經(jīng)是賽道的 Top 1，OpenAI、DeepMind、Facebook AI Research、Midjourney、Stability、Nvidia、Microsoft 等公司均為 Weights & Biases 的客戶。在未來 3-5 年內(nèi)，Weights & Biases 還將持續(xù)享受大模型軍備競賽帶來的紅利。

在對 AI 應(yīng)用層進(jìn)行 mapping 的過程中，我們看到現(xiàn)階段的 AI 應(yīng)用整體呈現(xiàn)出兩大特點：

1. To B 應(yīng)用的數(shù)量遠(yuǎn)大于 To C 應(yīng)用；

2. General 工具的數(shù)量遠(yuǎn)大于落地到具體場景的應(yīng)用的數(shù)量。

從功能看：技術(shù)最成熟、效果最好、公司數(shù)量也最多的是語言/文字和圖片類應(yīng)用，視頻、音頻、代碼還需要一定時間，3D 似乎是更長遠(yuǎn)的事。語言/文字類應(yīng)用包含：文字生成（e.g Jasper）、語音識別和語義理解（e.g Fathom）、文字摘要和文字總結(jié)（e.g Agolo）、聊天機(jī)器人（e.g Character.ai）等。圖像生成和編輯的典型代表公司是 MidJourney、Typeface 等。

從場景看：目前美國市場的應(yīng)用主要集中在以下三大場景——Sales & Marketing、客服/CRM/CEM、企業(yè)內(nèi)部生產(chǎn)力工具。均為 To B 場景。

· Midjourney：

文生圖賽道是 Generative AI 概念下商業(yè)模式較成熟的領(lǐng)域，而 Midjourney 是其中最具競爭力的選手，也是將 Generative AI 技術(shù)成功產(chǎn)品化的代表。Midjourney 的 Discord 社區(qū)目前擁有超 1,000 萬社區(qū)成員、年營收約為 1 億美元。

Midjourney 有自己的模型，生成的圖片效果非常好，一是它用于訓(xùn)練模型的數(shù)據(jù)質(zhì)量非常高，二是它有一個四選一的反饋，這個很重要。Midjourney 目前是盈利狀態(tài)，現(xiàn)金流很健康，團(tuán)隊只有 20 多人，沒有接受外部融資。

· Typeface：

Typeface 是一個 AI 營銷內(nèi)容生成平臺，由前 Adobe CTO 創(chuàng)立。Typeface 最大的特點是能夠?qū)W習(xí)企業(yè)客戶的“專有數(shù)據(jù)”?？蛻魧в衅髽I(yè)風(fēng)格的專有數(shù)據(jù)導(dǎo)入 Typeface 供模型學(xué)習(xí)，基于這些專有數(shù)據(jù)，Typeface 可以輸出更個性化的、滿足企業(yè)實際需求的內(nèi)容，做到讓 AI “更懂用戶”。為了實現(xiàn)這一點，Typeface 讓每位客戶擁有獨有的 AI 模型和托管服務(wù)，以及原創(chuàng)內(nèi)容檢測、品牌契合度檢測和文字上的語法檢測等功能。而收集專有數(shù)據(jù)的意識也在行業(yè)內(nèi)逐漸形成共識。

· Pilot：

Pilot AI 2022 年成立，是一款面向銷售人員的 AI 產(chǎn)品，核心是能夠自動將每一個銷售電話變成詳細(xì)的筆記和結(jié)構(gòu)化數(shù)據(jù)，并將結(jié)構(gòu)化數(shù)據(jù)直接同步到 CRM 系統(tǒng)。這也是我們認(rèn)為大語言模型的核心價值之一。我們平時聊天有非常多的數(shù)據(jù)，如果沒有被記錄和分析，就永遠(yuǎn)是 dark data。而大語言模型理解語言的能力變強(qiáng)之后，dark data 可以變成非結(jié)構(gòu)化數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)，變成 information。而且 Pilot 的整個流程都是自動化的，價值非常顯著。

· Character.ai：

Character.ai 是個性化 AI 聊天機(jī)器人平臺，用戶可以在 Character 上根據(jù)個人偏好定制 AI 角色并和它聊天。ChatGPT 已經(jīng)證明了人們對 Chatbot 的狂熱和粘性，Character.ai 在此基礎(chǔ)上加入個性化、UGC 兩大武器，有了比 ChatGPT 更豐富的使用場景。自 2022 年 9 月發(fā)布后的兩個月內(nèi)，用戶共創(chuàng)建了 35 萬個角色，2022 年 12 月初 - 12 月中，用戶日活又翻了 3 倍，我們了解到目前 Character.ai 的月活躍用戶數(shù)在小幾十萬的量級。

Character.ai 團(tuán)隊背景也十分亮眼，創(chuàng)始人 Noam Shazeer 是 Transformer 作者之一，聯(lián)合創(chuàng)始人 Daniel de Freitas 領(lǐng)導(dǎo)了 Meena 和 LaMDA 的開發(fā)。Character.ai 給我們帶來的行業(yè)啟發(fā)在于：隨著高性能大模型的使用門檻進(jìn)一步降低，未來 AI 應(yīng)用層的顛覆式創(chuàng)新或許不在技術(shù)，而是產(chǎn)品設(shè)計維度的絕妙想法。

最后補(bǔ)充一個值得關(guān)注的方向，即 OpenAI Fund 投資的公司。一方面，我們可以通過 OpenAI 的投資布局推測未來大模型最有機(jī)會在哪些場景落地、以及不同場景的落地節(jié)奏；另一方面，在 OpenAI 的 Portfolio 公司中，幾乎每家公司都有非常具體的場景，而不只是工具的形態(tài)。因此我們認(rèn)為 OpenAI 的投資標(biāo)的非常值得關(guān)注。

06.

硬件增量：訓(xùn)練及推理環(huán)節(jié)的價值捕獲

AI 硬件的增量市場中， 55-75% 的價值流向芯片，10-20% 流向內(nèi)存，10-20% 流向通信設(shè)備。這三個環(huán)節(jié)中，初創(chuàng)公司的機(jī)會主要在于激進(jìn)型 ASIC、存內(nèi)計算（In-Memory Computing）和片間通訊（Chip-to-Chip）等場景。

AI 分布式計算環(huán)節(jié)：云計算服務(wù)商寡頭壟斷， Server Venders 有部分機(jī)會

售賣分布式計算系統(tǒng)主要有兩種商業(yè)模式，服務(wù)器供應(yīng)商（Server Venders）和云計算服務(wù)商（Cloud Computing Service）。服務(wù)器供應(yīng)商的 Operating Margin 通常在 10-15% 附近，云計算服務(wù)商的通常在 20-30% 左右。

Server Venders 主要由傳統(tǒng)的服務(wù)器制造商 (75%) 和 ODM Direct 廠商 (25%) 組成，總年營收規(guī)模在 1000 億美元左右；市場仍留了 25% 的空間給各類垂直場景下的小公司或初創(chuàng)企業(yè)，AI 場景下的 Server Venders 會有一定的空間，但終局來講可能算是賺個辛苦錢（10-15% 的 Operating Margin）。

2000 億美元的云計算服務(wù)商市場基本已經(jīng)被巨頭壟斷（AWS、Azure、GCP 和 Alibaba Cloud 前四大占了 70% 的市場份額），在 LLM 的新浪潮中，微軟正在通過獨占 NVIDIA 的 H100 算力挑戰(zhàn) AWS，AWS 通過和開源社區(qū) Hugging Face 合作來應(yīng)戰(zhàn)，谷歌也利用 GCP 資源孵化多家 LLM 初創(chuàng)公司（如 Anthropic）。

芯片：推理需求未來將占算力大頭

芯片可以拆分成三種需求：系統(tǒng)芯片、訓(xùn)練芯片和推理芯片。推理需求未來將占算力大頭。

訓(xùn)練需求可能隨著模型訓(xùn)練量擴(kuò)大帶來的邊際回報降低而最終會有上限，而推理需求隨著推理成本的下降和更多 SaaS 集成而指數(shù)上升，推理需求未來將占算力大頭。

投資推理芯片有需要預(yù)判未來主流推理在云端還是邊緣端完成，當(dāng)前微軟和 OpenAI 押注云端，蘋果想以隱私為名開拓邊緣端。站在二級視角，終局是云端意味著利好 Nvidia 和 Azure，邊緣端意味著利好蘋果和臺積電（因為需要性能強(qiáng)勁的 SoC 芯片）；對于一級視角，云端意味著利好 ASIC 和 RISCV CPU（后面將會介紹），邊緣端將利好 FPGA 和類似 Apple Silicon 的 SoC 芯片研發(fā)公司；當(dāng)然也可以同時押注兩邊，只是要及時調(diào)整市場空間的預(yù)期，并根據(jù)模型壓縮技術(shù)的進(jìn)展及時調(diào)整倉位。

而初創(chuàng)公司不僅需要技術(shù)劍走偏鋒才能在 ASIC 立足，也需要大模型長期技術(shù)路徑穩(wěn)定，所以知道頂尖 AI 模型公司的路線圖對芯片公司有重要意義。

內(nèi)存：主流內(nèi)存技術(shù)已被寡頭壟斷

內(nèi)存分為傳統(tǒng)內(nèi)存和新型內(nèi)存，傳統(tǒng)內(nèi)存已被三家寡頭壟斷，新型內(nèi)存技術(shù)離商用還有至少五年以上時間，存內(nèi)計算技術(shù)成熟后將能同時打下內(nèi)存端和芯片端的市場份額。

互聯(lián)設(shè)備：初創(chuàng)公司可以通過片間通訊打破壟斷

互聯(lián)設(shè)備可以分為 Server-to-Server 和 Chip-to-Chip，Server-to-Server 已經(jīng)被傳統(tǒng)網(wǎng)關(guān)公司和 NVIDIA 壟斷了，Chip-to-Chip 環(huán)節(jié)還存在有一些初創(chuàng)公司的機(jī)會，并且技術(shù)成熟度較高，預(yù)計 25-27 年會在數(shù)據(jù)中心推廣開。

Chip-to-Chip 指的是芯片之間繞過網(wǎng)線的直連技術(shù)，當(dāng)前做的最好的是 NVIDIA 的 NVLINK，其他廠商在做超近距離的 Chiplet 和較遠(yuǎn)較大規(guī)模的 CXL。Chiplet 主要被臺積電壟斷，它將多個芯片（CPU、GPU 或圖像處理特質(zhì)芯片）在生產(chǎn)過程中堆疊起來，并讓它們之間高效通訊和協(xié)作。CXL 是 AMD、 Intel 等芯片廠模仿 NVLINK 開發(fā)的開源協(xié)議。

Chiplet 是芯片巨頭未來的主要優(yōu)化路徑，主要價值還是被巨頭捕獲。比如 AMD 的 MI300 和 NVIDIA 的 Grace Hopper，都用臺積電的 Chiplet 技術(shù)將 CPU 和 GPU 高效的互聯(lián)起來，現(xiàn)在是 1 CPU 和 1 GPU互聯(lián)，未來可能可以 1 CPU 和多 GPU 互聯(lián)，這樣可以繞過跟不上時代的主板 和 PCIE 生態(tài)，這樣單臺服務(wù)器效率會高很多。

CXL 則是滿足了 data center 大規(guī)?；ヂ?lián)的需求，NVIDIA 因 NVLINK 領(lǐng)先且壟斷不想投入， Intel 和 AMD 很看重且技術(shù)積累不高，初創(chuàng)企業(yè)有一定的機(jī)會。既然巨頭跟 Startup 都在同一個協(xié)議下競爭，且巨頭的技術(shù)積累可能就領(lǐng)先兩年，初創(chuàng)企業(yè)很有可能在 2025 年 CXL 3.0 大規(guī)模量產(chǎn)前被主流芯片廠收購。所以這里應(yīng)該有投資機(jī)會。