OpenAI 考慮自研芯片，考慮在英偉達(dá)之外拓展更多的算力供應(yīng)商，不管是成本考慮還是有更大的野心。
微軟將在下個(gè)月發(fā)布自研芯片，然而它已經(jīng)是主流云廠商里動(dòng)作最慢的一個(gè)，Google 的 TPU 已經(jīng)供應(yīng)了自家（不算云客戶）90% 的 AI 算力需求，亞馬遜也通過數(shù)十億級(jí)別的投資鎖定了自家芯片的客戶（不僅僅是 Anthropic）。
「蘇媽」更不可能缺席，面對(duì) CUDA 的壟斷局面，AMD 的 CEO 蘇姿豐說：「我不相信護(hù)城河」。
連馬斯克都抱怨難買的 A/H100 在大模型行業(yè)構(gòu)成的獨(dú)領(lǐng)風(fēng)騷的局面，正在發(fā)生一些變化。
路透社報(bào)道，至少?gòu)娜ツ觊_始，OpenAI 就已討論各種方案，以解決 AI 芯片短缺問題。OpenAI 已將獲取更多 AI 芯片列為公司首要任務(wù)，討論方案包括自研 AI 芯片，與包括英偉達(dá)在內(nèi)的其他芯片制造商更密切地合作，以及在英偉達(dá)之外實(shí)現(xiàn)供應(yīng)商多元化。
對(duì)于 OpenAI 來說，自研芯片不僅能解決 GPU 的短缺問題，同時(shí)也將有效降低硬件運(yùn)行所需的成本，畢竟 GPT-4 的運(yùn)行成本實(shí)在太高了。
當(dāng)然，美國(guó)主要科技巨頭多年來一直在試圖打造屬于自己的芯片，但實(shí)際成果有限。對(duì)于 OpenAI 來說，能不能另辟蹊徑做出成果，尚可未知。
The Information 報(bào)道，據(jù)知情人士透露，Microsoft 計(jì)劃下個(gè)月在其年度開發(fā)者大會(huì)上推出首款專為人工智能設(shè)計(jì)的芯片。此舉是微軟多年工作的結(jié)晶，旨在減少 Microsoft 對(duì)英偉達(dá)設(shè)計(jì)的 AI 芯片的依賴，隨著需求激增，這些芯片一直供不應(yīng)求。
Microsoft 的芯片類似于 Nvidia GPU，專為訓(xùn)練和運(yùn)行大型語(yǔ)言模型的數(shù)據(jù)中心服務(wù)器而設(shè)計(jì)。
The Information 4 月份的新聞報(bào)道了代號(hào)名為 Athena 的芯片，目前尚不清楚它在 11 月 14 日開始的西雅圖會(huì)議上宣布時(shí)的正式名稱是什么。
知情人士表示，Microsoft 仍在爭(zhēng)論是否會(huì)向 Azure 云客戶提供該芯片。
該芯片只是 Microsoft 試圖避免被鎖定在 Nvidia GPU 的方式之一。據(jù)知情人士透露，Microsoft 還與 Advanced Micro Devices 就 AMD 即將推出的 AI 芯片 MI300X 密切合作。
先于微軟一步，另外兩家主流云廠商亞馬遜和 Google 已經(jīng)在自研 AI 芯片上積累了很多經(jīng)驗(yàn)，甚至已經(jīng)有經(jīng)過市場(chǎng)驗(yàn)證的成熟產(chǎn)品。
亞馬遜有兩款自研 AI 芯片，名字都起得非?！嘎豆恰埂狪nferentia 和 Trainium（推理和訓(xùn)練），完全針對(duì)機(jī)器學(xué)習(xí)。但這兩款芯片追求的并不是絕對(duì)的性能，它們無(wú)法與英偉達(dá)頂尖的產(chǎn)品相提并論。
在 2021 年產(chǎn)品發(fā)布時(shí)，亞馬遜產(chǎn)品副總裁 Matt Wood 表示 Trainium 在性價(jià)比方面比當(dāng)時(shí) AWS 上的其他選擇高 50%。今年春天亞馬遜 CEO Andy Jassy 在股東信中表示，使用 Trainium 訓(xùn)練常見 AI 模型相比「類似 的 GPU 系統(tǒng)」快 140%，成本降低 70%。而推理芯片 Inferentia 自從 2019 年推出以來，「為亞馬遜等公司節(jié)省了超過 1 億美元的資本支出?！?/span>
成本效益是核心目標(biāo)。
在 9 月底針對(duì) Anthropic 的投資和戰(zhàn)略合作中，亞馬遜特別強(qiáng)調(diào)，會(huì)讓 Anthropic 使用自家的兩款芯片訓(xùn)練模型。Anthropic 當(dāng)然有能力使用亞馬遜的芯片（外加 AWS 上的 N 卡）訓(xùn)練出時(shí)下最具競(jìng)爭(zhēng)力的模型?？梢韵胍姰?dāng) Anthropic 下一款 SOTA 模型發(fā)布時(shí)，AWS 會(huì)鋪天蓋地地宣傳背后如何使用了自研芯片。
同樣主打效率的還有另一個(gè)云廠商，Google。
在 8 月底的 Google Cloud 發(fā)布會(huì)上，Google 發(fā)布特別針對(duì)大模型的第五代 TPU，號(hào)稱相比上一代，每美元的訓(xùn)練性能提高兩倍，推理性能提高 2.5 倍，而 v5e 的成本不到 TPU v4 的一半?！高@是迄今為止最具成本效益的云端 TPU。」
在 5 月，Google 發(fā)布了一篇論文解讀自家的 AI 超級(jí)計(jì)算機(jī)，一臺(tái)包括 4000 多個(gè) TPUv4 的 AI 超算，并加入專為運(yùn)行和訓(xùn)練 AI 模型定制的組件。Google 宣稱這臺(tái)超算比 NVIDIA A100 快 1.2 - 1.7 倍，功耗低 1.3 - 1.9 倍。（但并沒有與 H100 比較，因?yàn)?H100 和 TPUv4 并不是同一代產(chǎn)品。)
Google 曾表示，自家 90% 的 AI 任務(wù)都是使用 TPU 在跑，但這并不包括大量采購(gòu) NVIDIA GPU 的 Google Cloud。
英偉達(dá)在 AI 市場(chǎng)的風(fēng)光，最不甘的可能就是 AMD 了。
最近 AMD 在大模型領(lǐng)域的動(dòng)作不斷，一是 MI300 GPU 芯片的發(fā)布，其次是跟 Lamini 合作，攜手推出基于 AMD GPU 的企業(yè)級(jí) LLM。
對(duì)于 MI300，他們的目標(biāo)是對(duì)標(biāo)英偉達(dá)的 H100，MI300 為推理，尤其是大型語(yǔ)言模型推理，進(jìn)行了專門的優(yōu)化。
此外，針對(duì)英偉達(dá)的護(hù)城河 CUDA 平臺(tái)，在 The Verge 對(duì)蘇姿豐的專訪以及 HPCwire 的文章中均有專門的分析。
「在市場(chǎng)發(fā)展如此迅速的情況下，我不相信護(hù)城河。當(dāng)你考慮護(hù)城河時(shí)，它更多的是成熟市場(chǎng)，人們并不真正想要改變很多東西。而生成式人工智能的發(fā)展速度令人難以置信。我們?cè)诔Ｒ?guī)開發(fā)環(huán)境中幾個(gè)月取得的進(jìn)展可能需要幾年時(shí)間。尤其是軟件，我們的方法是一種開放式軟件方法。」蘇姿豐回應(yīng)道。
目前 CUDA 和大模型的中間層平臺(tái)以主流的開源工具 PyTorch 為主，在 HuggingFace 上，92% 的可用模型是基于 PyTorch 進(jìn)行開發(fā)的。而 PyTorch 本身是兼容 AMD 平臺(tái)的，AMD 最新的芯片也針對(duì) PyTorch 進(jìn)行了優(yōu)化。
如圖所示：機(jī)器學(xué)習(xí)論文的數(shù)量比較顯示出 PyTorch 和 TensorFlow 的顯著趨勢(shì)。
在訪談中，蘇姿豐宣稱，「我們所取得的一個(gè)重要里程碑就是，在 PyTorch 2.0 上，AMD 在第一天就獲得了適配。這意味著，現(xiàn)在在 PyTorch 上運(yùn)行 CUDA 的人，開箱就能在 AMD 上運(yùn)行，因?yàn)槲覀冊(cè)谶@方面做了大量工作。坦率地說，它也能在其他硬件上運(yùn)行?！?/span>
而和 Lamini 的合作，AMD 也能借此尋求其在 LLM Finetune 方面的專業(yè)知識(shí)，針對(duì)企業(yè)用戶做進(jìn)一步的優(yōu)化。Lamini 針對(duì)企業(yè)級(jí) Finetune LLM 進(jìn)行了優(yōu)化，這些 LLM 擁有大數(shù)據(jù)并使用專門的數(shù)據(jù)、任務(wù)和軟件接口，建立在基礎(chǔ)模型——Llama 2、GPT-4 和 Claude 等基礎(chǔ)模型通過在 CommonCrawl、the Pile 或教科書等通用數(shù)據(jù)集上進(jìn)行訓(xùn)練，針對(duì)英語(yǔ)、自動(dòng)完成、推理和編程等通用技能進(jìn)行了優(yōu)化。
聯(lián)系客服
