機(jī)器之心PRO · 會(huì)員通訊 Week 35
---- 本周為您解讀 ⑥ 個(gè)值得細(xì)品的 AI & Robotics 業(yè)內(nèi)要事 ----
Gemini 模型算力達(dá) GPT-4 五倍，關(guān)于 Gemini 模型有哪些傳聞？SemiAnalysis 的爆料，放出哪些重要信息？谷歌的算力儲(chǔ)備歷程回顧？新定義之 GPU 富人與 GPU 貧困者，「GPU 貧困者」應(yīng)該關(guān)注哪些方向？... 2. 對(duì)齊數(shù)據(jù)的 Less is More MLLM 對(duì)齊又有新進(jìn)展？MLLM 的對(duì)齊與實(shí)現(xiàn) AGI 有何聯(lián)系？Less is More 有和對(duì)齊工作有和聯(lián)系？RLHF 怎么辦？...特斯拉 FSD V12 系統(tǒng)技術(shù)詳解；FSD V12 系統(tǒng)為什么改用端到端方案，優(yōu)勢(shì)在哪？端到端技術(shù)方案有哪些不足？FSD V12 系統(tǒng)的訓(xùn)練基礎(chǔ)是什么？目前自動(dòng)駕駛技術(shù)分為哪兩派?... 4. 計(jì)算科學(xué)家提出大模型面臨的十大難題 LLM 為什么會(huì)產(chǎn)生幻覺？減少模型產(chǎn)生的幻覺有哪些方法？為什么會(huì)發(fā)生大模型「幻覺滾雪球」現(xiàn)象？為何上下文長度如此重要，且能在 LLM 中起到舉足輕重的作用？目前有哪些可以加速 Transformer 并將上下文長度增加到 100K 的優(yōu)化技術(shù)？… 5. 國內(nèi) 11 個(gè) LLM AI 產(chǎn)品陸續(xù)向公眾大規(guī)模開放 是哪 8 家機(jī)構(gòu)的 2C 大模型獲批？對(duì)大模型賽道意味著什么？《生成式人工智能服務(wù)管理暫行辦法》是做什么的？國內(nèi)還有哪些相關(guān)管理辦法？... 6. 《國資報(bào)告》雜志報(bào)道央企對(duì)大模型技術(shù)的采用情況 我國領(lǐng)先國資企業(yè)對(duì)大模型技術(shù)主要有哪些不同的采用方案？哪些央企或有機(jī)會(huì)以通用大模型賦能千行百業(yè)?......本期完整版通訊含以上 6 項(xiàng)專題解讀 + 31 項(xiàng)本周 AI & Robotics 賽道要事速遞，其中技術(shù)方面 9 項(xiàng)，國內(nèi)方面 12 項(xiàng)，國外方面 10 項(xiàng)...
本期通訊總計(jì) 26772 字，可免費(fèi)試讀至 5 % 消耗 99 微信豆即可兌換完整本期解讀（約合人民幣 9.9 元） 要事解讀 ① 谷歌趕超 GPT-4 之路：用算力猛懟？
事件：據(jù) SemiAnalysis 分析師 Dylan Patel 和 Daniel Nishball 爆料，谷歌 Gemini 大模型算力為 GPT - 4 的五倍，同時(shí)谷歌擁有的 TPUv5 比 OpenAI、Meta、CoreWeave、甲骨文和亞馬遜擁有的 GPU 總和還要多。這次谷歌 Gemini 的爆料都透露了什么？[13]Dylan Patel 曾在英特爾、AMD、高通等公司擔(dān)任過從設(shè)計(jì)工程師到市場(chǎng)營銷經(jīng)理等的角色，其于今年 7 月 11 日曾曝光 GPT-4 的架構(gòu)。以下解讀基于多方信源匯總形成1、谷歌的下一代大模型 Gemini，算力已達(dá) GPT-4 的 5 倍。2、谷歌 Gemini 已經(jīng)開始在新的 TPUv5 Pod 上進(jìn)行訓(xùn)練，算力高達(dá)～1e26 FLOPS，比訓(xùn)練 GPT-4 的算力還要大 5 倍。3、Gemini 可以訪問多個(gè) TPU pod 集群，具體來講是在 7+7 pods 上進(jìn)行訓(xùn)練。4、初代的 Gemini 應(yīng)該是在 TPUv4 上訓(xùn)練的，并且這些 pod 并沒有集成最大的芯片數(shù)——4096 個(gè)芯?，而是使用了較少的芯片數(shù)量，以保證芯片的可靠性和熱插拔。如果所有 14 個(gè) pod 都在合理的掩模場(chǎng)利用率（MFU）下使?了約 100 天，那么訓(xùn)練 Gemini 的硬件 FLOPS 將達(dá)到超過 1e26。5、?歌模型 FLOPS 利?率在 TPUv4 上?常好，即使在?規(guī)模訓(xùn)練中，也就是 Gemini 的第?次迭代，遠(yuǎn)遠(yuǎn)?于 GPT-4。尤其是，就模型架構(gòu)優(yōu)越方面，如增強(qiáng)多模態(tài)，更是如此。6、第?個(gè)在 TPUv5 上訓(xùn)練的 Gemini 在數(shù)據(jù)??存在?些問題，所以不確定谷歌是否會(huì)發(fā)布。這個(gè)～1e26 模型可能就是，公開稱為 Gemini 的模型。7、Gemini 集成大模型與 AI 生成，訓(xùn)練數(shù)據(jù)庫為 Youtube 上 93.6 億分鐘的視頻字幕，其總數(shù)據(jù)集大小約為 GPT-4 的兩倍。8、Gemini 或使用 Moe 架構(gòu)與投機(jī)采樣技術(shù)，通過小模型提前生成 token 傳輸至大模型進(jìn)行評(píng)估，提高模型總推理速度。9、谷歌手中的 TPUv5 數(shù)量超 OpenAI、Meta、CoreWeave、甲骨文和亞馬遜擁有的 GPU 總和。10、在 2023 年底，谷歌的算力將達(dá)到 GPT-4 預(yù)訓(xùn)練 FLOPS 的五倍。而考慮谷歌現(xiàn)在的基建，到明年年底，這個(gè)數(shù)字或許會(huì)飆升至 100 倍。1、早在 2006 年，谷歌就開始提出了構(gòu)建人工智能專用基礎(chǔ)設(shè)施的想法，并于 2013 年將數(shù)據(jù)中心的數(shù)量增加一倍，以此大規(guī)模部署人工智能。2、谷歌最著名的項(xiàng)目 Nitro Program 于 2013 年發(fā)起，專注于開發(fā)芯片以優(yōu)化通用 CPU 計(jì)算和存儲(chǔ)。主要的目標(biāo)是重新思考服務(wù)器的芯片設(shè)計(jì)，讓其更適合谷歌的人工智能計(jì)算工作負(fù)載。3、自 2016 年以來，谷歌已經(jīng)構(gòu)建了 6 種不同的 AI 芯片，TPU、TPUv2、TPUv3、TPUv4i、TPUv4 和 TPUv5。谷歌主要設(shè)計(jì)這些芯片，并與 Broadcom 進(jìn)行了不同數(shù)量的中后端協(xié)作，然后由臺(tái)積電生產(chǎn)。4、谷歌擁有 TPUv4（PuVerAsh）、TPUv4 lite，以及內(nèi)部使?的 GPU 的整個(gè)系列。實(shí)際上，谷歌擁有的 TPUv5 比 OpenAI、Meta、CoreWeave、甲骨文和亞馬遜擁有的 GPU 總和還要多。5、今年 8 月 29 日，谷歌云在 Google Cloud Next'23 年度大會(huì)上推出了全新的 TPU 產(chǎn)品 Cloud TPU v5e。與 TPU v4 相比，TPU v5e 的成本不到 TPU v4 的一半，使更多公司有機(jī)會(huì)訓(xùn)練和部署更大、更復(fù)雜的 AI 模型。（本圖基于 SemiAnalysis 爆料數(shù)據(jù)形成）「GPU 貧困」的小公司，如何在巨頭找到自己的優(yōu)勢(shì)？2024 年底，GPU 總數(shù)可能會(huì)達(dá)到十萬塊。OpenAI、谷歌、Anthropic、Inflection、X、Meta 這些巨頭或明星初創(chuàng)企業(yè)，手里有 20 多萬塊 A100/H100 芯片，平均下來，每位研究者分到的計(jì)算資源都很多。對(duì)「GPU 貧困」的小公司、團(tuán)隊(duì)及開源研究者來說，有以下業(yè)內(nèi)建議匯總:
本站僅提供存儲(chǔ)服務(wù)，所有內(nèi)容均由用戶發(fā)布，如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請(qǐng)
點(diǎn)擊舉報(bào)。
