韩国美女视频直播,nxgx美女视频免费

驚嘆！ChatGPT訓(xùn)練1次居然要燒掉這么多錢

武宗 >《科技》

2023.04.16 北京

關(guān)注

墨算未來(lái)

墨科技演進(jìn)，算未來(lái)氣象

隨著 ChatGPT技術(shù)的普及， OpenAI在世界上掀起了一股大規(guī)模數(shù)據(jù)建模的熱潮。但他們很快就意識(shí)到，這只是一個(gè)龐然大物的博弈，拼的就是能耗。

吳軍，一位著名的電腦專家，對(duì)此沒(méi)有任何夸大之處，他說(shuō)：“ChatGPT每訓(xùn)練一次，就可以讓3000臺(tái)特斯拉的電動(dòng)車跑20萬(wàn)英里，也就是32.19萬(wàn)公里?！币话愕募彝マI車平均每年大約能跑15,000公里，那么 ChatGPT每次訓(xùn)練所消耗的能量，等于3000臺(tái)特斯拉在一個(gè)月內(nèi)跑了21年。

哪怕是那些想要嘗試大模型，想要“帶資入組”的大佬們，也要好好考慮一下，自己口袋里的錢，能花多久？

去年，OpenAI總共花費(fèi)了5.44億美金。GPT-3的單個(gè)訓(xùn)練費(fèi)用估計(jì)為140萬(wàn)美金，而某些較大的LLM （大型語(yǔ)言模型）則在2百萬(wàn)到1200萬(wàn)美金之間。

華為 AI首席專家日前在一次 AI大模型技術(shù)研討會(huì)上指出，“大模型的訓(xùn)練費(fèi)用中，有60%是用電費(fèi)用，這一點(diǎn)已經(jīng)刻不容緩。

OpenAI的 CEO山姆·奧特曼在一次公共訪談中說(shuō)，GPT-3的參數(shù)量是1750億。與GTP-3相比，最新公布的GTP-4參數(shù)數(shù)目增加了20倍，計(jì)算量增加了10倍。GTP-5最早在2024年底推出，屆時(shí)參數(shù)量將會(huì)是GTP-3的100倍，而計(jì)算量也會(huì)增加到200-400倍。

據(jù)斯坦福大學(xué)人工智能研究院（Stanford Automatic Institute，簡(jiǎn)稱 HAI）公布的《2023年人工智能指數(shù)報(bào)告》顯示，對(duì)類似于 OpenAI的GPT-3等 AI算法進(jìn)行訓(xùn)練，所需要耗費(fèi)的能源，足以支撐一個(gè)美國(guó)家庭幾百年的能耗。GPT-3是公認(rèn)的“電老虎”，耗電達(dá)到了1287兆瓦。

有數(shù)據(jù)表明，ChatGPT的運(yùn)算能力總消耗在3640PF每天，這樣的計(jì)算能力將需要7-8個(gè)擁有30億運(yùn)算能力的數(shù)據(jù)中心來(lái)支持。根據(jù)一家名為 Semi分析的半導(dǎo)體產(chǎn)業(yè)數(shù)據(jù)公司的估計(jì)，如果一個(gè)芯片 GPT想要完全承載谷歌的搜索流量，那么它將需要410萬(wàn)張英偉達(dá)A100 GPU。

當(dāng)前，微軟公司已經(jīng)在超過(guò)60個(gè)Azure的數(shù)據(jù)中心上部署了數(shù)十萬(wàn)個(gè) GPU，這些 GPU將為 ChatGPT的計(jì)算提供強(qiáng)大的計(jì)算能力。微軟作為OpenAI的最大投資者，獲得了對(duì)云計(jì)算的獨(dú)家支持，并且已經(jīng)開(kāi)始了對(duì)下一代人工智能的研發(fā)，而這一次，他們將會(huì)引入數(shù)萬(wàn)張英偉達(dá)A100 GPU，以及新一代H100 GPU。

如此龐大的計(jì)算能力，讓業(yè)界的高手們都為之驚嘆，覺(jué)得這是何等的瘋狂。

而現(xiàn)在，即便是馬斯克這位曾經(jīng)提出過(guò)要叫停大型模研發(fā)計(jì)劃的人，此刻都已經(jīng)開(kāi)始著手準(zhǔn)備，要打造一個(gè)“推特版的 ChatGPT”出來(lái)。

據(jù)美國(guó)《商業(yè)內(nèi)幕》雜志消息，馬斯克為 Twitter提供了1萬(wàn)個(gè) GPU，以增強(qiáng) Twitter的搜索能力，同時(shí)也為它的廣告業(yè)務(wù)注入新的活力，這將是一個(gè)巨大的人工智能模型，以及海量的數(shù)據(jù)。

本站僅提供存儲(chǔ)服務(wù)，所有內(nèi)容均由用戶發(fā)布，如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請(qǐng)點(diǎn)擊舉報(bào)。

打開(kāi)APP，閱讀全文并永久保存查看更多類似文章

干貨 | 趙亞雄：大模型、AI經(jīng)濟(jì)和AI基礎(chǔ)設(shè)施

同樣是做大模型的科技公司，為啥差距這么大呢？

Sam Altman談OpenAI：面臨GPU短缺恐慌，GPT-3或?qū)㈤_(kāi)源

AIGC持續(xù)火爆大模型爭(zhēng)相推出，龐大市場(chǎng)造就算力供應(yīng)模式演變

0209板塊邏輯深度復(fù)盤及明日策略

大模型煉丹指南：信則靈，不信則妄

更多類似文章 >>

中文字幕理论片,69视频免费在线观看,亚洲成人app,国产1级毛片,刘涛最大尺度戏视频,欧美亚洲美女视频,2021韩国美女仙女屋vip视频