1. 大模型對(duì)算力的需求越來越高，主要集中在GPU上。
2. 國(guó)內(nèi)大模型的進(jìn)步速度非?？欤呀?jīng)接近到國(guó)內(nèi)頂尖的大模型。
3. 大模型的競(jìng)爭(zhēng)越來越激烈，企業(yè)希望在這個(gè)領(lǐng)域里拿到最后的一杯羹。
4. 大模型還有進(jìn)步空間，分為四個(gè)階段：語言、工具、環(huán)境感知、有意識(shí)有情感。隨著能力的提升，大模型的參數(shù)量還能再提高兩個(gè)數(shù)量級(jí)。
5. 英偉達(dá)的芯片產(chǎn)品具有軟件生態(tài)、全面性和不斷升級(jí)的硬件創(chuàng)新的優(yōu)勢(shì)。
1. 大模型對(duì)算力的開支有很大的拉動(dòng)作用。
2. 在云計(jì)算投資中，服務(wù)器的投資占比大概在40%左右，AI服務(wù)器也是最為核心的算力基礎(chǔ)設(shè)施，采用GPU的服務(wù)器價(jià)值量可能在百萬人民幣左右。
3. 在訓(xùn)練大模型時(shí)，需要考慮峰值在線用戶的數(shù)量，因此核心算力需求要滿足峰值。
4. 單臺(tái)服務(wù)器的功耗會(huì)有明顯提升，傳統(tǒng)服務(wù)器一臺(tái)功耗大概在500瓦左右，而AI服務(wù)器可能達(dá)到5000瓦或6000瓦。
5. 整個(gè)數(shù)據(jù)中心的部署架構(gòu)也會(huì)發(fā)生較大變化。
1. AI服務(wù)器市場(chǎng)規(guī)模大幅增長(zhǎng)，預(yù)計(jì)今年國(guó)內(nèi)AI服務(wù)器市場(chǎng)規(guī)模將翻倍以上增長(zhǎng)，但GPU供應(yīng)可能成為制約因素。
2. IDC行業(yè)的投資機(jī)會(huì)包括新增大功率機(jī)會(huì)的投放和存量機(jī)會(huì)的改造與合并。
3. 從資本開支方面來說，關(guān)注云計(jì)算公司，如阿里、騰訊、字節(jié)，以及北美的亞馬遜、谷歌、麥塔和微軟等公司。
Q：為什么說英偉達(dá)的芯片是跨時(shí)代的產(chǎn)品？英偉達(dá)的芯片在哪些方面具有優(yōu)勢(shì)？
A：實(shí)際上英偉達(dá)的芯片在生態(tài)、全面性和硬件創(chuàng)新升級(jí)這三個(gè)方面具有優(yōu)勢(shì)。英偉達(dá)在發(fā)展了十幾年二十幾年的過程中，積累了很多的基礎(chǔ)算法和函數(shù)庫(kù)，在軟件生態(tài)方面非常強(qiáng)大，可以減少重復(fù)造輪子的無端消耗。同時(shí)，英偉達(dá)的芯片非常全面，可以支持64位、32位、16位和int8整點(diǎn)數(shù)等不同精度的計(jì)算，具有很強(qiáng)的全面性。其次，英偉達(dá)在不斷的升級(jí)過程中也非常具有創(chuàng)新性，比如引入探測(cè)call之后，在張量計(jì)算過程中能夠進(jìn)行64次的運(yùn)算，大幅提升了算力。綜上所述，英偉達(dá)的芯片是跨時(shí)代的產(chǎn)品。
Q：大模型在應(yīng)用之后向邊緣計(jì)算蔓延，對(duì)于邊緣計(jì)算的算力布局會(huì)跟算力中心這些有什么不同？
A：邊緣計(jì)算與算力中心相比，對(duì)低功耗和穩(wěn)定性的要求更高。未來，邊緣計(jì)算將起到越來越重要的作用，比如微軟即將推出自己的windows這個(gè)操作系統(tǒng)，部署了一些離線的大模型。然而，傳統(tǒng)的CPU或GPU并不能完全滿足這些大模型推理計(jì)算的要求，因此像高通推出的8幀2或者8幀3系列芯片，里面專門有一塊就是x杠處理器，處理器里面很重要的一點(diǎn)就是有張量和矢量這種計(jì)算單元。將來對(duì)于邊緣側(cè)的算力需求一定是必須的，雖然它不一定會(huì)很強(qiáng)，但它一定會(huì)幫助我們大家處理一些基礎(chǔ)的日常任務(wù)。同時(shí)，它還要有一定的低功耗的推理能力，這個(gè)情況下可能npo的芯片會(huì)更合適一些?？傊?，隨著AI深度結(jié)合的產(chǎn)品的出現(xiàn)，邊緣側(cè)的AI算力將會(huì)有一個(gè)極大的帶動(dòng)，包括我們的手機(jī)和筆記本預(yù)計(jì)都會(huì)有一輪新的更新和變化。
Q：為什么市場(chǎng)對(duì)于AMD的看法沒有這么樂觀，主要的擔(dān)憂是在哪里？
A：其實(shí)市場(chǎng)對(duì)于AMD的看法并不是僅僅基于算力這一指標(biāo)，而是更加關(guān)注生態(tài)建設(shè)和全球宏觀經(jīng)濟(jì)的背景。在生態(tài)方面，AMD和英偉達(dá)之間的差距顯性，這可能對(duì)市場(chǎng)產(chǎn)生了一些擔(dān)憂。另外，在全球宏觀經(jīng)濟(jì)承壓的背景下，投資者更愿意關(guān)注一些確定性相對(duì)高的領(lǐng)域，而AI的發(fā)展階段和大模型訓(xùn)練階段都是供不應(yīng)求的狀態(tài)，所以市場(chǎng)上可能更容易看好英偉達(dá)，而對(duì)于AMD的發(fā)展前景則比較謹(jǐn)慎。
Q：相對(duì)于英偉達(dá)來說，AMD更像一個(gè)追趕者，對(duì)于AMD所暴露的問題，對(duì)于國(guó)內(nèi)的這些追逐國(guó)際先進(jìn)水平，比如設(shè)計(jì)公司來說，有哪些值得去思考和借鑒的問題？同時(shí)對(duì)于國(guó)內(nèi)公司來說，您認(rèn)為可靠的發(fā)展路徑應(yīng)該怎么樣去走？具有什么樣特質(zhì)的公司更容易堅(jiān)持到最后？
A：對(duì)于中國(guó)的公司來說，打造自己的生態(tài)和提升自身的能力非常重要。但更為重要的是，要在全球復(fù)雜的國(guó)際環(huán)境下，作為高水平科技自立自強(qiáng)的核心一部分，尋找生存的土壤和機(jī)會(huì)。在資金實(shí)力和客戶群體的基礎(chǔ)上，率先在核心客戶中拿到份額的GPU公司未來成長(zhǎng)的可能性會(huì)更大。此外，要有耐心和長(zhǎng)遠(yuǎn)的眼光，因?yàn)檠邪l(fā)和推廣GPU技術(shù)需要大量的資金和時(shí)間。最后，具有強(qiáng)大資金實(shí)力和客戶群體，且能夠在全球環(huán)境下尋找生存機(jī)會(huì)的公司更容易堅(jiān)持到最后。
Q：大模型計(jì)算為什么對(duì)于存儲(chǔ)有這么大的一個(gè)需求，甚至有大模型將模型的數(shù)據(jù)都直接存在內(nèi)存里面，這個(gè)是為什么？
A：大模型的存儲(chǔ)需求之所以如此巨大，是因?yàn)樗鼘?shí)際上是一個(gè)非常龐大的矩陣，組成了這么一個(gè)模型。例如GPT 3就有1,750億個(gè)參數(shù)，如果以16位精度存儲(chǔ)，大約需要占用300多GB的存儲(chǔ)空間。而且大模型的訓(xùn)練階段需要反復(fù)地讀取和寫入模型參數(shù)，所以需要非?？焖俚拇鎯?chǔ)器，這就導(dǎo)致大模型將模型的數(shù)據(jù)直接存在內(nèi)存里面，以便更快速地讀取和寫入數(shù)據(jù)。
Q：大模型在推理和訓(xùn)練過程中需要占用大量?jī)?nèi)存和顯存，如何解決內(nèi)存墻問題？
A：解決內(nèi)存墻問題的方法主要包括增大內(nèi)存的算力、增大顯存的存儲(chǔ)空間以及減小物理距離。為了滿足這些需求，領(lǐng)域內(nèi)不斷探索并采用先進(jìn)的技術(shù)，如HBM、COS等。英偉達(dá)也有一項(xiàng)黑科技，使用me like和switch直接將顯卡鏈接在一起，以達(dá)到高速連接和快速運(yùn)算的效果。同時(shí)，還有一些連接標(biāo)準(zhǔn)，如PCI 4.0和6.0，可以實(shí)現(xiàn)不同卡之間的互聯(lián)，提高整個(gè)算力的效率。因此，連接方式在發(fā)揮GPU算力效率方面也是非常關(guān)鍵的。
Q：什么是內(nèi)存墻？?jī)?nèi)存墻會(huì)對(duì)AI行業(yè)的發(fā)展產(chǎn)生什么制約？如何解決內(nèi)存強(qiáng)問題？
A：內(nèi)存墻是指內(nèi)存需求量大、內(nèi)存墻制約算力最大化發(fā)揮的情況。內(nèi)存墻會(huì)制約AI行業(yè)的發(fā)展，因?yàn)榇竽Ｐ托枰加么罅績(jī)?nèi)存和顯存，而內(nèi)存和顯存的大小是有瓶頸的，因此需要不斷增大內(nèi)存的算力和顯存的存儲(chǔ)空間。此外，芯片和內(nèi)存之間的物理距離也會(huì)影響算力的使用效率。為了解決內(nèi)存強(qiáng)問題，需要不斷探索和采用先進(jìn)的技術(shù)，如HBM、COS等，并且減小物理距離，采用更先進(jìn)的封裝方法，以提高整個(gè)算力的效率。
Q：什么是PCI，Mv與PCI有競(jìng)爭(zhēng)關(guān)系嗎？GPU的并行運(yùn)算會(huì)對(duì)CPU的需求產(chǎn)生影響嗎？
A：PCI是一種接口協(xié)議，可以連接卡片，比如在服務(wù)器內(nèi)部使用。Mv和PCI存在一定的競(jìng)爭(zhēng)關(guān)系，但目前Mv主要由美達(dá)使用，其他公司應(yīng)該比較少用。GPU的并行運(yùn)算可以減少對(duì)CPU的需求。
Q：什么是算力通縮？英偉達(dá)發(fā)布的gh200架構(gòu)是如何提升算力的？
A：算力通縮是指隨著技術(shù)的進(jìn)步，算力的價(jià)格逐漸下降。英偉達(dá)發(fā)布的gh200架構(gòu)通過更高效的GPU互聯(lián)實(shí)現(xiàn)了算力的成倍提升，讓同樣的硬件發(fā)揮更大的效率。
Q：大模型的訓(xùn)練和推理使用所需的性能指標(biāo)有哪些不同？為什么存在這些不同？
A：大模型的訓(xùn)練和推理使用所需的性能指標(biāo)不同。訓(xùn)練時(shí)需要更高的精度和更大的算力，一般使用rp32或TF pf32加p16的混合精度，而推理時(shí)一般使用fp16的精度。訓(xùn)練時(shí)還需要不停地對(duì)模型參數(shù)進(jìn)行改進(jìn)，所以需要更大的算力。推理時(shí)則需要進(jìn)行大量的浮點(diǎn)數(shù)運(yùn)算，所需算力也會(huì)相應(yīng)增加。
Q：訓(xùn)練和推理的算力需求不同，會(huì)有相應(yīng)的變化調(diào)整。具體來說，會(huì)有哪些變化和調(diào)整？
A：兩點(diǎn)，第一點(diǎn)是會(huì)有新架構(gòu)的芯片出現(xiàn)，專門做推理所需要的精度和乘加運(yùn)算。第二點(diǎn)是在訓(xùn)練和推理的服務(wù)器中，CPU和GPU的配比和成本占比也不一樣，會(huì)有相應(yīng)的變化和調(diào)整。
Q：與會(huì)者問及東數(shù)西算的進(jìn)展情況，請(qǐng)桂成總給觀眾朋友們介紹一下。
A：東數(shù)西算被定義為IDC行業(yè)的供給側(cè)改革。由于IT行業(yè)對(duì)電的消耗量很大，而IDC機(jī)房需要有地和用水，因此在雙碳發(fā)展背景下，IDC的供給需要在中西部等區(qū)域進(jìn)行布局。目前已經(jīng)劃定了8個(gè)算力節(jié)點(diǎn)和10個(gè)算力集群，在這些節(jié)點(diǎn)和集群上進(jìn)行新增的IDC建設(shè)。雖然長(zhǎng)期發(fā)展的思路和戰(zhàn)略沒有問題，但實(shí)際的投資建設(shè)過程中進(jìn)展并不如市場(chǎng)預(yù)期的那樣快節(jié)奏。
Q：關(guān)于IDC行業(yè)的供給側(cè)改革，您提到了未來新增供給的位置，但是現(xiàn)在存量的很多機(jī)會(huì)并沒有上電，這是否意味著短期內(nèi)不會(huì)有大規(guī)模的新增建設(shè)新的IDC機(jī)房？
A：是的，我剛才提到的IDC行業(yè)的供給側(cè)改革是一個(gè)長(zhǎng)期戰(zhàn)略，強(qiáng)調(diào)的是未來的新增供給要在什么位置，但并不代表短期內(nèi)會(huì)有大規(guī)模的新增建設(shè)。存量的很多機(jī)會(huì)目前并沒有上電，需求端并沒有同步隨著供給端大幅增長(zhǎng)，所以短期內(nèi)我們沒有很強(qiáng)的訴求去大規(guī)模的新增建設(shè)新的IDC機(jī)房。
Q：目前算力中心采用新的能耗控制手段，是否會(huì)帶來新的投資機(jī)遇？
A：是的，目前算力中心采用新的能耗控制手段，這將會(huì)帶來新的投資機(jī)遇。我們衡量數(shù)據(jù)中心的一個(gè)能耗的指標(biāo)是PUE值，它代表整個(gè)機(jī)房的所有耗電量除以核心的ICT設(shè)備的耗電量。從未來來看，AI服務(wù)器的功耗有一個(gè)明顯的提升，可能單臺(tái)功率會(huì)達(dá)到5000萬甚至6000瓦，這意味著ITC行業(yè)也面臨著一個(gè)變化，需要進(jìn)行新增的建設(shè)和投入。同時(shí)，為了節(jié)省能源和降低能耗，我們引入了一些新的制冷方式，包括風(fēng)冷、浸沒式液冷、冷板式液冷等方式，對(duì)于30~50千瓦功率的機(jī)房而言，液冷方式的冷卻效果比較良好。此外，還有一些所謂的綠色能源，如光伏、水電、風(fēng)電等，包括海底數(shù)據(jù)中心也是一種新的方向。因此，液冷、海底數(shù)據(jù)中心等新的投資機(jī)遇備受市場(chǎng)關(guān)注。
Q：如何看待當(dāng)前市場(chǎng)的激烈拉漲？我們應(yīng)該如何應(yīng)對(duì)？
A：A股對(duì)于beta的考量在投資中權(quán)重較高，市場(chǎng)流動(dòng)性相對(duì)過剩，投資思考的越深、越前沿。當(dāng)前市場(chǎng)的激烈拉漲，包括openai、Esso lli等投資機(jī)會(huì)層出不窮，市場(chǎng)對(duì)于細(xì)分板塊加速的演進(jìn)、風(fēng)險(xiǎn)的一些熱點(diǎn)也是層出不窮。我們應(yīng)該注重投資思考，關(guān)注市場(chǎng)的動(dòng)態(tài)變化，深入了解各個(gè)板塊的投資機(jī)會(huì)和風(fēng)險(xiǎn)，以適應(yīng)市場(chǎng)的變化和把握投資機(jī)遇。
Q：您為什么推薦算力這個(gè)板塊？
A：我們認(rèn)為算力這個(gè)板塊其實(shí)是從今年的 Q3 開始，它就會(huì)有階段性的業(yè)績(jī)兌現(xiàn)，這其實(shí)是很重要的一點(diǎn)。如果沒有業(yè)績(jī)兌現(xiàn)，它可能相對(duì)來講，在經(jīng)過了一段甜蜜期之后，可能有一些投資者陸陸續(xù)續(xù)就撤了，但是當(dāng)你有了業(yè)績(jī)之后，你有了這樣的一定的行業(yè)的估值體系，伴隨著你持續(xù)的業(yè)績(jī)的超預(yù)期和持續(xù)的領(lǐng)域里面的應(yīng)用，它可能就會(huì)節(jié)節(jié)的去創(chuàng)新高，是這么一個(gè)情況。因?yàn)楝F(xiàn)在大家也可以看到，無論是大模型也好，還是說一些應(yīng)用也好，它現(xiàn)在來講還在處于一個(gè)孵化期。我們堅(jiān)信將來比如說很多的生成是 AI 應(yīng)用，能改變世界，但是目前來講如何清晰的商業(yè)模式，如何穩(wěn)定的現(xiàn)金流回報(bào)，其實(shí)現(xiàn)在都還是看不太清楚，但算力這個(gè)板塊其實(shí)已經(jīng)可以看得清楚了。所以這個(gè)領(lǐng)域里面的風(fēng)險(xiǎn)可能就來自于說短期資金鏈上的這種波動(dòng)，因?yàn)槲覀兤鋵?shí)看得遠(yuǎn)，所以這種資金面的波動(dòng)它會(huì)造成股價(jià)，因?yàn)槊珱]有那么的穩(wěn)定，所以它的波動(dòng)也會(huì)比較大。我相信當(dāng)算力板塊業(yè)績(jī)持續(xù)的開始兌現(xiàn)過程中，大家的估值就會(huì)越來越穩(wěn)定，它的這種相對(duì)來講波動(dòng)的風(fēng)險(xiǎn)就會(huì)越來越下降，是這么一個(gè)情況。
Q：如何看待市場(chǎng)激烈的拉漲？投資人應(yīng)該怎樣去把握機(jī)會(huì)，規(guī)避風(fēng)險(xiǎn)？
A：我們看投資的定價(jià)其實(shí)是一個(gè)短期跟長(zhǎng)期結(jié)合起來的一個(gè)話題，實(shí)際上我們講所謂的當(dāng)下的股價(jià)應(yīng)該是對(duì)未來反映所謂經(jīng)營(yíng)也好，現(xiàn)金也好折，我們?nèi)绻f對(duì) AI 的未來的預(yù)期確實(shí)充滿了期待，充滿了樂觀的預(yù)期的情況下，意味著是我短期的股價(jià)的反應(yīng)它其實(shí)有合理的，因?yàn)橐馕吨@些公司未來中長(zhǎng)期不論是現(xiàn)金流還是盈利能力，有可能在 AI 的大趨勢(shì)下，它會(huì)變得更為強(qiáng)勁，所以我們其實(shí)短期上就會(huì)反應(yīng)比較劇烈一點(diǎn)。但我們也要考慮到投資雖然講的是看的長(zhǎng)，但我們做的是短期，我們反映的其實(shí)是一個(gè)行業(yè)景氣度的一個(gè)預(yù)判。從各個(gè)角度去了解大家去聊 AI 服務(wù)器的訂單，GPU 的一個(gè)訂單，再到我們所謂的一些光模塊的訂單，大家看到很多公司給出一個(gè)非常樂觀的預(yù)期，覺得整個(gè)幾乎我們講 AI 所需要的這些產(chǎn)品，目前幾乎都處于供不應(yīng)求的狀態(tài)，反映了當(dāng)下的景氣度非常高。從景氣度的投資角度來講，這個(gè)地方一定是非常吸睛的，吸引眼球肯定也吸引資金，更重要的是因?yàn)楫?dāng)下的景氣度，它大概率會(huì)兌現(xiàn)到未來的業(yè)績(jī)上，所以我們從短期來看，它似乎講了很多，其實(shí)都反映的是未來的一個(gè)預(yù)期。但是我們也要注意到，我們除了 AI 以外，還可以選擇到其他的一些板塊的標(biāo)的?，F(xiàn)在我們講在整個(gè)的全球化經(jīng)濟(jì)各方面的情況下，大家似乎覺得也
Q：對(duì)于下半年的行情，您會(huì)選擇哪幾個(gè)關(guān)鍵字進(jìn)行總結(jié)？
A：我覺得對(duì)于下半年的行情，我會(huì)選擇兩個(gè)關(guān)鍵字：耐心和信心。因?yàn)槲覀兺顿Y算力產(chǎn)業(yè)，需要耐心等待它的發(fā)展和變化，同時(shí)也需要對(duì)未來充滿信心。對(duì)于我來講，我會(huì)選擇三個(gè)關(guān)鍵字：訂單，供應(yīng)鏈和拓展。因?yàn)槲覀冃枰P(guān)注各個(gè)公司的訂單情況，特別是供應(yīng)鏈的兌現(xiàn)情況。另外，我們也需要關(guān)注公司的拓展和進(jìn)一步發(fā)展的計(jì)劃。
Q：方柏總提到的三個(gè)關(guān)鍵詞分別是什么？有什么特別意義？
A：方柏總提到的三個(gè)關(guān)鍵詞分別是算力、應(yīng)用和復(fù)蘇。其中，算力是AI產(chǎn)業(yè)必不可少的核心技術(shù)之一，應(yīng)用是AI產(chǎn)業(yè)未來的發(fā)展方向之一，復(fù)蘇則是對(duì)經(jīng)濟(jì)長(zhǎng)期發(fā)展的信心和預(yù)期。這三個(gè)關(guān)鍵詞都非常重要，有助于我們更全面地了解和把握AI產(chǎn)業(yè)的中長(zhǎng)期發(fā)展趨勢(shì)。
Q：“賣鏟子”的概念是什么？有什么投資意義？
A：“賣鏟子”指的是在AI產(chǎn)業(yè)中，為實(shí)現(xiàn)算力和應(yīng)用等方面的需求而提供技術(shù)或者服務(wù)的公司。這些公司在整個(gè)AI產(chǎn)業(yè)鏈中屬于基礎(chǔ)性的環(huán)節(jié)，具有較高的市場(chǎng)格局和景氣度，是非常重要的投資對(duì)象。因?yàn)樗鼈兡軌驗(yàn)檎麄€(gè)產(chǎn)業(yè)提供支持，同時(shí)也具有較高的投資價(jià)值和潛力。
Q：與會(huì)者為什么認(rèn)為下半年應(yīng)該更關(guān)注AI的應(yīng)用？
A：下半年應(yīng)該更關(guān)注AI的應(yīng)用，是因?yàn)樵谶^去一年中，AI產(chǎn)業(yè)已經(jīng)推出了很多新的應(yīng)用和更好的應(yīng)用，并且在未來還有很大的發(fā)展空間。因此，關(guān)注AI的應(yīng)用有助于我們更好地了解和把握產(chǎn)業(yè)的發(fā)展趨勢(shì)和投資機(jī)會(huì)。同時(shí)，如果投資者發(fā)現(xiàn)某個(gè)公司在長(zhǎng)期內(nèi)無法實(shí)現(xiàn)很好的應(yīng)用，那么這個(gè)投資邏輯也可能會(huì)講不下去了。
聯(lián)系客服
