智東西
9月14日-15日，2023全球AI芯片峰會（GACS 2023）在深圳市南山區(qū)圓滿舉行。在第二天舉行的智算中心算力與網(wǎng)絡(luò)高峰論壇上，來自商湯科技、中國移動研究院、浪潮信息、科華數(shù)據(jù)、首都在線、趨動科技、中科馭數(shù)等7家企業(yè)或機(jī)構(gòu)的技術(shù)決策者及高管分別發(fā)表主題演講，分享有關(guān)智算中心的探索與實踐。
算力是集信息計算力、網(wǎng)絡(luò)運載力、數(shù)據(jù)存儲力于一體的新型生產(chǎn)力，主要通過算力中心等算力基礎(chǔ)設(shè)施向社會提供服務(wù)。10月8日，工業(yè)和信息化部、中央網(wǎng)信辦、教育部、國家衛(wèi)生健康委、中國人民銀行、國務(wù)院國資委等6部門聯(lián)合印發(fā)《算力基礎(chǔ)設(shè)施高質(zhì)量發(fā)展行動計劃》，提出到2025年算力規(guī)模超過300EFLOPS，智能算力占比達(dá)到35%，足見對智能計算中心發(fā)展的高度重視。
當(dāng)前，新一輪科技革命和產(chǎn)業(yè)變革正在向縱深演進(jìn)，算力基礎(chǔ)設(shè)施的重要性不斷提升。聚焦生成式AI與大模型浪潮帶來的算力機(jī)遇、挑戰(zhàn)與創(chuàng)新，7位行業(yè)嘉賓分別從智算中心技術(shù)瓶頸與優(yōu)化方向、大模型工程實踐經(jīng)驗、模塊化液冷解決方案、包含DPU的異構(gòu)計算、GPU資源池化等方面，對智算中心如何進(jìn)一步突破算力天花板、達(dá)成“雙碳”目標(biāo)進(jìn)行分享和解讀。
以下是此次論壇的核心干貨：
商湯科技聯(lián)合創(chuàng)始人、大裝置事業(yè)群總裁楊帆指出AI行業(yè)的場景碎片化問題，強調(diào)行業(yè)場景極度細(xì)分，導(dǎo)致邊際成本高，使得AI公司難以盈利。而解決之道是通過AI基礎(chǔ)設(shè)施，達(dá)到算力、數(shù)據(jù)、算法等核心要素協(xié)同的最佳實踐，提供給行業(yè)低成本、高效益的AI基礎(chǔ)能力。
商湯認(rèn)為，未來5年，AI基礎(chǔ)設(shè)施可能會是行業(yè)的真正發(fā)展路徑，是解決AI目前創(chuàng)造巨大價值但行業(yè)自身不盈利的困局，最有可能的方向之一，因此商湯科技也將其作為核心戰(zhàn)略之一。
商湯科技聯(lián)合創(chuàng)始人、大裝置事業(yè)群總裁楊帆
隨著AI技術(shù)的進(jìn)步，智算逐漸成為一個獨立的概念。
算力方面，商湯的臨港智算中心AIDC截至今年8月底，線上算力超過6000P，可以在單一的網(wǎng)絡(luò)訓(xùn)練中聚集4000以上的GPU卡，可支持20個千億級別超大模型同時訓(xùn)練。
數(shù)據(jù)方面，商湯認(rèn)為數(shù)據(jù)要素是產(chǎn)業(yè)智能化發(fā)展中最寶貴的資源。商湯大模型數(shù)據(jù)專家團(tuán)隊通過對世界上最大的公開爬取數(shù)據(jù)集之一Common Crawl中，3PB+的原始數(shù)據(jù)進(jìn)行清洗、去重、有害信息消除、質(zhì)量過濾等處理動作，生成約30TB的有效數(shù)據(jù)用于大模型訓(xùn)練，可極大降低AI技術(shù)研發(fā)之中的成本。
算法方面，改進(jìn)的方向主要集中于優(yōu)化性能和優(yōu)化推理過程，用更低成本的推理去達(dá)到同樣的效果。
把算力、數(shù)據(jù)、算法這三要素中基礎(chǔ)的核心沉淀出來，更加規(guī)?；叵蛲馓峁档瓦呺H成本，擴(kuò)大邊際效益，這是商湯科技認(rèn)為AI產(chǎn)業(yè)發(fā)展的方向。
中國移動研究院網(wǎng)絡(luò)與IT技術(shù)研究所技術(shù)經(jīng)理、主任研究員陳佳媛分享了中國移動的NICC（New Intelligent Computing Center）新型智算中心技術(shù)體系。
根據(jù)信通院發(fā)布的中國綜合算力指數(shù)預(yù)測，到2025年，智能算力在全國的占比將從今年的25.4%上升到85%。中國移動研究院將智算中心的發(fā)展分為兩個階段，一是2025年之前的集群時期，主要面向百億或者是千億規(guī)模的大模型發(fā)展；其次是2025年之后的超級池化時期，將面向萬億級的大模型進(jìn)行革新。
基于這個預(yù)判，中國移動定義了新型智算中心的技術(shù)體系，并從互聯(lián)、算效、存儲、平臺、節(jié)能等五個方面進(jìn)行系統(tǒng)性重構(gòu)，牽引行業(yè)在多個技術(shù)領(lǐng)域形成共識，加快相關(guān)技術(shù)成熟。
中國移動研究院網(wǎng)絡(luò)與IT技術(shù)研究所技術(shù)經(jīng)理主任研究員陳佳媛
陳佳媛認(rèn)為，在新互聯(lián)方面，為支撐更大規(guī)模的模型訓(xùn)練，構(gòu)建更大規(guī)模的卡間高速通信能力，產(chǎn)業(yè)應(yīng)共同打造統(tǒng)一的計算總線協(xié)議，聯(lián)合AI芯片、交換芯片、服務(wù)器等上下游企業(yè)共同推動國內(nèi)高速互聯(lián)技術(shù)生態(tài)成熟；對于更大規(guī)模的網(wǎng)絡(luò)互聯(lián)，中國移動已經(jīng)創(chuàng)新性提出全調(diào)度以太網(wǎng)技術(shù)（GSE），革新以太網(wǎng)底層轉(zhuǎn)發(fā)機(jī)制，實現(xiàn)三大核心機(jī)制轉(zhuǎn)變，打造無阻塞、高帶寬、低時延、自動化的新型智算中心網(wǎng)絡(luò)，希望更多伙伴加入，加速落地應(yīng)用的過程。
在新存儲方面，為突破GPU顯存容量的限制，簡化AI模型開發(fā)，行業(yè)應(yīng)共同加速內(nèi)存池技術(shù)的成熟，使得CPU、GPU/AI加速卡等異構(gòu)設(shè)備共享統(tǒng)一內(nèi)存，為大模型海量數(shù)據(jù)的高效處理奠定基礎(chǔ)。
在新算效方面，陳佳媛談到，產(chǎn)業(yè)在聚焦GPU能力升級、探索存算一體等新型芯片的同時，更要關(guān)注CPU，GPU、DPU三大芯片協(xié)同，加快驗證DPU在智算中心的場景應(yīng)用，整體提升智算中心海量數(shù)據(jù)的處理能力。
在新平臺方面，中國移動原創(chuàng)提出算力原生技術(shù)，打造“芯合”算力原生跨架構(gòu)平臺，目標(biāo)是打破“框架+工具鏈+硬件”緊耦合的智算生態(tài)，屏蔽底層硬件差異，實現(xiàn)智算應(yīng)用的跨架構(gòu)遷移部署，目前中國移動已經(jīng)實現(xiàn)至少三家芯片的跨架構(gòu)遷移，希望未來能有更多AI芯片加入，構(gòu)建算力原生的產(chǎn)業(yè)生態(tài)。
在新節(jié)能方面，針對智算中心不斷攀升的能耗需求，產(chǎn)業(yè)標(biāo)準(zhǔn)化程度較低的問題，中國移動堅定推進(jìn)液冷技術(shù)成熟，通過制定五大統(tǒng)一標(biāo)準(zhǔn)，在智算中心建設(shè)項目中大規(guī)模引入，實現(xiàn)極致能效、極高密度、極簡運維的三“極”目標(biāo)。
大模型時代，新型智算中心的相關(guān)技術(shù)受到國內(nèi)外高度關(guān)注，但是目前產(chǎn)業(yè)存在多種解決方案，技術(shù)路線也尚未統(tǒng)一，希望產(chǎn)業(yè)凝聚力量，形成共識，共同推動智算關(guān)鍵技術(shù)成熟，共同繁榮國內(nèi)AI生態(tài)發(fā)展。
AI算力是驅(qū)動大模型發(fā)展的核心引擎，但當(dāng)前算力荒、算力貴的供給情況，恰恰成為了制約大模型發(fā)展的關(guān)鍵因素。浪潮信息開放加速計算產(chǎn)品總監(jiān)Stephen Zhang從開放AI算力平臺創(chuàng)新、促進(jìn)多元算力融合發(fā)展、助推多元算力產(chǎn)業(yè)化應(yīng)用等方面解讀了生成式AI時代下算力的挑戰(zhàn)與創(chuàng)新。
當(dāng)前，多樣化的技術(shù)路線帶來了AI算力多元化的需求，但由于缺乏統(tǒng)一的業(yè)界規(guī)范，不同廠商的AI加速芯片存在顯著差異，需要定制化的系統(tǒng)硬件平臺承載，帶來了更高的開發(fā)成本和更長的開發(fā)周期。同時，大模型訓(xùn)練需要更高性能、高互聯(lián)、強擴(kuò)展的大規(guī)模AI算力集群支撐。因此，在芯片技術(shù)創(chuàng)新突破的同時，產(chǎn)業(yè)界也需要從更高的系統(tǒng)層面共同應(yīng)對大模型時代的算力挑戰(zhàn)。
浪潮信息開放加速計算產(chǎn)品總監(jiān)Stephen Zhang
浪潮信息基于開放的算力系統(tǒng)研發(fā)和大模型工程實踐經(jīng)驗，發(fā)布了《開放加速規(guī)范AI服務(wù)器設(shè)計指南》，面向AIGC應(yīng)用場景，細(xì)化完善了從節(jié)點到集群間的AI芯片應(yīng)用部署全棧設(shè)計參考，并提供系統(tǒng)測試指導(dǎo)和性能評測調(diào)優(yōu)方法。AI芯片廠商可以基于《指南》快速將符合開放加速規(guī)范的AI芯片落地成高可用高可靠高性能的大模型算力系統(tǒng)，提高系統(tǒng)適配和集群部署效率。
開放加速計算架構(gòu)具有大算力、高互聯(lián)和強擴(kuò)展的特點，天然適用于超大規(guī)模神經(jīng)網(wǎng)絡(luò)并行訓(xùn)練，近年來已經(jīng)取得豐富的產(chǎn)業(yè)實踐成果。基于此，浪潮信息已經(jīng)發(fā)布了三代AI服務(wù)器產(chǎn)品，和10余家芯片伙伴實現(xiàn)多元AI計算產(chǎn)品落地，并推出AIStation平臺，可高效調(diào)度30余款A(yù)I芯片，充分釋放多元算力價值。
同時，面向復(fù)雜的大模型訓(xùn)練工程，浪潮信息最新推出了OGAI大模型智算軟件棧，能夠為大模型業(yè)務(wù)提供AI算力系統(tǒng)環(huán)境部署、算力調(diào)度及開發(fā)管理能力的完整軟件棧和工具鏈，高效釋放算力系統(tǒng)性能，加速生成式AI產(chǎn)業(yè)創(chuàng)新步伐。
芯片的功耗在持續(xù)上升，單顆芯片功耗的逐漸增大。英特爾2023年第一季度發(fā)布的Max9462處理器，TDP達(dá)350W；英偉達(dá)2023年第一季度發(fā)布的HGX Grace Hopper Superchip Platform，其TDP高達(dá)1000W。如用風(fēng)冷技術(shù)，將很難降低CPU、GPU表面溫度。此外基于雙碳要求，工信部于2021年發(fā)布新型數(shù)據(jù)中心發(fā)展行動計劃，要求到2023年底，新建大型及以上數(shù)據(jù)中心PUE值降低到1.3以下，嚴(yán)寒和寒冷地區(qū)力爭降低到1.25以下。
科華數(shù)據(jù)智慧溫控制拓展部副總監(jiān)魏芳偉談道，目前主要的散熱方式有6種，包括傳統(tǒng)風(fēng)冷、自然冷源風(fēng)冷、冷板式液冷、噴淋式液冷、單相浸沒式液冷以及兩相浸沒式液冷。其中，使用最多的是冷板式液冷和單相浸沒式液冷。魏芳偉說，冷板式液冷適合絕大多數(shù)客戶使用，優(yōu)勢是高性價比，低改造、低建設(shè)難度；浸沒相變式液冷適合極致性能客戶使用，特點是高性能、高投資。
科華數(shù)據(jù)智慧溫控制拓展部副總監(jiān)魏芳偉
魏芳偉解讀了科華的模塊化液冷一站式解決方案，主要包括三大類產(chǎn)品，包括主要應(yīng)用在大型互聯(lián)網(wǎng)IDC和超算中心的液冷微模塊，應(yīng)用在邊緣計算領(lǐng)域的液冷集裝箱，以及應(yīng)用在挖潛和老舊機(jī)房改造的是液冷一體機(jī)。
液冷微模塊的特點是高度集成，集成電源、配電、風(fēng)冷空調(diào)、液冷CDU、二次側(cè)管道等。每一個液冷項目具備特殊性，但是可以采用模組形式搭建多樣化的適配載體，提高通用性。
液冷集裝箱由各個模塊組成，IT模塊、電力模塊、電池模塊、消防模塊、綜合布線、液冷模塊等可以根據(jù)單機(jī)柜功率、總功率、配電架構(gòu)和占地面積等因素綜合評估、選擇、確定各模塊配置數(shù)量，拼裝組成數(shù)據(jù)中心。
首都在線副總裁牛繼賓談道，構(gòu)建新一代智能算力平臺或是智算中心有很多痛點。一是英偉達(dá)高端算力供應(yīng)鏈的問題，二是國產(chǎn)算力芯片的可用性問題，三是建成以后找不到足夠多的運行客戶。一個智算中心，如果解決不了以上幾個問題，就建造不起來或者出現(xiàn)運營虧損。此外大規(guī)模內(nèi)網(wǎng)互聯(lián)、存儲高速吞吐、模型優(yōu)化服務(wù)、平臺生態(tài)服務(wù)等技術(shù)因素也造成智算平臺建設(shè)的技術(shù)瓶頸。
首都在線提出的解決方案是建設(shè)大規(guī)模異構(gòu)智能算力平臺。該平臺擁有異構(gòu)算力的資源池，以英偉達(dá)算力為主，以國產(chǎn)算力為輔，實現(xiàn)上做了從內(nèi)網(wǎng)互連到公網(wǎng)的調(diào)優(yōu)，模型的適配調(diào)優(yōu)，并基于此提供GPU裸金屬、GPU云主機(jī)、高速存儲、數(shù)據(jù)庫等多方面的云服務(wù)。經(jīng)過一年半左右時間的迭代，首都在線打通了智算IaaS到智算MaaS，再到到客戶的端到端應(yīng)用場景，提供一套從生產(chǎn)到業(yè)務(wù)的端到端模型適配與服務(wù)平臺，目前的客戶包括國內(nèi)數(shù)家TOP大模型客戶以及終端的應(yīng)用客戶等。
首都在線副總裁牛繼賓
牛繼賓談道，大模型的推理如果用8卡的機(jī)器，是嚴(yán)重浪費的，首都在線最早和國內(nèi)大模型客戶的在線推理業(yè)務(wù)合作，能夠?qū)⑶|模型做到在兩張24G顯存、月成本只有千元左右的GPU云主機(jī)進(jìn)行部署，而一臺8卡A100成本得四五萬元左右，相當(dāng)于超過一個數(shù)量級的降低?！斑@樣才能讓最終的大模型應(yīng)用走到每一個終端上?！?/p>
據(jù)他分享，首都在線目前已在搭建有商用級的千卡高端訓(xùn)練集群，能夠直接響應(yīng)大模型用戶訓(xùn)練需求，同時建設(shè)了萬卡的推理集群，目前已有數(shù)十個大模型客戶案例、也有成功的將大模型服務(wù)轉(zhuǎn)售給垂直場景用戶的多個案例。國內(nèi)依托于東輸西算的業(yè)務(wù)形態(tài)進(jìn)行部署，加快用戶的響應(yīng)，降低用戶的研發(fā)與線上服務(wù)成本；海外在東南亞正在部署H100集群，在美國也上線了比較大的推理資源池。這就相當(dāng)于打通了全球的訓(xùn)練、推理、網(wǎng)絡(luò)。
DPU是數(shù)據(jù)專用處理器，被稱為繼CPU、GPU之后數(shù)據(jù)中心的“第三塊主力芯片”。DPU能夠提供智算中心所必須的大帶寬和低時延能力，使更多的CPU、GPU算力可以真正服務(wù)于業(yè)務(wù)，從而為新型智算中心提供更高效的算力底座，成為智算中心必備的核心組件。
中科馭數(shù)高級副總裁張宇強調(diào)了DPU和普惠算力在數(shù)智系統(tǒng)中的重要性。隨著大模型和智能計算的崛起，傳統(tǒng)的算力底座已不再滿足需求成為瓶頸，AI大模型應(yīng)用需要新型算力底座進(jìn)行支撐。硬件架構(gòu)突破以CPU為中心的體系，應(yīng)用維度從芯片內(nèi)、節(jié)點內(nèi)向系統(tǒng)級分布式異構(gòu)延伸，CPU+GPU+DPU+FPGA的異構(gòu)計算成為主流趨勢。在新的算力架構(gòu)中，云、邊、端共同構(gòu)成了多層立體的泛在計算架構(gòu)，通過與DPU的深度融合，構(gòu)成新型算力底座。
中科馭數(shù)高級副總裁張宇
張宇談道，大帶寬、低時延，已成為AI大模型算力底座的核心訴求，而DPU可以提供這兩項必須的能力，異構(gòu)算力、三U一體成為算力底座主流的趨勢。他認(rèn)為對于所有的算力芯片而言，上層軟件生態(tài)是最重要的，有時甚至?xí)鲂酒旧碓O(shè)計的重要性。
中科馭數(shù)踐行“IaaS on DPU”，從標(biāo)準(zhǔn)化的基礎(chǔ)設(shè)施到客制化的業(yè)務(wù)應(yīng)用均進(jìn)行產(chǎn)品布局，歷時五年打磨了開放DPU軟件開發(fā)平臺HADOS，具備豐富的算力能力接口，接口數(shù)量超過2000個，具有完備的生態(tài)兼容能力、多種開發(fā)維護(hù)工具，支持豐富的應(yīng)用場景。
在AI大模型時代，英偉達(dá)的高端先進(jìn)芯片難以采購，價格也是水漲船高。在巨大需求和AI算力供不應(yīng)求情況下，趨動科技華南區(qū)技術(shù)總監(jiān)劉渝認(rèn)為應(yīng)該優(yōu)化GPU，也就是AI芯片和AI算力的供給模式。
傳統(tǒng)的供給模式是物理卡掛載給AI應(yīng)用使用，無論是基于物理機(jī)、容器或虛擬機(jī)，通過軟件對GPU做簡單的虛擬化切分，沒有辦法使算力資源動態(tài)滿足不同AI應(yīng)用的彈性需求。AI開發(fā)、訓(xùn)練、推理，這些不同的工作任務(wù)對于GPU資源的需求是不一樣的。
趨動科技華南區(qū)技術(shù)總監(jiān)劉渝
軟件定義AI算力的解決方案，總體來說包含了六大典型應(yīng)用場景：1、“隔空取物”，進(jìn)行vGPU資源的遠(yuǎn)程調(diào)用；2、“化零為整”，通過軟件進(jìn)行GPU資源的聚合，節(jié)省算法人員的時間；3、“化整為零”，將GPU切分為多份，讓多個AI任務(wù)疊加使用，比如推理場景；4、“顯存擴(kuò)展”，調(diào)用內(nèi)存補顯存；5、“隨需應(yīng)變”，通過軟件進(jìn)行資源動態(tài)伸縮，無需重啟；6、“動態(tài)超賣”，資源高效輪轉(zhuǎn)使用。
劉渝稱，趨動科技在業(yè)界首提GPU資源池化的定義。趨動科技的OrionX GPU池化（GPU Pooling）軟件處在驅(qū)動程序以上，屬于標(biāo)準(zhǔn)化軟件；對于AI應(yīng)用和框架來說，不需要修改任何代碼，就可以使用OrionX池化之后的GPU，對于用戶來說也不需要改變?nèi)魏蔚氖褂昧?xí)慣。OrionX對GPU資源進(jìn)行池化后共享，每人按需動態(tài)進(jìn)行GPU掛載和釋放，GPU硬件采購成本平均節(jié)省70%以上，GPU綜合利用率平均提升4倍以上。
正如智一科技聯(lián)合創(chuàng)始人、CEO龔倫常作為主辦方在致辭中所言，在人工智能進(jìn)入新階段之后，全球?qū)λ懔Φ男枨笈c日俱增。隨著社會智能化、數(shù)字化快速演進(jìn)，未來，每個大一點的企業(yè)都需要智算中心。
智一科技聯(lián)合創(chuàng)始人、CEO龔倫常
一方面，大模型時代下，傳統(tǒng)的算力中心面臨著與大模型匹配度較低、缺乏行業(yè)統(tǒng)一標(biāo)準(zhǔn)、豎井式發(fā)展、缺乏全局協(xié)同等多方面的挑戰(zhàn)。另一方面，國內(nèi)企業(yè)已經(jīng)發(fā)起沖鋒，從基礎(chǔ)設(shè)施、液冷技術(shù)、芯片協(xié)同等方面，重新定義新型智算中心，為構(gòu)建更加健康、高效和可持續(xù)的AI生態(tài)系統(tǒng)鋪設(shè)了道路。
聯(lián)系客服
