日常生活中，我們在使用電器、電子產(chǎn)品時(shí)都知道一個(gè)常理：帶電設(shè)備不能直接與水接觸，容易導(dǎo)致短路發(fā)生火災(zāi)等危險(xiǎn)。
然而在科技含量非常高的高尖領(lǐng)域，工程師卻反其道而行之，將數(shù)十萬、甚至近百萬臺服務(wù)器“泡在水里”來散熱。
你不信？
近日，阿里云就宣布部署了全球最大規(guī)模的浸沒式液冷服務(wù)器集群，通過將服務(wù)器“泡在水里”的方式進(jìn)行散熱，可為數(shù)據(jù)中心節(jié)能70%以上。
這是什么神操作？難道不會(huì)出現(xiàn)腐蝕電子元器件、設(shè)備短路引發(fā)大火的情況嗎？
當(dāng)然不會(huì)，今天給大家科普下浸沒式液冷服務(wù)器基礎(chǔ)知識。什么是浸沒式液冷服務(wù)器？
浸沒式液冷服務(wù)器，是把服務(wù)器整體浸泡在沸點(diǎn)低（35℃左右）、絕緣、無腐蝕性的特殊液體里（有的是特殊的油、有的是氟化液），以液體為媒介把服務(wù)器中CPU、內(nèi)存條、芯片組、擴(kuò)展卡等電子器件在運(yùn)行時(shí)所產(chǎn)生的熱量通過冷熱交換工程設(shè)計(jì)帶走。
而傳統(tǒng)服務(wù)器則采用風(fēng)冷散熱，通過數(shù)據(jù)中心里的空調(diào)，對IT設(shè)備降溫，降低數(shù)據(jù)中心（含單機(jī)服務(wù)器）內(nèi)部溫度，從而保障設(shè)備不會(huì)因溫度過高發(fā)生意外（比如CPU過熱導(dǎo)致宕機(jī)）。
舉個(gè)更好理解的例子，浸沒式液冷像我們用“熱得快”直接插在暖瓶里燒水，沒有任何隔閡的加熱；也像夏天時(shí)，我們通過淋浴直接為身體降溫，而不是依賴下雨先讓空氣溫度降低，我們再感覺涼爽。
哪種散熱方式效率更高、更有效，一目了然~
目前市場中主要有兩種形態(tài)的液冷服務(wù)器，一種是浸沒式液冷服務(wù)器；第二種是板式液冷服務(wù)器。
板式液冷服務(wù)器與浸沒式液冷服務(wù)器最大的區(qū)別是，發(fā)熱量最大的部件CPU不直接與散熱液體接觸，而是通過將液體灌輸在傳導(dǎo)設(shè)備中，CPU端與液體傳導(dǎo)設(shè)備貼在一起，熱量通過傳導(dǎo)設(shè)備帶走，從而達(dá)到散熱效果。目前全球采用板式散熱方式的相對多一些，因?yàn)樵摷夹g(shù)對比浸沒式液冷服務(wù)器要解決的工業(yè)難題、成本都更低一些。
☉圖片中黃色銅管連接CPU的就是采用板式液冷散熱
☉阿里巴巴浸沒式液冷服務(wù)器，交換機(jī)、服務(wù)器全部浸泡在冷卻液中
浸沒式液冷服務(wù)器擔(dān)起“定海神針”角色
浸沒式液冷服務(wù)器能擔(dān)起數(shù)據(jù)中心“定海神針”一角，主要憑借PUE（電源使用效率）、TCO（總擁有成本）這兩項(xiàng)關(guān)鍵指標(biāo)領(lǐng)先傳統(tǒng)風(fēng)冷、水冷服務(wù)器。
PUE英文全稱為：Power Usage Effectiveness（電源使用效率），是評價(jià)數(shù)據(jù)中心能源效率的指標(biāo)。PUE數(shù)值是數(shù)據(jù)中心消耗的所有能源與IT設(shè)備消耗的能源的比值，國際標(biāo)準(zhǔn)化組織發(fā)布ISO/IEC30134-1標(biāo)準(zhǔn)，PUE被稱為數(shù)據(jù)中心的“關(guān)鍵性能指標(biāo)”。PUE值越接近1.0，表示數(shù)據(jù)中心的能效越好，綠色化程度越高，也就是越節(jié)約電力。
其實(shí)數(shù)據(jù)中心是電老虎，有數(shù)據(jù)顯示，僅在2015年，全國數(shù)據(jù)中心的耗電量就高達(dá)1000億度，年耗電量超過全社會(huì)用電量的1.5%，相當(dāng)于整個(gè)三峽水電站一年的發(fā)電量，比水泥產(chǎn)業(yè)產(chǎn)能全開占全社會(huì)用電還多。
消費(fèi)者每一次在淘寶購物，每一次刷微博，每一次在優(yōu)酷看視頻時(shí)，數(shù)據(jù)中心里的服務(wù)器都在計(jì)算我們的需求，同時(shí)消耗電能。
為了降低PUE，國際上很多大型企業(yè)也是使出各種招數(shù)。比如微軟將裝有服務(wù)器的圓柱形集裝箱沉到海里降溫、FaceBook將數(shù)據(jù)中心建在北極圈、甚至還有公司將數(shù)據(jù)中心放在北約曾經(jīng)存儲彈藥的地下山洞里。
這么做的核心目的就是為了降低電能的消耗，節(jié)約IT運(yùn)營成本。
☉微軟將數(shù)據(jù)中心集裝箱沉到海里
☉微軟將數(shù)據(jù)中心集裝箱沉到海里
☉FaceBook將數(shù)據(jù)中心建在北極圈
浸沒液冷其實(shí)最初是應(yīng)用在超級計(jì)算機(jī)上，2012年開始，無論是德國的ISC，還是美國的SC大會(huì)，每年都有幾家廠商展示全浸沒式液冷。直到在SC15上，大量服務(wù)器廠商展示浸沒液冷概念機(jī)，全浸沒的時(shí)代宣告帶來。
國內(nèi)服務(wù)器企業(yè)中科曙光、浪潮，以及大名鼎鼎的主板制造商——技嘉，也都早早研究浸沒式液冷服務(wù)器，尤其中科曙光是國內(nèi)率先推出液冷服務(wù)器的企業(yè)，不過部署規(guī)模以及公開的服務(wù)器密度，不及阿里巴巴。
☉技嘉在2017年展示的液冷服務(wù)器樣機(jī)
此次“浸沒式液冷服務(wù)器集群”的 PUE值逼近理論極限值1.0，這是一個(gè)令人震驚的數(shù)值，目前業(yè)界多數(shù)數(shù)據(jù)中心的PUE都在1.6左右！PUE1.0的話能夠?qū)崿F(xiàn)非常好的節(jié)能環(huán)保，保守估計(jì)節(jié)能情況如下：
依公開資料看，一臺液冷服務(wù)器功耗600W，一個(gè)30萬臺服務(wù)器規(guī)模的數(shù)據(jù)中心集群，如果年均PUE能夠從1.25降至1.1，一年節(jié)電即可超過2億度，相當(dāng)于減少20萬噸二氧化碳的排放，如果按每棵樹平均每天吸收50克二氧化碳，這相當(dāng)于1000萬顆樹一年的二氧化碳吸收量。
為了讓大家能夠看懂PUE是如何計(jì)算的，我把其計(jì)算原理介紹下，但我要強(qiáng)調(diào)的是，阿里巴巴的PUE計(jì)算公式可能出現(xiàn)了進(jìn)化，可見本小段最后的猜想。
傳統(tǒng)PUE計(jì)算公式：PUE = 數(shù)據(jù)中心總設(shè)備能耗/IT設(shè)備能耗
數(shù)據(jù)中心總設(shè)備主要包含如下4大類：
IT設(shè)備（服務(wù)器、網(wǎng)絡(luò)交換機(jī)、安全網(wǎng)關(guān)等）
制冷系統(tǒng)（空調(diào)）
供配電系統(tǒng)（一般指UPS設(shè)備,變壓器設(shè)備）
照明及其它設(shè)備（安防設(shè)備、消防設(shè)備、電梯、傳感器以及數(shù)據(jù)中心管理系統(tǒng)）。
以上設(shè)備各自電能消耗占比大概為：
IT設(shè)備占50%、空調(diào)制冷系統(tǒng)占30%、
供配電系統(tǒng)占15%、照明及其它設(shè)備占5%。
☉數(shù)據(jù)中心設(shè)備電能消耗占比
PUE新計(jì)算公式的猜想
我大膽猜測一下，浸沒式液冷服務(wù)器集群PUE逼近1.0的話，原來的PUE公式中分子可能會(huì)有變化。
第一個(gè)變化是空調(diào)制冷系統(tǒng)。在采用了液冷作為媒介散熱后，數(shù)據(jù)中心的空調(diào)制冷能耗基本為零。要說明的一點(diǎn)是該空調(diào)制冷特指數(shù)據(jù)中心機(jī)房內(nèi)為服務(wù)器散熱的，而非辦公場所的。
第二個(gè)變化是供配電系統(tǒng)。我猜測阿里的工程師做了非常大的改動(dòng)，將行業(yè)常使用的UPS改為市電直供方式。依傳統(tǒng)，數(shù)據(jù)中心主要采用UPS做斷電保護(hù)，假設(shè)UPS實(shí)際運(yùn)行平均效率為91%（其余9%自然消耗掉），以及考慮UPS散熱的空調(diào)能耗，按數(shù)據(jù)中心典型PUE為1.7來算，那么UPS環(huán)節(jié)帶來的總能耗達(dá)15%（9%X1.7），如果阿里巴巴采用了市電直供方式，這15%能耗直接降為零。
最終原來公式中的數(shù)據(jù)中心總設(shè)備能耗，只剩下了50%的IT設(shè)備和5%的照明及其它設(shè)備。
采用浸沒式液冷服務(wù)器后，PUE新公式=IT設(shè)備+照明及其它設(shè)備/IT設(shè)備，最終體現(xiàn)在數(shù)字上是：
PUE=50%+5%/50%=1.1
如果阿里又通過太陽能做電量儲備用在照明等環(huán)境里，5%的數(shù)字還會(huì)降低。
我個(gè)人認(rèn)為這個(gè)PUE新公式適合所有采用浸沒式液冷服務(wù)器集群的數(shù)據(jù)中心使用。
TCO變局
TCO （Total Cost of Ownership ），即總擁有成本，包括產(chǎn)品采購到后期使用、維護(hù)的成本，在數(shù)據(jù)中心里，TCO主要由以下兩部分組成。
一部分是建設(shè)成本（Capex），主要包括土地成本、硬件設(shè)備成本（包括IT設(shè)備、冷熱水管道、變電站等）、園區(qū)配套等。通常20%的成本是花費(fèi)在機(jī)房建筑和園區(qū)配套建設(shè)上，其余80%用在硬件設(shè)備上。
第二部分是運(yùn)營成本（Opex），主要包括人員成本、供電、服務(wù)器硬件維護(hù)與更換、其它設(shè)備維護(hù)等。要特別指出的是，在運(yùn)營成本里，其實(shí)有80%以上的花費(fèi)都用在數(shù)據(jù)中心供電和制冷上（傳統(tǒng)PUE數(shù)值里這兩項(xiàng)消耗掉45%的能耗）。
在采用液冷服務(wù)器后，Opex里的供電與制冷所占的45%能耗將直接節(jié)約了。我們假定年電費(fèi)為1個(gè)億，那么如果省掉UPS（15%電能消耗），光運(yùn)營成本每年就降低1500萬，暫且還沒算UPS以及配電設(shè)備的投資減少。另外30%制冷電能節(jié)省后，1年可節(jié)約3000萬度電。
除了Capex和Opex兩項(xiàng)TCO重要指標(biāo)外，我們也要回歸到液冷服務(wù)器本身的質(zhì)變。
由于液冷服務(wù)器無需空調(diào)等大型制冷設(shè)備，可在任何地方部署，因此大幅節(jié)約了數(shù)據(jù)中心的用地面積，可節(jié)省75%以上空間。此外由于服務(wù)器內(nèi)部沒有風(fēng)扇，節(jié)省出來的體積可以部署更多CPU，單位體積內(nèi)的計(jì)算能力比過去提升了10倍，也就是計(jì)算密度更大了。其實(shí)通常情況下，數(shù)據(jù)中心受到供電、機(jī)房承重等因素影響，一個(gè)標(biāo)準(zhǔn)機(jī)柜均不會(huì)在42U的高度里，全部放滿服務(wù)器。（U是衡量服務(wù)器機(jī)柜的高度，1u=44.45mm），如下圖可以看到右側(cè)服務(wù)器上下均有空余空間。
☉某公司數(shù)據(jù)中心內(nèi)機(jī)柜空間浪費(fèi)很多
由于采用液體媒介，所以對設(shè)備的密閉性也提出了更高要求，而高密封性也使得元器件遠(yuǎn)離濕度、灰塵、振動(dòng)的影響，受干擾情況幾乎為0；同時(shí)，這種特殊液體完全絕緣且無腐蝕性，即使浸沒元器件20年以上，成分不會(huì)發(fā)生任何變化，也不會(huì)對電子元器件產(chǎn)生任何影響。
小結(jié)
PUE方面：
一座30萬臺液冷服務(wù)器規(guī)模的數(shù)據(jù)中心，年均PUE從1.25降至1.1，一年節(jié)電即可超過2億度，相當(dāng)于減少20萬噸二氧化碳的排放，如果按每棵樹平均每天吸收50克二氧化碳，這相當(dāng)于1000萬顆樹一年的二氧化碳吸收量。
液冷服務(wù)器集群PUE新計(jì)算公式：PUE=IT設(shè)備+照明及其它設(shè)備/IT設(shè)備。我暫且猜想阿里巴巴也是采用了這樣新的計(jì)算方式。
TCO方面：
運(yùn)營成本（Opex）, 假定年電費(fèi)為1個(gè)億，省掉UPS（15%電能消耗），光運(yùn)營成本每年就降低1500萬，暫且還沒算UPS以及配電設(shè)備的投資減少。省掉30%制冷消耗，1年可節(jié)約3000萬度電，同樣沒有算空調(diào)設(shè)備的建設(shè)成本。
浸沒式液冷服務(wù)器對產(chǎn)業(yè)帶來的影響
“摩爾定律正在失效”，是近幾年IT研究人員不斷提及的事，事實(shí)正在演繹隨著單位晶圓上集成電路的部署密度逼近極限后（比如2nm后將很難再突破該數(shù)據(jù)），半導(dǎo)體工藝升級帶來的計(jì)算性能的提升不能再像以前那么快了（以前是每18個(gè)月計(jì)算性能翻一倍），每一代制程工藝的研發(fā)和成熟需要的時(shí)間將越來越長。同時(shí)當(dāng)晶圓面積越來越小、集成電路越來越密集后，IT設(shè)備面臨巨大的散熱、單機(jī)功耗挑戰(zhàn)。
無論是對于那些善于做高密度服務(wù)器的IT企業(yè)（單機(jī)內(nèi)提升更多的計(jì)算力-Scale up）、以及采用計(jì)算資源池化的云計(jì)算企業(yè)（分布式橫向擴(kuò)展-Scale out），這都是不得不面對的現(xiàn)實(shí)難題，而浸沒式液冷服務(wù)器，從當(dāng)前看，是可以解決部分上述問題的。
除了上邊重點(diǎn)介紹的PUE、TCO帶來的巨大變化外，我們還是要回歸到浸沒式液冷服務(wù)器本身的技術(shù)創(chuàng)新，解決以下這3個(gè)難度很大的業(yè)界難題，才能實(shí)現(xiàn)集群化部署。
首先是硬件基礎(chǔ)設(shè)備的定制——不僅僅是服務(wù)器產(chǎn)品，未來包括存儲、網(wǎng)絡(luò)等其他IT基礎(chǔ)設(shè)施都要為全浸沒式液冷實(shí)現(xiàn)專門的定制化。
其次是高效的管理和運(yùn)維——在全浸沒式液冷系統(tǒng)中，原有的風(fēng)冷環(huán)境管理軟件已經(jīng)完全不適用，從系統(tǒng)監(jiān)控到維護(hù)，都需要有單獨(dú)開發(fā)的軟件。因?yàn)槿]式系統(tǒng)是密封結(jié)構(gòu)，所以對于系統(tǒng)內(nèi)部的液體溫度、氣壓也都需要重新監(jiān)控，要依賴專門開發(fā)的軟件來實(shí)現(xiàn)。
最后是數(shù)據(jù)中心的建設(shè)——全浸沒式液冷的特性在于散熱效果好，系統(tǒng)密度高，延遲低。而要實(shí)現(xiàn)這些特性，就需要單臺系統(tǒng)中盡可能容納更多的計(jì)算、存儲節(jié)點(diǎn)，進(jìn)而需要機(jī)房承重、供電系統(tǒng)的同步配套。
最終，針對浸沒式液冷服務(wù)器我們記住四個(gè)關(guān)鍵點(diǎn)：
一是PUE的降低、二是TCO成本的降低、三是對摩爾定律難題的解決、四是為實(shí)現(xiàn)集群化部署至少解決的3個(gè)業(yè)界難題。
這樣，在摩爾定律全面失效前，人類還能為自己多爭取一點(diǎn)時(shí)間。
本回完
聯(lián)系客服
