本文轉(zhuǎn)載自AIPharos月光社
云復(fù)工、云問(wèn)診、云蹦迪、云健身……疫情之下，全民上“云”。支撐這朵“云”的，是“高性能計(jì)算作為服務(wù)”的計(jì)算方式的變革。 3月6日，阿里云高性能計(jì)算負(fù)責(zé)人何萬(wàn)青博士出席了由中國(guó)大數(shù)據(jù)與智能計(jì)算產(chǎn)業(yè)聯(lián)盟與AIPharos月光社聯(lián)合舉辦的“疫情之下，大數(shù)據(jù)與智能計(jì)算產(chǎn)業(yè)的挑戰(zhàn)與機(jī)遇”線上沙龍，并做了題為《阿里云超算與AI新藥研發(fā)釋放生命科學(xué)潛能》的分享。 作為搭建首個(gè)全球云上超算中心的幕后推手，何萬(wàn)青博士介紹，云超算的物理機(jī)性能與虛擬化形式，為新冠病毒的藥物研發(fā)與篩選提供了很好的算力支撐；阿里云上的高性能計(jì)算，是一個(gè)具有普惠價(jià)值的PaaS產(chǎn)品。 阿里云認(rèn)為，所謂新基建就是不要再去弄一個(gè)個(gè)煙囪，而是要建一個(gè)大的發(fā)電廠。
以下是何萬(wàn)青博士的分享內(nèi)容：
新冠肺炎疫情爆發(fā)，很多大學(xué)和機(jī)構(gòu)需要快速獲得計(jì)算資源，來(lái)進(jìn)行藥物的研究、篩選等工作。因此，阿里云在春節(jié)期間就開(kāi)始免費(fèi)為新藥研發(fā)提供計(jì)算支持。
目前，已有十余家機(jī)構(gòu)使用了阿里云的服務(wù)，其中包含全球健康藥物研發(fā)中心（GHDDI）等眾多一線公共科研團(tuán)隊(duì)。
應(yīng)用領(lǐng)域大致可分為三類：藥物研發(fā)與篩選；通過(guò)機(jī)器學(xué)習(xí)與統(tǒng)計(jì)方法，對(duì)肺部CT進(jìn)行快速診斷；跟蹤與預(yù)測(cè)傳染病的傳染率，并快速進(jìn)行疾控定位。
疫情之下，為什么要選云超算
本次新冠病毒研究中，有一大類應(yīng)用叫無(wú)創(chuàng)檢測(cè)的標(biāo)準(zhǔn)，即核酸檢測(cè)，問(wèn)題是慢。據(jù)媒體報(bào)道，在高度保護(hù)的狀態(tài)下提取核酸樣本，仍然要花3個(gè)小時(shí)來(lái)檢測(cè)。
而基于大量的臨床數(shù)據(jù)，以及病人肺部CT體征等信息，就能夠利用大數(shù)據(jù)機(jī)器學(xué)習(xí)確認(rèn)是否被感染，但問(wèn)題是需要大量計(jì)算力。
在做彈道判斷“起家”的計(jì)算機(jī)行業(yè)中，高性能計(jì)算發(fā)展得最早。近幾年，GPU的加入讓計(jì)算力有了長(zhǎng)足進(jìn)步，很多過(guò)去需要算幾天，甚至幾個(gè)月的，都可以用GPU加速實(shí)現(xiàn)。
超算中心有強(qiáng)大的計(jì)算力，但疫情期間要面臨同樣的問(wèn)題，被隔離。要變配、要升級(jí)，在云上具備更靈活的優(yōu)勢(shì)。原因在于，像阿里、AWS、微軟這樣服務(wù)上百萬(wàn)家公司的企業(yè)，是絕對(duì)不允許暫時(shí)中斷的。
同時(shí)，新藥篩選是一個(gè)并發(fā)過(guò)程。高性能計(jì)算中有大量分子動(dòng)力學(xué)、計(jì)算化學(xué)和基因拼裝等應(yīng)用，需要提供高通量的并行計(jì)算，進(jìn)行藥物模擬制備和虛擬篩選。
兩年多以前，盡管中國(guó)已有太湖之光、天河2號(hào)等位列全球超算前兩名的超級(jí)計(jì)算機(jī)，超級(jí)計(jì)算仍然是少數(shù)人才能攀登的“珠穆拉瑪峰”。于是，早年業(yè)內(nèi)有人提出HPC as a service，但計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)都要達(dá)到超算的標(biāo)準(zhǔn)。
為了變“珠穆拉瑪峰”為“青藏高原“，2017年阿里云在神龍服務(wù)器的基礎(chǔ)上，開(kāi)發(fā)了一套超級(jí)計(jì)算機(jī)群——通過(guò)低延遲、高帶寬的網(wǎng)絡(luò)集群，對(duì)外形成虛擬化、隨時(shí)可彈性伸縮的節(jié)點(diǎn)，與圖形節(jié)點(diǎn)、登錄節(jié)點(diǎn)、存儲(chǔ)產(chǎn)品共同構(gòu)成的平臺(tái)。
目前，阿里云在工業(yè)仿真、芯片設(shè)計(jì)器等大計(jì)算上，都是通過(guò)高性能超級(jí)計(jì)算機(jī)群來(lái)提供服務(wù)。
對(duì)用戶來(lái)說(shuō)，只要有阿里云賬號(hào)，任何人都可以登陸由EHPC提供的云上高性能計(jì)算資源，也可以通過(guò)EHPC支持的GHDDI共享研發(fā)平臺(tái)，共享藥物研究成果。
超級(jí)計(jì)算機(jī)群的另一個(gè)優(yōu)勢(shì)是，只要云計(jì)算的可用區(qū)在全球分布?jí)驈V，藥物研發(fā)就可以很快鏈接全球開(kāi)放的藥物數(shù)據(jù)庫(kù)。
對(duì)藥物篩選來(lái)說(shuō)，基于阿里云EHPC，可以用卷積神經(jīng)網(wǎng)絡(luò)，或者叫知識(shí)圖譜的方法進(jìn)行篩選，極大地縮短了藥物發(fā)現(xiàn)過(guò)程，而這些可以用機(jī)器學(xué)習(xí)加以提速。得益于這樣的AI算力，阿里云支持的GHDDI在其公共平臺(tái)上公布了針對(duì)新冠病毒8個(gè)靶點(diǎn)的藥物篩選數(shù)據(jù)。
高性能計(jì)算在云上
高性能計(jì)算的應(yīng)用，大致可分為三大領(lǐng)域。
一類是公共科學(xué)（public section），與科研相關(guān)。一類是行業(yè)計(jì)算，如汽車碰撞、汽車結(jié)構(gòu)、半導(dǎo)體、芯片等，這些需要連續(xù)計(jì)算，而且計(jì)算規(guī)模也非常大。另一類是學(xué)校或科研單位，計(jì)算時(shí)間與計(jì)算規(guī)模都隨需要變化。
其中，行業(yè)計(jì)算需要長(zhǎng)期穩(wěn)定性，即能夠隨時(shí)獲得較大規(guī)模的計(jì)算資源。自建或租用超算中心比較難，因?yàn)樗鼈儾⒉痪邆?strong>云計(jì)算最大的特點(diǎn)——彈性、穩(wěn)定性、可獲得性。云公司最大的投入，就是穩(wěn)定性和彈性，以及在背后支撐運(yùn)維的人和技術(shù)，這也是云公司最重要的優(yōu)勢(shì)。
那么，在云上能解決的計(jì)算規(guī)模有多大呢？
事實(shí)上，我們看到那些非常大規(guī)模的計(jì)算，并不適合在云上進(jìn)行；不是不能實(shí)現(xiàn)，而是不經(jīng)濟(jì)。
如果你要發(fā)一篇論文，或是去打一個(gè)榜，完成之后，這部分機(jī)器就不用了。這時(shí)，就體現(xiàn)出云計(jì)算的另一個(gè)特點(diǎn)——可以共享，即你不用的時(shí)候別人恰好用，取所有人使用規(guī)模的公約數(shù)。
另外，高性能計(jì)算解決的問(wèn)題，與AI能解決的問(wèn)題也有很大不同。
高性能計(jì)算是求解目標(biāo)對(duì)象的行為方程，這個(gè)方程會(huì)分解到各個(gè)節(jié)點(diǎn)去做計(jì)算，而且是同步到每一個(gè)時(shí)間節(jié)點(diǎn)上做同步通訊，然后再進(jìn)行下一步。如果一個(gè)節(jié)點(diǎn)慢了，那么其它節(jié)點(diǎn)都要等。這意味著，高性能計(jì)算是一個(gè)對(duì)計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)要求都非常高的行業(yè)，對(duì)延遲的容忍度也很低。這主要集中在氣象、大規(guī)模的分子動(dòng)力學(xué)模擬，以及汽車碰撞等網(wǎng)格節(jié)點(diǎn)數(shù)特別多的計(jì)算規(guī)模中。
雖然有些計(jì)算對(duì)延遲的要求不高，但是有大量的IO行為或高速的大內(nèi)存訪問(wèn)，例如做渲染、電子電路設(shè)計(jì)等，這就需要非常大的內(nèi)存。這些在阿里云上都是能夠?qū)崿F(xiàn)的。
回到生命科學(xué)本身，很多應(yīng)用都需要大量的MPI通訊，由于計(jì)算十分密集，所以有很多應(yīng)用發(fā)展了不同的GPU版本。目前，用的比較多的是GROMACS和LAMMPS。它們都是做分子動(dòng)力學(xué)模擬的，從分子的角度來(lái)說(shuō)，把你看成你的運(yùn)動(dòng)，包括你的相互作用，它只是不同的力的類型，去通過(guò)單個(gè)分子的行為模擬群體，所以群體會(huì)顯示出氣態(tài)、液態(tài)或其他形式。如此大規(guī)模的計(jì)算，在各個(gè)藥物的制備中是最常用的。
曾經(jīng)，云計(jì)算并沒(méi)有被很多做高性能計(jì)算的人看好。理論上，單個(gè)節(jié)點(diǎn)的實(shí)驗(yàn)中，物理機(jī)的性能一定比虛擬機(jī)高，而高性能計(jì)算領(lǐng)域的“潛規(guī)則“是，要買就買最好最快的機(jī)器。
但是，阿里云發(fā)現(xiàn)，對(duì)于大計(jì)算特別是高性能計(jì)算來(lái)說(shuō)，通過(guò)神龍服務(wù)器可以實(shí)現(xiàn)虛擬化，“虛擬化損失“這部分被HPC行業(yè)鄙視鏈詬病的虛擬化開(kāi)銷，完全可以省掉。
2017年問(wèn)世的神龍服務(wù)器，主要通過(guò)自研芯片和MOC卡來(lái)實(shí)現(xiàn)虛擬化功能，并將存儲(chǔ)網(wǎng)絡(luò)的管控放上來(lái)，使得CPU本身不再浪費(fèi)，100%地為計(jì)算者提供服務(wù)。它的優(yōu)勢(shì)顯而易見(jiàn)，但理論上還是會(huì)耗掉一點(diǎn)資源。
在容器的情況下，隨著節(jié)點(diǎn)數(shù)的增加，原來(lái)浪費(fèi)的東西會(huì)發(fā)生組合爆炸，即性能越高，越會(huì)趨于性能拐點(diǎn)。但是，在神龍服務(wù)器上，集群的性能反而會(huì)越來(lái)越好，因?yàn)镸OC卡不但會(huì)全部將其進(jìn)行分流，而且還能起到協(xié)同作用。
單節(jié)點(diǎn)的問(wèn)題突破后，高性能計(jì)算還需要高速網(wǎng)絡(luò)。我們會(huì)考慮，節(jié)點(diǎn)之間通訊的管控是否可以像在公共云上一樣，實(shí)現(xiàn)基于VPC的良好管控，也就是主動(dòng)運(yùn)維。
這種情況下，就要適應(yīng)更多其他的計(jì)算模式，可以通過(guò)基于RDMA的方式實(shí)現(xiàn)。只要用RDMA連接，對(duì)外通過(guò)虛擬化和MOC卡接入，來(lái)得到物理機(jī)的性能與虛擬機(jī)的接口，再把并行文件系統(tǒng)做上來(lái)就萬(wàn)事俱備了。這種方式仍然保留了云計(jì)算最重要的特點(diǎn)——計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)分開(kāi)，且分別通過(guò)不同的產(chǎn)品接入。
通常情況下，如果要建一個(gè)超算中心，或者超算集群，需要買計(jì)算節(jié)點(diǎn)、文件存儲(chǔ)做盤陣，以及PC服務(wù)器，這都是硬件的搭建工作。
在云上，就只需要一個(gè)詞，叫做生產(chǎn)。通過(guò)超級(jí)計(jì)算機(jī)群，可以生產(chǎn)節(jié)點(diǎn)，這其實(shí)就是生成虛機(jī)實(shí)例的過(guò)程。雖然是虛機(jī)實(shí)例，但可以通過(guò)神龍服務(wù)器得到物理機(jī)的功能，同樣可以生產(chǎn)出文件存儲(chǔ)、NAS和并行文件系統(tǒng)，包括節(jié)點(diǎn)。
這些生產(chǎn)可支持彈性伸縮，是云計(jì)算里面，包括高性能計(jì)算在云上最強(qiáng)的能力。它可以根據(jù)預(yù)先制定的策略，快速生產(chǎn)和部署新的機(jī)群。
目前，我們可以做到一分半鐘彈性伸縮，并且復(fù)制裝過(guò)的所有軟件。
在云上使用高性能計(jì)算作為一個(gè)服務(wù)時(shí)，上傳文件有幾種選擇，通過(guò)在局部云盤上做緩存后集中放在共享文件系統(tǒng)上，也可以直接放過(guò)去，然后再在上面計(jì)算，包括可視化計(jì)算都可以完成。
試想一下，在云上面只要點(diǎn)一下鼠標(biāo)，不需要花很多時(shí)間去學(xué)習(xí)如何搭建高性能計(jì)算系統(tǒng)，就可以完成所有計(jì)算。
國(guó)內(nèi)外的差別也在于此。國(guó)外很多老師或用戶，更喜歡云超算的原因就是，既不用去學(xué)習(xí)高性能計(jì)算，也不用成為IT專家，只需要對(duì)應(yīng)用了解就可以了。
從這個(gè)角度上說(shuō)，在阿里云上的高性能計(jì)算是一個(gè)PaaS產(chǎn)品，通過(guò) Open API可以挑選任何一種計(jì)算節(jié)點(diǎn)。因此，阿里云現(xiàn)在既能支持超級(jí)計(jì)算機(jī)群，又天然地可以支持很多ECS彈性計(jì)算。
彈性計(jì)算上云：用1/10的性能，換9/10的成本
彈性伸縮是高性能云上最強(qiáng)的一個(gè)地方。你可以確定遇到什么樣的節(jié)點(diǎn)，當(dāng)計(jì)算力壓了多長(zhǎng)時(shí)間的時(shí)候，或者你有什么命令的時(shí)候，我可以去擴(kuò)容。擴(kuò)容有很多參數(shù)，你可以確定它的擴(kuò)容時(shí)間間隔或擴(kuò)容比例，包括縮容。
如果彈性伸縮與搶占實(shí)力配合，就可以得到一個(gè)非常了不起的結(jié)果——只損失1/10的性能，但節(jié)省9/10的成本。
這叫做搶占式實(shí)例，即你搶到一個(gè)資源，雖然它可能有一定規(guī)則，只讓你用1個(gè)或3個(gè)小時(shí)；如果沒(méi)計(jì)算完，高性能計(jì)算有很多應(yīng)用，它是有 check point，叫閑時(shí)計(jì)算，會(huì)在釋放之前保存，進(jìn)行斷點(diǎn)續(xù)算。
針對(duì)基因計(jì)算，不是每天都算，而是來(lái)一個(gè)任務(wù)才算，就需要復(fù)合的彈性伸縮的高性能計(jì)算。當(dāng)任務(wù)量增加時(shí)，自動(dòng)生產(chǎn)出新的機(jī)器；算完后，發(fā)現(xiàn)負(fù)荷降低了，再進(jìn)行釋放。這個(gè)過(guò)程中就跟用電一樣，靠的是后臺(tái)技術(shù)。
另外，彈性計(jì)算可以跨區(qū)域跨可用區(qū)進(jìn)行擴(kuò)張，甚至可以擴(kuò)張異構(gòu)節(jié)點(diǎn)。例如，基因篩選是并發(fā)計(jì)算，它并不在乎兩個(gè)節(jié)點(diǎn)之間的配置是否一樣，如果能夠比較好地進(jìn)行調(diào)度，可以用異構(gòu)節(jié)點(diǎn)做一些別的事情，這是非常大的靈活性。
長(zhǎng)期以來(lái)，超算領(lǐng)域有點(diǎn)像軍備競(jìng)賽。業(yè)內(nèi)工程師喜歡把一個(gè)性能擠得非常高，但每次只能服務(wù)單個(gè)用戶或單個(gè)應(yīng)用。雖然看起來(lái)很爽，說(shuō)起來(lái)很牛，可真正普惠的是需要這種生產(chǎn)方式的變化，或者叫計(jì)算方式的變化。
云計(jì)算就是這樣一個(gè)計(jì)算方式的變化，真正的技術(shù)突破點(diǎn)都來(lái)自神龍服務(wù)器在云上實(shí)現(xiàn)的調(diào)度。它帶來(lái)的是，讓每一位普通人不用離開(kāi)家就能進(jìn)行在線學(xué)習(xí)、遠(yuǎn)程辦公等生產(chǎn)生活活動(dòng)，這些背后就是普惠性技術(shù)在起作用。
正如阿里云所說(shuō)，所謂新基建就是我們不要再去弄一個(gè)個(gè)煙囪，而是要建一個(gè)大的發(fā)電廠。
聯(lián)系客服
