分布式的概念很早就有了，然而真正在企業(yè)中得以廣泛應(yīng)用卻是最近幾年的事情?；ヂ?lián)網(wǎng)的深入深化及大數(shù)據(jù)應(yīng)用的興起，對(duì)于IT系統(tǒng)的處理能力及效率都提出了更高的要求。通過(guò)松散耦合將多臺(tái)物理服務(wù)器組成一個(gè)集群，提供更大的計(jì)算能力，這是分布式的核心作用，也是其得以廣泛應(yīng)用的主要原因。
我們邀請(qǐng)數(shù)人云王璞老師，為我們分享他在分布式計(jì)算方面的深刻理解和獨(dú)到見(jiàn)解。
未來(lái)數(shù)據(jù)中心的建設(shè)戰(zhàn)略之分布式
王璞，數(shù)人云CEO及創(chuàng)始人，為美國(guó)George Mason大學(xué)計(jì)算機(jī)博士，擅長(zhǎng)分布式計(jì)算、大規(guī)模機(jī)器學(xué)習(xí)、海量數(shù)據(jù)處理。曾擔(dān)任 Google 廣告部門(mén)數(shù)據(jù)平臺(tái)構(gòu)架師，負(fù)責(zé)管理每秒訪問(wèn)量全球最高的架構(gòu)平臺(tái)。數(shù)人云技術(shù)團(tuán)隊(duì)具備豐富的互聯(lián)網(wǎng)應(yīng)用架構(gòu)經(jīng)驗(yàn)，大型分布式系統(tǒng)經(jīng)驗(yàn)，特別是 PaaS 領(lǐng)域的經(jīng)驗(yàn)。
分布式計(jì)算的概念大概七十年代就提出了。分布式計(jì)算本質(zhì)上解決的是，突破單臺(tái)物理服務(wù)器計(jì)算能力極限，通過(guò)松散耦合將多臺(tái)物理服務(wù)器組成一個(gè)集群，提供更大的計(jì)算能力。分布式計(jì)算研究如何把需要非常巨大計(jì)算能力才能解決的問(wèn)題分解成許多小的部分，分配給多臺(tái)計(jì)算機(jī)進(jìn)行處理，最后把這些計(jì)算結(jié)果綜合起來(lái)得到最終的結(jié)果。
云計(jì)算也是分布式計(jì)算技術(shù)的一種，它最基本的概念，是將巨大的計(jì)算處理程序分拆成無(wú)數(shù)個(gè)小的子程序，再將這些程序分配給龐大的計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)經(jīng)搜尋、計(jì)算分析之后將處理結(jié)果回傳給用戶(hù)。
Google是應(yīng)用分布式計(jì)算最成功的典范，把分布式計(jì)算發(fā)揚(yáng)光大，互聯(lián)網(wǎng)公司之后形成的分布式計(jì)算技術(shù)，稱(chēng)之為云計(jì)算技術(shù)。
在過(guò)去的20多年間出現(xiàn)了大量分布式計(jì)算技術(shù)，如中間件技術(shù)、移動(dòng)Agent技術(shù)、P2P技術(shù)、web服務(wù)技術(shù)和網(wǎng)格技術(shù)等等。Web服務(wù)和網(wǎng)格計(jì)算是互聯(lián)網(wǎng)上進(jìn)行大規(guī)模分布式計(jì)算的兩大關(guān)鍵技術(shù)。主要解決分布式計(jì)算的系統(tǒng)管理和資源共享問(wèn)題。
網(wǎng)格計(jì)算通過(guò)把互聯(lián)網(wǎng)上分散在各處的硬件、軟件、信息資源連接為一個(gè)整體，使人們能夠利用分散的資源，完成大規(guī)模、復(fù)雜的計(jì)算和數(shù)據(jù)處理。新一代的分布式計(jì)算技術(shù)是Google這樣的互聯(lián)網(wǎng)公司把分布式技術(shù)發(fā)揚(yáng)光大之后的云計(jì)算技術(shù)。
從技術(shù)本身來(lái)講，分布式技術(shù)目前發(fā)展已經(jīng)相對(duì)成熟。尤其Google這樣的互聯(lián)網(wǎng)公司把分布式計(jì)算可能碰到的技術(shù)問(wèn)題已經(jīng)解決的差不多。但目前企業(yè)級(jí)客戶(hù)應(yīng)用的還不多，用的不太好。分布式計(jì)算目前的挑戰(zhàn)是進(jìn)一步降低使用門(mén)檻，讓企業(yè)級(jí)客戶(hù)也能很好地用起來(lái)。
分布式存儲(chǔ)，是分布式計(jì)算技術(shù)里的一個(gè)方面。簡(jiǎn)單說(shuō)就是，將數(shù)據(jù)分散存儲(chǔ)到多個(gè)數(shù)據(jù)存儲(chǔ)器上，目前多借鑒Google的經(jīng)驗(yàn)，在眾多服務(wù)器上搭建一個(gè)分布式文件系統(tǒng)，再在這個(gè)分布式文件系統(tǒng)上實(shí)現(xiàn)相關(guān)的數(shù)據(jù)存儲(chǔ)業(yè)務(wù)，甚至是二級(jí)存儲(chǔ)業(yè)務(wù)。
分布式存儲(chǔ)的好處是，可擴(kuò)展性和穩(wěn)定性很好。一臺(tái)服務(wù)器存儲(chǔ)數(shù)據(jù)有限，多臺(tái)服務(wù)器組成集群。分布式存儲(chǔ)系統(tǒng)通過(guò)集群方式擴(kuò)展到幾百甚至幾千臺(tái)集群規(guī)模來(lái)解決系統(tǒng)擴(kuò)展能力， 通過(guò)軟件層面對(duì)單機(jī)服務(wù)器的硬件容錯(cuò)能力大大提升了整體集群的容錯(cuò)能力和穩(wěn)定性。
分布式存儲(chǔ)，目前主要是互聯(lián)網(wǎng)公司在用，傳統(tǒng)企業(yè)掌握的比較弱，尤其是分布式軟件存儲(chǔ)系統(tǒng)。
可擴(kuò)展性和容錯(cuò)?？蓴U(kuò)展性，隨著服務(wù)器不停增加，集群規(guī)模不停增加。分布式系統(tǒng)對(duì)硬件要求不高，目前云計(jì)算主流應(yīng)用的是廉價(jià)的X86服務(wù)器，不能做到高可靠。分布式系統(tǒng)有很好的容錯(cuò)能力，允許硬件發(fā)生故障。
分布式系統(tǒng)做事務(wù)處理比較難。如果一個(gè)事務(wù)分布到多臺(tái)服務(wù)器上，或者在分布式并行的環(huán)境下，事務(wù)之間可能會(huì)有沖突。為保障系統(tǒng)的可用性、可靠性以及性能，在分布式系統(tǒng)中，往往會(huì)設(shè)置數(shù)據(jù)冗余，即對(duì)數(shù)據(jù)進(jìn)行復(fù)制。當(dāng)一個(gè)數(shù)據(jù)庫(kù)的副本被破環(huán)以后，那么系統(tǒng)只需要轉(zhuǎn)換到其他數(shù)據(jù)副本就能繼續(xù)運(yùn)行下去。當(dāng)訪問(wèn)單一服務(wù)器管理的數(shù)據(jù)進(jìn)程數(shù)不斷增加，系統(tǒng)就需要對(duì)服務(wù)器的數(shù)量進(jìn)行擴(kuò)充，此時(shí)，對(duì)服務(wù)器進(jìn)行復(fù)制，隨后讓它們分擔(dān)工作負(fù)荷，就可以提高性能。但同時(shí)，如何保障多個(gè)數(shù)據(jù)節(jié)點(diǎn)之間數(shù)據(jù)的一致以及如何處理分布式事務(wù)，將成為一個(gè)復(fù)雜的話(huà)題。
常見(jiàn)的事務(wù)處理機(jī)制有：
Master-Slave 復(fù)制、Master-Master 多主復(fù)制、兩階段提交（Two-phase commit，2PC）、三階段提交（Three-phase commit ，3PC）、Paxos算法等等。
分布式要遵循ACID四個(gè)原則，即A原子性、C一致性、I隔離性、D持久性。在涉及分布式環(huán)境時(shí)，這些原則都提高了難度。
傳統(tǒng)事務(wù)性系統(tǒng)偏單點(diǎn)，不好擴(kuò)展，有很多事務(wù)需要處理。分布式處理能力顯著增加。
為了保障性能和可靠性，將數(shù)據(jù)復(fù)制多份，分布到多個(gè)節(jié)點(diǎn)上，這就帶來(lái)了一個(gè)難點(diǎn)，如何保持各個(gè)部分?jǐn)?shù)據(jù)的一致性。CAP理論不可同時(shí)兼得這三種特征，也就是說(shuō)選擇了AP，就必須犧牲掉A。
一致性（Consistency）：所有節(jié)點(diǎn)同一時(shí)間看到是相同的數(shù)據(jù)；
可用性（Availability）：不管是否成功，確保每一個(gè)請(qǐng)求都能接收到響應(yīng)；
分區(qū)容錯(cuò)性（Partition tolerance）：系統(tǒng)任意分區(qū)后，在網(wǎng)絡(luò)故障時(shí)，仍能操作
擴(kuò)展到分布式存儲(chǔ)后，受限于分布式 C（一致性）A（可用性）P（分區(qū)容忍性）理論，幾乎不可能滿(mǎn)足完整的事務(wù)特性。 各種分布式存儲(chǔ)服務(wù)實(shí)現(xiàn)都對(duì)單機(jī)存儲(chǔ)的事務(wù)特性作了權(quán)衡取舍，滿(mǎn)足特定的服務(wù)場(chǎng)景需求。
分布式存儲(chǔ)系統(tǒng)是基于網(wǎng)絡(luò)互聯(lián)的，除了基本的磁盤(pán)訪問(wèn)性能開(kāi)銷(xiāo)，還多了網(wǎng)絡(luò)性能開(kāi)銷(xiāo)。 原本由磁陣控制程序負(fù)責(zé)的數(shù)據(jù)在磁盤(pán)中的分布、負(fù)載均衡策略和一致性保障， 在分布式存儲(chǔ)中都需要軟件在整個(gè)機(jī)器集群層面去考慮，復(fù)雜度大大提高。
目前主要是互聯(lián)網(wǎng)行業(yè)在應(yīng)用，這主要跟Google的推動(dòng)息息相關(guān)。Google做互聯(lián)網(wǎng)搜索業(yè)務(wù)起家，業(yè)務(wù)量非常大，搜索要存儲(chǔ)數(shù)據(jù)很多，同時(shí)請(qǐng)求很多。一開(kāi)始Google買(mǎi)不起高端的大型機(jī)、小型機(jī)，用廉價(jià)的X86 PC服務(wù)器組成集群。但同時(shí)，Google證明了新一代分布式計(jì)算技術(shù)，即云計(jì)算技術(shù)，可以處理大規(guī)模的計(jì)算請(qǐng)求。這是Google經(jīng)過(guò)長(zhǎng)時(shí)間探索形成的一個(gè)成熟的應(yīng)用。
傳統(tǒng)行業(yè)對(duì)分布式系統(tǒng)的應(yīng)用還很少，業(yè)務(wù)量沒(méi)那么大，主要靠高端硬件來(lái)保證可靠性穩(wěn)定性以及處理事務(wù)的機(jī)制。隨著傳統(tǒng)企業(yè)很多業(yè)務(wù)上云，很多傳統(tǒng)IT的做法無(wú)法帶來(lái)互聯(lián)網(wǎng)業(yè)務(wù)帶來(lái)的挑戰(zhàn)，比如流量的集中爆發(fā)，業(yè)務(wù)的快速迭代，敏捷的能力等等，將推動(dòng)分布式系統(tǒng)和技術(shù)的采用。
超融合本質(zhì)上是分布式系統(tǒng)的一種設(shè)計(jì)方式，分布式系統(tǒng)計(jì)算資源的一種設(shè)計(jì)方式。Google在早期數(shù)據(jù)中心都是X86服務(wù)器，當(dāng)時(shí)的做法是盡可能降低對(duì)硬件服務(wù)器的要求，用廉價(jià)的PC服務(wù)器，普通的硬盤(pán)。Google更多的做法是，Google軟件能力很強(qiáng)，設(shè)計(jì)軟件上的可擴(kuò)展性，比如數(shù)據(jù)中心擴(kuò)容，把Google各種分布式軟件系統(tǒng)裝上就行，比如內(nèi)部文件系統(tǒng)、任務(wù)調(diào)度系統(tǒng)等等。
超融合其實(shí)是對(duì)企業(yè)級(jí)客戶(hù)更有意義。傳統(tǒng)企業(yè)的數(shù)據(jù)中心IT規(guī)劃都是按照計(jì)算單元、網(wǎng)絡(luò)單元、存儲(chǔ)單元，擴(kuò)容的時(shí)候相對(duì)痛苦。超融合是說(shuō)把計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)都融合在一起。一個(gè)機(jī)架變成一個(gè)最小的數(shù)據(jù)中心計(jì)算單元，既有計(jì)算單元，又有網(wǎng)絡(luò)單元、存儲(chǔ)單元。這樣，擴(kuò)容時(shí)，擴(kuò)個(gè)機(jī)架就好，這樣就做到了數(shù)據(jù)中心計(jì)算能力的平行擴(kuò)展。
超融合是分布式計(jì)算資源的設(shè)計(jì)架構(gòu)，而不是應(yīng)用程序的設(shè)計(jì)架構(gòu)。互聯(lián)網(wǎng)公司很多基礎(chǔ)的應(yīng)用調(diào)度，計(jì)算能力調(diào)度，存儲(chǔ)，互聯(lián)網(wǎng)公司是拿軟件自行實(shí)現(xiàn)的，不會(huì)用到超融合技術(shù)。
分布式系統(tǒng)弱化了對(duì)硬件的管理，強(qiáng)化軟件的管理。對(duì)企業(yè)數(shù)據(jù)中心帶來(lái)很大的挑戰(zhàn)，傳統(tǒng)企業(yè)數(shù)據(jù)中心是面向資源管理，管理高端的硬件。比如數(shù)據(jù)中心的運(yùn)維管理是面向資源管理，傳統(tǒng)軟件在部署時(shí)，都是面向靜態(tài)的管理模式。一個(gè)服務(wù)器上部署哪些應(yīng)用都是固定的?，F(xiàn)在分布式系統(tǒng)后，對(duì)硬件管理弱化，對(duì)軟件管理極度強(qiáng)化。比如，軟件必須是分布式，調(diào)度都是它來(lái)調(diào)度。對(duì)于分布式系統(tǒng)，困難在于，企業(yè)相應(yīng)的軟件的能力要跟得上。企業(yè)的分布式系統(tǒng)管理，云上的調(diào)度，都是分布式調(diào)度。
分布式系統(tǒng)本質(zhì)上會(huì)提升開(kāi)發(fā)效率，有很強(qiáng)的容錯(cuò)能力和可擴(kuò)展性。在開(kāi)發(fā)上增量迭代。微服務(wù)對(duì)整個(gè)系統(tǒng)的影響都是非常局部和有限的。分布式系統(tǒng)每次上線(xiàn)，做增量的上線(xiàn)，只需要修改一小部分，保證對(duì)外提供的服務(wù)是可用的，而不會(huì)造成停服務(wù)中心。這是可擴(kuò)展性方面的優(yōu)點(diǎn)。
分布式系統(tǒng)在開(kāi)發(fā)上帶來(lái)的問(wèn)題是，對(duì)開(kāi)發(fā)的難度加大了?；ヂ?lián)網(wǎng)公司有專(zhuān)門(mén)的架構(gòu)師團(tuán)隊(duì)，解決分布式系統(tǒng)底層的基礎(chǔ)架構(gòu)，比如在什么樣的開(kāi)發(fā)架構(gòu)下開(kāi)發(fā)分布式應(yīng)用。開(kāi)發(fā)架構(gòu)解決分布式系統(tǒng)常見(jiàn)的一些問(wèn)題，比如互相通訊的問(wèn)題，冗余的問(wèn)題，容錯(cuò)的問(wèn)題。這不是分布式系統(tǒng)做應(yīng)用開(kāi)發(fā)要解決的，而是要提供應(yīng)用的分布式開(kāi)發(fā)框架來(lái)解決這些問(wèn)題。目前，互聯(lián)網(wǎng)公司內(nèi)部都有一套相對(duì)成熟的分布式系統(tǒng)的開(kāi)發(fā)框架，以及基于這個(gè)開(kāi)發(fā)框架開(kāi)發(fā)出來(lái)的應(yīng)用，一系列測(cè)試的流程，和管理的平臺(tái)工具等等。
對(duì)企業(yè)客戶(hù)來(lái)講，單純實(shí)現(xiàn)分布式開(kāi)發(fā)，基于某個(gè)開(kāi)源框架實(shí)現(xiàn)分布式開(kāi)發(fā)還遠(yuǎn)遠(yuǎn)不夠。還需要自動(dòng)化分布式系統(tǒng)的測(cè)試流程，分布式系統(tǒng)線(xiàn)上運(yùn)行時(shí)管理的一些工具平臺(tái)建設(shè)起來(lái)。
數(shù)人云基于微服務(wù)開(kāi)發(fā)框架，打造了一整套端到端的解決方案。給企業(yè)客戶(hù)提供最主流開(kāi)發(fā)框架Spring Cloud，企業(yè)客戶(hù)在做開(kāi)發(fā)時(shí)，可以基于Spring cloud做Java的開(kāi)發(fā)應(yīng)用。但是，Spring Cloud開(kāi)發(fā)框架，僅僅幫助企業(yè)解決了一部分問(wèn)題。本身還有很多缺失，比如自動(dòng)化測(cè)試，運(yùn)行時(shí)管理能力也比較弱?；叶劝l(fā)布時(shí)，系統(tǒng)更新保證不停服不停機(jī)等都還比較弱。
數(shù)人云EAMS產(chǎn)品體系，能夠給客戶(hù)提供包括開(kāi)發(fā)框架、周邊配套工具鏈，比如服務(wù)注冊(cè)、服務(wù)發(fā)現(xiàn)、API網(wǎng)關(guān)、負(fù)載均衡、服務(wù)治理、配置中心、監(jiān)控管理等一整套微服務(wù)化體系。幫助客戶(hù)降低微服務(wù)架構(gòu)的使用門(mén)檻。企業(yè)用戶(hù)在做SpringCloud做開(kāi)發(fā)時(shí)，可以少考慮未來(lái)程序運(yùn)行時(shí)管理的一些問(wèn)題，進(jìn)而進(jìn)一步降低企業(yè)客戶(hù)上云的門(mén)檻。
分布式技術(shù)的未來(lái)方向肯定朝著更加自動(dòng)化，成熟易用穩(wěn)定的方向發(fā)展。Spring Cloud是微服務(wù)應(yīng)用的開(kāi)發(fā)框架，k8S是容器自動(dòng)化的調(diào)度平臺(tái)，這都是有代表性的一些開(kāi)源技術(shù)。
分布式存儲(chǔ)，處理事務(wù)性的技術(shù)等目前來(lái)講都相對(duì)較新。未來(lái)這些技術(shù)會(huì)更加成熟穩(wěn)定，企業(yè)的使用門(mén)檻大大降低。
跨界與融合、機(jī)遇與挑戰(zhàn)、個(gè)人與企業(yè)、現(xiàn)在與未來(lái)。讓各行業(yè)、企業(yè)，以及每一個(gè)向未來(lái)而努力的人，聽(tīng)見(jiàn)時(shí)代最前沿的聲音，見(jiàn)證成長(zhǎng)！
聯(lián)系客服
