千萬級的注冊用戶,千萬級的帖子,nTB級的附件,還有巨大的日訪問量,大型網(wǎng)站采用什么系統(tǒng)架構(gòu)保證性能和穩(wěn)定性?
首先討論一下大型網(wǎng)站需要注意和考慮的問題。
接下來討論大型網(wǎng)站的底層系統(tǒng)架構(gòu),來有效的解決上述問題。
毋庸置疑,對于規(guī)模稍大的網(wǎng)站來說,其背后必然是一個(gè)服務(wù)器集群來提供網(wǎng)站服務(wù),例如,2004年eBay的服務(wù)器有2400臺(tái),估計(jì)現(xiàn)在更多。當(dāng)然,數(shù)據(jù)庫也必然要和應(yīng)用服務(wù)分開,有單獨(dú)的數(shù)據(jù)庫服務(wù)器集群。對于像淘寶網(wǎng)這樣規(guī)模的網(wǎng)站而言,就是應(yīng)用也分成很多組。
下面,就從服務(wù)器操作系統(tǒng)與Web服務(wù)器、數(shù)據(jù)庫、服務(wù)器集群與負(fù)載均衡、緩存、獨(dú)立的圖片服務(wù)器、其它等幾個(gè)方面來分析大型網(wǎng)站的系統(tǒng)架構(gòu)。
服務(wù)器操作系統(tǒng)與Web服務(wù)器
最底層首先是操作系統(tǒng)。好的操作系統(tǒng)能提高好的性能、穩(wěn)定性和安全性,而這些對大型網(wǎng)站的性能、安全性和穩(wěn)定性都是至關(guān)重要的。
由此可見,開源操作系統(tǒng)做Web應(yīng)用是首選已經(jīng)是一個(gè)既定事實(shí)。在開源操作系統(tǒng)中Linux和FreeBSD差不太多,很難說哪個(gè)一定比另外一個(gè)要優(yōu)秀很多、能夠全面的超越對手,應(yīng)該是各有所長。但熟悉Linux的技術(shù)人員更多些,利于系統(tǒng)管理、優(yōu)化等,所以Linux使用更廣泛。而Windows Server和IIS雖然有的網(wǎng)站使用,但不開源,而且需要購買微軟的一系列應(yīng)用產(chǎn)品,限制了其使用??傊_源操作系統(tǒng),尤其是Linux做Web應(yīng)用是首選已經(jīng)是一個(gè)既定事實(shí)。
常用的系統(tǒng)架構(gòu)是:
數(shù)據(jù)庫
因?yàn)槭乔f人同時(shí)訪問的網(wǎng)站,所以一般是有很多個(gè)數(shù)據(jù)庫同時(shí)工作的,說明白一點(diǎn)就是數(shù)據(jù)庫集群和并發(fā)控制,數(shù)據(jù)分布到地理位置不同的數(shù)據(jù)中心,以免發(fā)生斷電事故。
主流的數(shù)據(jù)庫有Sun的是MySQL和Oracle。
Oracle是一款優(yōu)秀的、廣泛采用的商業(yè)數(shù)據(jù)庫管理軟件。有很強(qiáng)大的功能和安全性,可以處理相對海量的數(shù)據(jù)。而MySQL是一款非常優(yōu)秀的開源數(shù)據(jù)庫管理軟件,非常適合用多臺(tái)PC Server組成多點(diǎn)的存儲(chǔ)節(jié)點(diǎn)陣列(這里我所指的不是MySQL自身提供的集群功能),每單位的數(shù)據(jù)存儲(chǔ)成本也非常的低廉。用多臺(tái)PC Server安裝MySQL組成一個(gè)存儲(chǔ)節(jié)點(diǎn)陣列,通過MySQL自身的Replication或者應(yīng)用自身的處理,可以很好的保證容錯(cuò)(允許部分節(jié)點(diǎn)失效),保證應(yīng)用的健壯性和可靠性??梢赃@么說,在關(guān)系數(shù)據(jù)庫管理系統(tǒng)的選擇上,可以考慮應(yīng)用本身的情況來決定。
MySQL數(shù)據(jù)庫服務(wù)器的master-slave模式,利用數(shù)據(jù)庫服務(wù)器在主從服務(wù)器間進(jìn)行同步,應(yīng)用只把數(shù)據(jù)寫到主服務(wù)器,而讀數(shù)據(jù)時(shí)則根據(jù)負(fù)載選擇一臺(tái)從服務(wù)器或者主服務(wù)器來讀取,將數(shù)據(jù)按不同策略劃分到不同的服務(wù)器(組)上,分散數(shù)據(jù)庫壓力。
服務(wù)器集群與負(fù)載均衡
服務(wù)器群集中每個(gè)服務(wù)結(jié)點(diǎn)運(yùn)行一個(gè)所需服務(wù)器程序的獨(dú)立拷貝,而網(wǎng)絡(luò)負(fù)載均衡則將工作負(fù)載在這些主機(jī)間進(jìn)行分配。負(fù)載均衡建立在現(xiàn)有網(wǎng)絡(luò)結(jié)構(gòu)之上,它提供了一種廉價(jià)有效的方法擴(kuò)展服務(wù)器帶寬和增加吞吐量,加強(qiáng)網(wǎng)絡(luò)數(shù)據(jù)處理能力,提高網(wǎng)絡(luò)的靈活性和可用性。它主要完成以下任務(wù):解決網(wǎng)絡(luò)擁塞問題,服務(wù)就近提供,實(shí)現(xiàn)地理位置無關(guān)性 ;為用戶提供更好的訪問質(zhì)量;提高服務(wù)器響應(yīng)速度;提高服務(wù)器及其他資源的利用效率;避免了網(wǎng)絡(luò)關(guān)鍵部位出現(xiàn)單點(diǎn)失效。
常用的服務(wù)器集群和數(shù)據(jù)庫集群負(fù)載均衡實(shí)現(xiàn)方法:
緩存
眾所周知,使用緩存能有效應(yīng)對大負(fù)載,減少數(shù)據(jù)庫的壓力,并顯著提高多層應(yīng)用程序的性能,如果某個(gè)用戶多次請求同一資源,則可以從緩存返回該資源,從而避免了重新從服務(wù)器或數(shù)據(jù)庫請求該資源而產(chǎn)生的系統(tǒng)開銷。緩存可以通過減少獲取請求的資源所需的時(shí)間,提高應(yīng)用程序性能。緩存還可以通過減少到服務(wù)器的往返次數(shù),降低網(wǎng)絡(luò)通信量。盡管緩存可以提高性能,但它也增加了返回到應(yīng)用程序的資源可能變得陳舊的風(fēng)險(xiǎn)。這意味著,返回的資源可能與假設(shè)沒有使用緩存的情況下,服務(wù)器有可能發(fā)送的資源并不完全相同(即取得“臟數(shù)據(jù)”)。
即便如此,簡單的緩存策略也能大大提升網(wǎng)站性能。例如,Youtube把首頁最新的視頻列表緩存60秒,也就是說60秒內(nèi)并發(fā)的request都是從緩存讀取的,大大減少了數(shù)據(jù)庫壓力。再加上CDN,使得Youtube首頁的并發(fā)訪問速度很快。
單機(jī)內(nèi)存緩存、文件緩存、數(shù)據(jù)庫緩存等的策略都是可以很簡單的實(shí)現(xiàn)的,例如可以使用微軟的Caching Application Block,但如何在集群環(huán)境中使多個(gè)緩存、多層緩存并保存同步是個(gè)重大問題。大型網(wǎng)站一般都使用緩存服務(wù)器群,并使用多層緩存。業(yè)內(nèi)最常用的有:
獨(dú)立的圖片服務(wù)器
無論從管理上,還是從性能上看,只要有可能,盡量部署獨(dú)立的圖片服務(wù)器。這幾乎成為常識了。具備獨(dú)立的圖片服務(wù)器或者服務(wù)器集群后,在 Web 服務(wù)器上就可以有針對性的進(jìn)行配置優(yōu)化。
其他
一個(gè)互聯(lián)網(wǎng)應(yīng)用,除了服務(wù)器的操作系統(tǒng),Web Server軟件,應(yīng)用服務(wù)器軟件,數(shù)據(jù)庫軟件外,我們還會(huì)涉及到一些其他的系統(tǒng),比如一些中間件系統(tǒng)、文件存儲(chǔ)系統(tǒng)(圖片服務(wù)器,視頻服務(wù)器,管理服務(wù)器,RSS和廣告服務(wù)器等等)、全文檢索、搜索、等等。會(huì)在以后介紹。
來自:http://www.cnblogs.com/Mainz/archive/2009/04/28/1445424.html
聯(lián)系客服