網(wǎng)上關(guān)于Apache+JK+Tomcat的集群配置例子很多，按著例子配置下來，基本都能運行，不過，在一些重要的地方卻沒有進一步的說明。這次公司一個產(chǎn)品就是采用Apache+JK+Tomcat集群，在整個配置、測試過程中，遇到了許多的問題，經(jīng)過不斷測試、摸索，最后總算是搞定了，性能也達到了預(yù)期的目標(biāo)。針對網(wǎng)上的例子，感覺有必要再詳細的介紹一下我的配置過程，對一些要特別注意的地方進行補充。
集群有別于分布式的解決方案，它采用的是每臺服務(wù)器運行相同應(yīng)用的策略，由負責(zé)平衡的服務(wù)器進行分流，這對提高整個系統(tǒng)的并發(fā)量及吞吐量是更有效的辦法。而集群對請求的處理又有兩種不同的方式：負載平衡、狀態(tài)復(fù)制(即集群)，狀態(tài)復(fù)制需要在各服務(wù)器間復(fù)制應(yīng)用狀態(tài)，而負載平衡則不用，每臺服務(wù)器都是獨立的。實踐證明，在各應(yīng)用服務(wù)器之間不需要狀態(tài)復(fù)制的情況下，負載平衡可以達到性能的線性增長及更高的并發(fā)需求。
對于集群的其它基礎(chǔ)知識，在此就不再贅述。以下就這次Apache+JK+Tomcat的負載平衡配置進行總結(jié)，重點關(guān)注整個配置及注意事項。
準(zhǔn)備軟件
1、Tomcat或JBoss（本文檔中采用的是JBoss4.0.2）；
2、apache2.0.54是開源的Web服務(wù)器，下載地址為： http://www.apache.org/dist/httpd/binaries/ ；
3、mod_jk-1.2.14-apache-2.0.54.so模塊,jk是mod_jserv的替代者，它是Tomcat-Apache插件，為Apache和Tomcat的連接器，處理Tomcat和Apache之間的通信，在集群配置中充當(dāng)負載均衡器的作用，當(dāng)前的最新版本為1.2.15，不過不同JK版本與不同的Apache版本之間的搭配有一些差異，有的甚至配不起來。JK2是符合apache2.x系列的新品，但由于其配置太過麻煩，使用的人很少，所以目前已停止開發(fā)，所以我們采用了jk連接器，下載地址： http://www.apache.org/dist/tomcat/tomcat-connectors/jk/binaries/ 。
集群與負載平衡
使用mod_jk默認(rèn)的以輪循方式進行平衡負載，假設(shè)有四個服務(wù)器節(jié)點，有10個請求，則四個節(jié)點分別接受請求編號如下：
而集群方式也是使用這種方法進行平衡。Tomcat中的集群原理是通過組播的方式進行節(jié)點的查找并使用TCP連接進行會話的復(fù)制。
集群不同于負載平衡的是，由于集群服務(wù)需要在處理請求之間不斷地進行會話復(fù)制，復(fù)制后的會話將會慢慢變得龐大，因此它的資源占用率是非常高的，如果在并發(fā)量大的應(yīng)用中，復(fù)制的會話大小會變得相當(dāng)大，而使用的總內(nèi)存更是會迅速升高。
但集群的會話復(fù)制，增加了系統(tǒng)的高可用性。由于在每臺服務(wù)器都保存有用戶的Session信息，如果服務(wù)器群中某臺當(dāng)機，應(yīng)用可以自動切換到其它服務(wù)器上繼續(xù)運行，而用戶的信息不會丟失，這提高了應(yīng)用的冗錯性。
具體采用負載平衡還是集群，這要看應(yīng)用的需求了。
安裝配置Apache
1、下載Apache的安裝程序apache_2.0.54-win32-x86-no_ssl.exe后，安裝很簡單，一路回車，就此略過。
2、安裝完畢后，將下載的mod_jk-1.2.14-apache-2.0.54.so復(fù)制到Apache安裝目錄下的modules子目錄中。
3、然后進入Apache安裝目錄下的conf子目錄中，打開httpd.conf配置文件，在最后插入以下一行：
Include conf/mod_jk.conf
以上指令的目的為加載JK模塊的配置文件，當(dāng)然，你也可以直接將JK配置文件直接寫在此處，但前者思路更加清晰。
4、在conf子目錄下，建立一個新的配置文件：mod_jk.conf，此文件為Apache加載連接器的配置文件，文件名可修改，但要與httpd.conf中Include的文件名一致，內(nèi)容如下：
# Load mod_jk module. Specify the filename
# of the mod_jk lib you’ve downloaded and
# installed in the previous section
LoadModule jk_module modules/mod_jk-1.2.14-apache-2.0.54.so
# Where to find workers.properties
JkWorkersFile conf/workers2.properties
# Where to put jk logs
JkLogFile logs/mod_jk.log
# Set the jk log level [debug/error/info]
JkLogLevel info
# Select the log format
JkLogStampFormat "[%a %b %d %H:%M:%S %Y] "
# JkOptions indicate to send SSL KEY SIZE,
JkOptions +ForwardKeySize +ForwardURICompat -ForwardDirectories
# JkRequestLogFormat set the request format
JkRequestLogFormat "%w %V %T"
# 請求分發(fā)配置，可以配置多項
JkMount /* loadbalancer
# 關(guān)掉主機Lookup，如果為on，很影響性能，可以有10多秒鐘的延遲。
HostnameLookups Off
5、在conf子目錄下，建立一個新的配置文件：workers2.properties，此文件為負載平衡的配置文件，文件名不能修改，這是JK默認(rèn)的名字，內(nèi)容如下：
worker.list=loadbalancer
# Define the first node...
worker.server99.port=8009
worker.server99.host=192.168.11.99
worker.server99.type=ajp13
worker.server99.lbfactor=1
worker.server99.local_worker=1
worker.server99.cachesize=1000
worker.server99.cache_timeout=600
worker.server99.socket_keepalive=1
worker.server99.socket_timeout=0
worker.server99.reclycle_timeout=300
worker.server99.retries=3
# Define the second node...
worker.server202.port=8009
worker.server202.host=192.168.11.202
worker.server202.type=ajp13
worker.server202.lbfactor=1
worker.server202.local_worker=1
worker.server202.cachesize=1000
worker.server202.cache_timeout=600
worker.server202.socket_keepalive=1
worker.server202.socket_timeout=0
worker.server202.reclycle_timeout=300
worker.server202.retries=3
# Now we define the load-balancing behaviour
worker.loadbalancer.type=lb
worker.retries=3
worker.loadbalancer.balance_workers=server99 ,server202
worker.loadbalancer.sticky_session=true
worker.loadbalancer.sticky_session_force=true
注：以上定義了兩個worker，一個為server99，另一個為server202，定義了一個負載平衡服務(wù)器loadbalancer，相關(guān)的詳細說明可以看官方的網(wǎng)站文檔： http://tomcat.apache.org/connectors-doc/ ，其它節(jié)點的定義可以直接Copy，修改一下節(jié)點名及IP就好了。下面對各指令做詳細的說明：
worker.list=loadbalancer：設(shè)定工作的負載平衡器，各Tomcat節(jié)點不能加入此列表。worker.server99.lbfactor：負載平衡的權(quán)重比，如果此權(quán)重比越大，則分配到此節(jié)點的請求越多，如以上兩個節(jié)點的權(quán)重比為1:1，則為平均分配。worker.loadbalancer.balance_workers=server99,server202：指定此負載平衡器負責(zé)的Tomcat應(yīng)用節(jié)點。worker.loadbalancer.sticky_session=true：此處指定集群是否需要會話復(fù)制，如果設(shè)為true，則表明為會話粘性，不進行會話復(fù)制，當(dāng)某用戶的請求第一次分發(fā)到哪臺Tomcat后，后繼的請求會一直分發(fā)到此Tomcat服務(wù)器上處理；如果設(shè)為false，則表明需求會話復(fù)制。worker.loadbalancer.sticky_session_force=true：如果上面的sticky_session設(shè)為true時，建議此處也設(shè)為true，此參數(shù)表明如果集群中某臺Tomcat服務(wù)器在多次請求沒有響應(yīng)后，是否將當(dāng)前的請求，轉(zhuǎn)發(fā)到其它Tomcat服務(wù)器上處理；此參數(shù)在sticky_session=true時，影響比較大，會導(dǎo)致轉(zhuǎn)發(fā)到其它Tomcat服務(wù)器上的請求，找不到原來的session，所以如果此時請求中有讀取session中某些信息的話，就會導(dǎo)致應(yīng)用的null異常。
6、Apache服務(wù)器的配置文件httpd.conf中，默認(rèn)有三個參數(shù)對性能的影響比較大，但根據(jù)不同的性能要求，參數(shù)的表現(xiàn)又不一樣，太小并發(fā)提不上去，太大性能反而不好，建議根據(jù)項目的需要，實際做個測試，如并發(fā)要求800的話，可以設(shè)定為：
# 一個連接的最大請求數(shù)量
MaxKeepAliveRequests 1000（值為0，則不限制數(shù)量）
# 每個進程的線程數(shù)，最大1920。NT只啟動父子兩個進程，不能設(shè)置啟動多個進程
ThreadsPerChild 1000（最大為1920）
# 每個子進程能夠處理的最大請求數(shù)
MaxRequestsPerChild 1000（值為0，則不限制數(shù)量）
這三個參數(shù)要根據(jù)不同的需求，不同的服務(wù)器進行調(diào)整。
安裝配置Tomcat或JBoss
1、對于Tomcat或JBoss的安裝，這里不做說明，目前我們是采用Apache+JBoss，不過，JBoss也是用的Tomcat，所以這里的配置也是適合Tomcat的；
2、對于JBoss的配置，很簡單，只需要改兩個地方就可以了：
進入jboss-4.0.2\server\default\deploy\jbossweb-tomcat55.sar，打開server.xml，大約在第32行左右，有，在其中加入一個參數(shù)，變?yōu)椋哼M入jboss-4.0.2\server\default\deploy\jbossweb-tomcat55.sar\META-INF目錄，打開jboss-service.xml，大約在110行，有false，將其改為：true
這里有一個需要特別注意的地方，JBoss的Tomcat中，關(guān)于AJP連接協(xié)議的默認(rèn)配置，對于大并發(fā)量是不夠用的，要做一些修改，進入jboss-4.0.2\server\default\deploy\jbossweb-tomcat55.sar，打開server.xml，找到的地方，這里是定義AJP連接器的地方，它的配置中沒有maxThreads項，默認(rèn)為200，我們可以做修改：
emptySessionPath="true" enableLookups="false" redirectPort="8443" protocol="AJP/1.3" maxThreads="3000" />
maxThreads的值要看你的并發(fā)量多大，設(shè)置太大也不好。
運行
至此，整個配置全部完成，注意一點是，在各JBoss節(jié)點，重啟或新增加一個JBoss節(jié)點時，需要重新啟動Apache，而對于服務(wù)器群中某個JBoss節(jié)點shutdown，Apache會自動偵測，不用重新啟動。
如果在運行過程中，群中的某個JBoss節(jié)點shutdown，則已登錄到此服務(wù)器上的用戶的請求將出錯，此服務(wù)器負責(zé)的session將丟失，但Apache會自動偵測到此服務(wù)器已shutdown，后繼的新請求將不會再引導(dǎo)到此節(jié)點。
對于負責(zé)請求分發(fā)的Apache服務(wù)器，需要消耗大量的CPU資源，因此如果在測試過程中出現(xiàn)一些Service Temporarily Unavailable或Server has shut down the connection prematurely這樣的錯誤，這一般都是服務(wù)器配置不夠好引起的，或者是Apache、Tomcat、及應(yīng)用中的某些配置不夠使用，這時候就要考慮換更好的機器或優(yōu)化應(yīng)用中的配置。
常見問題
1、cannot connect to server：無法連接到服務(wù)器。這種情況是服務(wù)器的配置有問題，服務(wù)器無法承受過多的并發(fā)連接了，需要優(yōu)化服務(wù)器的配置：
如操作系統(tǒng)采用更高版本，如windows 2003 server，優(yōu)化tomcat配置：maxThreads="500" minSpareThreads="400" maxSpareThreads="450" 但是tomcat 最多支持500個并發(fā)訪問優(yōu)化apache配置：ThreadsPerChild 1900, MaxRequestsPerChild 10000
2、 Action.c(10): Error -27791: Server has shut down the connection prematurely HTTP Status-Code=503 (Service Temporarily Unavailable)：一般都是由于服務(wù)器配置不夠好引起的，需要優(yōu)化硬件和調(diào)整程序了。
3、無法處理請求：當(dāng)我們輸入 ***.do 命令后，apache卻返回錯誤信息，而連接tomcat卻沒有問題。原因是沒有把.do命令轉(zhuǎn)發(fā)給tomcat處理。解決方法為在apache配置文件中配置如下內(nèi)容：
JkMount /*.jsp loadbalancer
JkMount /*.do loadbalancer
聯(lián)系客服
