某公司網(wǎng)站架構(gòu)設(shè)計(jì)方案真實(shí)案例

1、公開 內(nèi)部公開機(jī)密 絕密 DATE M/d/yyyy 10/4/2022版權(quán)所有，侵權(quán)必究All rights reserved第 -10-25版權(quán)所有，侵權(quán)必究All rights reserved第65頁,共65頁P(yáng)age PAGE65 , Total NUMPAGES 65測(cè)試結(jié)果分分析系統(tǒng)參數(shù)的的影響分分析workeer_pproccessses 參數(shù)對(duì)對(duì)Nginnx性能能的影響響測(cè)試過程中中分別設(shè)設(shè)定woorkeer_pproccessses為為8、44、2、11時(shí)發(fā)現(xiàn)現(xiàn)，該參參數(shù)對(duì)nnginnx性能能影響不不大，對(duì)對(duì)服務(wù)器器資源消消耗也沒沒有太大大影響，相相關(guān)資料料顯示，該該參數(shù)的

2、的值最好好跟cppu核數(shù)數(shù)相等，能能夠發(fā)揮揮最大性性能，本本次測(cè)試試ngiinx所所在服務(wù)務(wù)器為22顆雙核核cpuu，因此此最終測(cè)測(cè)試設(shè)定定為4。MaxThhreaad參數(shù)數(shù)對(duì)toomcaat并發(fā)發(fā)性的影影響本次測(cè)試ttomccat的的 MaaxThhreaad參數(shù)數(shù)設(shè)定為為5000，進(jìn)行行130000條條/秒并并發(fā)測(cè)試試時(shí)，ttomccat啟啟動(dòng)并發(fā)發(fā)線程過過多，將將服務(wù)器器cpuu耗盡。分分析MaaxThhreaad雖能能夠提高高tommcatt并發(fā)能能力，但但前提是是在一個(gè)個(gè)合理的的范圍內(nèi)內(nèi)，要確確保服務(wù)務(wù)器負(fù)載載不會(huì)因因?yàn)椴l(fā)發(fā)線程過過多而急急劇升高高，從而而停止響響應(yīng)。-Xmx最最大

3、內(nèi)存存值對(duì)TTomccat能能夠持續(xù)續(xù)響應(yīng)高高并發(fā)的的影響持續(xù)高并發(fā)發(fā)請(qǐng)求狀狀態(tài)下，有有6次測(cè)測(cè)試是因因?yàn)閠oomcaat內(nèi)存存達(dá)到指指定最大大值導(dǎo)致致響應(yīng)變變慢，直直至內(nèi)存存溢出停停止響應(yīng)應(yīng)，因此此，Toomcaat最大大內(nèi)存對(duì)對(duì)tommcatt能夠持持續(xù)響應(yīng)應(yīng)高并發(fā)發(fā)請(qǐng)求有有很大的的影響，調(diào)調(diào)整該值值，應(yīng)該該可以增增加Toomcaat響應(yīng)應(yīng)高并發(fā)發(fā)請(qǐng)求的的總數(shù)，進(jìn)進(jìn)而延長(zhǎng)長(zhǎng)WEBB服務(wù)能能夠支撐撐峰值的的時(shí)間。各架構(gòu)下的的性能分分析Nginxx+2TTomccat的的最大并并發(fā)性低低于單TTomccat，NNginnx+22Tommcatt最快為為89880條/秒，單單Tommcatt為1

4、229866條/秒秒，分析析可能是是受ngginxx所在服服務(wù)器性性能影響響所致。單tomccat在在配置11.7gg最大內(nèi)內(nèi)存時(shí)，在在持續(xù)超超過14479條條/秒的的并發(fā)請(qǐng)請(qǐng)求下，在在穩(wěn)定支支撐約2240萬萬次響應(yīng)應(yīng)后，TTomccat內(nèi)內(nèi)存達(dá)到到1.77上限，之之后Toomcaat響應(yīng)應(yīng)會(huì)急劇劇變慢，錯(cuò)錯(cuò)包急劇劇上升。Nginxx+2ttomccat架架構(gòu)下，22個(gè)toomcaat分別別配置11.7gg最大內(nèi)內(nèi)存時(shí)，在在持續(xù)超超過29900條條/秒的的并發(fā)請(qǐng)請(qǐng)求下，能能夠穩(wěn)定定支撐約約5400萬次左左右響應(yīng)應(yīng)，之后后兩個(gè)TTomccat內(nèi)內(nèi)存都會(huì)會(huì)達(dá)到11.7上上限，響響應(yīng)會(huì)急急劇變慢慢，

5、但錯(cuò)錯(cuò)包情況況并未出出現(xiàn)。在Nginnx+22tommcatt，同時(shí)時(shí)配置了了緩存的的情況下下，可以以達(dá)到11.5萬萬以上的的并發(fā)處處理能力力評(píng)測(cè)結(jié)果單個(gè)tommcatt的處理理能力在在5000條/秒秒左右單個(gè)tommcatt能穩(wěn)定定支持每每秒5000左右右的并發(fā)發(fā)請(qǐng)求。Nginxx+Toomcaat比單單個(gè)Toomcaat更穩(wěn)穩(wěn)定，不不易出現(xiàn)現(xiàn)錯(cuò)包，可可以通過過擴(kuò)充ttomccat集集群（新新增toomcaat服務(wù)務(wù)器）來來提升系系統(tǒng)的并并發(fā)能力力單個(gè)tommcatt在超出出并發(fā)能能力的提提求下，處處理能力力大大下下降，并并出現(xiàn)大大量錯(cuò)包包，而采采用Ngginxx+2TTomccat架架構(gòu)在

6、各各種測(cè)試試下，均均未出現(xiàn)現(xiàn)錯(cuò)包，但但處理能能力也會(huì)會(huì)下降。單個(gè)tommcatt能穩(wěn)定定支持每每秒5000左右右的并發(fā)發(fā)請(qǐng)求，而而Ngiinx+2Toomcaat能支支持每秒秒10000左右右的并發(fā)發(fā)請(qǐng)求。所所以可以以通過新新加toomcaat服務(wù)務(wù)器來提提升系統(tǒng)統(tǒng)的并發(fā)發(fā)能力，但但在toomcaat的總總體處理理能力超超過ngginxx的處理理能力時(shí)時(shí)無效。Nginxx+2TTomccat配配置了緩緩存后，靜靜態(tài)頁面面的并發(fā)發(fā)能力不不再受ttomccat的的限制，單單個(gè)ngginxx的并發(fā)發(fā)處理能能力能達(dá)達(dá)到1.5萬以以上。配置了緩存存后，nnginnx+22tommcatt的處理理能力實(shí)實(shí)

7、測(cè)數(shù)據(jù)據(jù)超過了了1.55萬次/秒，而而單個(gè)ttomccat可可以支撐撐5000次/秒秒，則從從理論上上計(jì)算一一組Ngginxx+300個(gè)Tommcatt集群可可以支撐撐1.55萬次/秒的并并發(fā)處理理。注：為toomcaat均分分配1.7G內(nèi)內(nèi)存。配置選型網(wǎng)絡(luò)帶寬只考慮門戶戶訪問的的帶寬占占用，后后臺(tái)管理理頁面等等其他業(yè)業(yè)務(wù)訪問問與門戶戶訪問相相差2-3個(gè)數(shù)數(shù)量級(jí)，這這一部分分網(wǎng)絡(luò)流流量占用用忽略。同同時(shí)考慮慮網(wǎng)絡(luò)帶帶寬利用用率（770%）根據(jù)業(yè)務(wù)設(shè)設(shè)計(jì)能力力，每秒秒網(wǎng)絡(luò)流流量=WWEB網(wǎng)網(wǎng)站每秒秒鐘訪問問流量=（每次訪訪問占用用的帶寬寬每秒訪訪問次數(shù)數(shù)）/帶帶寬利用用率=(2000K*88*n

8、)/0.7注：一般門門戶的首首頁大小小1MM、平均均2000K/頁頁面，我我們以平平均值來來計(jì)算。并發(fā)能力占用的網(wǎng)絡(luò)絡(luò)帶寬100次/秒228 MM200次/秒457 MM500次/秒1442 M1000次次/秒2286 M架構(gòu)和硬件件配置選選型硬件配置參參考序號(hào)產(chǎn)品功能參考型號(hào)、配配置TPMC1主機(jī)設(shè)備1.1數(shù)據(jù)庫服務(wù)務(wù)器IBM SSysttem x38850 M2, 4個(gè)個(gè)處理器器，每處處理器為為6核，共共計(jì)244核。內(nèi)內(nèi)存大小小16GG。SAAS硬盤盤，硬盤盤大小5587 GB。44U 機(jī)機(jī)架，集集成雙千千兆以太太網(wǎng)接口口，兩塊塊千兆的的光纖網(wǎng)網(wǎng)卡。68450081.2WEB服務(wù)務(wù)器IBM

9、 SSysttem x38850 M2, 4個(gè)個(gè)處理器器，每處處理器為為6核，共共計(jì)244核。內(nèi)內(nèi)存大于于8G。SSAS硬硬盤，硬硬盤大小小5877 GBB。4UU 機(jī)架架，集成成雙千兆兆以太網(wǎng)網(wǎng)接口，兩兩塊千兆兆的光纖纖網(wǎng)卡。68450081.3管理終端IBM SSysttem x35560，11個(gè)Inntell Xeeon E54450處處理器，內(nèi)內(nèi)存大小小2G，22U機(jī)架架。3260002網(wǎng)絡(luò)設(shè)備2.1負(fù)載均衡器器RADWAARE應(yīng)應(yīng)用負(fù)載載均衡設(shè)設(shè)備,型型號(hào):為為ODSS-5004,有有，4個(gè)個(gè)可選的的千兆位位電端口口,1GG主內(nèi)存存,5000M處處理能力力(最大大可通過過Liccen

10、sse升級(jí)級(jí)為4GG)2.2防火墻CISCOO ASSA55520防防火墻并并發(fā)連接接：28800000網(wǎng)絡(luò)絡(luò)吞吐：4500安全過過濾：2225MMB網(wǎng)絡(luò)絡(luò)端口：4個(gè)千千兆以太太網(wǎng)接口口+1個(gè)個(gè)快速用用戶數(shù)限限：無用用戶數(shù)限限制用戶戶VPNN支持：支持2.2交換機(jī)Quidwway S39952PP-EII傳輸速速率：110Mbbps/1000Mbpps/110000Mbpps網(wǎng)絡(luò)絡(luò)標(biāo)準(zhǔn)：IEEEE 8802.1Q、IIEEEE 8002.11D端口口數(shù)量：48接接口介質(zhì)質(zhì)：100/1000Baase-T、110000Basse-XX傳輸模模式：全全雙工/半雙工工自適應(yīng)應(yīng)背板帶帶寬：332Gbb

11、ps3存儲(chǔ)設(shè)備3.1光纖存儲(chǔ)柜柜光纖存儲(chǔ)柜柜（EVVA41100）3.2光纖交換機(jī)機(jī)光纖交換機(jī)機(jī)（ 44/322B SSAN Swiitchh）注：上表為為硬件的參參考配置置，根據(jù)據(jù)網(wǎng)站規(guī)規(guī)模的不不同，在在初期可可以不用用硬件負(fù)負(fù)載均衡衡器。服服務(wù)器性性能也可可以作適適當(dāng)縮減減，達(dá)到到一定規(guī)規(guī)模后硬硬件的擴(kuò)擴(kuò)容請(qǐng)參參考“4.33 HYPERLINK l _硬硬件擴(kuò)容容策略 硬件件擴(kuò)容策策略”Web架構(gòu)構(gòu)和硬件件選型并發(fā)能力Web服務(wù)務(wù)器架構(gòu)構(gòu)服務(wù)器配置置備注=2）；2臺(tái)webb服務(wù)22臺(tái)數(shù)據(jù)據(jù)庫服務(wù)務(wù)器1臺(tái)webb服務(wù)器器同時(shí)部部署appachhe（nnginnx）和和tommcatt；另11

12、臺(tái)部署署tommcatt。一起起實(shí)現(xiàn)wweb負(fù)負(fù)載均衡衡。1臺(tái)臺(tái)生產(chǎn)數(shù)數(shù)據(jù)庫，11臺(tái)查詢?cè)償?shù)據(jù)庫庫2) Ngiinx+n個(gè)Tommcatt（n=22）；2005500次次/秒1) Apaachee+n個(gè)個(gè)Tommcatt（n=2）；3臺(tái)webb服務(wù)22臺(tái)數(shù)據(jù)據(jù)庫服務(wù)務(wù)器2臺(tái)臺(tái)緩存服服務(wù)器1臺(tái)webb服務(wù)器器裝appachhe（nnginnx）；另2臺(tái)臺(tái)webb服務(wù)器器tommcatt；1臺(tái)臺(tái)生產(chǎn)數(shù)數(shù)據(jù)庫，11臺(tái)查詢?cè)償?shù)據(jù)庫庫2) Ngiinx+n個(gè)Tommcatt（n=22）；注：同時(shí)配配置緩沖沖500次次/秒Nginxx+n個(gè)個(gè)Tommcatt（n=2）；注：同同時(shí)配置置緩沖n臺(tái)webb服務(wù)

13、（nn5）m臺(tái)數(shù)據(jù)庫服務(wù)器2臺(tái)緩存服務(wù)器2臺(tái)負(fù)載均衡器1臺(tái)webb服務(wù)器器裝ngginxx；其他他webb服務(wù)器器tommcatt；在wweb服服務(wù)器4臺(tái)的的時(shí)侯可可以考慮慮劃成多多個(gè)ngginxx+toomcaat集群群。生產(chǎn)產(chǎn)數(shù)據(jù)庫庫用ORRACLLE的RRAC集集群，也也可考慮慮多種數(shù)數(shù)據(jù)庫并并存如用用myssql.1.5萬萬次多個(gè)Ngiinx+n個(gè)Tommcatt（n=2）組組合；注注：同時(shí)時(shí)配置緩緩沖n臺(tái)webb服務(wù)（nn300）m臺(tái)臺(tái)數(shù)據(jù)庫庫服務(wù)器器2臺(tái)緩緩存服務(wù)務(wù)器2臺(tái)臺(tái)負(fù)載均均衡器組成多個(gè)nnginnx+ttomccat集集群（11臺(tái)nggix+5臺(tái)ttomccat）,通過負(fù)負(fù)

14、載均衡衡器分流流。數(shù)據(jù)據(jù)庫用OORACCLE的的RACC集群。說明：1）理論上上單個(gè)ttomccat可以支支持5000的并并發(fā)，考考慮到門門戶的高高可用性性，可以以考慮用用Ngiinx+n個(gè)TTomccat（nn=22）的負(fù)負(fù)載均衡衡架構(gòu)。2）當(dāng)并發(fā)發(fā)5000時(shí)可可以考慮慮增加ttomccat服服務(wù)器，當(dāng)當(dāng)tommcatt增加達(dá)達(dá)到300個(gè)時(shí)理理論可以以支撐11.5萬萬次的并并發(fā)請(qǐng)求求。3）當(dāng)并發(fā)發(fā)1.5萬次次時(shí)則需需要考慮慮增加一一套Ngginxx+toomcaat的組組合，多多個(gè)Ngginxx+toomcaat通過過硬件或或是軟件件負(fù)載均均衡器來來實(shí)現(xiàn)平平載均衡衡。4）以上的的硬件配配置沒考考慮其他他復(fù)雜的的應(yīng)用需需求，如如有其他他應(yīng)用（大大容量的的文件存存儲(chǔ)、接接口服務(wù)務(wù)、復(fù)雜雜的計(jì)算算等）需需求則需需要配置置相應(yīng)的的硬件。硬件擴(kuò)容策策略當(dāng)網(wǎng)站發(fā)展展到一定定階段，隨隨著用戶戶量不斷斷擴(kuò)大，現(xiàn)現(xiàn)有的網(wǎng)網(wǎng)絡(luò)資源源和服務(wù)務(wù)器資源源不能滿滿足用戶戶需要的的時(shí)候，就就需要對(duì)對(duì)平臺(tái)進(jìn)進(jìn)行服務(wù)務(wù)器和網(wǎng)網(wǎng)絡(luò)的擴(kuò)擴(kuò)容。以以下是兩兩種平臺(tái)臺(tái)擴(kuò)容的的方式：增加服務(wù)器器對(duì)于webb的并發(fā)發(fā)處理有有瓶頸時(shí)時(shí)，新增增的weeb服務(wù)務(wù)器，把把新增的