一種多web服務(wù)器的負(fù)載均衡方案

一種多web服務(wù)器的負(fù)載均衡方案

隨著電子商務(wù)、銀行等網(wǎng)絡(luò)業(yè)務(wù)的快速發(fā)展，許多用戶(hù)同時(shí)訪(fǎng)問(wèn)web服務(wù)器。當(dāng)用戶(hù)訪(fǎng)問(wèn)量達(dá)到一定閾值時(shí),單Web服務(wù)結(jié)構(gòu)已無(wú)法進(jìn)行正常的響應(yīng),于是多服務(wù)器網(wǎng)絡(luò)負(fù)載均衡成為技術(shù)發(fā)展的新方向。本文主要講述一種采用動(dòng)態(tài)分布式負(fù)載均衡技術(shù)以實(shí)現(xiàn)網(wǎng)格中多Web服務(wù)器的負(fù)載均衡方案。負(fù)載均衡器針對(duì)Web服務(wù)器集群中負(fù)載動(dòng)態(tài)變化特性,運(yùn)用基于參數(shù)的線(xiàn)性加權(quán)負(fù)載分布算法,根據(jù)CPU利用率、內(nèi)存利用率等參數(shù)計(jì)算服務(wù)器的負(fù)載權(quán)值,將服務(wù)器自身的處理能力與當(dāng)前的負(fù)載結(jié)合起來(lái)。通過(guò)運(yùn)用DNS的工作理論,結(jié)合網(wǎng)格MDS(MonitoringandDiscoveryService,監(jiān)控和發(fā)現(xiàn)服務(wù))技術(shù),用戶(hù)輸入域名請(qǐng)求,請(qǐng)求被負(fù)載均衡器捕獲,解析出DNS數(shù)據(jù)的HEADER,QUESTION數(shù)據(jù)段,利用MDS得到Web服務(wù)器的狀態(tài),將性能最好的Web服務(wù)器的IP封裝到DNS響應(yīng)包,返回用戶(hù)。該方案克服了輪循靜態(tài)算法無(wú)法區(qū)分服務(wù)器差異,以致無(wú)法給性能較好的Web服務(wù)器分發(fā)更多請(qǐng)求以提高訪(fǎng)問(wèn)效率的缺陷。一、系統(tǒng)總體架構(gòu)該方案基于DNS原理和網(wǎng)格信息服務(wù)技術(shù),在網(wǎng)格環(huán)境下實(shí)現(xiàn)多服務(wù)器的動(dòng)態(tài)負(fù)載均衡。一個(gè)域名映射多個(gè)Web服務(wù)器IP,用戶(hù)對(duì)域名的請(qǐng)求被分發(fā)到多個(gè)Web服務(wù)器,大量請(qǐng)求任務(wù)由不同的Web服務(wù)器承擔(dān),從而實(shí)現(xiàn)負(fù)載均衡。該方案不僅克服了DNS的輪循靜態(tài)負(fù)載均衡算法無(wú)法區(qū)分服務(wù)器差異的缺陷,而且把原來(lái)的集中式調(diào)度,即負(fù)載均衡器收集所有節(jié)點(diǎn)負(fù)載信息的工作,改進(jìn)為分布式調(diào)度即各節(jié)點(diǎn)的網(wǎng)格MDS提供本節(jié)點(diǎn)負(fù)載信息。這樣負(fù)載均衡器不必去主動(dòng)收集各節(jié)點(diǎn)的負(fù)載信息,從而降低了由于收集負(fù)載信息而增加的額外開(kāi)銷(xiāo),減輕了負(fù)載均衡器的負(fù)擔(dān),減低了負(fù)載均衡器成為系統(tǒng)瓶頸的風(fēng)險(xiǎn)。存儲(chǔ)網(wǎng)格系統(tǒng)總體架構(gòu)如圖1所示,用戶(hù)(Client)發(fā)起某域名請(qǐng)求到達(dá)一級(jí)主DNS,主DNS將域名查詢(xún)請(qǐng)求轉(zhuǎn)發(fā)到負(fù)載均衡器,負(fù)載均衡器接收主DNS轉(zhuǎn)發(fā)過(guò)來(lái)的DNS查詢(xún)包,執(zhí)行動(dòng)態(tài)的負(fù)載均衡算法來(lái)調(diào)度負(fù)載量最輕的Web服務(wù)器來(lái)響應(yīng)用戶(hù)請(qǐng)求。用戶(hù)得到響應(yīng),與Web服務(wù)器建立連接,訪(fǎng)問(wèn)該網(wǎng)站,進(jìn)行業(yè)務(wù)處理。整個(gè)過(guò)程中,負(fù)載均衡器需要實(shí)現(xiàn)以下功能:(1)捕獲主DNS轉(zhuǎn)發(fā)的域名查詢(xún)請(qǐng)求,并解析DNS查詢(xún)包的HEADER,QUESTION數(shù)據(jù)段;(2)調(diào)用監(jiān)測(cè)器MDS的DefaultIndexServiceEntry獲取系統(tǒng)中的每一臺(tái)Web服務(wù)器的資源信息;(3)在資源信息的基礎(chǔ)上,利用參數(shù)化線(xiàn)性加權(quán)負(fù)載均衡算法得到性能最好的一個(gè)Web服務(wù)器;(4)將這個(gè)Web服務(wù)器的IP封裝到DNS響應(yīng)包,返回用戶(hù)。從請(qǐng)求發(fā)出到被響應(yīng)的執(zhí)行過(guò)程如圖2所示。用戶(hù)在瀏覽器輸入域名請(qǐng)求,DNS客戶(hù)端將請(qǐng)求發(fā)送到本地DNS,本地DNS根據(jù)數(shù)據(jù)庫(kù)文件中指定的子域地址,將請(qǐng)求交給子域服務(wù)器(本文中的負(fù)載均衡器)處理。負(fù)載均衡器將動(dòng)態(tài)調(diào)度Web服務(wù)器來(lái)響應(yīng)用戶(hù)請(qǐng)求。二、線(xiàn)性參數(shù)化的線(xiàn)性負(fù)荷矩陣的平衡1.動(dòng)態(tài)調(diào)度模塊設(shè)計(jì)靜態(tài)負(fù)載分配算法是利用事先設(shè)定好的服務(wù)器的信息分配的,決策過(guò)程的依據(jù)都是事先設(shè)定好的,因而不能動(dòng)態(tài)反映服務(wù)器的負(fù)載情況。用戶(hù)訪(fǎng)問(wèn)服務(wù)器時(shí),由于網(wǎng)絡(luò)服務(wù)的服務(wù)時(shí)間不同,服務(wù)所需的資源千差萬(wàn)別,靜態(tài)負(fù)載分配算法不能反映后端的服務(wù)器的負(fù)載情況,無(wú)法保證系統(tǒng)內(nèi)的服務(wù)器真正的實(shí)現(xiàn)均衡。動(dòng)態(tài)算法較靜態(tài)算法相比具有一定的優(yōu)越性。動(dòng)態(tài)負(fù)載算法根據(jù)系統(tǒng)當(dāng)前的負(fù)載情況動(dòng)態(tài)分發(fā)請(qǐng)求。但是動(dòng)態(tài)調(diào)度需要監(jiān)測(cè)和確定每臺(tái)服務(wù)器的當(dāng)前負(fù)載狀態(tài),進(jìn)行信息匯集和綜合分析,并且實(shí)時(shí)做出分配決策。因此,如何準(zhǔn)確地評(píng)估服務(wù)器上的工作負(fù)載并且分發(fā)新的請(qǐng)求任務(wù)到每臺(tái)服務(wù)器成為服務(wù)器系統(tǒng)取得均衡的關(guān)鍵。動(dòng)態(tài)調(diào)度模塊的設(shè)計(jì)如圖3所示。圖中,LB表示負(fù)載均衡器,F表示負(fù)載量調(diào)節(jié)模塊,F根據(jù)服務(wù)器的真實(shí)負(fù)載情況依據(jù)算法公式計(jì)算出服務(wù)器負(fù)載量,負(fù)載均衡器根據(jù)服務(wù)器新的負(fù)載量分發(fā)用戶(hù)的請(qǐng)求。動(dòng)態(tài)調(diào)度主要有兩種:集中式調(diào)度策略和分布式調(diào)度策略。實(shí)現(xiàn)分布式策略的節(jié)點(diǎn)結(jié)構(gòu)如圖4所示。通過(guò)運(yùn)用網(wǎng)格技術(shù),設(shè)置負(fù)載均衡器作為上游節(jié)點(diǎn),Web服務(wù)器為下游節(jié)點(diǎn),下游節(jié)點(diǎn)之間不能通信。上游節(jié)點(diǎn)作為下游節(jié)點(diǎn)的管理節(jié)點(diǎn),與下游節(jié)點(diǎn)可以通信,上游節(jié)點(diǎn)可以通過(guò)容器(Container)收集下游Web服務(wù)器節(jié)點(diǎn)的資源信息。通過(guò)運(yùn)用MDS,把原來(lái)的集中式調(diào)度即負(fù)載均衡器收集所有節(jié)點(diǎn)負(fù)載信息的工作,改進(jìn)為分布式調(diào)度即各節(jié)點(diǎn)的MDS提供本節(jié)點(diǎn)負(fù)載信息。這樣負(fù)載均衡器不必去主動(dòng)收集各節(jié)點(diǎn)的負(fù)載信息,從而降低了由于收集負(fù)載信息而增加的額外開(kāi)銷(xiāo),減輕了負(fù)載均衡器的負(fù)擔(dān),減低負(fù)載均衡器成為系統(tǒng)瓶頸的風(fēng)險(xiǎn)。2.負(fù)載狀態(tài)的影響對(duì)于實(shí)際系統(tǒng),任何一項(xiàng)資源(CPU、內(nèi)存、網(wǎng)絡(luò)等)超過(guò)一定的使用率(比如90%),系統(tǒng)都不再有能力接入新的請(qǐng)求。這些指標(biāo)與負(fù)載水平均成正比,因此各項(xiàng)指標(biāo)與負(fù)載狀態(tài)的影響方向是一致的。參數(shù)化線(xiàn)性加權(quán)負(fù)載均衡算法主要采用參數(shù)的線(xiàn)性加權(quán)和作為負(fù)載分配的依據(jù)。這些參數(shù)包括:CPU利用率、內(nèi)存利用率、網(wǎng)絡(luò)利用率等反映Web服務(wù)器的處理能力的因素。任何一個(gè)指標(biāo)都可能成為服務(wù)器的處理瓶頸。為了體現(xiàn)各項(xiàng)指標(biāo)對(duì)負(fù)載狀態(tài)的影響程度,為每一項(xiàng)指標(biāo)賦予一個(gè)系數(shù),系數(shù)越大,影響越大。三、ds性能監(jiān)控模塊該設(shè)計(jì)方案的總體流程如圖5所示。請(qǐng)求處理模塊先初始化UDP套接字DatagramSocket(數(shù)據(jù)報(bào)套接字),然后設(shè)置DatagramSocket(數(shù)據(jù)報(bào)包)監(jiān)聽(tīng)DNS的保留端口(即53端口),如沒(méi)有請(qǐng)求,則一直處于監(jiān)聽(tīng),如果出現(xiàn)請(qǐng)求,則創(chuàng)建一個(gè)DatagramPacket接收請(qǐng)求數(shù)據(jù),并交給線(xiàn)程處理。負(fù)載評(píng)估模塊調(diào)用服務(wù),得到每一臺(tái)服務(wù)器的性能數(shù)據(jù)。負(fù)載評(píng)估模塊根據(jù)算法和性能數(shù)據(jù),評(píng)估出負(fù)載量最小的服務(wù)器。整合響應(yīng)數(shù)據(jù)模塊將負(fù)載量最小的服務(wù)器IP數(shù)據(jù),和請(qǐng)求數(shù)據(jù)整合,封裝成DNS響應(yīng)包返回用戶(hù),工作完成,線(xiàn)程正常結(jié)束。端口通信流程如圖6所示,用戶(hù)的域名請(qǐng)求經(jīng)由隨機(jī)端口1026發(fā)送到一級(jí)主DNS的53端口,主DNS經(jīng)由1031端口將域名請(qǐng)求轉(zhuǎn)發(fā)送到負(fù)載均衡器,從而實(shí)現(xiàn)了捕獲域名請(qǐng)求。DNS響應(yīng)則由負(fù)載