LVS基本原理和配置課件

1、Linux Virtual Server 的基本原理和配置方法 Linux Virtual Server 簡(jiǎn)稱為L(zhǎng)VS支持IPVS的集群負(fù)載均衡器和集群節(jié)點(diǎn)一起稱為L(zhǎng)inux Virtual Server集群集群LVS簡(jiǎn)介簡(jiǎn)介集群定義集群定義l集群是一種并行或分布式系統(tǒng)，該系統(tǒng)：包括一個(gè)互連的整體計(jì)算機(jī)集合作為一種單一、統(tǒng)一的計(jì)算資源使用l計(jì)算機(jī)集群簡(jiǎn)稱集群，是一種計(jì)算機(jī)系統(tǒng)， 它通過(guò)一組松散集成的計(jì)算機(jī)軟件和/或硬件連接起來(lái)高度緊密地協(xié)作完成計(jì)算工作。l計(jì)算機(jī)集群簡(jiǎn)稱集群，是指一組相互獨(dú)立的計(jì)算機(jī)，利用高速通信網(wǎng)絡(luò)組成一個(gè)計(jì)算機(jī)系統(tǒng)，每個(gè)集群節(jié)點(diǎn)（即集群中的每臺(tái)計(jì)算機(jī)）都是運(yùn)行其自己進(jìn)程的一

2、個(gè)獨(dú)立服務(wù)器。這些進(jìn)程可以彼此通信，對(duì)網(wǎng)絡(luò)客戶機(jī)來(lái)說(shuō)就像形成了一個(gè)單一系統(tǒng)，協(xié)同起來(lái)向用戶提供應(yīng)用程序、系統(tǒng)資源和數(shù)據(jù)，并以單一系統(tǒng)的模式加以管理。一個(gè)客戶與集群相互作用時(shí)，集群像是一個(gè)獨(dú)立的服務(wù)器。集群分類集群分類集群計(jì)算機(jī)按功能和結(jié)構(gòu)可以分成以下幾類: 高可用性高可用性集群集群 High-availability (HA) clusters 負(fù)載均衡負(fù)載均衡集群集群 Load balancing clusters 高性能計(jì)算高性能計(jì)算集群集群 High-performance (HPC) clusters 網(wǎng)格網(wǎng)格計(jì)算計(jì)算 Grid computing 集群分類集群分類l負(fù)載均衡集群負(fù)載均

3、衡集群 負(fù)載均衡集群運(yùn)行時(shí)，一般通過(guò)一個(gè)或者多個(gè)前端負(fù)載均衡器將工作負(fù)載分發(fā)到后端的一組服務(wù)器上，從而達(dá)到整個(gè)系統(tǒng)的高性能和高可用性。這樣的計(jì)算機(jī)集群有時(shí)也被稱為服務(wù)器群（Server Farm）。 一般高可用性集群和負(fù)載均衡集群會(huì)使用類似的技術(shù)，或同時(shí)具有高可用性與負(fù)載均衡的特點(diǎn)。 Linux虛擬服務(wù)器（LVS）項(xiàng)目在Linux操作系統(tǒng)上提供了最常用的負(fù)載均衡軟件。l高可用性集群高可用性集群 一般是指當(dāng)集群中有某個(gè)節(jié)點(diǎn)失效的情況下，其上的任務(wù)會(huì)自動(dòng)轉(zhuǎn)移到其他正常的節(jié)點(diǎn)上。還指可以將集群中的某節(jié)點(diǎn)進(jìn)行離線維護(hù)再上線，該過(guò)程并不影響整個(gè)集群的運(yùn)行。 負(fù)載均衡負(fù)載均衡l負(fù)載均衡： 負(fù)載均衡（Loa

4、d Balance）建立在現(xiàn)有網(wǎng)絡(luò)結(jié)構(gòu)之上，它提供了一種廉價(jià)、有效、透明的方法，來(lái)擴(kuò)展網(wǎng)絡(luò)設(shè)備和服務(wù)器的帶寬、增加吞吐量、加強(qiáng)網(wǎng)絡(luò)數(shù)據(jù)處理能力、提高網(wǎng)絡(luò)的靈活性和可用性。l負(fù)載均衡有兩方面的含義： 首先，大量的并發(fā)訪問(wèn)或數(shù)據(jù)流量分擔(dān)到多臺(tái)節(jié)點(diǎn)設(shè)備上分別處理，減少用戶等待響應(yīng)的時(shí)間； 其次，單個(gè)重負(fù)載的運(yùn)算分擔(dān)到多臺(tái)節(jié)點(diǎn)設(shè)備上做并行處理，每個(gè)節(jié)點(diǎn)設(shè)備處理結(jié)束后，將結(jié)果匯總，返回給用戶，系統(tǒng)處理能力得到大幅度提高。 小結(jié)小結(jié)l在集群中，所有計(jì)算機(jī)（稱為節(jié)點(diǎn)）提供相同的服務(wù)。集群負(fù)載平衡器截獲所有對(duì)服務(wù)的入站請(qǐng)求。然后負(fù)載平衡器將這些請(qǐng)求盡可能地平均地在所有集群節(jié)點(diǎn)之間進(jìn)行分布。高可用性集群能夠?qū)⒇?fù)

5、載平衡資源從一臺(tái)計(jì)算機(jī)故障轉(zhuǎn)移到另一臺(tái)小結(jié)小結(jié)負(fù)載平衡負(fù)載平衡小結(jié)小結(jié)高可用性高可用性服務(wù)失效服務(wù)失效檢測(cè)到Server4服務(wù)失效了，把它從能接受服務(wù)請(qǐng)求的服務(wù)器列表中去掉，入站請(qǐng)求不再分發(fā)給Server4檢測(cè)到Server4服務(wù)恢復(fù)了，把它重新放入能接受服務(wù)請(qǐng)求的服務(wù)器列表中，入站請(qǐng)求可以分發(fā)給Server4服務(wù)恢復(fù)服務(wù)恢復(fù)IPVSlIPVS(ip virtual server)： 它是由畢業(yè)于國(guó)防科技大學(xué)的章文嵩博士主持的一個(gè)開(kāi)源的集群負(fù)載均衡軟件，創(chuàng)立于1998年5月，可以實(shí)現(xiàn)Linux平臺(tái)下的簡(jiǎn)單負(fù)載均衡負(fù)載均衡。IPVSIPVSipvsadmIPVS發(fā)展史：早在2.2內(nèi)核時(shí)，IPVS

6、就已經(jīng)以內(nèi)核補(bǔ)丁的形式出現(xiàn)從2.4.23版本開(kāi)始，IPVS軟件就是合并到Linux內(nèi)核的常用版本的內(nèi)核補(bǔ)丁的集合從2.4.24以后IPVS已經(jīng)成為L(zhǎng)inux 官方標(biāo)準(zhǔn)內(nèi)核的一部分補(bǔ)充補(bǔ)充:我們使用該軟件配置LVS時(shí)候，我們不能直接配置ipvs,需要使用稱為ipvsadm的ipvs管理工具。LVS集群負(fù)載平衡器接受服務(wù)的所有入站客戶端計(jì)算機(jī)請(qǐng)求，并決定哪個(gè)集群節(jié)點(diǎn)應(yīng)該回復(fù)給請(qǐng)求。負(fù)載平衡器有時(shí)被稱為L(zhǎng)VS Director或者簡(jiǎn)稱之為Director。LVS集群內(nèi)部的節(jié)點(diǎn)稱為真實(shí)服務(wù)器(Real Server)，也叫做集群節(jié)點(diǎn) 。 鏈接到集群請(qǐng)求集群服務(wù)的計(jì)算機(jī)稱為客戶端計(jì)算機(jī)。與計(jì)算機(jī)通常在網(wǎng)

7、上交換數(shù)據(jù)包的方式相同，客戶端計(jì)算機(jī)、Director和真實(shí)服務(wù)器使用IP地址進(jìn)行彼此通信。LVS基本原理基本原理DirectorReal ServerClient集群集群 為了更加易于探討此網(wǎng)絡(luò)通信，LVS社區(qū)已經(jīng)開(kāi)發(fā)了一個(gè)命名的約定，以便基于每種類型的IP地址在網(wǎng)絡(luò)對(duì)話中的角色來(lái)描述每種類型的IP地址。虛擬IP地址（VIP）：Director用于向客戶端計(jì)算機(jī)提供服務(wù)的IP地址真實(shí)IP地址（RIP）：在集群節(jié)點(diǎn)上使用IP地址Director的IP地址(DIP)：Director用于連接到D/RIP網(wǎng)絡(luò)的IP地址客戶端計(jì)算機(jī)的IP地址(CIP):分配給客戶端計(jì)算機(jī)的IP地址,該地址用作發(fā)送給

8、集群的請(qǐng)求的源IP地址。D/RIP網(wǎng)絡(luò):由Director和Real Server組成的網(wǎng)絡(luò)LVS基本原理基本原理 命名約定命名約定 Linux Virtual ServerDirectorReal Server 交換機(jī)/ 集線器DIPRIPVIP公司網(wǎng)絡(luò)交換機(jī)客戶端計(jì)算機(jī)CIPInternetVIP LVS集群通常是由LVS Director用于中繼入站請(qǐng)求到集群內(nèi)部節(jié)點(diǎn)的轉(zhuǎn)發(fā)方法類型描述的。目前可用的三種方法是： 網(wǎng)絡(luò)地址轉(zhuǎn)換（LVS-NAT） 直接路由(LVS-DR) IP隧道（LVS-TUN）LVS集群的類型調(diào)度方法決定了如何在這些集群節(jié)點(diǎn)之間分布工作負(fù)荷。 當(dāng)Director收到來(lái)自

9、客戶端計(jì)算機(jī)訪問(wèn)它的VIP上的集群服務(wù)的入站請(qǐng)求時(shí)，Director必須決定哪個(gè)集群節(jié)點(diǎn)應(yīng)該獲得請(qǐng)求。Director可用于做出該決定的調(diào)度方法分成兩個(gè)基本類別：固定調(diào)度方法：循環(huán)（RR）、待權(quán)重的循環(huán)（WRR）、目的散列、源散列動(dòng)態(tài)調(diào)度算法：最小連接（LC）、帶權(quán)重的最小連接（WLC）、最短期望延遲（SED）、無(wú)須隊(duì)列等待（NQ）、基于位置的最小連接（LBLC）、帶復(fù)制調(diào)度的基于位置最小連接(LBLCR)LVS的調(diào)度方法的調(diào)度方法LVS-DR方式：直接路由在LVS-DR配置中，Director將所有入站請(qǐng)求轉(zhuǎn)發(fā)給集群內(nèi)部節(jié)點(diǎn)，但集群內(nèi)部的節(jié)點(diǎn)直接將它們的回復(fù)發(fā)送給客戶端計(jì)算機(jī)（沒(méi)有通過(guò)Dir

10、ector回來(lái)）。如圖所示：LVS-DR集群集群來(lái)自客戶端計(jì)算機(jī)或CIP的請(qǐng)求被發(fā)送到Director的VIP。然后Director使用相同的VIP目的IP地址將請(qǐng)求發(fā)送到集群節(jié)點(diǎn)或真實(shí)服務(wù)器。然后，集群節(jié)點(diǎn)將回復(fù)數(shù)據(jù)包直接發(fā)送到客戶端計(jì)算機(jī)，并且此回復(fù)數(shù)據(jù)包使用VIP作為源IP地址。因此，客戶計(jì)算機(jī)被欺騙，認(rèn)為它正在與一臺(tái)計(jì)算機(jī)對(duì)話，而實(shí)際上這時(shí)它正在發(fā)送請(qǐng)求數(shù)據(jù)包給一臺(tái)計(jì)算機(jī)，并從另一臺(tái)計(jì)算機(jī)接受回復(fù)數(shù)據(jù)包。LVS-DR集群集群 工作工作客戶端如何訪問(wèn)客戶端如何訪問(wèn)LVS/DR集群服務(wù)集群服務(wù)Client DirectorReal ServerSwitchDIP(VIP)RIPVIP源地址

11、CIP目的地地址VIP目的地MACD_MAC內(nèi)容：Show me web page LVS/DR集群源地址CIP目的地地址VIP目的地MACR_MAC內(nèi)容：Show me web page 源地址VIP目的地地址CIP內(nèi)容：Here is web page 1、LVS調(diào)度器收到目標(biāo)地址為VIP的請(qǐng)求包后，將MAC地址改成RS的MAC地址，并通過(guò)交換機(jī)(鏈路層)發(fā)給RS2、RS的鏈路層收到請(qǐng)求后，往上傳給IP層。IP層需要驗(yàn)證請(qǐng)求的目標(biāo)IP地址。所以RS需要配置一個(gè)VIP的loopback device。這樣RS的IP層收到報(bào)文后，會(huì)往上遞交給傳輸層。之所以配置成loopback device，

12、是因?yàn)閘oopback device對(duì)外不可見(jiàn)，不會(huì)跟LVS的VIP沖突。3、RS處理完成后，將應(yīng)答包直接返回給客戶端。若是公網(wǎng)服務(wù)器，則RS需要連上互聯(lián)網(wǎng)（公網(wǎng)IP或者網(wǎng)關(guān)）才能將應(yīng)答包返回。LVS/DR的基本原理的基本原理集群節(jié)點(diǎn)必須和Director在相同的物理網(wǎng)段相同的物理網(wǎng)段上Director截獲截獲客戶端和真實(shí)服務(wù)器之間的入站（而入站（而不是出站）通信不是出站）通信集群節(jié)點(diǎn)（通常）沒(méi)有使用Director作為默認(rèn)網(wǎng)關(guān)，以便將數(shù)據(jù)包直接回復(fù)直接回復(fù)給客戶端計(jì)算機(jī)。大多數(shù)操作系統(tǒng)可以用在集群內(nèi)部的真實(shí)服務(wù)器上，只要該操作系統(tǒng)能夠?qū)崿F(xiàn)ARP隱藏LVS/DR Director （100）可

13、以比LVS-NAT Director（10-20）處理更多的真實(shí)服務(wù)器LVS/DR的基本屬性的基本屬性ARP廣播和隱藏問(wèn)題廣播和隱藏問(wèn)題Client DirectorReal ServerSwitchDIP(VIP)RIPVIP誰(shuí)擁有VIP?誰(shuí)擁有VIP?誰(shuí)擁有誰(shuí)擁有VIP?LVS/DR集群圖示為圖示為 到到LVS-DR集群的集群的ARP廣播廣播ARP廣播和隱藏問(wèn)題廣播和隱藏問(wèn)題Client DirectorReal ServerSwitchDIP(VIP)RIPVIP我擁有VIPLVS/DR集群圖示為圖示為 來(lái)自來(lái)自LVS-DR Director的的ARP響應(yīng)響應(yīng)配置LVS的基本信息和基本工

14、具配置步驟 組網(wǎng) 配置Director 配置RealServer 測(cè)試與驗(yàn)證 補(bǔ)充說(shuō)明LVS/DR 配置方法配置方法配置的基本結(jié)構(gòu)：LVS/DR集群由三臺(tái)計(jì)算機(jī)組成：一臺(tái)Director，兩臺(tái)Real Server客戶端和LVS/DR集群處于同一個(gè)物理網(wǎng)段，即所有計(jì)算機(jī)設(shè)置在同一個(gè)局域網(wǎng)，連接在同一臺(tái)交換機(jī)上，且每臺(tái)計(jì)算機(jī)只需一個(gè)網(wǎng)卡Real Server 提供Web服務(wù)，調(diào)度算法使用輪詢?nèi)鐖D：LVS/DR 配置方法配置方法組網(wǎng)組網(wǎng)l配置Director IP: /24 ifconfig eth0 netmask up ifconf

15、ig eht0l配置RealSever1/ RealSever2/Client的IP地址(略)lping 命令測(cè)試網(wǎng)絡(luò)聯(lián)通性，成功后進(jìn)行下面的步驟Director配置配置安裝ipvsadm： 功能是管理ipvs。ipvs雖然嵌入內(nèi)核，但需要借助軟件ipvsadm來(lái)管理，它是配置LVS的核心和基礎(chǔ)軟件下載：ipvsadm-1.25-5.fc12.i686.rpm 地址：http:/ 根據(jù)自己的系統(tǒng)版本下載相應(yīng)版本的 ipvsadm的rpm包在軟件包所在的路徑下執(zhí)行如下命令進(jìn)行安裝 rpm ivh ipvsadm-1.25-5.fc12.i686.rpm l安裝成功后，在終端下輸入ipvsadm：

16、Director配置配置l編寫(xiě)lvsdr腳本，開(kāi)始配置LVS,主要內(nèi)容如下：l#!/bin/bashlRIP1=lRIP2=lVIP= /sbin/ifconfig eth0:0 $VIP broadcast $VIP netmask 55 up /sbin/ipvsadm -C /sbin/ipvsadm -A -t $VIP:80 -s rr /sbin/ipvsadm -A -t $VIP:80 -r $RIP1:80 -g /sbin/ipvsadm -A -t $VIP:80 -r $RIP2:80 -gDir

17、ector配置配置配置配置Director執(zhí)行該腳本：腳本存放路徑/lvsdr在終端中，執(zhí)行ipvsadm，配置成功的話，會(huì)有以下輸出：Real Server配置配置l在Windows 2003安裝環(huán)回設(shè)備（Microsoft Loopback Adapter） 具體方法（略）或者現(xiàn)場(chǎng)演示，文檔備用l在環(huán)回設(shè)備上配置VIP及其子網(wǎng)掩碼l用IIS創(chuàng)建一個(gè)簡(jiǎn)單的測(cè)試網(wǎng)站測(cè)試與驗(yàn)證測(cè)試與驗(yàn)證l在客戶端的瀏覽器中輸入 /TestWeb/hello.htmll在打開(kāi)一個(gè)獨(dú)立頁(yè)面，打開(kāi)該網(wǎng)址l結(jié)果如圖：測(cè)試與驗(yàn)證測(cè)試與驗(yàn)證Director的終端輸入ipvsadm有以下輸出：測(cè)試

18、與驗(yàn)證測(cè)試與驗(yàn)證在客戶端，輸入arp a, 輸出arp高速緩存中的IP地址和MAC地址映射表，如下圖：測(cè)試與驗(yàn)證測(cè)試與驗(yàn)證在客戶端打開(kāi)在客戶端打開(kāi)10個(gè)連接，在個(gè)連接，在Director 用用ipvsadm工工具查看統(tǒng)計(jì)信息：具查看統(tǒng)計(jì)信息：補(bǔ)充說(shuō)明補(bǔ)充說(shuō)明lipvsadm只是一個(gè)基礎(chǔ)和核心的工具，功能精簡(jiǎn)，在它基礎(chǔ)之上，還有功能更強(qiáng)大、使用更方便(圖形化界面)的工具，以支持我們構(gòu)建高可用性的負(fù)載均衡集群，如HeartBeat、Piranha、Keepalived、Idirectord.l還有監(jiān)視LVS的軟件,Ganglia、Mon。遺憾的是這兩個(gè)軟件要求集群節(jié)點(diǎn)也必須是Linuxl我們可以使

19、用Piranha的圖形化界面配置LVS，它也擴(kuò)展了ipvsadm的功能資料資料l三個(gè)文檔三個(gè)文檔：LVS/DR腳本配置文檔、LVS/DR的piranha配置文檔、PPT演示文稿l相關(guān)網(wǎng)站：相關(guān)網(wǎng)站： LVS官網(wǎng)： / （LVS中文站點(diǎn)） / （LVS英文站點(diǎn)） rpm軟件包下載: http:/ http:/ 謝謝各位！ Linux Virtual ServerDirectorReal Server 交換機(jī)/ 集線器DIPRIPVIP公司網(wǎng)絡(luò)交換機(jī)客戶端計(jì)算機(jī)CIPInt

20、ernetVIPLVS 邏輯結(jié)構(gòu)示意圖介紹Director 的要求，必為包含ipvs的Linux ，ipvs 用ipvsadm 管理LVS 邏輯結(jié)構(gòu)示意圖介紹Director 的要求，必為包含ipvs的Linux ，ipvs 用ipvsadm 管理客戶端如何訪問(wèn)客戶端如何訪問(wèn)LVS/DR集群服務(wù)集群服務(wù)Client DirectorReal ServerSwitchDIP(VIP)RIPVIP源地址CIP目的地地址VIP目的地MACR_MAC內(nèi)容：Show me web page LVS/DR集群客戶端如何訪問(wèn)客戶端如何訪問(wèn)LVS/DR集群服務(wù)集群服務(wù)Client DirectorReal ServerSwitchDIP(VIP)RIPVIP源地址VIP目的地地址CIP內(nèi)容：Here is web page LVS/DR集群LVS-DR集群通過(guò)用相同的VIP地址配置集群中的所有節(jié)點(diǎn)和Director，借助直接路由技術(shù)實(shí)現(xiàn)的Linux虛擬服務(wù)器集群是可以構(gòu)建成功的。LVS/DR基本原理1、LVS調(diào)度器收到目標(biāo)地址為VIP的請(qǐng)求包后，將