linuxlvs配置

1、Linux負(fù)載均衡一、LVS 既述及原理LVS 是一個(gè)開源的軟件， 由畢業(yè)于國防科技大學(xué)的章文嵩博士于 1998 年 5 月創(chuàng)立，可以實(shí)現(xiàn) LINUX 平臺(tái)下的簡單負(fù)載均衡。LVS 是 LinuxVirtualServer 的縮寫，意思是Linux 虛擬服務(wù)器。LVS 集群采用 IP 負(fù)載均衡技術(shù)和基于內(nèi)容請(qǐng)求分發(fā)技術(shù)。調(diào)度器具有很好的吞吐率，將請(qǐng)求均衡地轉(zhuǎn)移到不同的服務(wù)器上執(zhí)行，且調(diào)度器自動(dòng)屏蔽掉服務(wù)器的故障，從而將一組服務(wù)器構(gòu)成一個(gè)高性能的、高可用的虛擬服務(wù)器。整個(gè)服務(wù)器集群的結(jié)構(gòu)對(duì)客戶是透明的，而且無需修改客戶端和服務(wù)器端的程序。為此，在設(shè)計(jì)時(shí)需要考慮系統(tǒng)的透明性、可伸縮性、高可用性和易

2、管理性。一般來說，LVS 集群采用三層結(jié)構(gòu)，其主要組成部分為：1)負(fù)載調(diào)度器(loadbalancer),它是整個(gè)集群對(duì)外面的前端機(jī)，負(fù)責(zé)將客戶的請(qǐng)求發(fā)送到一組服務(wù)器上執(zhí)行， 而客戶認(rèn)為服務(wù)是來自一個(gè) IP 地址(我們可稱之為虛擬 IP 地址)上的。2)服務(wù)器池(serverpool),是一組真正執(zhí)行客戶請(qǐng)求的服務(wù)器，執(zhí)行的服務(wù)有WERMAIL、FTP 和 DNS 等。3)共享存儲(chǔ)(sharedstorage),它為服務(wù)器池提供一個(gè)共享的存儲(chǔ)區(qū)，這樣很容易使得服務(wù)器池?fù)碛邢嗤膬?nèi)容，提供相同的服務(wù)。調(diào)度器是服務(wù)器集群系統(tǒng)的唯一入口點(diǎn)(SingleEntryPoint),它可以采用 IP 負(fù)載均

3、衡技術(shù)、基于內(nèi)容請(qǐng)求分發(fā)技術(shù)或者兩者相結(jié)合。在 IP 負(fù)載均衡技術(shù)中，需要服務(wù)器池?fù)碛邢嗤膬?nèi)容提供相同的服務(wù)。當(dāng)客戶請(qǐng)求到達(dá)時(shí)，調(diào)度器只根據(jù)服務(wù)器負(fù)載情況和設(shè)定的調(diào)度算法從服務(wù)器池中選出一個(gè)服務(wù)器，將該請(qǐng)求轉(zhuǎn)發(fā)到選出的服務(wù)器，并記錄這個(gè)調(diào)度；當(dāng)這個(gè)請(qǐng)求的其他報(bào)文到達(dá)，也會(huì)被轉(zhuǎn)發(fā)到前面選出的服務(wù)器。在基于內(nèi)容請(qǐng)求分發(fā)技術(shù)中，服務(wù)器可以提供不同的服務(wù)，當(dāng)客戶請(qǐng)求到達(dá)時(shí)，調(diào)度器可根據(jù)請(qǐng)求的內(nèi)容選擇服務(wù)器執(zhí)行請(qǐng)求。因?yàn)樗械牟僮鞫际窃?Linux 操作系統(tǒng)核心空間中將完成的，它的調(diào)度開銷很小，所以它具有很高的吞吐率。服務(wù)器池的結(jié)點(diǎn)數(shù)目是可變的。當(dāng)整個(gè)系統(tǒng)收到的負(fù)載超過目前所有結(jié)點(diǎn)的處理能力時(shí)，可以在

4、服務(wù)器池中增加服務(wù)器來滿足不斷增長的請(qǐng)求負(fù)載。對(duì)大多數(shù)網(wǎng)絡(luò)服務(wù)來說，請(qǐng)求問不存在很強(qiáng)的相關(guān)性，請(qǐng)求可以在不同的結(jié)點(diǎn)上并行執(zhí)行，所以整個(gè)系統(tǒng)的性能基本上可以隨著服務(wù)器池的結(jié)點(diǎn)數(shù)目增加而線性增長。共享存儲(chǔ)通常是數(shù)據(jù)庫、網(wǎng)絡(luò)文件系統(tǒng)或者分布式文件系統(tǒng)。|服務(wù)器結(jié)點(diǎn)需要?jiǎng)討B(tài)更新的數(shù)據(jù)一般存儲(chǔ)在數(shù)據(jù)庫系統(tǒng)中，同時(shí)數(shù)據(jù)庫會(huì)保證并發(fā)訪問時(shí)數(shù)據(jù)的一致性。靜態(tài)的數(shù)據(jù)可以存儲(chǔ)在網(wǎng)絡(luò)文件系統(tǒng)(如 NFS/CIFS 中，但網(wǎng)絡(luò)文件系統(tǒng)的伸縮能力有限，一般來說，NFS/CIFSK 務(wù)器只能支持 36 個(gè)繁忙的服務(wù)器結(jié)點(diǎn)。對(duì)于規(guī)模較大的集群系統(tǒng)，可以考慮用分布式文件系統(tǒng)，如 AFSGFSCoda 和Intermezzo

5、等。分布式文件系統(tǒng)可為各服務(wù)器提供共享的存儲(chǔ)區(qū)，它們?cè)L問分布式文件系統(tǒng)就像訪問本地文件系統(tǒng)一樣，同時(shí)分布式文件系統(tǒng)可提供良好的伸縮性和可用性。此外，當(dāng)不同服務(wù)器上的應(yīng)用程序同時(shí)讀寫訪問分布式文件系統(tǒng)上同一資源時(shí)，應(yīng)用程序的訪問沖突需要消解才能使得資源處于一致狀態(tài)。這需要一個(gè)分布式鎖管理器(DistributedLockManager-),它可能是分布式文件系統(tǒng)內(nèi)部提供的， 也可能是外部的。開發(fā)者在寫應(yīng)用程序時(shí)，可以使用分布式鎖管理器來保證應(yīng)用程序在不同結(jié)點(diǎn)上并發(fā)訪問的一致性。負(fù)載調(diào)度器、服務(wù)器池和共享存儲(chǔ)系統(tǒng)通過高速網(wǎng)絡(luò)相連接，如 100Mbps 交換網(wǎng)絡(luò)、Myrinet 和 Gigabit

6、網(wǎng)絡(luò)等。使用高速的網(wǎng)絡(luò)，主要為避免當(dāng)系統(tǒng)規(guī)模擴(kuò)大時(shí)互聯(lián)網(wǎng)絡(luò)成為整個(gè)系統(tǒng)的瓶頸。GraphicMonitor 是為系統(tǒng)管理員提供整個(gè)集群系統(tǒng)的監(jiān)視器，它可以監(jiān)視系統(tǒng)的狀態(tài)。GraphicMonitor 是基于瀏覽器的，所以無論管理員在本地還是異地都可以監(jiān)測(cè)系統(tǒng)的狀況。為了安全的原因，瀏覽器要通過 HTTPS（SecureHTTP 協(xié)議和身份認(rèn)證后，才能進(jìn)行系統(tǒng)監(jiān)測(cè)，并進(jìn)行系統(tǒng)的配置和管理?？缮炜s網(wǎng)絡(luò)服務(wù)的幾種結(jié)構(gòu)，它們都需要一個(gè)前端的負(fù)載調(diào)度器（或者多個(gè)進(jìn)行主從備份）。我們先分析實(shí)現(xiàn)虛擬網(wǎng)絡(luò)服務(wù)的主要技術(shù)，指出 IP 負(fù)載均衡技術(shù)是在負(fù)載調(diào)度器的實(shí)現(xiàn)技術(shù)中效率最高的。在已有的 IP 負(fù)載均衡技術(shù)

7、中，主要有通過網(wǎng)絡(luò)地址轉(zhuǎn)換（NetworkAddressTranslation）將一組服務(wù)器構(gòu)成一個(gè)高性能的、高可用的虛擬服務(wù)器，我們稱之為 VS/NAT 技術(shù)（VirtualServerviaNetworkAddressTranslation）。在分析 VS/NAT 的缺點(diǎn)和網(wǎng)絡(luò)服務(wù)的非對(duì)稱性的基礎(chǔ)上， 我們提出了通過 IP 隧道實(shí)現(xiàn)虛擬服務(wù)器的方法 VS/TUN （VirtualServerviaIPTunneling,和通過直接路由實(shí)現(xiàn)虛擬服務(wù)器的方法 VS/DR（VirtualServerviaDirectRoutin。,它們可以極大地提高系統(tǒng)的伸縮性。VS/NATVS/NAT、VS/

8、TUNVS/TUN 和 VS/DRVS/DR 技術(shù)是 LVSLVS 集群中實(shí)現(xiàn)的三種 IPIP 負(fù)載均衡技術(shù)。1）使用 VS/NAT 方法：客戶通過 VirtualIPAddress（虛擬服務(wù)的 IP 地址）訪問網(wǎng)絡(luò)服務(wù)時(shí)，請(qǐng)求報(bào)文到達(dá)調(diào)度器，調(diào)度器根據(jù)連接調(diào)度算法從一組真實(shí)服務(wù)器中選出一臺(tái)服務(wù)器，將報(bào)文的目標(biāo)地址 VirtualIPAddress 改寫成選定服務(wù)器的地址，報(bào)文的目標(biāo)端口改寫成選定服務(wù)器的相應(yīng)端口，最后將修改后的報(bào)文發(fā)送給選出的服務(wù)器。同時(shí)，調(diào)度器在連接 Hash 表中記錄這個(gè)連接，當(dāng)這個(gè)連接的下一個(gè)報(bào)文到達(dá)時(shí)，從連接 Hash 表中可以得到原選定服務(wù)器的地址和端口，進(jìn)行同樣的

9、改寫操作，并將報(bào)文傳給原選定的服務(wù)器。當(dāng)來自真實(shí)服務(wù)器的響應(yīng)報(bào)文經(jīng)過調(diào)度器時(shí)，調(diào)度器將報(bào)文的源地址和源端口改為VirtualIPAddress 和相應(yīng)的端口，再把報(bào)文發(fā)給用戶。當(dāng)使用 VS/NAT 方法時(shí)，如果有大量的響應(yīng)數(shù)據(jù)經(jīng)過調(diào)度器，調(diào)度器將成為整個(gè)集群的瓶頸。2）使用 VS/TUN 方法：VS/TUN 的連接調(diào)度和管理與 VS/NAT 中的一樣，只是它的報(bào)文轉(zhuǎn)發(fā)方法不同。調(diào)度器根據(jù)各個(gè)服務(wù)器的負(fù)載情況，動(dòng)態(tài)地選擇一臺(tái)服務(wù)器，將請(qǐng)求報(bào)文封裝在另一個(gè) IP 報(bào)文中，再將封裝后的 IP 報(bào)文轉(zhuǎn)發(fā)給選出的服務(wù)器；服務(wù)器收到報(bào)文后，先將報(bào)文解封獲得原來目標(biāo)地址為 VIP 的報(bào)文，服務(wù)器發(fā)現(xiàn) VIP

10、 地址被配置在本地的 IP 隧道設(shè)備上，所以就處理這個(gè)請(qǐng)求，然后根據(jù)路由表將響應(yīng)報(bào)文直接返回給客戶。3）使用 VS/DR 方法：調(diào)度器和服務(wù)器組都必須在物理上有一個(gè)網(wǎng)卡通過不分?jǐn)嗟木钟蚓W(wǎng)相連，如通過交換機(jī)或者高速的 HUB 相連。VIP 地址為調(diào)度器和服務(wù)器組共享，調(diào)度器配置的 VIP 地址是對(duì)外可見的，用于接收虛擬服務(wù)的請(qǐng)求報(bào)文；所有的服務(wù)器把VIP 地址配置在各自的 Non-ARP 網(wǎng)絡(luò)設(shè)備上，它對(duì)外面是不可見的，只是用于處理目標(biāo)地址為 VIP 的網(wǎng)絡(luò)請(qǐng)求。在 VS/DR 中，調(diào)度器根據(jù)各個(gè)服務(wù)器的負(fù)載情況，動(dòng)態(tài)地選擇一臺(tái)服務(wù)器，不修改也不封裝 IP 報(bào)文，而是將數(shù)據(jù)幀的 MAC 地址改為

11、選出服務(wù)器的 MAC 地址，再將修改后的數(shù)據(jù)幀在與服務(wù)器組的局域網(wǎng)上發(fā)送。因?yàn)閿?shù)據(jù)幀的 MAC 地址是選出的服務(wù)器，所以服務(wù)器肯定可以收到這個(gè)數(shù)據(jù)幀，從中可以獲得該 IP 報(bào)文。當(dāng)服務(wù)器發(fā)現(xiàn)報(bào)文的目標(biāo)地址 VIP 是在本地的網(wǎng)絡(luò)設(shè)備上，服務(wù)器處理這個(gè)報(bào)文，然后根據(jù)路由表將響應(yīng)報(bào)文直接返回給客戶。LVS 負(fù)載平衡器調(diào)度后臺(tái)真實(shí)服務(wù)器的方法有八種，分別如下:1)RoundRobin 輪叫法2)WeightedRoundRobin 加權(quán)輪叫3)LeastConnections 最少鏈接4)WeightedLeastConnections 力口權(quán)最少鏈接5)Locality-BasedLeastCon

12、nections 基于局部性的最少鏈接6)Locality-BasedLeastConnectionswithReplication 帶復(fù)制的基于局部性最少鏈接7)DestinationHashing 目標(biāo)地址散列8)SourceHashing 源地址散列二、實(shí)現(xiàn) LVS 負(fù)載平衡下面以實(shí)驗(yàn)的形式來說明 LVS 負(fù)載平衡的功能(本例是使用 LVSDR 模式， 調(diào)度方法為輪循呼叫)，實(shí)驗(yàn)拓?fù)鋱D如下所示：分析：上圖中 0/16 為負(fù)載平衡器(實(shí)現(xiàn) LVS)而 0/16、0/16 為兩臺(tái) web 服務(wù)器。客戶端訪問負(fù)載平衡器的虛擬 IP 時(shí)

13、，由負(fù)載平衡器調(diào)度使用輪叫法調(diào)度兩臺(tái) web 服務(wù)器。1.初始化各服務(wù)器如下圖所示：(1)負(fù)載平衡器初始化(設(shè)置 IP 地址、計(jì)算機(jī)名稱、hosts 文件)如下圖所示：/etc/sysconfig/network-scripts/ifcfg-eth0 配置如下:BOOTPROT0-stdljc川DDR-fiO：OC：29UniONBOOT=yesI?IDDR-17221.0.30/etc/sysconfig/network 文件配置如下：KTUORkiXG_IPK=yesimssxwil=nIbmaslL,exampleci/etc/hosts 文件配置如下所示:n1hmasterlocaIh

14、ost*localdomainlocalho1ucaIhusl6.lucaldumtii(16luca1hub16為了能夠順利的看到實(shí)驗(yàn)效果，禁用 selinux,/etc/sysconfig/selinux 文件配置如下:二Thrfi1cront：-n1sihrrIntc?ofS|J】mironthr，$1.WSELINUX=contakeoneofthesethreevalues：二cnttJiCing-SL1.inuxsecuritjpolicyi&enforced,=pernissiveSELinuprintswarningsinsLeadofenforcing.-disabl

15、ed-SELinuxisfullydisabled,SEL1KIX二場(chǎng)ablqdlCLJ1T、TTTX1U*FnlA事ViL1-4-KJ!d1K一 0111no0,iC4說明：上述內(nèi)容設(shè)置完畢后必須重新啟動(dòng)計(jì)算機(jī)讓其生效。(2)使用上述相同方法設(shè)置兩臺(tái) web 服務(wù)器的 IP 地址、計(jì)算機(jī)名、hosts 文件、及禁用selinux 并重啟計(jì)算機(jī)。配置負(fù)載平衡器(LVS 莊機(jī)(1)為了不受防火墻的影響，在實(shí)驗(yàn)前關(guān)閉防火墻，如下圖所示：11門nt1hmas1(?r=servirciptablessti)p清除防火堵規(guī)則：確定把ins設(shè)置為ACCEPT策略:Tiller用毛正在卸載Iiptables

16、模塊：I確定1IroutujnIbmcLitci,，|二Irc-otnIbmastcr|mcunL/hJc/tnntmounttblockdevice/dev/hdeisnrile-ptLtccIcd.mountinpread-onlyrootAnlbmaster產(chǎn)cd/rnnt/Clustor蔡元紀(jì)制作Irootan1bmalcrC1uJStci|一口mithiDsadm1.二工-8+1.jW6.r口m-warning：ipvsadn14248*1*i386.rpm-HeaderV3DSAsignature：米爪”、keyD37017186Preparingi.(100K*MMOK=.Mm.

17、MKJ=JBM.WBV*KAHHLMKTHTJiBM*XB-d-KUMS*1!KMMM.aI1I1f1L1LIlFQ1ipvsadm(6X=|100(2)在負(fù)載平衡器上手工建立 LVS 調(diào)度腳本，如下圖所示：rooton1boiasterClustervim/etc/init.d/vip.sh127,0.0Jytt；117202.LVS 調(diào)度腳本的內(nèi)容如下圖所示:=h;n/hash;ifconfigethOiO172*24.0.100broadcast55netmask235uprouteadd-lir-ILL_JJ19Jex燈LhG；ip5adm門-1L_,2L、，1。

18、：$0msadrn說明：首先將 LVS 虛擬 IP00 綁定至 ij 本地的 eth0:0 設(shè)備上，設(shè)置本地計(jì)算機(jī)要到達(dá)00 的數(shù)據(jù)需要使用 eth0:0 設(shè)備；ipvsadmC代表清除以前的 ipvsadm 設(shè)置；ipvsadm-A 代表在內(nèi)核的虛擬服務(wù)器表中添加一條新的虛擬服務(wù)器記錄，也就是增加一臺(tái)新的虛擬服務(wù)器；-a 代表在內(nèi)核虛擬服務(wù)器表的一條記錄里添加一條新的真實(shí)服務(wù)器記錄，也就是在一個(gè)虛擬服務(wù)器中增加一臺(tái)新的真實(shí)服務(wù)器；-t-tcp-serviceservice-address 說明虛擬服務(wù)器提供的是 tcp 的服務(wù)；-s 代表使用的調(diào)度算法

19、，有這樣幾個(gè)選項(xiàng) rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq,其中 rr 為輪叫法；-g 指定 LVS 的工作模式為直接路由模式(也是 LVS 默認(rèn)的模式)(3)為 LVS 調(diào)度腳本添加相關(guān)的執(zhí)行權(quán)限，然后執(zhí)行調(diào)度腳本，并設(shè)置系統(tǒng)開機(jī)后自動(dòng)執(zhí)行該腳本，如下圖所示:：0：httpf172.24.0,IO：httpFjrarJHeightctiCcnnnrtctConnRoute10RouteI3.設(shè)置 0/16Web01 服務(wù)器(1)在服務(wù)器 web01 上首先關(guān)閉防火墻，服務(wù)，最后建立 web01 主頁如下圖所示:然后安裝

20、 httpd 的 apache 軟件包，并啟動(dòng) apachel：httpd7fH:二二二=二二匚二二二二二二二二二二二二|100uI|roDtcvcbOScier|scrvicchttpdstart啟動(dòng)httcxh南定IrootdwcbOlServer|zechoh1111111111/var/wwi*/html/1ndex+htmlIrcnt(iweb01Serverl=(2)為了讓 web01 綁定群集虛擬 IP,并忽略 ARP 請(qǐng)求包，需要建立腳本文件完成，如下圖所示：iGiwehOlServerLIE/t?tc/1n11,d,sh|腳本文件的內(nèi)容如下圖所示：#!/bin/bashiif

21、configla：0172240100broadcast172,24*255,255netmask253255*255*255uP蔡元紀(jì)制作routeadd-E11-t172.21,0*10deloin1/proc/sys/rift/ipi-1/conr/lu/arp_ignore：_/proc/byb/nt；l/ip4/conf/1o/arp_annunceec?-1/proc/sys/net/ipv4/conf/all/arp_ignorc2/proc/sys/nct/ipv4Aonf/a11/arpannouncessc110說明： 上圖中首先將00的虛擬IP綁定到本

22、機(jī)網(wǎng)卡的lo環(huán)回接口上,然后告訴本地計(jì)算機(jī)：到達(dá) 00 的數(shù)據(jù)需要使用設(shè)備 lo:0;然后設(shè)置忽略本地 ARP 請(qǐng)求， 最后使用 sysctlR 使之生效。(3)為腳本文件添加相關(guān)執(zhí)行權(quán)限，然后執(zhí)行腳本，并設(shè)置該腳本系統(tǒng)開機(jī)時(shí)自動(dòng)啟動(dòng)，如下圖所示：rootfivcbOl=5crviceiptablesstop清除防火墻規(guī)則：把chains設(shè)置為CCLPT策略:filter正在酬載liptabitb模塊;Ir*.?ub01|二IiJuLCwebOl|二muuni/dz/hdc/mntmonntJblockdcicc/Jcv/hdcisnritc-pr.levied,nioun

23、iing1rootctycbOlcd/mntrootlebOlrnnt=cd5uccrootOwebOlServer注ncnr*vhhttD，I】1.廣口電確定確定1就定rcadonlywarnin&ihttpd-2,2,3-6.e151386,rowHeaderV3DSAsisnatureiXOKY,keyID3蔡元紀(jì)制作(icm!1001Lliiepdring.rootawebOlServerJ1?chmoda+x/etc/initd/webOlshIrootatwcbOlScrcr|-IrootcowcbOlServer/ctcin11.d/webO1,shnet*ipv4ip_

24、irward=0netipv4.conf.defau11.rp_li1ter-1net,ip4.mnf,defau：Itseeept_,soijrcc_rnule=0ketrie1*syjiiq=0ketnel.coveruse_pid-1netHp4.tcp_syricookits=1_kernel.msgmnb-65S36禁兀紀(jì)制作kernel.rtibgniax-63336kernel.shmmax=4294987295kernel,5hna1I=2(i8435436rnotCwcbOlServer?roottwcbOlServereqhQ./tr/imt.d/rebOl*:sh*/elr/u-l”aI4.設(shè)置 0/16web02 服務(wù)器(1)在服務(wù)器 web02 上首先關(guān)閉防火墻，然后安裝 httpd 的 apache 軟件包，并啟動(dòng) apache 服務(wù)，最后建立 web02 主頁如下圖所示：說明：為了更明顯的看到實(shí)驗(yàn)效果，我們?cè)趦膳_(tái) web 服務(wù)器上建立不相同的主頁內(nèi)容建立。(2)在 web02 的/etc/