網(wǎng)卡綁定模式及實(shí)例

網(wǎng)卡綁定模式的解析IkVi'Lrj峯鬥卡IkVi'Lrj峯鬥卡訊匕b■月E[-茸4丘L s--y\初識(shí)服務(wù)器，發(fā)現(xiàn)每臺(tái)服務(wù)器一般會(huì)有多個(gè)網(wǎng)口。而實(shí)際搭建時(shí)候往往需要網(wǎng)卡綁定。用于提高服務(wù)器的吞吐量以及高可用性。下面簡(jiǎn)單介紹一下網(wǎng)卡綁定模式。網(wǎng)卡綁定有七種模式：bondO,bond1,bond2,bond3,bond4,bond5,bond6。第一種：mode=0，(balance-rr)Round-robinpolicyMode=O是平衡輪詢模式，這種模式下，每一張網(wǎng)卡都是活動(dòng)狀態(tài)，而且傳輸數(shù)據(jù)包順序是依次傳輸，網(wǎng)卡1一＞網(wǎng)卡2—〉網(wǎng)卡3…，直到傳輸?shù)阶詈笠粡埦W(wǎng)卡。即數(shù)據(jù)包的傳輸?shù)乃芯W(wǎng)卡循環(huán)傳輸。但是但是，一旦有一個(gè)連接會(huì)話的數(shù)據(jù)包由不同網(wǎng)卡傳輸?shù)脑?，中途在?jīng)過不同鏈路的周轉(zhuǎn)，客戶端所接受的數(shù)據(jù)包很有可能是無序的，而無序的數(shù)據(jù)包需要重新發(fā)送，網(wǎng)絡(luò)吞吐量就會(huì)很難保證。第二種：mode=1，(active-backup)Active-backuppolicyMode=1是主備模式，這種模式下，只有一個(gè)網(wǎng)卡設(shè)備處于活動(dòng)狀態(tài)，其他網(wǎng)卡備用，當(dāng)主網(wǎng)卡宕掉，另外一個(gè)備份網(wǎng)卡馬上轉(zhuǎn)為主設(shè)備。Mac地址外部可見，為了避免交換機(jī)發(fā)生混亂，bonding的mac地址是唯一的。這種模式只提供容錯(cuò)能力，資源利用率較低。第三種：mode=2，（balance-xor）XORpolicyMode=2，即平衡模式。此模式是利用hash策略傳輸數(shù)據(jù)包。缺省的策略是：（源MAC地址XOR目標(biāo)MAC地址）％slave數(shù)量。其他的傳輸策略可以通過xmit_hash_policy選項(xiàng)指定，此模式提供負(fù)載平衡和容錯(cuò)能力。第四種：mode=3，broadcastMode=3，即廣播模式。這種模式的每個(gè)slaver接口上傳輸每個(gè)數(shù)據(jù)包，此模式提供容錯(cuò)能力。第五種：mode=4，（802.3ad）IEEE802.3adDynamiclinkaggregationMode=4，即動(dòng)態(tài)鏈接聚合模式。創(chuàng)建一個(gè)聚合組，他們共享同樣的速率和雙工設(shè)定。根據(jù)802.3ad規(guī)范，將多個(gè)slave工作在同一個(gè)激活的聚合體下。外出流量的slave選舉是基于傳輸hash策略，該策略可以通過xmit_hash_policy選項(xiàng)從缺省的XOR策略改變到其他策略。需要注意的是，并不是所有的傳輸策略都是802.3ad適應(yīng)的尤其考慮到在802.3ad提及的包亂序問題。不同的實(shí)現(xiàn)可能會(huì)有不同的適應(yīng)性。必要條件：ethtool支持獲取每個(gè)slave的速率和雙工設(shè)定，switch（交換機(jī)）支持IEEE802.3adDynamiclinkaggregation，大多數(shù)switch（交換機(jī)）需要經(jīng)過特定配置才能支持802.3ad模式。第六種：mode=5,(balance-tlb)AdaptivetransmitloadbalancingMode=5，即適配器負(fù)載均衡模式。這種模式，不需要任何特別的交換機(jī)支持通道bonding。在每個(gè)slave上根據(jù)當(dāng)前的負(fù)載分配外出流量。如果正在接收數(shù)據(jù)的slave出現(xiàn)故障，另一個(gè)slave接管失敗的slave的MAC地址。必要條件：ethtool支持獲取每個(gè)slave的速率。第七種：mode=6，(balance-alb)AdaptiveloadbalancingMode=6，即適配器適應(yīng)性負(fù)載均衡模式，該模式同時(shí)加上針對(duì)IPV4流量的接收負(fù)載均衡(receiveloadbalanee,rlb)，而且不需要任何switch(交換機(jī))的支持。接收負(fù)載均衡是通過ARP協(xié)商實(shí)現(xiàn)的Obonding驅(qū)動(dòng)截獲本機(jī)發(fā)送的ARP應(yīng)答，并把源硬件地址改寫為bond中某個(gè)slave的唯一硬件地址，從而使得不同的對(duì)端使用不同的硬件地址進(jìn)行通信。來自服務(wù)器端的接收流量也會(huì)被均衡。當(dāng)本機(jī)發(fā)送ARP請(qǐng)求時(shí)，bonding驅(qū)動(dòng)把對(duì)端的IP信息從ARP包中復(fù)制并保存下來。當(dāng)ARP應(yīng)答從對(duì)端到達(dá)時(shí)，bonding驅(qū)動(dòng)把它的硬件地址提取出來，并發(fā)起一個(gè)ARP應(yīng)答給bond中的某個(gè)slave。使用ARP協(xié)商進(jìn)行負(fù)載均衡的一個(gè)問題是：每次廣播ARP請(qǐng)求時(shí)都會(huì)使用bond的硬件地址，因此對(duì)端學(xué)習(xí)到這個(gè)硬件地址后，接收流量將會(huì)全部流向當(dāng)前的slave。這個(gè)問題可以通過給所有的對(duì)端發(fā)送更新(ARP應(yīng)答)來解決，應(yīng)答中包含他們獨(dú)一無二的硬件地址，從而導(dǎo)致流量重新分布。當(dāng)新的slave加入到bond中時(shí)，或者某個(gè)未激活的slave重新激活時(shí)，接收流量也要重新分布。接收的負(fù)載被順序地分布(roundrobin)在bond中最高速的slave上當(dāng)某個(gè)鏈路被重新接上，或者一個(gè)新的slave加入到bond中，接收流量在所有當(dāng)前激活的slave中全部重新分配通過使用指定的MAC地址給每個(gè)client發(fā)起ARP應(yīng)答。下面介紹的updelay參數(shù)必須被設(shè)置為某個(gè)大于等于switch（交換機(jī)）轉(zhuǎn)發(fā)延時(shí)的值，從而保證發(fā)往對(duì)端的ARP應(yīng)答不會(huì)被switch（交換機(jī)）阻截。必要條件：ethtool支持獲取每個(gè)slave的速率，底層驅(qū)動(dòng)支持設(shè)置某個(gè)設(shè)備的硬件地址，從而使得總是有個(gè)slave（curr_active_slave）使用bond的硬件地址，同時(shí)保證每個(gè)bond中的slave都有一個(gè)唯一的硬件地址。如果curr_active_slave出故障，它的硬件地址將會(huì)被新選出來的curr_active_slave接管其實(shí)mod=6與mod=0的區(qū)別：mod=6，先把eth0流量占滿，再占ethl，….ethX;而mod=0的話，會(huì)發(fā)現(xiàn)2個(gè)網(wǎng)口的流量都很穩(wěn)定，基本一樣的帶寬。而mod=6，會(huì)發(fā)現(xiàn)第一個(gè)口流量很高，第2個(gè)網(wǎng)口只占了小部分流量。說明：常用的有三種mode=0:平衡負(fù)載模式，有自動(dòng)備援，但需要”Switch"支援及設(shè)定。mode=1:自動(dòng)備援模式，其中一條線若斷線，其他線路將會(huì)自動(dòng)備援。mode=6:平衡負(fù)載模式，有自動(dòng)備援，不必"Switch"支援及設(shè)定。常用的有三種mode=0:平衡負(fù)載模式，有自動(dòng)備援，但需要"Switch"支援及設(shè)定。mode=1:自動(dòng)備援模式，其中一條線若斷線，其他線路將會(huì)自動(dòng)備援。mode=6:平衡負(fù)載模式，有自動(dòng)備援，不必"Switch"支援及設(shè)定。需要說明的是如果想做成mode0的負(fù)載均衡,僅僅設(shè)置這里optionsbond0miimon=100mode=0是不夠的，與網(wǎng)卡相連的交換機(jī)必須做特殊配置（這兩個(gè)端口應(yīng)該采取聚合方式，因?yàn)樽鯾onding的這兩塊網(wǎng)卡是使用同一個(gè)MAC地址.從原理分析一下（bond運(yùn)行在modeO下）：mode0下bond所綁定的網(wǎng)卡的IP都被修改成相同的mac地址，如果這些網(wǎng)卡都被接在同一個(gè)交換機(jī)，那么交換機(jī)的arp表里這個(gè)mac地址對(duì)應(yīng)的端口就有多個(gè)，那么交換機(jī)接受到發(fā)往這個(gè)mac地址的包應(yīng)該往哪個(gè)端口轉(zhuǎn)發(fā)呢？正常情況下mac地址是全球唯一的，一個(gè)mac地址對(duì)應(yīng)多個(gè)端口肯定使交換機(jī)迷惑了。所以modeO下的bond如果連接到交換機(jī)交換機(jī)這幾個(gè)端口應(yīng)該采取聚合方式（cisco稱為ethernetchannel，foundry稱為portgroup）,因?yàn)榻粨Q機(jī)做了聚合后，聚合下的幾個(gè)端口也被捆綁成一個(gè)mac地址.我們的解決辦法是，兩個(gè)網(wǎng)卡接入不同的交換機(jī)即可。mode6模式下無需配置交換機(jī)，因?yàn)樽鯾onding的這兩塊網(wǎng)卡是使用不同的MAC地址。Linux網(wǎng)口綁定mod=1主備模式實(shí)例四個(gè)物理網(wǎng)口：em1,em2,em3,em4。綁定后的虛擬網(wǎng)口bondx。服務(wù)器em1的ip:192.168.1.139。第一步：查看物理網(wǎng)卡

[reoteUcalhost-1#ifcenfig-a 1emlLinkencap；EthernetHWaddrF4；8E；3a：C4；6&-0Cinet3dK3ir；iger16B!1,159ecast:192.16B.1.255^^55.255.255.0addr；fe0&；；i66e；3Sf-f：fei:4；65Oc/E4Stope；LankUPEMlADCASTRUhlMIMGMULTICASTHTU:15EQMetric:1[RXpackets errors:&d「口叩ed：H□verruns:&■FrameTXpackets；1D153Berr(jrg-adrcppedzODverninEiOearrienOldIIi&丄Dn：5：&tKqu&jelen:L0G6-[RXbyte&:492327933^469.5RiB)TXbytES:730Q3O3(6.9MiE)Interrupt!41Linkencap：EthernotnwaddrF4；：8E；38：€4：65：6DBROADCASTnXILCASTMTUilSOJMetric；iRXpackets：&errors：0dropped；Qoverruns：&fraie：：0TXpacketserrors；0drappedoverruns；&carner：0cflUisiona：Gtxqueuelen:1QGO私bytes1&.0b]TXbytes：6(G.&b?Intarrupt：45emlLinkenrap:EthernetHWaddrF4i：8E：3a：C4：65：nE關(guān)加DC陌TMTTC閻mjsiseeMetric:![RXpacketserrors；0drappedoverruns；0sfrane；DTXpackstsuderrors；e"mapped冷owrruns；&carrior：eCDllisions；0txqueuelen；10CQRXbytes：G49.9b]TXbytes汨iG.Ob)Interrupt；4^emlLinkencap^EthernetHWaddrF4;8E:38:<4;fi5:￡FERWC弱「MULTI匸0[MTU：15CaMetric-1[RXpacketserrorss6dropped^overrunss&fraie:9第二步：準(zhǔn)備bondx虛擬網(wǎng)卡，我這里采用復(fù)制em1[rooHalocalhostnetwork-scripts]#cpifcfg-snlifcfg-bondx[rooHalocalhostnetwork-Ecripts]#lltotal220-rw?「--r--?1rootroot135Feb2514:58iicfg-bondx-rw?「--r--?1rootroot135Jan2916:02iicfg-eml-?-r--r--?1rootroot135Jan2916；02JLfcfg-an2-rw?「--r--?1rootroot135Jan2916:02iicfg-e(n3-rw?「--r--?1rootroot135Jan2916:02ifcfg-ai4第三步：配置bondx虛擬網(wǎng)卡DEVICE=bandK0HWW>D皆F4;;SE;38;C4;65;GC#TYPE=E-themetOUID=J675bfb3-abaf-475l-9a85-656c7e9210fc#ONBDOT=no#NM_COimXJ_ED=yes#BOQTPROTO=dhcpEOOTPROTO=staticIPADDF^192.1&8.1.139NETNASK=255.255.255.0GATEWAY=192.168.1.259DNBD[)T=yesUSERCTL=no第四步：配置em1網(wǎng)卡

DEVICE=eml#HNADDR=F4:BE:38:C4:65:G匚^TYPE=Ethernet?JID=2676bfb3-abaf-475J-9a85-65&c7e931Qfc■#ONBOOT=no#NM_COMTROLI_ED=yes#BQQ7FR0TO=dhGpDNBOOT=yeEBOOTROTO=noneMASTER=boridxSLAVE=yes|USERCTL=dq[roo[「oot(^lacalhost[root^localhost[root[roo[「oot(^lacalhost[root^localhost[root(alocalhostLrootglocalhostLrootiB'localhost[root^localhost[root^localhost[root(31ocalhostifctg-bondlxlfcfg-emlifcfg-en2ifcfg-e(n3ifcfg-em4nitwork-scripts]#vimr)Etwark-scripts]#vimnetwark-scripts]#network-scripts]#vimnetwork-scripts]#network-scripts]#vimnetwark-scripts]#network-scripts]#vimnetwark-scripts]#|第五步：編輯文件加載模塊。即文件/etc/modprobe.d/dist.conf。在文件尾添加[root@localhost~]#grepbondx/etc/modprobe.d/dist.confaliasbondxbondingoptionsbondxmiimon=100mode=1alia?bondsbondingoptionsbandxmiijnon=10Dmode=lI"/etcTticx^)robe_il/dist.conf"176L,5652C檢查模塊加載[roottalocalhost-]#grepbondx/etc/modprobe.d/dLst,canfaliasbondxbondingoptionsbondxmiinion=100mode=l[roo'tglocalhoEt-]#|重啟網(wǎng)卡[root@localhost~]#servicenetworkrestartShuttingdowninterfaceem1:/etc/sysconfig/network-scripts/ifdown-eth:line116:/sys/class/net/bondx/bonding/slaves:Nosuchfileordirectory[OK]Shuttingdownloopbackinterface:[OK]Bringinguploopbackinterface:[OK]Bringingupinterfacebondx:Determiningifipaddress192.168.1.139isalreadyinusefordevicebondx...[OK][root@localhost~]#cat/proc/net/bonding/bondxEthernetChannelBondingDriver:v3.6.0(September26,2009)BondingMode:fault-tolerance(active-backup)PrimarySlave:NoneCurrentlyActiveSlave:em1MIIStatus:upMIIPollingInterval(ms):100UpDelay(ms):0DownDelay(ms):0SlaveInterface:em1MIIStatus:upSpeed:1000MbpsDuplex:fullLinkFailureCount:0Perman