LINUX下多路徑(multi-path)介紹及使用

1、LINUX下多路徑(multi-path)介紹及使用一、什么是多路徑普通的電腦主機都是一個硬盤掛接到一個總線上，這里是一對一的關系。而到了有光纖組成的SAN環(huán)境，或者由iSCSI組成的IPSAN環(huán)境，由于主機和存儲通過了光纖交換機或者多 塊網(wǎng)卡及IP來連接，這樣的話，就構成了多對多的關系。也就是說，主機到存儲可以有多 條路徑可以選擇。主機到存儲之間的10由多條路徑可以選擇。每個主機到所對應的存儲可以經(jīng)過幾條不同的路徑，如果是同時使用的話，I/O流量如何分配？其中一條路徑壞掉了，如何處理？還有在操作系統(tǒng)的角度來看，每條路徑，操作系統(tǒng)會認為是一個實際存在的物理盤，但實際上只是通向同一個物理盤的不同

2、路徑而已，這樣是在使用的時候，就給用戶帶來了困惑。多路徑軟件就是為了解決上面的問題應運而生的。多路徑的主要功能就是和存儲設備一起配合實現(xiàn)如下功能：1故障的切換和恢復2.I0流量的負載均衡3磁盤的虛擬化由于多路徑軟件是需要和存儲在一起配合使用的，不同的廠商基于不同的操作系統(tǒng)，都提供了不同的版本。并且有的廠商，軟件和硬件也不是一起賣的，如果要使用多路徑軟件的話， 可能還需要向廠商購買license才行。比如 EMC公司基于linux下的多路徑軟件，就需要單獨的購買license。好在，RedHat和Suse的2.6的內核中都自帶了免費的多路徑軟件包，并且可以免費使用，同時也是一個比較通用的包，可以

3、支持大多數(shù)存儲廠商的設備，即使是一些不是出名的廠商，通過對配置文件進行稍作修改，也是可以支持并運行的很好的。二、Linux下multipath介紹，需要以下工具包：在CentOS 5中，最小安裝系統(tǒng)時 multipath已經(jīng)被安裝，查看multipath是否安裝如下:izoot&wishdb 爭 rpm 亠qa |giep mapper device-mapper-1 02 39-1elS device-mapper-evenc-l.02 39-1 elS devic e-icapp er-multi pa th-0.4.7-34 . el51、device-mapper-multip

4、ath :即 multipath-tools。主要提供 multipathd 和 multipath 等工具禾口 multipath.conf等配置文件。這些工具通過 device mapper的ioctr的接口創(chuàng)建和配置 multipath 設備(調用device-mapper的用戶空間庫。創(chuàng)建的多路徑設備會在/dev /mapper中)。2、 device-mapper:主要包括兩大部分：內核部分和用戶部分。內核部分主要由device mapper 核心(dm.ko )和一些target driver (md-multipath.ko )。核心完成設備的映射，而 target根據(jù) 映射關系

5、和自身特點具體處理從mappered device下來的i/o。同時，在核心部分，提供了一個接口，用戶通過ioctr可和內核部分通信，以指導內核驅動的行為，比如如何創(chuàng)建 mappereddevice，這些 divece的屬性等。linux device mapper的用戶空間部分主要包括device-mapper這個包。其中包括 dmsetup工具和一些幫助創(chuàng)建和配置mappered device的庫。這些庫主要抽象，圭寸裝了與 ioctr通信的接口，以便方便創(chuàng)建和配置mappered deviceo multipath-tool的程序中就需要調用這些庫。3、dm-multipath.ko 和

6、 dm.ko : dm.ko 是 device map per 驅動。它是實現(xiàn) multipath 的基礎。 dm-multipath 其實是 dm 的一個 target 驅動。4、 scsi_id: 包含在udev程序包中，可以在 multipath.conf中配置該程序來獲取 scsi設備的 序號。通過序號，便可以判斷多個路徑對應了同一設備。這個是多路徑實現(xiàn)的關鍵。scsi_id是通過sg驅動，向設備發(fā)送 EVPD page80或page83的in query命令來查詢scsi設備的標識。 但一些設備并不支持EVPD的in query命令，所以他們無法被用來生成multipath設備。但可

7、以改寫scsi_id，為不能提供scsi設備標識的設備虛擬一個標識符，并輸出到標準輸出。multipath程序在創(chuàng)建 multipath設備時，會調用scsi_id，從其標準輸出中獲得該設備的scsi id。在改寫時，需要修改scsi_id程序的返回值為 0。因為在 multipath程序中，會檢查該直來確定scsi id是否已經(jīng)成功得到。三、multipath在CentOS 5中的基本配置過程：1、安裝和加載多路徑軟件包# yum - y in stall device-mapper device-mapper-multipath# chkconfig - level 2345 multip

8、athd on#設置成開機自啟動 multipathd# lsmod |grep dm_multipath#來檢查安裝是否正常rootwishdti /f # lsmod tdie multipathdra_iniiltipai;h25212 djn_round_robinSC31.dh1209?1 ditnultipaLhdm no d20 dm mirzo* f drr. crultipath dmdit log如果模塊沒有加載成功請使用下列命初始化DM，或重啟系統(tǒng)-Use the followi ng comma nds to in itialize and start DM for t

9、he first time:# modprobe dm-multipath# modprobe dm-r oun d-rob in# service multipathd start# multipath v22、配置 multipath :Multipath的配置文件是/etc/multipath.conf ,如需要multipath正常工作只需要如下配置即可:(如果需要更加詳細的配置，請看本文后續(xù)的介紹)blacklist devnode "Asda"defaults user_frie ndly_ names yespath_group in g_policy mul

10、tibusfailback immediaten o_path_retry fail # vi /etc/multipath.c onfblacklist devnodedefaults user_friendly names yes path grouping policy multibus failback iminediateno_path_ret；ry fail3、multipath基本操作命令# /etc/init.d/multipathd start#開啟 mulitipath 服務# multipath -F#刪除現(xiàn)有路徑# multipath -v2#格式化路徑# multip

11、ath -ll#查看多路徑roatwlshdb /* Kultlpath -11! siz®"2 m咗(hwanclLer"OI rwTcund-Tobln 0 (prlo_2|active7：o：0:2 dd« 0active(ready)fl ：0； 0； jdi 8 :128 aenvej (reqdy)npathl (1444Sfi400000Qe000dcca2edAS 1 d*?0b31 edbcfce23STt勺協(xié)亡已】fe«tuxeJ-0J hwhandleE-"0 rw)round-zebin 0 (prio

12、1;2 fIacerve|7:0:1 add 9:4S activeJ freadyX_ fi ; 0:0:1 stih fl : 112 active J t ready)mpathO (HM55Qt>0Gq00QOGa«7S5<C*J70b435 9c6teJ72e；f35«3Jl)sLze-OlMJ feituirs-O hwhaniiltr-OJ rvfound-fobin 0 (prlo-2active 7：0:0i0B;32 (active)(ready)X_ 8:0:0:0 sdg B:96 (active)f.ready網(wǎng)&油(145S4

13、OO0GC000OOS19cAB13a2Dai9S4f2bH3 6«3t!lfO3cc3) axze-3,2G teAtur«-0 hwhandler-0 rvzaund-robin 0 priD2active7 ；0 ： 0： J jir 9:80: active J J.ready： 0;0; 3 Jdj 8 ; 141 active! r«dy|IET,VIHTUW-DISKdra-1 lETrVIRTUAL-DISKdrc-0 ICT,VIRTUAL-DISJCdfti-3 IET*VIRTUAL-DISK如果配置正確的話就會在/dev/mapper/目錄

14、下多出mpath0、mpath1等之類設備。crw-1rootTOO匸iof6307-1911:24controlbrw-rw1rootdisk253,007-19L3il4mpathOk>rw-Tw-1rootdisk253,1071913:14mpathlbrw-rw1rootdisk207-1913:14mpatli2brw-rw1rootdisk253,307-19L3il4mpath3rootwishdb /# Is -1 總計0/dev/mapper/用fdisk -l命令可以看到多路徑軟件創(chuàng)建的磁盤，如下圖中的/dev/dm-0-3Disk /dev/dmO: S18 MB

15、, 51816038 bycej255 heads, 63 3ecLors/T；r*c)c 62 cylindersUnlus * cylinders of 16065 * 512 = B225280 bytesDevice BoatStartEndDisk /dev/dm-1: 518 MB, 51612640 bytea 25$ lieads 63 sectors/tracJc, 63 cylindersUnits - cylinders of l06S * S-2 - 8225280 bytesDevice Boot;StartEndBlocKa Id SysueaDisk /dev/d

16、m-2： 3010 MB, 30104S243Q byce255 heads, 63 jjecors/raciCj 366 cylinders Units cylinders of 16D6S * S12 S22528D bytesDevice BoctStartEndBlocks Id SystemDisk /dev/dni-3: 2393 MB, 2393SS64B0 bytes2SS heads, 63 aectoz/rracJc, 291 cylindersUnids cylinders of 1065 - 512 - 8225280 bytesvalid parmcion cable

17、Disk /dev/diE-3 doesn*t concin 菇4、multipath磁盤的基本操作要對多路徑軟件生成的磁盤進行操作直接操作/dev/mapper/目錄下的磁盤就行在對多路徑軟件生成的磁盤進行分區(qū)之前最好運行一下pvcreate命令：# pvcreate /dev/mapper/mpathOfdisk /dev/mapper/mpath0/ t fdlsk / dev/ m pp-eth 1Device contains neltbex a valid DOS partixlcn c&Dlep nar Smi, SGI or 05F di31£lA±

18、>el Byildihg a aewf DD5 diaklaBl CHan-es win feeaairs s meftry only, ujiL1 you decxde £0)write Thea- After 匸 11亀£. sf course xhe previous cncenc 昭陽*雷 be recoverable.Warning;: mvalm f0x00*00 of pnaTtl&ion table 4 will be ecrrecced by wlrice)CesaBand (eel fcf help) ; nCcmund actioneex

19、te»西idp primary parLltiGn |1*4»PParti'&lQn nuaubcr (l-<) « 1First cylinder iO. default 1):0>lngvalue 1口nt cylindieF er +lze dr +3ittM at +slteK (l*3r d-efeult C3|i :Umg de£«ulE value 63CoiMMnd ( for help) : wThe parcicloEii able ba been alcezed!Calling iocti ()

20、 m re-reftd p<a.rtiion cable.KARMIRG: R!MfC&<U13p0, V pArtxt lOfi Uble fai led w丄已削 ferfor 22 i Invalid argruufiC. The kernelus the cldl zable.The natr rafule will b« u>sed at lEhe next.置色匚. 孚和口生口© dlaijtaH用fdisk對多路徑軟件生成的磁盤進行分區(qū)保存時會有一個報錯，此報錯不用理會。fdisk對多路徑軟件生成的磁盤進行分區(qū)之后，所生成的磁盤分區(qū)并

21、沒有馬上添加到/dev/目錄下，此時我們要重啟 IPSAN或者FCSAN的驅動，如果是用 iscsi-initiator來連接IPSAN 的重啟ISCSI服務就可以發(fā)現(xiàn)所生成的磁盤分區(qū)了# service iscsi restart # ls -l /dev/mapper/rootgwishdb /If Is 一1 /dev/mapper/CTW1rootbrw-rw1rootbrw-rw1rootbrw-rw1roo匸brw-rw1rootbrw-rw1rootbrw-rw1rootcaLal Croot 10 f 63 Jul disk 253,0Juldisk 253,3Juldisk

22、2S3,1Juldisk 253,5Juldisk 253,2Juldisk 253,4Jul1911:24con七rol1913:27mpathO1913:27mpathOpl1913:27mpathl1913:27mpathlpl1913:27mpath21913:27mpath3如上圖中的 mpathOp1和mpath1p1就是我們對 multipath磁盤進行的分區(qū)# mkfs.ext3 /dev/mapper/mpathOp1#對 mpathOp1 分區(qū)格式化成 ext3 文件系統(tǒng)# mount /dev/mapper/mpathOp1 /ipsan/#掛載 mpathOp1 分區(qū)r

23、oQtSwishdb /t df-lhFilesystemSizeUsedAvailUse%Mounted on/dev/sda319G2.0G1G12%/dev/3dal7 EM12M61M16%/boottmp f 3355M0355M0%/ dev/ stun/ dev/mapper/nipathOpl471M11M37H3%/ipsan# mkfs.ext3 /dev/mapper/mpath1p1#對 mpath1p1 分區(qū)格式化成 ext3 文件系統(tǒng)# mount /dev/mapper/mpath1p1 /ipsan/#掛載 mpath1p1 分區(qū)2個都要格式化，2個路徑都掛在一

24、個掛載點，可能是這樣！ ！ ！這個還需要弄清楚。四、multipath 的高有配置以上都是用 multipath 的默認配置來完成 multipath 的配置，比如映射設備的名稱， multipath 負載均衡的方法都是默認設置。那有沒有按照我們自己定義的方法來配置 multipath 呢，當 可以。1、multipath.conf 文件的配置接下來的工作就是要編輯 /etc/multipath.conf 的配置文件 multipath.conf 主要包括 blacklist 、 multipaths 、 devices 三部份的配置blacklist 配置blacklist devnode

25、"Asda"Multipaths 部分配置multipaths 和 devices 兩部份的配置。multipaths multipath wwid*aliasiscsi-dm0#此值 multipath -v3 可以看到#映射后的別名 ,可以隨便取path_grouping_policy multibus path_checkerturpath_selector "round-robin 0"#路徑組策略#決定路徑狀態(tài)的方法# 選擇那條路徑進行下一個IO 操作的方法Devices 部分配置devices device vendor"iSCSI

26、-Enterprise"product"Virtual disk"path_grouping_policy multibus#廠商名稱#產(chǎn)品型號#默認的路徑組策略getuid_callout "/sbin/scsi_id -g -u -s /block/%n"#獲得唯一設備號使用的默認程prio_callout "/sbin/acs_prio_alua %d" path_checkerreadsector0path_selector"round-robin 0"法failbackimmediate序#獲取

27、有限級數(shù)值使用的默認程序#決定路徑狀態(tài)的方法#選擇那條路徑進行下一個 IO 操作的方#故障恢復的模式no_path_retry queue 的數(shù)值#在 disable queue 之前系統(tǒng)嘗試使用失效路徑的次數(shù)rr_min_io 100#在當前的用戶組中，在切換到另外一條路徑之前的IO請求的數(shù)目如下是一個完整的配置文件blacklist devnode "Asda"defaults user_friendly_names nomultipaths multipath wwid14945540000000000a67854c6270b4359c66c272e2f356321a

28、liasiscsi-dm0path_grouping_policypath_checkerpath_selectormultipath wwidaliasmultibustur"round-robin 0"14945540000000000dcca2eda91d70b81edbcfce2357f99eeiscsi-dm1path_grouping_policy multibus path_checker path_selectormultipath wwidtur"round-robin 0"1494554000000000020f763489c1655

29、61101813333957ed96aliasiscsi-dm2path_grouping_policy multibus path_checker path_selectormultipath wwidtur"round-robin 0"14945540000000000919ca813020a195422ba3663e1f03cc3aliaspath_grouping_policy path_checker path_selectoriscsi-dm3multibustur"round-robin 0"devices device vendor pr

30、oduct"iSCSI-E nterprise""Virtual disk"path_group in g_policy multibusgetuid_callout path_checker path_selector"/sbi n/scsi_id -g -u -s /block/% n" readsector0"ro un d-rob in 0"獲取wwid的方法：(1)默認情況下，將使用/var/lib/multipath/bi ndi ngs內的配置設定具體每個多路徑設備名，如果在/etc/multipat

31、h.conf中有設定各wwid 別名，別名會覆蓋此設定。rootwishdb /)# more /var/lib/multipath/bindings# Multipath bindings t Version : 1»0# NOTE: this file is automatically maintained by the mult.ip aril progrank.# You should not need 匸ci edi匸 ttiis file in normal circunLstances.# Format;# aliad wwidrnpathO 1494S54aOOOOO

32、OOOOa67fiS4c627Cib43S9c6c272e2f356321mpathl 1494554 OOOQaOOOOQclCCa2eda91d7 0b81edi>crce23S7f 99eempath2 1494554000000000020f763e89cl65561101813333957ed96 mpath3 14945540000000000919caai3020al95422ba3663elf03cc3(2)# multipath -v3 命令查找rootwishcib / # mulcipa匸h -v3 |grep uidsdb: geruid = /sbin/scsi

33、 id -g -u -s /block/%n config file defau丄匸) sde: getuid = /sbin/scslid -g -u -s /block/%n config file default) sdc： uid = 14945540DO0OOOOO0a67854c627Ob4359c66c272e2f356321 (callout sdd: geruid = /sbin/scsi id -g -u -s /block/config file defau丄匸) add: uid = Ie94554000000?000dcca2eda91d70bsiedbcfce235

34、7f99ee (callout sde: getuid = /sbin/sc3i_id -g -u -s /block/%n (config tile default sde: uid = 1494554000000000020f7634B9clfi55fill01fll3333957ed96 (callour> sdf: getuid = /Bbin/scsi_id -g -u -s /block/%n (config file default) sdf: uid = 1494554ODO0OOOOOO919ca813O2Oal95422ba3663elfO3cc3 (callout sdh: getuid = /sbzn/scsj. id -g -u -s /block/in config fi