centos上iscsi+multipath多路徑存儲(chǔ)配置手冊(cè).doc

這是我在實(shí)際工程中所做的一個(gè)文檔，拿出來(lái)給大家分享，如有異議，歡迎探討。目錄一：客戶(hù)端安裝iscsi包。二：在共享存儲(chǔ)上為服務(wù)器劃分磁盤(pán)空間。三：?jiǎn)⒂胕scsi設(shè)備。四：安裝dm-multipath包。五：配置參數(shù)修改和測(cè)試。一;客戶(hù)端添加iscsi安裝包。1、服務(wù)器安裝iscsi initiator包。安裝包從安裝光盤(pán)中找到rpm -qa |grep iscsiiscsi-initiator-utils-68-0.7.el52、在/etc/iscsi/目錄下/etc/iscsi/initiatorname.iscsi查看此文件可發(fā)現(xiàn)主機(jī)端的iqn號(hào)碼。在EVA command view管理軟件中添加HOST時(shí)需用到。二:為服務(wù)器劃分磁盤(pán)陣列的磁盤(pán)空間（即Virtual disk）具體詳見(jiàn)存儲(chǔ)配置。三:啟用ISCSI設(shè)備1、在服務(wù)器端，啟動(dòng)ISCSI服務(wù)：service iscsi start2、查詢(xún)ISCSI設(shè)備（HP storageworks mpx100）target的iqn號(hào)碼：（必須）iscsiadm -m discovery -t sendtargets -p :3260,0.hp:fcgw.mpx100.0.50014380025bad30.50014380025bad383、登陸到ISCSI存儲(chǔ)設(shè)備rootlocalhost#Iscsiadm m node T .hp:fcgw.mpx100.0.50014380025bad30.50014380025bad38 -p :3260 l上面命令是連續(xù)的，其中iqn號(hào)碼為上面查詢(xún)得到的號(hào)碼，ip為iscsi存儲(chǔ)中iscsi口對(duì)外映射的地址。4、查看磁盤(pán):rootlocalhost #fdisk -lDisk /dev/sda: 8795 MB, 8795105280 bytes255 heads, 63 sectors/track, 1069 cylindersUnits = cylinders of 16065 * 512 = 8225280 bytesDevice Boot Start End Blocks Id System/dev/sda1 * 1 941 7558551 83 Linux/dev/sda2 942 1068 1020127+ 82 Linux swap / SolarisDisk /dev/sdb: 10.4 GB, 10487232000 bytes255 heads, 63 sectors/track, 1275 cylindersUnits = cylinders of 16065 * 512 = 8225280 bytesDevice Boot Start End Blocks Id System得到新的盤(pán)符5、同樣的方法添加另外一個(gè)ISCSI路徑的target。（說(shuō)明：一個(gè)mpx100的一個(gè)ISCSI端口有一個(gè)iqn號(hào)和一個(gè)ip地址）添加成功后fdisk l應(yīng)該可以看到兩個(gè)盤(pán)符。他們的容量都一樣。這兩個(gè)盤(pán)符對(duì)應(yīng)的是同一個(gè)磁盤(pán)陣列下的同一個(gè)LUN。6：映射完成之后使用下面命令查看映射結(jié)果：iscsiadm -m node:3260,0 .hp:fcgw.mpx100.0.50014380025bad30.50014380025bad38:3260,0 .hp:fcgw.mpx100.0.50014380025bad30.50014380025bad3c五：安裝DM-multipath軟件包由于需要實(shí)現(xiàn)存儲(chǔ)設(shè)備的多路徑訪問(wèn)及故障切換，故需要運(yùn)行multipath服務(wù)，這個(gè)在centos中已經(jīng)安裝好了。如沒(méi)有執(zhí)行下面的命令。（原理為EVA4400中的一個(gè)真實(shí)的virtual disk通過(guò)與2個(gè)冗余陣列控制器連接的2個(gè)MPX100B對(duì)外提供映射，故服務(wù)器上可以看到兩個(gè)物理磁盤(pán)，但此磁盤(pán)對(duì)應(yīng)一個(gè)真實(shí)的一個(gè)真實(shí)的virtual disk，故這兩條路徑間可以實(shí)現(xiàn)故障切換和負(fù)載均衡）rpm ivh device-mapper-1.02.13-6.9.i686.rpmrpm ivh multipath-tools-0.4.7-34.18.i686.rpm安裝完成后，使用命令modprobe dm_multipath來(lái)加載相應(yīng)的模塊，可以使用lsmod |grep dm_multipath來(lái)檢查安裝是否正常。六：配置文件的修改及創(chuàng)建1：etc/multipath.conf是多路徑軟件的配置文件，其中大部分配置是注釋掉的，可以將他保存為備用，然后新建一個(gè)multipath.conf文件，編輯新的配置文件：實(shí)際有用的就是下面這些參數(shù)：其余參數(shù)都可以注釋掉：defaults user_friendly_names yesudev_dir /devpath_grouping_policy multibusfailback immediateno_path_retry fail保存退出2：?jiǎn)?dòng)服務(wù)：Service multipathd restart啟動(dòng)成功后，我們會(huì)在dev目錄下看到下面的目錄：/dev/mapper/mpathn,/dev/mpath/mpathn,/dev/dm-n.說(shuō)明:其中/dev/mapper/mpathn是軟件虛擬出來(lái)的多路徑設(shè)備，這個(gè)可以被我們用來(lái)掛載使用。/dev/mpath/mpathn這個(gè)是udev設(shè)備管理器創(chuàng)建的，不能用來(lái)掛載。/dev/dm-n這個(gè)是軟件自身使用的，不能被軟件以外使用。不可掛載。3： 用multipath ll命令查看到兩條活躍路徑，他們之間互為A/A關(guān)系。斷掉其中一根線路，那么系統(tǒng)自動(dòng)切換到另外一條。multipath -llmpath2 (3600508b4000a5bfd0000b00000200000) dm-2 HP,HSV300size=2.0Tfeatures=0hwhandler=0_ round-robin 0 prio=2active_ 1:0:0:2 sdd 8:48 activeready_ 2:0:0:2 sdf 8:80 activereadympath1 (3600508b4000a5bfd0000b000001a0000) dm-1 HP,HSV300size=2.0Tfeatures=0hwhandler=0_ round-robin 0 prio=2active_ 1:0:0:1 sdb 8:16 activeready_ 2:0:0:1 sdc 8:32 activereadympath3 (3600508b4000a5bfd0000b00000350000) dm-3 HP,HSV300size=2.0Tfeatures=0hwhandler=0_ round-robin 0 prio=2active_ 1:0:0:3 sde 8:64 activeready_ 2:0:0:3 sdg 8:96 activeready4：在多路徑設(shè)備創(chuàng)建后，我們就可以像使用實(shí)際的物理設(shè)備樣使用多路徑設(shè)備了。前提是必須通過(guò)下面的命令將其標(biāo)記為物理卷。pvcreate /dev/mapper/mpath15：然后對(duì)磁盤(pán)進(jìn)行分區(qū)和格式化fdisk /dev/mapper/mpath1（說(shuō)明：這里有很多種說(shuō)法，我這里是自己經(jīng)驗(yàn)總結(jié)出來(lái)的，和官方文檔不同，如有異議歡迎討論）分區(qū)之后，會(huì)在dev/mapper/目錄下創(chuàng)建新的塊設(shè)備，/dev/mapper/mpath1p1這個(gè)表示mpath1設(shè)備下面的分區(qū)1.如果沒(méi)有看到或者不匹配，使用multipath F命令清除多路徑設(shè)備緩存后，再用multipath v3命令重新加載。分區(qū)之后使用fdisk l命令查看磁盤(pán)會(huì)看到dm-1磁盤(pán)下面已經(jīng)有分區(qū)的信息了。*isk /dev/dm-1: 2197.9 GB, 2197949513728 bytes255 heads, 63 sectors/track, 267218 cylindersUnits = cylinders of 16065 * 512 = 8225280 bytesDevice Boot Start End Blocks Id System/dev/dm-1p11 121577 976567221 83 Linuxmkfs.ext3 /dev/mapper/mpath0p1*6：最后將磁盤(pán)mount掛載，就可以正常使用了。7：將multipathd服務(wù)設(shè)置成開(kāi)機(jī)自啟動(dòng)chkconfig multipathd on8：注意事項(xiàng)：刪除失效的iscsi連接：如果因?yàn)殄e(cuò)誤配置等原因創(chuàng)建了iscsi對(duì)應(yīng)，系統(tǒng)不會(huì)自動(dòng)刪除，需手動(dòng)刪除。例如：rootas-h-01 #iscsiadm -m node1:3260,1 .openfiler:tsn.59dc8fc04fa2我們看到上面有一個(gè)iscsi對(duì)應(yīng)，但實(shí)際中這個(gè)對(duì)應(yīng)已經(jīng)失效，系統(tǒng)不會(huì)自動(dòng)刪除。刪除命名：iscsiadm -m node -o delete -T .openfiler:tsn.59dc8fc04fa2 -p 1:3260如果其中一條鏈路出現(xiàn)故障，那么在日志里面我們可以看到如下類(lèi)似的信息：tail /var/log/messagesDec 12 14:03:15 bhnfs1 kernel: iscsi: cmd 0x28 is not queued (8)Dec 12 14:03:15 bhnfs1 kernel: iscsi: cmd 0x28 is not queued (8)Dec 12 14:03:15 bhnfs1 multipathd: sdf: readsector0 checker reports path is downDec 12 14:03:15 bhnfs1 multipathd: sdg: readsector0 checker reports path is downDec 12 14:03:20 bhnfs1 kernel: iscsi: cmd 0x28 is not queued (8)Dec 12 14:03:20 bhnfs1 multipathd: sdc: readsector0 checker reports path is downDec 12 14:03:20 bhnfs1 kernel: iscsi: cmd 0x28 is not queued (8)Dec 12 14:03:20 bhnfs1 multipathd: sdf: readsector0 checker reports path is downDec 12 14:03:20 bhnfs1 kernel: iscsi: cmd 0x28 is not queued (8)Dec 12 14:03:20 bhnfs1 multipathd: sdg: readsector0 checker reports path is /etcmultipath -llsdc: checker msg is readsector0 checker reports path is downsdf: checker msg is readsector0 checker reports path is downsdg: checker msg is readsector0 checker reports path is downmpath2 (3600508b4000a5bfd0000b00000200000) dm-2 HP,HSV300size=2.0Tfeatures=0hwhandler=0_ round-robin 0 prio=1active_ 1:0:0:2 sdd 8:48 activeready_ 2:0:0:2 sdf 8:80failedfaultympath1 (3600508b4000a5bfd0000b000001a0000) dm-1 HP,HSV300size=2.0Tfeatures=0hwhandler=0_ roun