centos上iscsi+multipath多路徑存儲配置手冊.doc

這是我在實(shí)際工程中所做的一個文檔，拿出來給大家分享，如有異議，歡迎探討。目錄一：客戶端安裝iscsi包。二：在共享存儲上為服務(wù)器劃分磁盤空間。三：啟用iscsi設(shè)備。四：安裝dm-multipath包。五：配置參數(shù)修改和測試。一;客戶端添加iscsi安裝包。1、服務(wù)器安裝iscsi initiator包。安裝包從安裝光盤中找到rpm -qa |grep iscsiiscsi-initiator-utils-68-0.7.el52、在/etc/iscsi/目錄下/etc/iscsi/initiatorname.iscsi查看此文件可發(fā)現(xiàn)主機(jī)端的iqn號碼。在EVA command view管理軟件中添加HOST時需用到。二:為服務(wù)器劃分磁盤陣列的磁盤空間（即Virtual disk）具體詳見存儲配置。三:啟用ISCSI設(shè)備1、在服務(wù)器端，啟動ISCSI服務(wù)：service iscsi start2、查詢ISCSI設(shè)備（HP storageworks mpx100）target的iqn號碼：（必須）iscsiadm -m discovery -t sendtargets -p :3260,0.hp:fcgw.mpx100.0.50014380025bad30.50014380025bad383、登陸到ISCSI存儲設(shè)備rootlocalhost#Iscsiadm m node T .hp:fcgw.mpx100.0.50014380025bad30.50014380025bad38 -p :3260 l上面命令是連續(xù)的，其中iqn號碼為上面查詢得到的號碼，ip為iscsi存儲中iscsi口對外映射的地址。4、查看磁盤:rootlocalhost #fdisk -lDisk /dev/sda: 8795 MB, 8795105280 bytes255 heads, 63 sectors/track, 1069 cylindersUnits = cylinders of 16065 * 512 = 8225280 bytesDevice Boot Start End Blocks Id System/dev/sda1 * 1 941 7558551 83 Linux/dev/sda2 942 1068 1020127+ 82 Linux swap / SolarisDisk /dev/sdb: 10.4 GB, 10487232000 bytes255 heads, 63 sectors/track, 1275 cylindersUnits = cylinders of 16065 * 512 = 8225280 bytesDevice Boot Start End Blocks Id System得到新的盤符5、同樣的方法添加另外一個ISCSI路徑的target。（說明：一個mpx100的一個ISCSI端口有一個iqn號和一個ip地址）添加成功后fdisk l應(yīng)該可以看到兩個盤符。他們的容量都一樣。這兩個盤符對應(yīng)的是同一個磁盤陣列下的同一個LUN。6：映射完成之后使用下面命令查看映射結(jié)果：iscsiadm -m node:3260,0 .hp:fcgw.mpx100.0.50014380025bad30.50014380025bad38:3260,0 .hp:fcgw.mpx100.0.50014380025bad30.50014380025bad3c五：安裝DM-multipath軟件包由于需要實(shí)現(xiàn)存儲設(shè)備的多路徑訪問及故障切換，故需要運(yùn)行multipath服務(wù)，這個在centos中已經(jīng)安裝好了。如沒有執(zhí)行下面的命令。（原理為EVA4400中的一個真實(shí)的virtual disk通過與2個冗余陣列控制器連接的2個MPX100B對外提供映射，故服務(wù)器上可以看到兩個物理磁盤，但此磁盤對應(yīng)一個真實(shí)的一個真實(shí)的virtual disk，故這兩條路徑間可以實(shí)現(xiàn)故障切換和負(fù)載均衡）rpm ivh device-mapper-1.02.13-6.9.i686.rpmrpm ivh multipath-tools-0.4.7-34.18.i686.rpm安裝完成后，使用命令modprobe dm_multipath來加載相應(yīng)的模塊，可以使用lsmod |grep dm_multipath來檢查安裝是否正常。六：配置文件的修改及創(chuàng)建1：etc/multipath.conf是多路徑軟件的配置文件，其中大部分配置是注釋掉的，可以將他保存為備用，然后新建一個multipath.conf文件，編輯新的配置文件：實(shí)際有用的就是下面這些參數(shù)：其余參數(shù)都可以注釋掉：defaults user_friendly_names yesudev_dir /devpath_grouping_policy multibusfailback immediateno_path_retry fail保存退出2：啟動服務(wù)：Service multipathd restart啟動成功后，我們會在dev目錄下看到下面的目錄：/dev/mapper/mpathn,/dev/mpath/mpathn,/dev/dm-n.說明:其中/dev/mapper/mpathn是軟件虛擬出來的多路徑設(shè)備，這個可以被我們用來掛載使用。/dev/mpath/mpathn這個是udev設(shè)備管理器創(chuàng)建的，不能用來掛載。/dev/dm-n這個是軟件自身使用的，不能被軟件以外使用。不可掛載。3： 用multipath ll命令查看到兩條活躍路徑，他們之間互為A/A關(guān)系。斷掉其中一根線路，那么系統(tǒng)自動切換到另外一條。multipath -llmpath2 (3600508b4000a5bfd0000b00000200000) dm-2 HP,HSV300size=2.0Tfeatures=0hwhandler=0_ round-robin 0 prio=2active_ 1:0:0:2 sdd 8:48 activeready_ 2:0:0:2 sdf 8:80 activereadympath1 (3600508b4000a5bfd0000b000001a0000) dm-1 HP,HSV300size=2.0Tfeatures=0hwhandler=0_ round-robin 0 prio=2active_ 1:0:0:1 sdb 8:16 activeready_ 2:0:0:1 sdc 8:32 activereadympath3 (3600508b4000a5bfd0000b00000350000) dm-3 HP,HSV300size=2.0Tfeatures=0hwhandler=0_ round-robin 0 prio=2active_ 1:0:0:3 sde 8:64 activeready_ 2:0:0:3 sdg 8:96 activeready4：在多路徑設(shè)備創(chuàng)建后，我們就可以像使用實(shí)際的物理設(shè)備樣使用多路徑設(shè)備了。前提是必須通過下面的命令將其標(biāo)記為物理卷。pvcreate /dev/mapper/mpath15：然后對磁盤進(jìn)行分區(qū)和格式化fdisk /dev/mapper/mpath1（說明：這里有很多種說法，我這里是自己經(jīng)驗(yàn)總結(jié)出來的，和官方文檔不同，如有異議歡迎討論）分區(qū)之后，會在dev/mapper/目錄下創(chuàng)建新的塊設(shè)備，/dev/mapper/mpath1p1這個表示mpath1設(shè)備下面的分區(qū)1.如果沒有看到或者不匹配，使用multipath F命令清除多路徑設(shè)備緩存后，再用multipath v3命令重新加載。分區(qū)之后使用fdisk l命令查看磁盤會看到dm-1磁盤下面已經(jīng)有分區(qū)的信息了。*isk /dev/dm-1: 2197.9 GB, 2197949513728 bytes255 heads, 63 sectors/track, 267218 cylindersUnits = cylinders of 16065 * 512 = 8225280 bytesDevice Boot Start End Blocks Id System/dev/dm-1p11 121577 976567221 83 Linuxmkfs.ext3 /dev/mapper/mpath0p1*6：最后將磁盤mount掛載，就可以正常使用了。7：將multipathd服務(wù)設(shè)置成開機(jī)自啟動chkconfig multipathd on8：注意事項(xiàng)：刪除失效的iscsi連接：如果因?yàn)殄e誤配置等原因創(chuàng)建了iscsi對應(yīng)，系統(tǒng)不會自動刪除，需手動刪除。例如：rootas-h-01 #iscsiadm -m node1:3260,1 .openfiler:tsn.59dc8fc04fa2我們看到上面有一個iscsi對應(yīng)，但實(shí)際中這個對應(yīng)已經(jīng)失效，系統(tǒng)不會自動刪除。刪除命名：iscsiadm -m node -o delete -T .openfiler:tsn.59dc8fc04fa2 -p 1:3260如果其中一條鏈路出現(xiàn)故障，那么在日志里面我們可以看到如下類似的信息：tail /var/log/messagesDec 12 14:03:15 bhnfs1 kernel: iscsi: cmd 0x28 is not queued (8)Dec 12 14:03:15 bhnfs1 kernel: iscsi: cmd 0x28 is not queued (8)Dec 12 14:03:15 bhnfs1 multipathd: sdf: readsector0 checker reports path is downDec 12 14:03:15 bhnfs1 multipathd: sdg: readsector0 checker reports path is downDec 12 14:03:20 bhnfs1 kernel: iscsi: cmd 0x28 is not queued (8)Dec 12 14:03:20 bhnfs1 multipathd: sdc: readsector0 checker reports path is downDec 12 14:03:20 bhnfs1 kernel: iscsi: cmd 0x28 is not queued (8)Dec 12 14:03:20 bhnfs1 multipathd: sdf: readsector0 checker reports path is downDec 12 14:03:20 bhnfs1 kernel: iscsi: cmd 0x28 is not queued (8)Dec 12 14:03:20 bhnfs1 multipathd: sdg: readsector0 checker reports path is /etcmultipath -llsdc: checker msg is readsector0 checker reports path is downsdf: checker msg is readsector0 checker reports path is downsdg: checker msg is readsector0 checker reports path is downmpath2 (3600508b4000a5bfd0000b00000200000) dm-2 HP,HSV300size=2.0Tfeatures=0hwhandler=0_ round-robin 0 prio=1active_ 1:0:0:2 sdd 8:48 activeready_ 2:0:0:2 sdf 8:80failedfaultympath1 (3600508b4000a5bfd0000b000001a0000) dm-1 HP,HSV300size=2.0Tfeatures=0hwhandler=0_ roun