linux多路徑連接iScsi存儲-重啟自動連接

1、RHEL系統(tǒng)帶有iSCSIinitiator軟件，下面描述如何配置iSCSIInitiator實(shí)現(xiàn)對ISCSI卷的訪問1.Linuxiscsi介紹（這一條介紹了linuxiscsi的基本原理和相關(guān)命令，具體配置時可略過）在Linux內(nèi)核中提供了iscsi驅(qū)動，iSCSI驅(qū)動（driver）使主機(jī)擁有了通過IP網(wǎng)絡(luò)訪問存儲的能力，驅(qū)動在主機(jī)（Initiator）和服務(wù)端（Target）間使用iSCSI協(xié)議在TCP/IP網(wǎng)上傳輸SCSI請求和響應(yīng)，在構(gòu)建上，iSCSI驅(qū)動與TCP/IP棧、網(wǎng)絡(luò)驅(qū)動和網(wǎng)絡(luò)接口卡（NIC）結(jié)合，其等同于SCSI或光纖通道卡適配器驅(qū)動對主機(jī)總線卡（HBA）的作用。驅(qū)動采

2、用采用模塊的方式，具體模塊包括iscsi_tcp,libiscsi,libiscsi_tcp。Initiator守護(hù)進(jìn)程介紹：/etc/iscsi/iscsid.conf-initiator配置文件/sbin/iscsiadm-initiator管理工具open-iscsi包括兩個守護(hù)進(jìn)程iscsid和iscsi，其中iscsid是主進(jìn)程，iscsi進(jìn)程則主要負(fù)責(zé)根據(jù)配置，在系統(tǒng)啟動時進(jìn)行發(fā)起端（Initiator）到服務(wù)端（target）的登錄，建立發(fā)起端與服務(wù)端的會話，使主機(jī)在啟動后即可使用通過iSCSI提供服務(wù)的存儲設(shè)備。iscsid進(jìn)程實(shí)現(xiàn)iSCSI協(xié)議的控制路徑以及相關(guān)管理功能。例如

3、守護(hù)進(jìn)程（指iscsid）可配置為在系統(tǒng)啟動時基于持久化的iSCSI數(shù)據(jù)庫內(nèi)容，自動重新開始發(fā)現(xiàn)（discovery）目標(biāo)設(shè)備。Initiator配置介紹（前提是已經(jīng)安裝iSCSIinitiator）1iSCSIinitiator名稱設(shè)置initiator名稱用來唯一標(biāo)識一個iSCSIInitiator端。保存此名稱的配置文件為/etc/iscsi/initiatorname.iscsi,命名規(guī)則可采用iqn-type格式，利用iscsi-iname命令可產(chǎn)出一個名稱，將此名稱輸入到initiatorname.iscsi配置文件即可。2iSCSIInitiator配置iSCSIInitiato

4、r的配置文件為/etc/iscsi/iscsid.conf,在iSCSIinitiator的scsid進(jìn)程啟動和執(zhí)行iscsiadm命令時，將讀取這個配置文件的內(nèi)容，獲取與SCSI目標(biāo)進(jìn)行交互的相關(guān)信息，主要的配置內(nèi)容包括：CHAPSettings組本組下的各個設(shè)置項主要用來指定Initiator與target驗證方式及相關(guān)信息設(shè)置節(jié)點(diǎn)會話的驗證模式node.session.auth.authmethod=CHAPCHAR（ChallengeHandshakeAuthenticationProtocol），默認(rèn)為不驗證（none）設(shè)置會話target驗證initiator的CHAR用戶名及對應(yīng)

5、的密碼node.session.auth.username=scottnode.session.auth.password=tiger設(shè)置會話initiator驗證target的用戶名及其對應(yīng)的密碼#node.session.auth.username_in=username_in#node.session.auth.password_in=password_in設(shè)置initiator發(fā)現(xiàn)target的驗證模式，默認(rèn)為不驗證（none）discovery.sendtargets.auth.authmethod=CHAP設(shè)置發(fā)現(xiàn)會話(discoverysession)target驗證initia

6、tor的CHAR用戶名及對應(yīng)的密discovery.sendtargets.auth.username=scottdiscovery.sendtargets.auth.password=tiger設(shè)置發(fā)現(xiàn)會話(discoverysession)initiator驗證target的CHAR用戶名及對應(yīng)的密碼#discovery.sendtargets.auth.username_in=username_in#discovery.sendtargets.auth.password_in=password_in通過上述配置項，可以看到iSCSI的主要驗證方式是CHAR,并且驗證是雙方向的。超時(Ti

7、meouts)設(shè)置組：本組設(shè)置initiator與target端交互的時間限制。重試(retry)設(shè)置組：本組設(shè)置iscsid重試登錄節(jié)點(diǎn)的次數(shù)。會話和設(shè)備排隊深度(sessionanddevicequeuedepth)設(shè)置組：設(shè)置session排隊命令的數(shù)量，設(shè)置設(shè)備隊列深度iSCSI設(shè)置(iSCSIsettings)組：啟用或禁止R2T(ReadytoTransmit)流控，啟用后，initiator在發(fā)送任何數(shù)據(jù)前必須等待一個R2T命令，默認(rèn)為禁止(no)。node.session.iscsi.InitialR2T=Yes|no啟用或禁止立即數(shù)據(jù)(immediatedata)，禁止后in

8、itiator不隨著SCSI命令PDU發(fā)送未請求的數(shù)據(jù)。默認(rèn)為啟用(Yes)node.session.iscsi.ImmediateData=Yes|No3)initiator相關(guān)命令介紹open-iscsiinitiator-utils提供的管理命令為iscsiadm，此命令包括discovery、node、session幾種模式，分別處理不同的情況。在服務(wù)器能夠使用Target提供的存儲空間前，必須在服務(wù)器上通過Initiator軟件執(zhí)行以下步驟：發(fā)現(xiàn)目標(biāo)設(shè)備-登錄目標(biāo)設(shè)備-與目標(biāo)設(shè)備建立會話，下面分別說明通過各個命令進(jìn)行說明。(1)發(fā)現(xiàn)目標(biāo)設(shè)備(Target)，使用iscsiadmdis

9、covery模式，命令格式如下：iscsiadm-mdiscovery-Pprintlevel-ttype-pip:port-l|-pip:port-l|-D命令示例：iscsiadm-mdiscovery-tsendtargets-p11:3260返回信息：11:3260,1.nayun:test-0111:3260,1.nayun:test-02此命令查詢目標(biāo)門戶（Portal）為11：3260上的目標(biāo)，查找成功后，返回相應(yīng)的targetID,同時在/var/lib/iscsi/send_targets和/var/lib/iscsi/nodes目錄下記錄相應(yīng)的門戶和節(jié)點(diǎn)信息。/var/li

10、b/iscsi目錄下的內(nèi)容采用dbm數(shù)據(jù)庫方式存儲，所有版本的linux以及大多的unix都隨系統(tǒng)帶有一個基本的，但是卻很高效的數(shù)據(jù)存儲程序集合，被成為dbm數(shù)據(jù)庫。適合于相對比較靜態(tài)的索引化數(shù)據(jù)。其實(shí)就是一個索引化的文件存儲系統(tǒng)。這些信息稱之為initiatordiscoverydb，可以通過iscsiadm相關(guān)操作進(jìn)行管理。使用iscsiadm-mnode命令，可以查看到發(fā)現(xiàn)的節(jié)點(diǎn)記錄。備注：iSCSInode是一個在網(wǎng)絡(luò)上可用的SCSI設(shè)備標(biāo)識符，在open-iscsi中利用術(shù)語node表示目標(biāo)（target）上的門戶（portal）。一個target可以有多個portal，portal

11、由IP地址和端口構(gòu)成。（2）在完成目標(biāo)發(fā)現(xiàn)后，即可以登錄到相應(yīng)的節(jié)點(diǎn)，使用目標(biāo)設(shè)備提供的存儲空間。node相關(guān)命令如下：iscsiadm-mnode-Pprintlevel-Ttargetname-pip:port-l|-u|-R|-s-ooperation-nname-vvalue-pip:port命令示例：iscsiadm-mnode-T.nayun:test-01-l執(zhí)行成功，返回如下信息：Loggingintoiface:default,target:.nayun:test-01,portal:11,3260Logintoiface:default,target:.nayun:test

12、-01,portal:successful.執(zhí)行失敗，返回如下信息：iscsiadm:Couldnotlogintoiface:default,target:.nayun:test-02,portal:11,3260.iscsiadm:initiatorreportederror（24-iSCSIloginfailedduetoauthorizationfailure）iscsiadm:Couldnotlogintoallportals出現(xiàn)上述提示，需要檢查target與initiator的驗證配置是否對應(yīng)。登錄成功后。在/sys/devices/platform目錄下將自動生成一個hostX

13、目錄，其中X是一個編號，每次有可能不同，在此目錄下包含相關(guān)的session和connection信息。在服務(wù)端（target）可以查看登錄情況，使用如下命令：tgt-admin-show顯示如下信息：Target1:.nayun:test-01Systeminformation:Driver:iscsiState:readyI_Tnexusinformation:I_Tnexus:1Initiator:.nayun:initiator-212Connection:0IPAddress:12LUNinformation:LUN:0Type:controllerSCSIID:IET00010000

14、SCSISN:beaf10Size:0MB,Blocksize:1Online:YesRemovablemedia:NoReadonly:NoBackingstoretype:nullBackingstorepath:NoneBackingstoreflags:LUN:1Type:diskSCSIID:IET00010001SCSISN:beaf11Size:537MB,Blocksize:512Online:YesRemovablemedia:NoReadonly:NoBackingstoretype:rdwrBackingstorepath:/dev/sdbBackingstoreflag

15、s:Accountinformation:ACLinformation:/2410在I_Tnexusinformation部分顯示了連接信息。(3)登錄目標(biāo)節(jié)點(diǎn)成功后，即建立了initiator與target之間的會話(session),同時target提供的存儲設(shè)備也掛載到主機(jī)中，在/dev目錄下生成一個新的設(shè)備文件類似于sdb、sdc等。查看session命令格式如下：iscsiadm-msession-Pprintlevel-rsessionid|sysfsdir-R-u|-s命令示例：iscsiadm-msession-P3返回如下信息：iSCSITransportClassversi

16、on2.0-871version2.0-872Target:.nayun:test-01CurrentPortal:11:3260,1PersistentPortal:11:3260,1Interface:IfaceName:defaultIfaceTransport:tcpIfaceInitiatorname:.nayun:initiator-212IfaceIPaddress:12IfaceHWaddress:IfaceNetdev:SID:10iSCSIConnectionState:LOGGEDINiSCSISessionState:LOGGED_INInternaliscsidSes

17、sionState:NOCHANGENegotiatediSCSIparams:HeaderDigest:NoneDataDigest:NoneMaxRecvDataSegmentLength:262144MaxXmitDataSegmentLength:8192FirstBurstLength:65536MaxBurstLength:262144ImmediateData:YesInitialR2T:YesMaxOutstandingR2T:1AttachedSCSIdevices:HostNumber:11State:runningscsi11Channel00Id0Lun:0scsi11

18、Channel00Id0Lun:1AttachedscsidisksdcState:running備注：ISCSI會話用來標(biāo)識到某個具體SCSII_T連接的所有TCP連接。同一個會話里可能有一個或多個連接。當(dāng)initiator通過默認(rèn)端口或指定端口與target建立連接時，登錄過程就開始了initiator和target互相認(rèn)證并建立安全協(xié)議。在登錄階段，ISCSIinitiator和target會協(xié)商建立多種連接屬性。（4）使用target提供的存儲盤登錄到target后，即可使用fdisk等工具像使用本地磁盤一樣對磁盤進(jìn)行分區(qū)，并mount到相關(guān)目錄下進(jìn)行文件的存取。（5）注銷登錄使用一下

19、命令注銷登錄：iscsiadm-mnode-T.nayun:test-01-p11-uLoggingoutofsessionsid:1,target:.nayun:test-01,portal:11,3260Logoutofsid:1,target:.nayun:test-01,portal:successful.（6）其他操作刪除一個目標(biāo)（/var/lib/iscsi/nodes目錄下）.nayun:test-01刪除一個目標(biāo)（/var/lib/iscsi/send_targets目錄下）iscsiadm-modediscovery-odelete-p11:3260查看某個sendtarge

20、tsportal記錄iscsiadm-mdiscoverydb-p11:3260-tst-oshow#BEGINRECORD2.0-872discovery.startup=manualdiscovery.type=sendtargetsdiscovery.sendtargets.address=11discovery.sendtargets.port=3260discovery.sendtargets.auth.authmethod=CHAPdiscovery.sendtargets.auth.username=scottdiscovery.sendtargets.auth.password

21、=*discovery.sendtargets.auth.username_in=discovery.sendtargets.auth.password_in=discovery.sendtargets.timeo.login_timeout=15discovery.sendtargets.use_discoveryd=Nodiscovery.sendtargets.discoveryd_poll_inval=30discovery.sendtargets.reopen_max=5discovery.sendtargets.timeo.auth_timeout=45discovery.send

22、targets.timeo.active_timeout=30discovery.sendtargets.iscsi.MaxRecvDataSegmentLength=327682.通過命令檢查系統(tǒng)是否安裝了iSCSIinitiator軟件包，如果沒有找到相關(guān)軟件包，需要在系統(tǒng)光盤上找到相應(yīng)的rpm包安裝。#rpmqa|grepiscsiEroot-wuxp-RUELrpm-qa|grepiii-initiator-uti1s-72-21.el6.x86_64r0ot-wuxp-RHEL#如果沒有安裝，通過以下命令安裝iSCSIinitiator#yuminstalliscsi-initiat

23、or-utils3.配置每次系統(tǒng)啟動是自動開啟iscsi服務(wù)#chkconfig-list|grepiscsiroDtlocalhDst-#chtc-onfig-listIgrepiscsiiscsiD：芙閉1：關(guān)刃2：啟用3:啟用4:啟用5:啟用石：其閉iscsidD；關(guān)旳1；關(guān)汨2;啟用3;啟用4;啟用5;啟用缶關(guān)旳如果不是開機(jī)啟動，即3和5是off,需要改成開機(jī)啟動chkconfigiscsi-level35onchkconfigiscsid-level35on啟動iSCSI服務(wù)，查看服務(wù)狀態(tài)serviceiscsistart#serviceiscsistatus修改配置文件vim/et

24、c/iscsi/iscsid.confnode.startup=autonode.session.iscsi.InitialR2T=Yesnode.session.iscsi.ImmediateData=Nonode.session.timeo.replacement_timeout=60此臺RHEL主機(jī)的iscsi編號（iqn號）在/etc/iscsi/initiatorname.iscsi文件中，記錄此iqn號V3500/3700管理工具中建立主機(jī)時使用，注意圖中紅圈部分，也就是lnitiatorName=后面部分是iqn號。這在存儲陣列中添加主機(jī)時會用到。使用vim進(jìn)行編輯，但要注意格式

25、。vim/etc/iscsi/initiatorname.iscsirootlQC-allicist#vim/etc/iscsi/initiBtQ?naniE.iscsiJnitiatQrNaire=iqn.1954-05.redhat:7.發(fā)現(xiàn)目標(biāo)#iscsiadm-mdiscovery-tsendtargets-p01:3260r-QQtOlocalhDst“#iscsiaciin-mdiscovery-tsendtatg-ets-p01:3260192.1-ES.3.101;32fiO,L.ibm;2145.v3700.nodel192.1S.3.103:3260rL.ibm:2145.

26、v3700.nodel注：p后面是控制器的iscsi地址，默認(rèn)端口是3260,如果沒有更改默認(rèn)端口，可以不用添加。如果有多個控制器都提供iscsi服務(wù)，可以繼續(xù)發(fā)現(xiàn)其余控制器上的目標(biāo)（最終通過多路徑軟件訪問的都是一個目標(biāo)）。 HYPERLINK mailto:roctlcicalh.astroctlcicalh.ast:iscaisdir：-兀discover一匸sendtergets-pL921fiE_3.102:3260：L92_lfig.3.102:32fiOf11936-03.ccir：.ibir:2145.v3700.nad-e2192-lfig.3.104:32fi0f1iqn.1

27、936-03.ccro.ibin:2145.v3700.nod-e2登陸到剛剛發(fā)現(xiàn)的控制器iscsiadm-mnode-T.ibm:2145.v3700.node1-p01login注：其中-T后面是控制器1的iqn號，-p后面是控制器1的iSCSI地址。登陸成功后檢查是否成功iscsiadm-msession查看sessioniscsiadm-mnode查看node數(shù)量roDtlocalhD3t-ftiscsiadm-mSEasiontcp:1192.165.3.102:3260,1iqn.top:2192.16S.3.L04:3260r2iJTLtop:3192.16S.3.L01:326

28、0r1iqn.rep:W192.lfie.3.L03:32fi0,2iqn.198-03.e*m.ibm:2145.v3700.node2L9S-.ibin:2145.v3700.nodeSL9S-.ibin:2145.v37OO.nadEl198-03.melibn;2145.y37OO.node!192.16B.3.102:3Z-fiOFL192.16B.3.104:32OPL01:32OPL03:32OPLr”-=4Qi_-ijinI匚口口口GBin口-ftiscsiadn-皿ri口d亡.i-gn.1986-03.Gam.itJin:Z145.v3700.nodeZ.i-n.1986-0

29、3.cam.ibn:Z145.v3700.nadeZ.i-n.1956-03.cam.ibn:Z145.v3700.nadel.i-qn.19S6-03.cam.ibim:2145.U3700.nadeln重復(fù)第7和8的步驟將完成對控制器2的發(fā)現(xiàn)和登陸操作，完成后應(yīng)該同時可以看到兩個控制器的信息。上圖是已經(jīng)完成對控制器2的發(fā)現(xiàn)和登陸。重新掃描iSCSI設(shè)備。iscsiadmmnodeR設(shè)置開機(jī)自動加載分區(qū)iscsiadm-mnodeTPORT-NAMEpPORT-IP-opupdate-nnode.startup-vautomatic通過fdisk-l命令查看硬盤可以發(fā)現(xiàn)V3500/3700上

30、映射過來的卷，但是因為存在冗余的路徑，所以每個卷看到了兩個同樣大小的存儲空間，需要通過安裝多路徑軟件來解決這個問題。Linux系統(tǒng)下多路徑軟件是操作系統(tǒng)自帶的DMMultipath(DMMP)工具。首先檢查系統(tǒng)是否已安裝了DMMP軟件包。rpm-qa|grepdevice-mapper-multipathrcotLocalhost卍#rpm-qaIgrepdevice-mapper-multipathdevice-mapper-multipath-1ib日-0.4.9-72.el6-i68Cdevice-mapper-multipath-049-72.el6.1686如果沒有從系統(tǒng)安裝光盤上找

31、到并且安裝相應(yīng)軟件包。yuminstalldevice-mapperyuminstalldevice-mapper-multipath設(shè)置DMMP服務(wù)在每次系統(tǒng)啟動時自動開啟，并檢查狀態(tài)chkconfig-level2345multipathdonchkconfig-list|grepmultipathdDMMP需要建立一個配置文件/etc/multipath.conf,默認(rèn)情況下是沒有的，可以將模板配置文件復(fù)制到/etc目錄下，模板配置文件/usr/share/doc/device-mapper-multipath-0.4.9/multipath.confcp/usr/share/doc/d

32、evice-mapper-multipath-0.4.9/multipath.conf/etc/multipath.conf啟動multipathd服務(wù)servicemultipathdstart檢查DMMP模塊是否正常加載lsmod|grepdm_multipathroDtlocalhost卍#13環(huán)日Igrepdm_nultipathdm_multipathL491B2djD_roELnd_r-ohindmjnai_69號7112匸ipatshj,dto_id.i?i?aT.d2n_ILDg安裝配置成功后，可以查看到DMMP管理了一個名稱為mpathb的多路徑設(shè)備，此設(shè)備包含有兩個路徑。#

33、multipathllr-3otlocalhoat;#multipath-11mpatha(3COO507C3OO616266b6OOOaOO0OO0OODl)dm-212145sise=200Gfeatures=,l-jueiieif_no_pahThwhandler=1OTwp=rwI-4pollcy=Traund-robin01prio=50stacus=act.iverunningstatus=enabledrunningrunningI|-36;0;0;0sdc0:4fail-e-dfaultyrunningI35:0:0:0sdd8:4Sactiveready-4pollcy=Tr

34、ound-robin01prio=10I-33:0:0:0sdb6:1Gactiveready34:0:0:0sdc8:32activeready使用fdisk查看硬盤會多出一個存儲設(shè)備/dev/mapper/mpatha,在分區(qū)或其他針對硬盤的操作時請使用這個設(shè)備，不要使用/dev/sdb和/dev/sdc。#fdisklDiskZdev/sdd:214.7GBf214748364800bytes255hEadsij.63sectors/track,26108cylindersUnirs=cylindersof16065*512=8225280bytesSectorsize(1口gical/physical):512bytes/512bytesI/Osize(minimum/optima1):512bytes/512bytesDiskidentifier:0 x00000000Di