IBMDSSAN配置詳解

1、認(rèn)識IBMDS34001 SAN- 認(rèn)識 IBMDS3400（ 一 ）IBMDS3400 是個 4Gbps 的 SAN(?), 需要透過 IBM 的管理介面 ,去修改 Host 和 logicalDrive 的 對應(yīng) ,Server 才能認(rèn)到 SAN 所指派的 Lun(LogicalUnitNumber)Disk. 通常在 IBM 的光碟可以找 到給 Linux 的管理程式 (IBMSystemStorageDS3000StorageManager). 不過你可以在 IBM 的官 方網(wǎng)站找到新版的程式 .目前版本為 ?選擇我作業(yè)系統(tǒng)的安裝版本 (Linux), 安裝也很簡單就是下一步下一步完全

2、用預(yù)設(shè)的方式即可 . 預(yù)設(shè)安裝的目錄在 /opt/IBM_DS3000/, 主程式為 /opt/IBM_DS3000/client/SMclient, 不過 IBM 會 很貼心的在桌面加上一個捷徑 ,點選 2 次就可以開始設(shè)定 .2 SAN- 認(rèn)識 IBMDS3400( 二 )設(shè)定 IPIBMDS3400的管理介面是透過IBM?管理工具的方式去管控，所以控制端的IP需要配合DS3400,系統(tǒng)預(yù)設(shè)的是Controller,Controller2:(兩片板的個別IP,需要同時都和控制端相連，兩 片 controllers 需要將資料同步 ),點選桌面的IBMSystemStorageDS3000S

3、torageManager2client 或是執(zhí)行程式 /opt/IBM_DS3000/client/SMclient 就可以開始設(shè)定 .預(yù)設(shè)可以直接讓系統(tǒng)去 AutomaticDiscovery, 只要控制端和 DS3400 是相同網(wǎng)段都可以找到 . 如果你的 StorageManager 可以看到下面的 StorageSubsystemUnamed. 就代表正確連接到 DS3400 了.點 2 下進(jìn)入控制介面 .右下方的狀態(tài)代表了目前 AutomaticDiscovery 的進(jìn)度 .如果系統(tǒng)偵測了半天還是沒有東西代表 DS3400 和你控制端不同網(wǎng)段 ,如果網(wǎng)路環(huán)境有可以DHCP不如讓控制

4、端使用 DHCP指定IP再試試看因為DS3400并沒有comsole可以登入， 所以一開始連不到會很辛苦 (不知道有沒有 reset 鍵).進(jìn)入控制介面的第一個畫面如下 ,不過這個稍後再做詳細(xì)的介紹 .登入之後來看一下 DS3400 設(shè)定成什麼 IP,在 Tools/ConfigurationEthernetManagementPorts., 可以看到我還是預(yù)設(shè)的Controller,Controller2:這里就可以設(shè)定你想要的IP.不建議以免之後忘 記了 IP 是多少 !記得修改 IP 之後最好將 Remove 掉 StorageSubsystem 再重新作連結(jié) .3 SAN- 認(rèn)識 IB

5、MDS3400( 三 )createLogicalDrives如果一開始是一個全新的 DS3400 系統(tǒng)上并不會建立任何的 LogicalDrive. 就會像是目前看到 的樣子 !在 Configure/CreateLogicalDrives 可以建立 LogicalDrive. 因為 DS3400 主要由 4X3=12 個實 體硬碟 (SATA/SASHardDrives) 組成.所以這邊的 Drive 都是經(jīng)由實體硬碟建立出的 RAID 再切 割出多個 LUN(LogicalUnitNumber) 再來指派給需要的 Server.1. Unconfiguredcapacity:create

6、anewarrayandlogicaldrive.2. Freecapacity:usecapacityfromanexistingarray.因為一開始并沒有任何的 Array 存在 ,所以能做的就是 1建立 RAID 和 LogicalDrive. 選擇 Manual 可以讓你自己多做一些選擇 ,不過 IBM 還是建議使用 Automatic.依需求來切割 ,我的環(huán)境有 4 個 sasHarddrive 我要把他都建成 RAID5.Logicaldrivecapacity 預(yù)設(shè)是使用全部的空間 ,我們可以依據(jù)需求做修改 ,比如有 2 臺 Server 都 需要這空間 ,我們可以切割不同的

7、2個區(qū)塊共不同的 Server 來使用 (這會在後面介紹 ).所以硬碟 空間不要全部用完 .其中的 LUN 值很重要當(dāng)你要指配不同的 Drive 給 Server 時 Lun 就不能重復(fù) .Server 會依據(jù) Lun 大小來決定硬碟順序 .到這里就算是建立好 RAID 并再切割一個 LUN.如果剛剛空間沒用完的回 Configure/CreateLogicalDrives 還是可以在建立另外的 Lun.回到 Summary 就會看到剛剛所做的一些改變 .在 Modify/DeleteLogicalDrives 可以移除剛剛所建立的 RAID.4 SAN- 認(rèn)識 IBMDS3400( 四 )c

8、reateHostAccessIBMDS3400 是由 2 片 controlmodules 組成 . 每一片上面都有 2 個 fiberports 可供存取 ,但是另 外一組皆是使用再備援上 . 所以上面雖然有 4 個 fiberport 但其實可以和 Host 連接的只有 2 個 fiberport( 另兩個是備援 ).如果要提共多組的 Fiber 連結(jié)就需要透過 FiberSwitch 的連接方式 .下 圖是在同一臺 Host 使用備援的連接方式 .圖的來源 :?在未開始之前先確定你的 Server(QLogic2462dualportfiberchannel) 已經(jīng)連接到 IBMDS3

9、400 如下圖 ,并且 Driver(module) 確定都已經(jīng)在運(yùn)行 ,可以使用 #lsmod 來確定 .目前我使用的是 QLogic2462dualportfiberchannel,Driver(module) 可以在這邊找到 ?因為 FiberChannel 是靠 WWPN 來認(rèn) Lun 的,所以在建立完 Lun 之後就要建立相對應(yīng)的 Host(Serverfiberchannel 的 WWNP). 在 Configure/ConfigureHostAccess(Manual) 設(shè)定中 ,名 稱是為了方便記憶 ,還要選擇 Server 的 OS 版本 .目前我使用的是 QLogic246

10、2dualportfiberchannel, 所以會看到兩個 WWPN, 先建立第一組 Host.如果你的 Server 需要高可靠度的環(huán)境 , 我們會將多個 Fiberchannel 的路徑指向同一個 LogicalDrive. 先選擇 No. 後面我們才會建立出這樣的環(huán)境 .完成一個 Host! 使用相同的步驟建立出另外一個 Host.n ote:WWPN如同網(wǎng)卡有MACAddress(48bits)作為辨識方式光纖也是有類似的定址 WWN , WorldWideName:FC 光纖通道的定址(64bits),這個光纖通道的 WWN也像是MAC 樣每一個 出貨的HBA(HostBusAda

11、pter)都有他獨一無二的 WWN.屬於硬體的一部份，無法輕易更改.不 過 WWN 還細(xì)分了 WWNN:WorldWideNodeName/WWPN:WorldWidePortName使用上有點不同1當(dāng)你的光纖HBA卡有多個port時存在(2個以上)你想針對HBA上所有的port你應(yīng)該使用 WWNN2. 如果是針對單一個port時需要使用WWPN3. 通常會在Fiberswitch 上使用到 multipath 時會針對 WWNN來設(shè)定Linux下要看 WWNN/WWPN 可以查看檔案？/proc/scsi/qla2xxx/?不同的FiberHBA 會有不同 Module這邊我使用的是 Qlo

12、gic的FiberHBA.l I I I I I I I：rootbenjr#? ls-l/proc/scsi/qla2xxx/totalO-rw-r-r-1rootroot0Mar1119:044-rw-r-r-1rootroot0Mar1119:045irootbe njr#? cat/proc/scsi/qla2xxx/4：QLogicPCItoFibreChannelHostAdapterforxxxxxxxx:SCSIDevicel nformati on:#就是WWNN#就是WWPNa5 SAN-認(rèn)識 IBMDS3400（五）CreateHostGroup企業(yè)中SAN的環(huán)境會要求高

13、可靠度，所以單一的路徑是不能符合企業(yè)中的需求，所以你可以看 到下面的圖:圖的來源:?路徑是兩條的QS3400在預(yù)設(shè)是無法將同一顆logicalDrive硬碟分享給不同的 WWPN,所以需要將不同的 WWPN設(shè)定成一個Group.這樣LogicalDrive才能同時指派給不同的 WWPN,在Configure/CreateHostGroup可以建立HostGroup.名稱是方便記憶，在Hosts可以看到剛剛我們設(shè)定好的HostPO和P1 .將這兩個都指派到這個 Group.基本上這樣就已經(jīng)將 HostGroup設(shè)定完成，最後就是需要將Host和LogicalDrive做對應(yīng) (Mapping).

14、在 Modify/EditHostTopology 可以看到我們所設(shè)定的.6 SAN-認(rèn)識IBMDS3400(六)CreateHost-to-LogicalDriveMappings前置作業(yè)都已經(jīng)告一段落了 ，現(xiàn)在需要做的就是將先前定義好的 HostGroup對應(yīng)(Mapping)到 LogicalDrive.在 Configure/CreateHost-to-LogicalDriveMappings 選擇對應(yīng)的 HostGroup 禾口 LogivalDrive已經(jīng)定義好的可以在 Modify的EditHost-LogicalDriveMappings來查看.先前我定義了兩顆 Logical

15、Drives和兩個Host,并將這兩個Host對應(yīng)到同一個 Group.目前要 將這兩顆LogicalDrives對應(yīng)到這個Group.基本上要注意的一點就是Assignlogicalunitnumber(LUNX0to31).Linux是依據(jù) Luns 值大小來決定硬碟順序.并且 Linux最大的Luns為031(種共32個Lu ns),所以在指配時須將這兩個 Luns設(shè)為不同的值，不過 IBMDS3400會自己指定，分配不同數(shù)值.可以看到在指派第二顆時他指定的Lun變成1.回到Summary可以看到剛剛指定好的 Hosts&Mappings.現(xiàn)在最後一步就是回到 Server(Linux)

16、,設(shè)定 driver(module)禾口 multi-path 了 !7 SAN-認(rèn)識 IBMDS3400(七)Linuxmulti-pathdriver雖然我們在IBMDS3400已經(jīng)設(shè)定好了 HostGroup讓同一個Lun去讓不同的wwpn存取.所以 在driver上還需要透過一些設(shè)定讓系統(tǒng)不會誤認(rèn)為這是兩個硬碟裝置.目前我系統(tǒng)使用的是Qlogic的HBA需要下載的東西有兩項 1.QlogicDriver?2.SANsurfer(Qlogic圖形管理介面)這兩項在Qlogic都可以找的到先來看看QlogicDriver是如何使用.雖然RHEL5在預(yù)設(shè)就有配置 Qlogic的Driver,

17、不過這邊還 是說一下 QlogicDriver是怎麼使用.|i II nu mi anil mi II II II mi iiii iiii anil n n am n ii i n n n n i n ii n n n i n ii i n n i n i n n ii n n i ii n n i n i n ii n n n n n i n i n ii n n i n n n i n n n ：rootbenjr# ?tar-xvzf*.tgz；rootbenjr#? cdqlogicIIII rootbe njrqlogic# ?./drvrsetupI! #這會將sourcefil

18、es檔案解開至qla2xxx的目錄下IIIIrootbe njrqlogic# ?cd將依據(jù)實際版本而有所不同rootbenjr ?./extras/build.shinstall#這是實際在編輯driver的script程式I nil nil anil nilnia n n nnnnnnana n ni n nin ninn n ana n i n n i n n i nnnn n nin n nnnn n n n n nnnn n nn n nnn n 在Qlogix8.x以上的版本已經(jīng)將failover(multi-path)設(shè)定為預(yù)設(shè)值(=1).之前的版本可以在 /etc/modpro

19、be.conf 力口入 optionsqla2xxxql2xfailover=1 的 failover 參數(shù)選項.下次開機(jī)或是重新開機(jī)會只會看到一個硬碟(Lu n).8 SAN-認(rèn)識 IBMDS3400(八)安裝 QlogicSANsurfer下載下來的SANsurfer是個.bin檔在Linux可以直接去執(zhí)行安裝.SANsurfer是一個透過Java 所寫的x-windows圖形管理介面.安裝方式很不難,就只有下面幾個步驟. I I I I I rootbenjr#?I nil mi anil mi II II II mi iiii iiii anil n n am n n i n n n

20、n i n n n n n i n n i n n i n i n n n n n i n n n i n i n n n n n n n i n i n n n n i n n n i n n n 或是 I I I I I rootbenjr#? shi iiii iiii anil iiii iiii n n n n n n n n ana n n i n n i n n i n n n ana n i n n i n n i n n n n n n i n n n n n n n n n n n n n n n n n n n n n n 一些宣告和重要訊息有興趣的可以看一看!通常我們使

21、用預(yù)設(shè)的全安裝(FCHBAGUIandALLAgent)就可以了 !預(yù)設(shè)安裝目錄是/opt/QLogic_Corporation/SANsurfer沒什麼特別情況就不需要再去修改.安裝完成了 !勾選En ableQlogicFailoverCo nfiguratio n 這也是我們最重要要使用的選項 .在這邊就選擇開啟程式或是在目錄 /opt/QLogic_Corporation/SANsurfer執(zhí)行./SANsurfer皆可!安裝完SANsurfer時會啟動qlremote的服務(wù)所以我們無法立即移除 qla2xxx和qla2xxx_conf 的module,所以當(dāng)你在移除qla2xxx或是

22、qla2xxx_conf時會出現(xiàn)ERROR:Moduleqla2xxxisinuse. 不用急的關(guān)機(jī)，先將qlremote的服務(wù)停止 #/etc/init.d/qlremotestop 就可以再移除 qla2xxx 禾口 qla2xxx_conf 的 module. 如果要移除SANsurfer在目錄/opt/QLogic_Corporatio n/SANsurfer/U nin stallDate/SANsurferU nin staller就可以將SANsurfer 移除了 .9 SAN-認(rèn)識 IBMDS3400(九)透過 SANsurfer 去管理？剛剛安裝完qlogicdriver禾口 SANsurfer先確定一下相關(guān)的 driver和service都啟動了 .I.driverrootbe njr# ?modprobeqla2xxx2.SANsurferrootbenjr# ?/usr/local/b in/qlremote?(orqlremotestart)SANsurferFCHBAManager（ 執(zhí)行 #./SANsurfer）存放在目錄 /opt/QLogic_Corporation/SANsurfer下.SANsurfer可以透過遠(yuǎn)端去連接但目前我的是存放在Local本地端.所以選擇loca