創(chuàng)建iSCSI存儲(chǔ)應(yīng)用COMSTAR與iSCSI挑大梁

COMSTAR簡(jiǎn)介COMSTAR是一種可以實(shí)現(xiàn)將任何Solaris主機(jī)轉(zhuǎn)變?yōu)镾CSI目標(biāo)的軟件框架。COMSTAR框架使所有SCSI設(shè)備類型（磁帶、磁盤及類似設(shè)備）都可以連接到傳輸路徑（如光纖通道），實(shí)現(xiàn)并行訪問(wèn)所有邏輯單元號(hào)(logicalunitnumber,LUN)和單點(diǎn)管理。在SCSI目標(biāo)模式框架(SCSITargetModeFramework,STMF)和SCSI塊設(shè)備(SCSIBlockDevice,SBD)中，COMSTAR也已添加了DTrace探測(cè)器。COMSTAR全稱CommonMultiprotocolSCSITARget，支持iSCSI，F(xiàn)iberChannel，F(xiàn)CoE，Infiniband，SAS等協(xié)議。COMSTAR提供了一個(gè)基于OpenSolaris的企業(yè)級(jí)的存儲(chǔ)框架，它可以將各種存儲(chǔ)介質(zhì)（磁盤、磁帶）結(jié)合各種通信信道（光纖、iSCSI,iSER,SAS,FcoE等）構(gòu)成一個(gè)存儲(chǔ)系統(tǒng)。COMSTAR具有以下關(guān)鍵特性：OpenSolaris：COMSTAR被集成進(jìn)OpenSolaris，這意味著只要你安裝了最新版的OpenSolaris，就內(nèi)置了STMF模塊COMSTAR具有豐富的API，并且支持多種平臺(tái)COMSTAR遵循T10技術(shù)委員會(huì)對(duì)SCSI存儲(chǔ)接口的規(guī)范，并支持多路徑為每個(gè)SCSI命令并行傳輸COMSTAR的設(shè)計(jì)目標(biāo)是為用戶創(chuàng)建存儲(chǔ)服務(wù)時(shí)，提供添加新傳輸協(xié)議和不同存儲(chǔ)設(shè)備的一個(gè)簡(jiǎn)單易用的框架。這使用戶能快速的向存儲(chǔ)系統(tǒng)中添加新特性。雖然Windows、Linux上也有類似的服務(wù)，但它們并沒(méi)有提供一個(gè)框架使不同的存儲(chǔ)設(shè)備（像磁盤、軟盤、SES等）能與多種傳輸信道（光纖,iSCSI,iSER,SAS,FcoE等）配合使用。COMSTAR則能夠使Solaris操作系統(tǒng)，利用ZFS作為備份文件系統(tǒng)以及現(xiàn)有的存儲(chǔ)設(shè)備陣列，把自己變成一個(gè)能被網(wǎng)絡(luò)上任何主機(jī)訪問(wèn)的存儲(chǔ)設(shè)備。COMSTAR的體系結(jié)構(gòu)圖如圖1：

圖1COMSTAR的體系結(jié)構(gòu)圖COMSTAR主要的模塊如下：STMF：負(fù)責(zé)事務(wù)管理（例如SCSI命令執(zhí)行時(shí)的上下文和資源的管理），跟蹤邏輯單元和端口，STMF也處理邏輯單元映射，分配內(nèi)存，恢復(fù)錯(cuò)誤操作，以及一些必要的I/O操作。Portproviders：為主機(jī)總線適配器（hostbusadapters）或者網(wǎng)卡提供的本地連接Logicalunitproviders：實(shí)現(xiàn)SCSI邏輯單元（例如，磁盤、磁帶、virtualtapelibrary等）的功能Managementlibrary(libstmf)：與STMF通信，并負(fù)責(zé)執(zhí)行配置任務(wù)這種分層模塊化的框架將SCSI命令的執(zhí)行和清除以及資源的分配隔離開(kāi)來(lái)，使得實(shí)現(xiàn)SCSI功能的模塊不直接與傳輸模塊交互，實(shí)現(xiàn)傳輸協(xié)議的模塊也不需要關(guān)系SCSI層的功能。從而簡(jiǎn)化了SCSI和傳輸?shù)饶K的編寫。iSCSI簡(jiǎn)介iSCSI，即internetSCSI，是IETF制定的一項(xiàng)標(biāo)準(zhǔn)，用于將SCSI數(shù)據(jù)塊映射成以太網(wǎng)數(shù)據(jù)包。iSCSI技術(shù)是一種基于IPStorage理論的新型存儲(chǔ)技術(shù)，這里就SAN與iSCSI做一比較，基本兩者同屬運(yùn)行塊協(xié)議的SAN架構(gòu)，只不過(guò)前者透過(guò)FibreChannel，后者由IP傳輸數(shù)據(jù)罷了，而兩者在管理及應(yīng)用上也大同小異。這里在此還是盡量做一番歸納整理，以供參考，見(jiàn)表1。表1iSCSI和SAN綜合對(duì)比

表－1iSCSI和SAN綜合對(duì)比iSCSI協(xié)議模型iSCSI使用TCP/IP協(xié)議在不穩(wěn)定網(wǎng)絡(luò)上進(jìn)行可靠的數(shù)據(jù)傳輸。iSCSI層和標(biāo)準(zhǔn)SCSI集在協(xié)議棧中的位置如圖1所示。iSCSI層包括了已封裝的SCSI命令、數(shù)據(jù)和狀態(tài)如圖2所示。

圖2iSCSI協(xié)議棧iSCSI屬于端到端的會(huì)話層協(xié)議，它定義的是SCSI到TCP/IP的映射，即Initiator將SCSI指令和數(shù)據(jù)封裝成iSCSI協(xié)議數(shù)據(jù)單元，向下提交給TCP層，最后封裝成IP數(shù)據(jù)包在IP網(wǎng)絡(luò)上傳輸，到達(dá)Target后通過(guò)解封裝還原成SCSI指令和數(shù)據(jù)，再由存儲(chǔ)控制器發(fā)送到指定的驅(qū)動(dòng)器，從而實(shí)現(xiàn)SCSI命令和數(shù)據(jù)在IP網(wǎng)絡(luò)上的透明傳輸。它整合了現(xiàn)有的存儲(chǔ)協(xié)議SCSI和網(wǎng)絡(luò)協(xié)議TCP/IP，實(shí)現(xiàn)了存儲(chǔ)與TCP/IP網(wǎng)絡(luò)的無(wú)縫融合。iSCSI體系結(jié)構(gòu)模式和兩個(gè)術(shù)語(yǔ)iSCSI體系結(jié)構(gòu)模式如圖3。

圖3iSCSI體系結(jié)構(gòu)模式在iSCSI體系結(jié)構(gòu)模式中通常有兩個(gè)角色Target與Initiator分別敘述如下：（1）Target稱為Target的通常是存儲(chǔ)設(shè)備（StorageDevice），也就是存放數(shù)據(jù)的磁盤（以磁盤陣列居多）。在我們使用iSCSI期間，會(huì)在iSCSI存儲(chǔ)設(shè)備上去建立LUN（LogicalUnitNumber），提供給有iSCSIInitiator功能的主機(jī)來(lái)存取iSCSI存儲(chǔ)設(shè)備。（2）InitiatorInitiator的主要功能是提供計(jì)算機(jī)主機(jī)聯(lián)機(jī)到Target作磁盤存取。這個(gè)Initiator可使用硬件方式Initiator或者軟件方式Initiator，本文下面的iSCSI操作，皆是使用軟件方式Target與Initiator。主流操作系統(tǒng)對(duì)iSCSI支持對(duì)于蓄勢(shì)待發(fā)已久的iSCSI而言，遲遲未能全面普及的主要原因之一，就在于各類平臺(tái)支持性的不夠完備。是否能得到各式平臺(tái)充份支持的關(guān)鍵，則在于協(xié)議的標(biāo)準(zhǔn)化上。表2是主流操作系統(tǒng)對(duì)iSCSI支持情況。

表2主流操作系統(tǒng)對(duì)兩個(gè)角色Target與Initiator支持iSCSI的裝置識(shí)別、存取、安全認(rèn)證iSCSI是透過(guò)iSCSI認(rèn)證名稱(iSCSIQualifierName,IQN)來(lái)識(shí)別iSCSI裝置,當(dāng)前端設(shè)備發(fā)起存取要求時(shí),iSCSI設(shè)備即能依照映射設(shè)定,響應(yīng)存取要求?用于識(shí)別iSCSI裝置的iSCSI認(rèn)證名（IQN）命名有一定的規(guī)則可循，每家主要廠商都有一定的形式，如IBM為.ibm:xxxxxx；cisio為.cisco:xxxxxx。（1）iSCSI的命名和編址一個(gè)iSCSI名字由三部分組成：類型定義符、名字認(rèn)證機(jī)構(gòu)、由該認(rèn)證機(jī)構(gòu)分配的名字iSCSI地址格式·<domain-name>[:<port>]/<iSCSIName>（2）iSCSI的安全機(jī)制由于IQN可自行竄改，因此只依賴IQN作為識(shí)別發(fā)起者身分的機(jī)制相當(dāng)不安全，所以iSCSI又提供了握手認(rèn)證協(xié)議（ChallengeHandshakeAuthenticationProtocol，CHAP）來(lái)認(rèn)證iSCSI發(fā)起方的身分。只有通過(guò)CHAP認(rèn)證的發(fā)起端才會(huì)被允許存取。當(dāng)然CHAP亦有遭破解的可能，因此也能選用效果更好的IPsec等適用于IP網(wǎng)絡(luò)的加密機(jī)制。OpenSolaris下安裝配置COMATAROpenSolaris本身帶了一個(gè)iSCSITarget服務(wù)，運(yùn)行在userland,性能一般，這里不使用它，使用COMATAR它可以通過(guò)ZFS管理。以下配置的邏輯圖如圖4。

圖4配置的邏輯圖1、服務(wù)器端配置安裝StorageServer軟件包：·pfexecpkginstallstorage-serverSUNWiscsit

·pfexecreboot2、ZFS存儲(chǔ)池配置·$pfexeczpoolcreatesan_poolmirrorc9t0d0c9t1d0

·$zpoollistsan_pool

·NAMESIZEUSEDAVAILCAPHEALTHALTROOT

·san_pool1008M313K1008M0%ONLINE-

·$zpoolstatussan_pool

·pool:san_pool

·state:ONLINE

·scrub:nonerequested

·config:

·NAMESTATEREADWRITECKSUM

·san_poolONLINE000

·mirrorONLINE000

·c9t0d0ONLINE000

·c9t1d0ONLINE000

·errors:Noknowndataerrors3、創(chuàng)建磁盤卷·$pfexeczfscreate-V300Msan_pool/vol_osol

·$pfexeczfscreate-V300Msan_pool/vol_lx

·$pfexeczfscreate-V300Msan_pool/vol_win

·$zfslist-tvolume

·NAMEUSEDAVAILREFERMOUNTPOINT

·rpool/dump511M26.1G511M-

·rpool/swap512M26.5G137M-

·san_pool/vol_lx300M376M16K-

·san_pool/vol_osol300M376M16K-

·san_pool/vol_win300M376M16K-4、創(chuàng)建三個(gè)SCSILogicalUnitNumbers(LUN)·$pfexecsbdadmcreate-lu/dev/zvol/rdsk/san_pool/vol_osol

·$pfexecsbdadmcreate-lu/dev/zvol/rdsk/san_pool/vol_lx

·$pfexecsbdadmcreate-lu/dev/zvol/rdsk/san_pool/vol_win查看一下LUN情況：·$pfexecsbdadmlist-lu

圖5查看一下LUN情況5、添加LUN到試圖·pfexecstmfadmlist-lu-v

·$pfexecstmfadmlist-view-l600144F01EA8050000004B17FC0A0001LUN概念UN的全稱是LOGICALUNITNUMBER，也就是邏輯單元號(hào)。我們知道SCSI總線上可掛接的設(shè)備數(shù)量是有限的，一般為6個(gè)或者15個(gè)，我們可以用TARGETID(也有稱為SCSIID的)來(lái)描述這些設(shè)備，設(shè)備只要一加入系統(tǒng)，就有一個(gè)代號(hào)。而實(shí)際上我們需要用來(lái)描述的對(duì)象，是遠(yuǎn)遠(yuǎn)超過(guò)該數(shù)字的，于是我們引進(jìn)了LUN的概念，也就是說(shuō)LUNID的作用就是擴(kuò)充了TARGETID。UN是什么東西？LUNID不等于某個(gè)設(shè)備,只是個(gè)號(hào)碼而已,不代表任何實(shí)體屬性,在我們的實(shí)際環(huán)境里,我們碰到的LUN可能是磁盤空間,可能是磁帶機(jī),或者是MEDIACHANGER等等.LUN的神秘之處(相對(duì)于一些新手來(lái)說(shuō))在于，它很多時(shí)候不是什么可見(jiàn)的實(shí)體，而是一些虛擬的對(duì)象。比如一個(gè)陣列柜，主機(jī)那邊看作是一個(gè)TARGETDEVICE，那為了某些特殊需要，我們要將磁盤陣列柜的磁盤空間劃分成若干個(gè)小的單元給主機(jī)來(lái)用，于是就產(chǎn)生了一些什么邏輯驅(qū)動(dòng)器的說(shuō)法，也就是比TARGETDEVICE級(jí)別更低的邏輯對(duì)象，我們習(xí)慣于把這些更小的磁盤資源稱之為L(zhǎng)UN0,LUN1,LUN2....什么的。而操作系統(tǒng)的機(jī)制使然，操作系統(tǒng)識(shí)別的最小存儲(chǔ)對(duì)象級(jí)別就是LUNDEVICE，這是一個(gè)邏輯對(duì)象，所以很多時(shí)候被稱之為L(zhǎng)OGICALDEVICE。6、創(chuàng)建Target·$svcadmenable-rtarget

·$svcs-ltarget

·$pfexecitadmlist-target

·TARGETNAMESTATESESSIONS

·.sun:02:2eb787bd-e9ce-46ca-8d74-85e4e04b087conline07、OpenSolaris客戶端配置安裝iSCSIManagementUtilities·$pfexecpkginstallSUNWiscsi

·$pfexecreboot配置靜態(tài)發(fā)前端·$pfexecitadmlist-target

·TARGETNAMESTATESESSIONS

·.sun:02:7de26418-fe5e-c386-a457-e0e06a16d723online0

·$pfexeciscsiadmaddstatic-config.sun:02:

2eb787bd-e9ce-46ca-8d74-85e4e04b087c,7配置發(fā)現(xiàn)·$pfexeciscsiadmlistdiscovery

·$pfexeciscsiadmmodifydiscovery--staticenable

·$pfexeciscsiadmlistdiscovery查看一下target:·$pfexeciscsiadmlisttarget查看磁盤視圖如圖6

圖6查看磁盤視圖使用磁盤·$pfexeczpoolcreatemypoolc0t600144F01EA8050000004B17FC0A0001d0

·$zpoollistmypool

·NAMESIZEUSEDAVAILCAPHEALTHALTROOT

·mypool286M112K286M0%ONLINE-

·$zfslist

·$pfexecmkfile100M/mypool/big_file

·$zpoollistmypool

·NAMESIZEUSEDAVAILCAPHEALTHALTROOT

·%ONLINE-8、Windows客戶端的使用WindowsVista和Windows7已經(jīng)內(nèi)置了iSCSIinitiator，以Windows7為例，在管理工具中打開(kāi)MicrosoftISCSI發(fā)起程序如圖7。

圖7打開(kāi)MicrosoftISCSI發(fā)起程序在“發(fā)現(xiàn)”欄目的“發(fā)現(xiàn)目標(biāo)門戶”的IP地址處輸入服務(wù)器IP地址，端口選擇默認(rèn)端口3260即可。在“收藏的目標(biāo)”欄目的可以查看ISCSI設(shè)備詳細(xì)信息。下面在計(jì)算機(jī)管理的磁盤管理界面可以看到一個(gè)新的卷設(shè)備，安裝Windows7提示可以完成卷的添如。下面查看卷的屬性可以看到“SUNCOMSTARSCSIDiskDivice”設(shè)備也就是說(shuō)iSCSI磁盤設(shè)備已經(jīng)可以使用了如圖8。

圖8iSCSI磁盤設(shè)備已經(jīng)可以使用如果是Windowsxp下載安裝MicrosoftiSCSIInitiator軟件后運(yùn)行。點(diǎn)擊MicrosoftiSCSIInitiator—>Discovery—>Add—>輸入target的IP地址和端口號(hào)點(diǎn)擊MicrosoftiSCSIInitiator—>Targets—>Refresh,發(fā)現(xiàn)當(dāng)前可用的Target點(diǎn)擊MicrosoftiSCSIInitiator—>Targets—>選中target—>Logon—>OK,建立連接點(diǎn)擊控制面板—>管理工具—>計(jì)算機(jī)管理—>磁盤管理，可以看見(jiàn)映射到本機(jī)的邏輯磁盤。然后可以與本地磁盤一樣進(jìn)行分區(qū)格式化操作。點(diǎn)擊MicrosoftiSCSIInitiator—>Targets—>選中已經(jīng)連接的target—>Details—>勾選相應(yīng)的任務(wù)項(xiàng)目—>Logoff,斷開(kāi)連接。Discovery->Add，手工添加Target主機(jī)的IP地址。Targets->Logon，應(yīng)該顯示狀態(tài)為“Connected”。然后上運(yùn)行：diskmgmt.msc，一個(gè)轉(zhuǎn)換磁盤的對(duì)話框會(huì)出現(xiàn)，相當(dāng)于系統(tǒng)又增加了一個(gè)硬盤。不過(guò)一旦磁盤被格式化為NTFS分區(qū)，而又通過(guò)zfs命令修改文件系統(tǒng)大小，則NTFS的數(shù)據(jù)會(huì)全部丟失。要擴(kuò)充的話，只能再新建一個(gè)zfs，把新的iscsi磁盤作為mount點(diǎn)掛接到原來(lái)的NTFS分區(qū)。9、Linux客戶端使用以RedHatEnterprisLinux5為例啟動(dòng)服務(wù)：·#serviceiscsistart

·#chkconfigiscsion發(fā)現(xiàn)target,詢問(wèn)target名稱，格式如下：·#iscsiadm-mdiscovery-tsendtargets-p<target_iqn_name>IP地址：端口號(hào)下面是一個(gè)例子：·#iscsiadm-mdiscovery-tsendtargets-p5:3260

·5:3260,1.sun:02:d6510807-8e78-4cb7-8dcc-fa37d066ca3a