服務器Iscsi存儲建設方案

1、服務器Iscsi存儲建設方案2015.09簡介 服務器存儲，既是把服務器硬件資源，通過軟件、技術(shù)為網(wǎng)絡中其它設備提供存儲服務；考慮到客戶網(wǎng)絡環(huán)境與業(yè)務情況，本次我們?yōu)橛脩籼峁┝朔掌?Iscsi技術(shù)，通過IP-SAN給業(yè)務系統(tǒng)提供可靠、穩(wěn)定、低成高，高利用率的存儲解決方案； iSCSI（internet SCSI）技術(shù)由IBM公司研究開發(fā)，是一個供硬件設備使用的、可以在IP協(xié)議的上層運行的SCSI指令集，這種指令集合可以實現(xiàn)在IP網(wǎng)絡上運行SCSI協(xié)議，使其能夠在諸如高速千兆以太網(wǎng)上進行路由選擇。iSCSI技術(shù)是一種新儲存技術(shù)，該技術(shù)是將現(xiàn)有SCSI接口與以太網(wǎng)絡(Ethernet)技術(shù)結(jié)合，

2、使服務器可與使用IP網(wǎng)絡的儲存裝置互相交換資料。iSCSI是一種基于TCP/IP 的協(xié)議，用來建立和管理IP存儲設備、主機和客戶機等之間的相互連接，并創(chuàng)建存儲區(qū)域網(wǎng)絡（SAN）。SAN 使得SCSI 協(xié)議應用于高速數(shù)據(jù)傳輸網(wǎng)絡成為可能，這種傳輸以數(shù)據(jù)塊級別（block-level）在多個數(shù)據(jù)存儲網(wǎng)絡間進行。SCSI 結(jié)構(gòu)基于C/S模式，其通常應用環(huán)境是：設備互相靠近，并且這些設備由SCSI 總線連接。iSCSI 的主要功能是在TCP/IP 網(wǎng)絡上的主機系統(tǒng)（啟動器 initiator）和存儲設備（目標器 target）之間進行大量數(shù)據(jù)的封裝和可靠傳輸過程。本次系統(tǒng)的拓撲結(jié)構(gòu)如下：方案介紹工作過

3、程：當iSCSI主機應用程序發(fā)出數(shù)據(jù)讀寫請求后，操作系統(tǒng)會生成一個相應的SCSI命令，該SCSI命令在iSCSI initiator層被封裝成ISCSI消息包并通過TCP/IP傳送到設備側(cè)，設備側(cè)的iSCSI target層會解開iSCSI消息包，得到SCSI命令的內(nèi)容，然后傳送給SCSI設備執(zhí)行；設備執(zhí)行SCSI命令后的響應，在經(jīng)過設備側(cè)iSCSI target層時被封裝成ISCSI響應PDU，通過TCP/IP網(wǎng)絡傳送給主機的ISCSI initiator層，iSCSI initiator會從ISCSI響應PDU里解析出SCSI響應并傳送給操作系統(tǒng)，操作系統(tǒng)再響應給應用程序。主要優(yōu)勢：這幾年

4、來，iSCSI存儲技術(shù)得到了快速發(fā)展。iSCSI的最大好處是能提供快速的網(wǎng)絡環(huán)境，雖然其性能和帶寬跟光纖網(wǎng)絡還有一些差距，但能節(jié)省企業(yè)約30-40%的成本。iSCSI技術(shù)優(yōu)點和成本優(yōu)勢的主要體現(xiàn)包括以下幾個方面：硬件成本低：構(gòu)建iSCSI存儲網(wǎng)絡，除了存儲設備外，交換機、線纜、接口卡都是標準的以太網(wǎng)配件，價格相對來說比較低廉。同時，iSCSI還可以在現(xiàn)有的網(wǎng)絡上直接安裝，并不需要更改企業(yè)的網(wǎng)絡體系，這樣可以最大程度地節(jié)約投入。操作簡單，維護方便：對iSCSI存儲網(wǎng)絡的管理，實際上就是對以太網(wǎng)設備的管理，只需花費少量的資金去培訓iSCSI存儲網(wǎng)絡管理員。當iSCSI存儲網(wǎng)絡出現(xiàn)故障時，問題定位及

5、解決也會因為以太網(wǎng)的普及而變得容易。擴充性強：對于已經(jīng)構(gòu)建的iSCSI存儲網(wǎng)絡來說，增加iSCSI存儲設備和服務器都將變得簡單且無需改變網(wǎng)絡的體系結(jié)構(gòu)。帶寬和性能：iSCSI存儲網(wǎng)絡的訪問帶寬依賴以太網(wǎng)帶寬。隨著千兆以太網(wǎng)的普及和萬兆以太網(wǎng)的應用，iSCSI存儲網(wǎng)絡會達到甚至超過FC（FiberChannel，光纖通道）存儲網(wǎng)絡的帶寬和性能。突破距離限制：iSCSI存儲網(wǎng)絡使用的是以太網(wǎng)，因而在服務器和存儲設備的空間布局上的限制就會少了很多，甚至可以跨越地區(qū)和國家。安全性：iSCSI和FC采用不同的方法保證存儲訪問的安全，這可能是多協(xié)議存儲架構(gòu)師必須解決的最大問題。FC利用FC交換機實行分區(qū)，

6、通過全局名稱排列LUN編號和主機標識，而iSCSI采用上述隔離iSCSI的物理和虛擬方法，通過IP地址、主機系統(tǒng)和存儲設備的名稱、內(nèi)部/外部CHAP身份驗證等方式限制訪問，從而保證存儲安全。建設過程1 準備工作iSCSI可分享的設備類型有很多，包括鏡像文件（*.img）、分區(qū)（partition）、物理硬盤、raid設備、邏輯卷等，下面我們將準備其中的幾種來測試，其他類型大家可以自行測試。1.1 模擬鏡像在iSCSI Target的/srv目錄下創(chuàng)建一個200M大小的鏡像文件。# mkdir /srv/iscsi# dd if=/dev/zero of=/srv/iscsi/disk1.img

7、 bs=1M count=200# ll -lh /srv/iscsi/disk1.img1.2 建立分區(qū)創(chuàng)建一個500M大小的分區(qū)/dev/sdb1.# fdisk /dev/sdb1.3 創(chuàng)建邏輯卷創(chuàng)建一個800M大小的LV.# pvcreate /dev/sdc# vgcreate vg0 /dev/sdc# lvcreate -L 800M -n lv1 vg02配置iSCSI Target2.1 安裝tgtCentOS 自帶了scsi-target-utils 軟件，我們使用該軟件進行target設置。# yum -y install scsi-target-utils2.2 配置t

8、gttgt的主配置文件為/etc/tgt/targets.conf，下面我們來設置改文件。在該文件最后新增以下設置：<target iqn.2014-07.dev.iscsi-target:iscsidisk> backing-store /srv/iscsi/disk1.img backing-store /dev/sdb1 backing-store /dev/vg0/lv1 backing-store /dev/sdd </target>說明：iqn = iSCSI Qualified NameiSCSI target的名稱規(guī)則如下：iqn.2014-07.dev

9、.iscsi-target:iscsidiskiqn.年份-月份.域名反寫.設備識別每個在同一個target上的backing-store 稱為邏輯單元號（Logical Unit Number，LUN）；2.3 啟動iSCSI target# /etc/init.d/tgtd start# chkconfig tgtd on# netstat -tulnp|grep tgt2.4 查看iSCSI target# tgt-admin showLUN0 是控制器，可以看到各個LUN的大小和磁盤路徑。至此，iSCSI Target 設定完畢。3、配置iSCSI Initiator3.1 安裝ini

10、tiator# yum -y install iscsi-initiator-utils3.2 設置開機啟動# chkconfig iscsid on# chkconfig iscsi on3.3 配置文檔initiator的配置文檔位于/etc/iscsi/，該目錄下有兩個文件，initiatorname.iscsi 和iscsid.conf，其中iscsid.conf 是其配置文件，initiatorname.iscsi 是標記了initiator的名稱，它的默認名稱是InitiatorName=iqn.1994-.redhat:b45be5af6021，我們可以根據(jù)實際情況進行更改，比較

11、好區(qū)分，這里我們修改為InitiatorName=iqn.2014-07.dev.iscsi-initiator:initiator。因為在target里面，我們并沒有設置訪問限制，所以iscsid.conf 文件并不需要修改。3.4 偵測target如果我們事先不知道目標主機的target名稱，我們就需要進行偵測，下面來講解。# iscsiadm -m discovery -t sendtargets -p 192.168.1.21說明：-m discovery/偵測target-t sendtargets/通過iscsi協(xié)議-p IP:port/指定target的IP和port，不寫por

12、t的話，默認為32603.5 查看nodesiscsiadm 偵測到的結(jié)果會寫入/var/lib/iscsi/nodes/ 中，因此只需啟動/etc/init.d/iscsi 就能夠在下次開機時，自動連接到正確的target了。# ll -R /var/lib/iscsi/nodes/偵測信息都寫入了/var/lib/iscsi/nodes/iqn.2014-07.dev.iscsi-target:iscsidisk/192.168.1.21,3260,1/default 文件中了。3.6 連接target查看目前系統(tǒng)上面所有的target# iscsiadm -m node登錄target#

13、 iscsiadm -m node -T iqn.2014-07.dev.iscsi-target:iscsidisk login3.7 查看磁盤情況# fdisk l可以看到，initiator 上面多了四塊硬盤，大小和target上的LUN一致。這時你就可以像使用本地磁盤一樣使用這些iSCSI設備了，下面我們來測試。3.8 將/dev/sdb 和/dev/sdc 創(chuàng)建成LV掛載使用創(chuàng)建LV# pvcreate /dev/sdb /dev/sdc# vgcreate iscsi /dev/sdb /dev/sdc# lvcreate -L 1G -n iscsilv iscsi格式化并掛載# mkfs.ext4 /dev/iscsi/iscsilv# mkdir /mnt/iscsi# vi