網(wǎng)絡存儲ipsan基礎知識

網(wǎng)絡存儲ipsan基礎知識

提綱網(wǎng)絡存儲概述存儲體系架構RAID技術傳輸協(xié)議引言信息系統(tǒng)中的數(shù)據(jù)是人類“最為重要的財富

”“以計算為中心”向“以數(shù)據(jù)為中心”發(fā)生轉變數(shù)據(jù)存儲、管理方式從以服務器為中心向以網(wǎng)絡為中心發(fā)生轉變積累的數(shù)據(jù)越來越多，呈現(xiàn)“爆炸性的增長

”孤立、分散、難以管理的海量數(shù)據(jù)是“巨大災難”關鍵業(yè)務的數(shù)據(jù)丟失對企業(yè)帶來“毀滅性打擊”業(yè)務連續(xù)性、數(shù)據(jù)共享、數(shù)據(jù)備份恢復、信息生命周期管理等需求推動存儲技術巨大發(fā)展信息數(shù)據(jù)是人類“最為重要的財富”

對數(shù)據(jù)安全性要求很高的企業(yè)

典型行業(yè):電信、金融和證券

典型業(yè)務:計費對數(shù)據(jù)存儲性能要求高的企業(yè)

典型行業(yè):電視臺、交通部門和測繪部門

典型業(yè)務:音頻/視頻、石油測繪和地理信息系統(tǒng)等

在系統(tǒng)級方面具有很強的容量(動態(tài))可擴展性和靈活性的企業(yè)

典型行業(yè):各中大型企業(yè)

典型業(yè)務:ERP系統(tǒng)、CRM系統(tǒng)和決策支持系統(tǒng)具有超大型海量存儲特性的企業(yè)

典型行業(yè):圖書館、博物館、稅務和石油

典型業(yè)務:資料中心和歷史資料庫

網(wǎng)絡存儲行業(yè)應用

具有本質上物理集中、邏輯上又彼此獨立的數(shù)據(jù)管理特點的企業(yè)

典型行業(yè):銀行、證券和電信

典型業(yè)務:銀行的業(yè)務集中和電信的運營支撐系統(tǒng)(BOSS)集中實現(xiàn)對分散數(shù)據(jù)高速集中備份的企業(yè)

典型行業(yè):各行各業(yè)

典型業(yè)務:企業(yè)各分支機構數(shù)據(jù)的集中處理數(shù)據(jù)在線性要求高的企業(yè)

典型行業(yè):商業(yè)網(wǎng)站和金融

典型業(yè)務:電子商務實現(xiàn)與主機無關的容災的企業(yè)

典型行業(yè):大型企業(yè)

典型業(yè)務:數(shù)據(jù)中心網(wǎng)絡存儲行業(yè)應用提綱網(wǎng)絡存儲概述存儲體系架構RAID技術傳輸協(xié)議宇視存儲產(chǎn)品介紹磁盤硬件結構主軸馬達(SpindleMotor)音圈馬達(VoiceCoilMotor)磁頭基座(BasePlate)磁頭停放區(qū)(ParkingZone)盤片(Media)傳動部件接口硬盤磁頭技術

磁頭(Head)磁道(Track)柱面(Cylinder)扇區(qū)(Sector)

扇區(qū)1磁道n磁道0磁道格式化容量=柱面數(shù)X每磁道扇區(qū)數(shù)X磁頭數(shù)X扇區(qū)字節(jié)數(shù)磁頭與柱面S.M.A.R.T.技術Self-Monitoring,AnalysisandReportingTechnology最早由Compaq和IBM推動,目的是盡可能預測硬盤的可靠性，在硬盤損壞之前給用戶警告很多由硬盤部件功能性衰減的問題是可以預測的磁頭飛行高度信息輸出效率旋轉啟動時間尋道失敗率尋道時間的效率

硬盤接口及發(fā)展ATA接口SATA接口

SCSI接口

SAS接口

FC接口WhatareATA？ATA：Advanced

Technology

Attachment高級技術附加裝置7個版本：ATA-1----ATA-7（ATA

133）速率基本上走到了極限WhatareSATA？SATA：SerialAdvanced

Technology

Attachment

串行ATA這是一種完全不同于并行ATA的新型硬盤接口類型，由于采用串行方式傳輸數(shù)據(jù)而得名。具有結構簡單、支持熱插拔、傳輸速率快的優(yōu)點2000年Intel聯(lián)合IBM、Maxtor、Seagate等廠商合作開發(fā)SATAI

(版本1.x)接口，正式名稱為SATA1.5Gb/s,是第一代SATA接口，運行速度為1.5Gb/s。這個接口支持高達150MB/s帶寬吞吐量。

SATAII

(版本2.x)接口，正式名稱為SATA3Gb/s，是第二代SATA接口，運行速度為3.0Gb/s。這個接口支持高達300MB/s帶寬吞吐量。

SATAIII

(版本3.x)接口，正式名稱為SATA6Gb/s，是第三代SATA接口，運行速度為6.0Gb/s。這個接口支持高達600MB/s帶寬吞吐量WhatareSCSI？SCSI:Small

Computer

System

Interface小型計算機系統(tǒng)接口特點：應用范圍廣、多任務、帶寬大、CPU占用率低，以及熱插拔SCSI必須要有專門的SCSI控制器，也就是一塊SCSI控制卡，才能支持SCSI設備WhatareSAS？SAS接口是SCSI的升級，為串行傳輸模式。SAS是一種點對點、全雙工、雙端口的接口，支持在SATA兼容的電纜和連接器上傳輸SCSI協(xié)議性能：能夠提供3.0Gbit/s的傳輸率，規(guī)劃到12.0Gbit/sWhatisSAS?串聯(lián)SCSI(SAS)是并口SCSI的終結者新的工業(yè)標準提供了非凡的性能提升3-GbpsSASx4“寬”端口提供累計高達12-Gbps的帶寬主機連接以及擴展理解SAS“寬”端口44123132每SAS線纜是3-Gbps到驅動器是獨立線纜“x4寬”在一個接口中包括4根線纜2,3,4線纜僅在當前I/Os超出1號線纜通道性能情況下使用LogicalUnitNumber邏輯單元號(LUN)LUN是一種被SAS和SCSI支持的子地址編碼LUNs是通過編碼確認信息來選擇HostAdapterID7ControllerID1DiskDriveLUN0DiskDriveLUN1ControllerID2DiskDriveLUN0DiskDriveLUN1WhatareFC？FC-AL(光纖通道仲裁環(huán)FibreChannelArbitratedLoop)，是一種雙端口的串行存儲接口，支持全雙工工作方式。利用類似于SATA/SAS所用的4芯連接，提供一種單環(huán)拓撲結構，一個控制器能訪問126個硬盤40-pinMaleFC-SCAIIConnector各種類型應用

接口應用說明FC適用于在線、高可用性、隨機讀適用于大型企業(yè)的關鍵數(shù)據(jù)，價格昂貴SAS適用于在線、高可用性、隨機讀適用于中型企業(yè)的關鍵數(shù)據(jù)，高性能，高可擴展性，比FC價格低，并可兼容SATASATA適用于近線、一般可用性，連續(xù)讀低價格、高容量磁帶適用于離線高容量，可離線保存數(shù)據(jù)與磁盤數(shù)據(jù)可以從磁盤寫入或則讀取典型地通過一個本地應用或是服務器應用應用/文件系統(tǒng)采用數(shù)據(jù)塊級別的I/O數(shù)據(jù)的收發(fā)是通過I/O塊用戶采用的是文件級別的I/O收發(fā)的是數(shù)據(jù)文件0110100101011101010001DAS：DirectAttachedStorage，直接連接存儲NAS：NetworkAttachedStorage，網(wǎng)絡附加存儲SAN：StorageAreaNetwork，存儲區(qū)域網(wǎng)絡存儲體系架構未使用的存儲容量可以簡單地分配給那些需要的服務器.集中的信息=價值分布式存儲集中存儲文檔和塊數(shù)據(jù)用戶在文檔上工作(如.Word文件,excel圖表.等等)而我們所使用的應用需要轉換成塊級別的數(shù)據(jù)直接通過讀寫存儲空間中的一個或者一段地址來存取數(shù)據(jù)通過IDE、SCSI以及光纖（FC）接口與服務器直接相連，以服務器為中心每個服務器都需要獨立的存儲設備（磁盤），且連接距離短，連接數(shù)量有限數(shù)據(jù)分散，共享、管理困難單位成本高－存儲空間浪費存儲體系架構---DASDirectAttachedStorage（DAS）我們需要網(wǎng)絡連接模式以提高存儲系統(tǒng)利用率DAS缺點每臺服務器都有其自己的存儲部件($$)管理困難降低了生產(chǎn)效率備份很昂貴浪費的存儲空間難于共享數(shù)據(jù)什么是NAS?網(wǎng)絡附加存儲一個專用于網(wǎng)絡文件共享的設備.NAS不是一個網(wǎng)絡!NAS使用LAN或WAN協(xié)議如.TCP/IP一個NAS設備可以在一個LAN或WAN任一點存在.支持的協(xié)議包括CIFS,NFS和HTTPNAS并不提供任何由服務器系統(tǒng)的服務器所提供的活動,如.e-mail.QuickReferenceLocalAreaNetwork(LAN)WideAreaNetwork(WAN)CommonInternetFileSystem(CIFS)NetworkFileSystem(NFS)HyperTextTransferProtocol(HTTP)文件級別的訪問–NAS當在網(wǎng)絡上的一個應用請求信息時,NAS設備提供文件級別的訪問或索引到塊層存儲體系架構-NASNetworkAttachedStorage（NAS）基于NFS、CIFS文件級共享存取，支持HTTP存儲設備功能上獨立于網(wǎng)絡中的主服務器，不占用服務器資源擴展較容易，廣泛支持操作系統(tǒng)及應用，安裝簡單方便數(shù)據(jù)備份及恢復占用網(wǎng)絡帶寬NAS的優(yōu)點提升目前的網(wǎng)絡基礎架構適用異構的數(shù)據(jù)共享環(huán)境安裝與維護相對比較簡單本身OS許可和文件鎖維護

良好的性能NAS的缺點一個單獨的NAS服務器會導致I/O瓶頸文件級訪問局限什么是存儲區(qū)域網(wǎng)絡(SAN)?塊級別訪問–SAN和DAS當網(wǎng)絡上的一個應用請求信息時,請求將會被服務器進行處理而正確的數(shù)據(jù)塊將會被返回給客戶.數(shù)據(jù)庫可能是目前數(shù)據(jù)中心塊數(shù)據(jù)訪問最多的例子SAN的存儲方式

Externalstorage

systemconnected

toSANController-based

RAIDControllersBlock-levelaccessApplicationServerApplicationServerApplicationServerSwitchSAN的優(yōu)點高帶寬適應快速的增長傳輸非常大的數(shù)據(jù)塊在無需對局域網(wǎng)性能造成影響即可提供存儲的應用例如備份和遠程鏡像非常優(yōu)秀的性能,可靠性和靈活的連接方式存儲體系架構－SAN存儲體系架構----SANFCSAN：采用FibreChannel等存儲專用協(xié)議，通過光纖通道交換機等連接設備，使網(wǎng)絡服務器與多種存儲設備連接在一個高速專用獨立于以太網(wǎng)的網(wǎng)絡中，數(shù)據(jù)采用FCP協(xié)議以塊方式存取，不占用服務器運算處理的網(wǎng)絡帶寬。IPSAN：使用以太網(wǎng)代替光纖通道（FibreChannel）網(wǎng)和使用iSCSI協(xié)議代替FCP協(xié)議，進行塊狀數(shù)據(jù)存儲訪問的SAN。

FCSAN、IPSAN都要有存儲管理軟件（如卷管理、數(shù)據(jù)的快照、鏡像、備份、恢復、歸檔等等）。存儲網(wǎng)絡的體系結構存儲網(wǎng)關設備需要支持物理層是光纖通道物理接口及以太網(wǎng)的技術體系。提綱網(wǎng)絡存儲概述存儲體系架構RAID技術傳輸協(xié)議宇視存儲產(chǎn)品介紹RAID條帶化是RAID中的一個基本概念是一種將多個驅動器劃歸到一個邏輯存儲單元的組合方式多種級別每種級別都具備不同的成本/性能/容錯優(yōu)勢可以通過硬件或軟件進行實施硬件對于整個系統(tǒng)的性能是最佳的方案RAIDLevel0–條帶化優(yōu)點高數(shù)據(jù)傳輸速率低成本缺點當磁盤失效時無冗余數(shù)據(jù)會丟失

RAIDLevel1–鏡像優(yōu)點

可靠性

可用性

當出現(xiàn)錯誤時無需數(shù)據(jù)重建缺點額外磁盤所帶來的高成本

RAID技術——XOR校驗運算特性1：相同為0，相異為1

A(1)⊕B(0)=P(1)A(0)⊕B(0)=P(0)A(1)⊕B(1)=P(0)A(1)⊕P(0)=B(1)，B(1)⊕P(0)=A(1)特性2：等效性，下面5個等式是等價的(A⊕B)⊕C=P(A⊕B)⊕C⊕C=P⊕CA⊕B⊕0=P⊕CA⊕B=P⊕C(A⊕B)⊕P=C

RAIDLevel3–校驗盤優(yōu)點高數(shù)據(jù)傳輸速率

適用長的順序數(shù)據(jù)

可靠性

可用性缺點對短數(shù)據(jù)不適合對隨機I/O不適合RAIDLevel5–

分布校驗盤優(yōu)點短數(shù)據(jù)記錄或隨機I/O眾多并發(fā)I/O可靠性可用性缺點不適用于大記錄D1D2D4D4D2D7D8D8D10D11D11D1D1D2D3D4D5D6D7D8D9D10D11D12D13D14D15邏輯磁盤物理磁盤0物理磁盤1物理磁盤2物理磁盤3stripe0stripe1stripe2stripe3D13D14D13stripe4D5D7D10D5D14D3D3D9D9D12D12D15D6D6D15物理磁盤4物理磁盤5RAID級別——RAID10定義：將鏡像和條帶組合起來的組合RAID級別，最低一級是RAID1鏡像對，第二級為RAID0。冗余陣列的運行狀態(tài)Normal：正常冗余陣列中所有磁盤都處于正常運行狀態(tài)，此時可允許一個或多個磁盤失效。Degrade/Critical：降級冗余陣列中有一個（比如RAID5陣列）或多個（比如RAID6陣列）磁盤失效后的狀態(tài)，但仍然可以向外界提供正常的讀寫服務，此時如果再有一個磁盤失效，則整個陣列處于不可用的狀態(tài)。Recover/Rebuild：重建從降級到正常之間的過渡狀態(tài)，此時有一個正常的磁盤頂替了失效磁盤，冗余數(shù)據(jù)正在重建。Failed：失效此時失效磁盤數(shù)量已經(jīng)超過陣列所允許冗余的數(shù)量，整個陣列處于不可用狀態(tài)。其他RAID級別RAID1+0:implementedasstripedsubsystemwhosesegmentsareRAID1subsystemsRAID總結RAID0:最快和最有效的級別但不提供容錯RAID1:性能至上,容錯的環(huán)境下,但需要2倍存儲空間RAID3:Dataintensiveenvironmentswhichaccesslongsequentialrecords,doesnotallowmultipleI/OoperationstobeoverlappedRAID5:對于多用戶大量讀取少量寫入環(huán)境下的最佳選擇.RAID1+0:高性能但需要2倍的磁盤以用于數(shù)據(jù)鏡象提綱網(wǎng)絡存儲概述存儲體系架構RAID技術傳輸協(xié)議宇視存儲產(chǎn)品介紹IPSAN標準、技術的支持IP存儲技術包含：iSCSI、FCIP、iFCP等，光纖通道技術包含F(xiàn)C-PH、FCP、FC-SW、FC-FS、FC-FG等。FCIP（FibreChanneloverIP）是IETF與ANSI共同提出的基于IP的光纖通道方案，采用這種模式，光數(shù)據(jù)幀被壓縮為IP幀傳輸,在兩個SAN之間通過IP網(wǎng)絡建立點到點的隧道，構成一個統(tǒng)一的SAN環(huán)境。

iFCP在FC與IP之間建立網(wǎng)關到網(wǎng)關的連接，使FC幀可以路由到正確的目的地址。它可以允許每一個互聯(lián)的SAN都擁有自己獨立的命名空間。實現(xiàn)起來也比FCIP復雜。

iSCSI概述由IBM，CISIO，HP發(fā)起；2000-2為IETF草案，2004-4作為正式的IETF標準現(xiàn)在的iSCSI協(xié)議對應SAM2，而最新的SAM是SAM4，SAM5主要由RFC3720描述涉及的RFC還有：3721（iSNS），3722（命令規(guī)范），3723（安全），3347（設計），3783（IP上的有序命令傳送），3385（錯誤估計）用TCP/IP作為SAN的基礎設施iSCSI構建在TCP之上，不是IP；是面向連接的，不是無連接的。（一個iSCSI命令可能分在幾個IP報文中）iSCSI的主要功能是在TCP/IP上封裝，并可靠的傳輸SCSI命令及數(shù)據(jù)涉及到的SCSI的概念1啟動設備和目標設備啟動設備(initiator)：發(fā)起I/O請求的設備目標設備(target):響應請求執(zhí)行實際I/O操作的設備在啟動設備和目標設備建立連接后，目標設備在操作中作為主設備控制整個工作過程典型的SCSI系統(tǒng)涉及到的SCSI的概念2CDB：命令描述塊。SCSI的命令及參數(shù)是填充在一定長度的數(shù)據(jù)塊內傳輸?shù)腟CSI技術簡介－常見SCSIOpcode表Opcode

含義0x00 TESTUNITREADY查詢設備是否已經(jīng)準備好進行傳輸0x1a MODESENSE(6)請求模式頁面（設備參數(shù)）0x12 INQUIRY請求設備基本信息0x25 READCAPACITY請求存儲容量信息0xa0 REPORTLUNS報告邏輯單元數(shù)量0x28 READ(10)讀0x2a WRITE(10)寫ReadCapacity(10)的SCSIOpcode為0x25SCSI的缺點SCSI是點對點的、直接相連的計算機到存儲器的設備接口，不適用于主機到存儲器的存儲網(wǎng)絡通訊

SCSI總線的長度被限制在25米以內，對于UltraSCSI長度限制為12米，不適于構造各種網(wǎng)絡拓撲結構

SCSI總線上設備數(shù)限制為15，不適用于多服務器對多存儲設備的網(wǎng)絡結構

iSCSI協(xié)議概述－iSCSI協(xié)議棧應用層SCSI層iSCSI層傳輸層網(wǎng)絡層鏈路層EthernetIPTCPiSCSISCSIApplicationInitiatorLogicalUnitSCSIiSCSITCPIPEthernetTarget連接randomport3260RJ45RJ45會話I/O請求SCSI接口傳輸層接口應用層SCSI層iSCSI層傳輸層網(wǎng)絡層鏈路層Thewell-knownuserTCPportnumberforiSCSIconnectionsassignedbyIANAis3260andthisisthedefaultiSCSIport.iSCSI協(xié)議概述－iSCSI報文封裝如上圖所示：iSCSI節(jié)點間交互報文均是以iSCSIPDU的形式封裝在TCP/IP/Ethernet內以太網(wǎng)幀以太網(wǎng)幀頭14BytesIP數(shù)據(jù)報IP頭部20BytesiSCSI頭部—BHS48BytesTCP頭部20BytesTCP段以太網(wǎng)尾部4BytesiSCSI協(xié)議概述－iSCSIPDU定義PDU（ProtocolDataUnit，協(xié)議數(shù)據(jù)單元）包括基本頭（BasicHeaderSegment，BHS，48字節(jié)）多個附加頭（AdditionalHeaderSegments，AHSs）可選頭部校驗位（BHS的循環(huán)冗余校驗值，CRC）可選數(shù)據(jù)段可選數(shù)據(jù)段校驗位（數(shù)據(jù)段的循環(huán)冗余校驗值，CRC）可選必選4.iSCSI協(xié)議概述－iSCSIPDU格式BasicHeaderSegment(BHS)AdditionalHeaderSegment1(AHS)(optional)AdditionalHeaderSegment2(AHS)(optional)AdditionalHeaderSegmentn(AHS)(optional)Header-Digest(optional)DataSegment(optional)Data-Digest(optional)iSCSI響應報文不能帶AHSBHS必須包含在PDU中基本頭0012345670123456701234567012345670123ByteBitByte04.iSCSI協(xié)議概述－iSCSIPDU的基本頭.|I|Opcode4F|OpcodeSpecificFieldsTotalAHSLength8DataSegmentLengthLUNorOpcode-specificfields16InitiatorTaskTag20Opcode-specificfields480012345670123456701234567012345670123ByteBitByte0BHS（BasicHeaderUnit），是每個iSCSIPDU必須包含的內容，它的長度也是固定的，永遠是48個字節(jié)iSCSI協(xié)議概述－iSCSIOpcode表InitiatorOpcode0x00NOPIn0x01SCSICommand0x02SCSITaskManagementRequest0x03LoginRequest0x04TextRequest0x05SCSIDataOut）（forwrite）0x06LogoutRequest0x10SNACKRequest0x1c-0x1eVendorspecificcodesInitiatorTargetTargetO