企業(yè)級(jí)存儲(chǔ)基礎(chǔ)知識(shí)

1、1企業(yè)級(jí)存儲(chǔ)基礎(chǔ)知識(shí)硬盤的主要指標(biāo)容量：指硬盤能存儲(chǔ)的數(shù)據(jù)量大小，以字節(jié)為基本單位轉(zhuǎn)速：指硬盤主軸馬達(dá)的轉(zhuǎn)動(dòng)速度，單位為RPM（Round per Minute)，即每分鐘盤片轉(zhuǎn)動(dòng)次數(shù)緩存：是硬盤控制器上的一塊內(nèi)存芯片，具有極快的存取速度，它是硬盤內(nèi)部盤片和外部接口之間的緩沖器平均訪問時(shí)間：硬盤磁頭找到目標(biāo)數(shù)據(jù)所需的平均時(shí)間尋道時(shí)間：磁頭尋找目標(biāo)數(shù)據(jù)所在軌道所需的時(shí)間數(shù)據(jù)傳輸率：數(shù)據(jù)從硬盤表面?zhèn)鬏數(shù)接脖P的緩存的速率MTBF：MeanTimeBetweenFailure，平均無故障時(shí)間AFR：Annualized Failure Rate ，按年計(jì)算的失效率常用指標(biāo)常用指標(biāo)常用指標(biāo)硬盤類型及接口

2、SASSATAFCSCSIATA/IDELCSC硬盤類型接口視圖串行并行硬盤接口技術(shù)發(fā)展趨勢(shì)ATA/IDE接口硬盤簡(jiǎn)介ATA( Advanced Technology Attachment )高級(jí)技術(shù)附加裝置ATA硬盤是傳統(tǒng)的桌面級(jí)硬盤，主要應(yīng)用于個(gè)人PC機(jī)，也經(jīng)常稱為IDE（ IntegratedDriveElectronics ）硬盤ATA接口為并行ATA技術(shù)，下一代的產(chǎn)品將轉(zhuǎn)向串行ATA（SATA）電源連接器主/從盤 跳線40-pin連接器SCSI接口硬盤介紹SCSI (Small Computer System Interface )小型計(jì)算機(jī)系統(tǒng)接口SCSI硬盤并發(fā)處理性能優(yōu)異，常應(yīng)

3、用于企業(yè)級(jí)存儲(chǔ)領(lǐng)域SCSI硬盤采用并行接口，目前接口速率發(fā)展到320MBps，基本已經(jīng)達(dá)到極限，將來必被其串行版本SAS（ Serial Attached SCSI ）硬盤所替代80-pin 公接頭FC接口硬盤介紹FC硬盤采用FC-AL( Fiber Channel Arbitrated Loop，光纖通道仲裁環(huán)) 接口模式FC-AL是一種雙端口的串行存儲(chǔ)接口FC-AL支持全雙工工作方式FC-AL利用類似SATA/SAS所用的4芯連接，提供一種單環(huán)拓?fù)浣Y(jié)構(gòu)，一個(gè)控制器能訪問126個(gè)硬盤 SATA接口硬盤介紹 SATA：Serial ATA (Serial AdvancedTechnologyA

4、ttachment )串行ATASATA采用串行方式進(jìn)行數(shù)據(jù)傳輸，接口速率比IDE接口高，最低為150MBps，并且第二代（SATA ）300MBps接口硬盤已經(jīng)形成商用，規(guī)劃內(nèi)的最高速率可達(dá)600MBpsSATA硬盤采用點(diǎn)對(duì)點(diǎn)連接方式，支持熱插拔，即插即用 SAS接口硬盤介紹SAS(Serial Attached SCSI) 串行連接SCSI SAS是一種點(diǎn)對(duì)點(diǎn)、全雙工、雙端口的接口SAS專為滿足高性能企業(yè)需求而設(shè)計(jì)，實(shí)現(xiàn)與SATA的互操作，為企業(yè)用戶帶來前所未有的靈活性和低成本RAID （Redundant Array of Independent Disks）即獨(dú)立磁盤冗余陣列，RAID

5、技術(shù)將多個(gè)單獨(dú)的物理硬盤以不同的方式組合成一個(gè)邏輯硬盤，從而提高了硬盤的讀寫性能和數(shù)據(jù)安全性，根據(jù)不同的組合方式可以分為不同的RAID級(jí)別RAID基本概念定義計(jì)算機(jī)發(fā)展初期，大容量硬盤價(jià)格非常高，而需要存儲(chǔ)的數(shù)據(jù)量越來越大容量性能CPU運(yùn)算速度飛速提高，數(shù)據(jù)讀寫速度不應(yīng)該成為計(jì)算機(jī)系統(tǒng)處理的瓶頸信息時(shí)代，數(shù)據(jù)對(duì)企業(yè)和個(gè)人的重要性越來越大，數(shù)據(jù)存儲(chǔ)安全更需要保障RAID可靠性DHLCGKBFJABCDEFGH數(shù)據(jù)RAID級(jí)別 RAID 0AEIRAID 0即沒有容錯(cuò)設(shè)計(jì)的條帶硬盤陣列（Striped Disk Array without Fault Tolerance），以條帶形式將RAID組的

6、數(shù)據(jù)均勻分布在各個(gè)硬盤中RAID 1又稱鏡像（Mirror），數(shù)據(jù)同時(shí)一致寫到主硬盤和鏡像硬盤EDCBAEDCBAABCDE=數(shù)據(jù)RAID級(jí)別 RAID 1RAID 3即有校驗(yàn)的并行數(shù)據(jù)傳輸（Paralleled transfer with parity），數(shù)據(jù)條帶化分布在數(shù)據(jù)盤中，同時(shí)使用專用校驗(yàn)硬盤存放校驗(yàn)數(shù)據(jù) D0C0B0A0D1C1A1B1D2C2A2B2P DP CP AP BABCD異或運(yùn)算數(shù)據(jù)盤校驗(yàn)盤RAID級(jí)別 RAID 3RAID 5與RAID 3機(jī)制類似，但校驗(yàn)數(shù)據(jù)均勻分布在各數(shù)據(jù)硬盤上，RAID成員硬盤上同時(shí)保存數(shù)據(jù)和校驗(yàn)信息，數(shù)據(jù)塊和對(duì)應(yīng)的校驗(yàn)信息保存在不同硬盤上。RA

7、ID 5是最常用的RAID方式之一P4A3A2A1A0B4P3B2B1B0C4C3P2C1C0D4D3D2P1D0E4E3E2E1P0異或運(yùn)算A0B0C0D0A1B1C1E1A2B2D2校驗(yàn)信息Px分布式存儲(chǔ)RAID級(jí)別 RAID 5數(shù)據(jù)RAID 10是將鏡像和條帶進(jìn)行兩級(jí)組合的RAID級(jí)別，第一級(jí)是RAID1鏡像對(duì)，第二級(jí)為RAID 0ABCDEFGHAACBBCDDEEFFGGHHRAID組合級(jí)別 RAID 10P13F1RAID 50是將鏡像和條帶進(jìn)行兩級(jí)組合的RAID級(jí)別，最低一級(jí)是RAID 5鏡像對(duì)，第二級(jí)為RAID 0RAID組合級(jí)別 RAID 50A2P02A1A0B2B1P01

8、B0P03C1C0P00異或運(yùn)算A0B0D0E0A1C0D1F0B1C1D2P12D1D0E2E1P11E0F0P10硬盤0硬盤1硬盤2硬盤3硬盤4硬盤5異或運(yùn)算磁盤陣列常見的磁盤陣列組成部分：控制器模塊+磁盤柜控制器和磁盤柜一體磁盤陣列=控制器磁盤擴(kuò)展柜(JBOD)磁盤陣列=+控制器和磁盤柜分離主要分類按控制器數(shù)量： JBOD，雙控制器陣列，多控制器陣列按對(duì)外接口：SCSI陣列， FC陣列，i SCSI陣列，NAS等陣列控制器內(nèi)部結(jié)構(gòu)前端總線緩存(Cache)CPUCPU后端總線常見控制器內(nèi)部組件前端總線系統(tǒng)緩存CPUCPU后端總線讀緩存寫緩存注：緩存電池、RAID 控制器可選設(shè)計(jì)CPU、緩

9、存、接口速率是決定控制器性能的關(guān)鍵硬件組件前端（對(duì)外RJ45口）控制器緩存(Cache)CPUCPU后端連接RAID16磁盤位一體化設(shè)計(jì)整機(jī)軟硬件一體化設(shè)計(jì)控制器緩存工作模式前端總線系統(tǒng)緩存CPUCPU后端總線讀緩存寫緩存前端總線系統(tǒng)緩存CPUCPU后端總線讀緩存 寫緩存主機(jī)寫入數(shù)據(jù)流反饋寫OKWrite-back回寫主機(jī)寫入數(shù)據(jù)流反饋寫OKWrite-through透寫磁盤FC或IP(GE)緩存(Cache)CPUCPU后端總線磁盤控制器的緩存保護(hù)技術(shù)FC或IP(GE)緩存(Cache)CPUCPU后端總線Cache電池FC或IP(GE)緩存(Cache)CPUCPU后端總線陣列內(nèi)置UPS三

10、種常見控制器Cache保護(hù)設(shè)計(jì)電池保護(hù)Cache內(nèi)置UPS保護(hù)控制器外置UPS保護(hù)整機(jī)陣列外置UPS多路徑的問題交換機(jī)磁盤陣列控制器1控制器2HBA01HBA02主機(jī)ALUN 0LUN 1LUN0LUN0LUN1LUN1路徑1：HBA01 控制器1路徑2：HBA01 控制器2路徑3：HBA02 控制器1路徑4：HBA02 控制器2主機(jī)BLUN1LUN0LUN1LUN0硬件 (HBAs) 磁盤驅(qū)動(dòng) 文件系統(tǒng) 應(yīng)用 LUN0LUN0LUN0LUN0LUN1LUN1LUN1LUN1? 多路徑軟件 多路徑管理軟件硬件 (HBAs) 磁盤驅(qū)動(dòng) 文件系統(tǒng) 應(yīng)用 LUN0LUN0LUN0LUN0LUN1LU

11、N1LUN1LUN1?主機(jī)無法讀寫主機(jī)正常讀寫虛擬設(shè)備HBA1LUN0LUN0LUN1LUN1 多路徑軟件 HBA2服務(wù)器I/OLUN0LUN0LUN1LUN1HBA2多路徑故障切換HBA故障路徑切換交換機(jī)磁盤陣列控制器1控制器2LUN 0LUN 1HBA2HBA故障HBA1LUN0LUN0LUN1LUN1 多路徑軟件 HBA2服務(wù)器I/OLUN0LUN0LUN1LUN1HBA1LUN0LUN0LUN1LUN1 多路徑軟件 HBA2服務(wù)器I/OLUN0LUN0LUN1LUN1HBA1LUN0LUN0LUN1LUN1 多路徑軟件 HBA2服務(wù)器I/OLUN0LUN0LUN1LUN1HBA2多路徑

12、故障切換HBA故障路徑切換交換機(jī)磁盤陣列控制器1控制器2LUN 0LUN 1HBA2HBA故障HBA1LUN0LUN0LUN1LUN1 多路徑軟件 HBA2服務(wù)器I/OLUN0LUN0LUN1LUN1HBA1LUN0LUN0LUN1LUN1 多路徑軟件 HBA2服務(wù)器I/OLUN0LUN0LUN1LUN1多路徑故障切換交換機(jī)故障路徑切換交換機(jī)磁盤陣列控制器1控制器2LUN 0LUN 1交換機(jī)故障HBA1LUN0LUN0LUN1LUN1 多路徑軟件 HBA2服務(wù)器I/OLUN0LUN0LUN1LUN1HBA1LUN0LUN0LUN1LUN1 多路徑軟件 HBA2服務(wù)器I/OLUN0LUN0LUN

13、1LUN1多路徑故障切換交換機(jī)路徑切換交換機(jī)磁盤陣列控制器1控制器2LUN 0LUN 1交換機(jī)故障存儲(chǔ)區(qū)域網(wǎng)安全機(jī)制SAN安全訪問控制允許授權(quán)訪問拒絕非授權(quán)訪問身份驗(yàn)證保證傳輸、消息、發(fā)起端的合法性數(shù)據(jù)加密數(shù)據(jù)只讓合法接收方能使用防止惡意竊聽I(yíng)P SAN可利用成熟的安全工具功能技術(shù)訪問控制訪問控制列表（ACL）、LUN掩碼（LUN Masking）、分區(qū)、 VLAN管理數(shù)據(jù)安全SNMP v2/v3、SSL、SSH管理身份驗(yàn)證ID、密碼RADIUS機(jī)密管理密碼散列（hash）、證書安全配置數(shù)據(jù)安全、密鑰安全實(shí)體身份驗(yàn)證CHAP消息驗(yàn)證和完整性MD5數(shù)據(jù)加密IP Sec ESP、DES、3DES、

14、AESSAN的訪問控制分區(qū)存儲(chǔ)區(qū)域網(wǎng)絡(luò)(SAN)磁帶庫磁盤陣列分區(qū)4分區(qū)1分區(qū)2分區(qū)3FC：ZoningiSCSI：1、發(fā)現(xiàn)域2、VLAN存儲(chǔ)區(qū)域網(wǎng)絡(luò)(SAN)FC SNS/iSNS基于名稱服務(wù)的SAN分區(qū)磁帶庫磁盤陣列Zone4Zone1Zone2Zone3WWNWWNWWNWWNWorld Wide Name(WWN)是光纖通道設(shè)備的“Ethernets MAC地址”。對(duì)于iSCSI設(shè)備，和WWN相對(duì)應(yīng)的標(biāo)識(shí)符是WWUI（world wide unique identifier）。WWUIWWUIWWUIWWUIFC SAN稱這類分區(qū)為“軟分區(qū)”IP SAN采用發(fā)現(xiàn)域可實(shí)現(xiàn)FC基于名稱服務(wù)

15、的分區(qū)功能基于交換機(jī)端口的分區(qū)zone2磁帶庫磁盤陣列zone1zone3zone4主機(jī)交換機(jī)FC SAN稱這類分區(qū)為“硬分區(qū)”IP SAN采用VLAN實(shí)現(xiàn)，但是VLAN功能遠(yuǎn)比FC交換機(jī)分區(qū)功能標(biāo)準(zhǔn)和強(qiáng)大基于端口的VLANVLAN2磁帶庫iSCSI磁盤陣列VLAN1VLAN3VLAN4主機(jī)交換機(jī)VLAN tablePortVLANPort 1VLAN 1，4Port 4VLAN 2，4Port 6VLAN 3，4Port 9VLAN 1Port 11VLAN 2Port 13VLAN 3Port 16VLAN 4基于HBA的LUN Mapping/Masking服務(wù)器服務(wù)器HBA卡LUN0L

16、UN1LUN2陣列1YYN陣列2YYN陣列3NNNAccess MapSANLUN0LUN1LUN2陣列1NNY陣列2NNY陣列3YYYAccess Map陣列3陣列2陣列1LUN2LUN1LUN0LUN2LUN1LUN0LUN2LUN1LUN0基于控制器的LUN Mapping/Masking主機(jī)1主機(jī)3SANLUN0LUN1LUN2主機(jī)1YNN主機(jī)2NYN主機(jī)3NNYAccess Map陣列LUN2LUN1LUN0主機(jī)2存儲(chǔ)協(xié)議-SCSISCSI（Small Computer System Interface，小型計(jì)算機(jī)系統(tǒng)接口）是一種為小型機(jī)研制的接口技術(shù)，用于主機(jī)與外部設(shè)備之間的連接主

17、機(jī)適配器SCSI ID 7SCSI總線SCSI 陣列ID 0SCSI 陣列ID 5LUN 0LUN 1LUN 2LUN 0LUN 1數(shù)據(jù)/地址總線控制信號(hào)常見SCSI接口有50、68、80針SCSI 歷史SCSI-11986年ANSI標(biāo)準(zhǔn)，采納了SASI接口（1979）；定義了硬盤、磁帶和其它存儲(chǔ)設(shè)備的物理接口、傳輸協(xié)議和標(biāo)準(zhǔn)指令集；SCSI-21994年ANSI標(biāo)準(zhǔn)，SCSI-1的后續(xù)接口；提高了速度和總線帶寬，支持多線程指令，增加了更多存儲(chǔ)設(shè)備類型指令集；SCSI-3更高的速度類型：Ultra-2/Ultra-160/Ultra-320；物理接口、傳輸協(xié)議和SCSI指令集分層；SCSI-3

18、是所有存儲(chǔ)協(xié)議的基礎(chǔ)，其它存儲(chǔ)協(xié)議都用到SCSI的指令集SCSI架構(gòu)模型特定設(shè)備指令集：包括磁盤設(shè)備的“SCSI塊指令(SCSI Block Commands)”等基礎(chǔ)指令集：所有SCSI設(shè)備都必須實(shí)現(xiàn)的“基礎(chǔ)指令(SCSI Primary Commands)”SCSI傳輸協(xié)議：譬如iSCSI，F(xiàn)CP物理連接：譬如光纖通道，internet架構(gòu)模型：定義了SCSI系統(tǒng)模型和各單元的功能分工特定設(shè)備指令集基礎(chǔ)指令集SCSI傳輸協(xié)議物理連接架構(gòu)模型存儲(chǔ)協(xié)議-FC（光纖通道）光纖通道是構(gòu)建FC SAN的基礎(chǔ)，是FC SAN系統(tǒng)的硬件接口和通信接口。FC可以通過構(gòu)建幀來傳輸SCSI的指令、數(shù)據(jù)和狀態(tài)信

19、息單元。公共服務(wù)傳輸協(xié)議（編/解碼）信號(hào)協(xié)議和連接服務(wù)介質(zhì)和接口FC-1代碼層FC-0物理層FC-2協(xié)議層FC-3服務(wù)層FC-4映射層IPI3SCSIHIPPIIPSBCCS802.2ATM通道網(wǎng)絡(luò)FC的三種拓?fù)浣Y(jié)構(gòu)點(diǎn)對(duì)點(diǎn)只能連接 2個(gè)設(shè)備(直接連接)交換式 Fabric最多支持1千6百萬個(gè)設(shè)備(光纖通道交換機(jī))Arbitrated Loop (仲裁環(huán))最多支持126個(gè)設(shè)備(光纖集線器)普及!FC特點(diǎn)不足構(gòu)建維護(hù)成本高，時(shí)間長(zhǎng)互操作性不強(qiáng)，F(xiàn)C協(xié)議具體實(shí)現(xiàn)上各個(gè)廠商有所不同F(xiàn)C SAN缺少統(tǒng)一管理標(biāo)準(zhǔn)FC理論上最長(zhǎng)傳輸距離10公里左右，在互聯(lián)網(wǎng)存儲(chǔ)應(yīng)用中會(huì)形成信息孤島優(yōu)勢(shì)連接設(shè)備比SCSI多高帶寬，低時(shí)延實(shí)現(xiàn)光纖和銅纜的無縫連接連接距離遠(yuǎn)遠(yuǎn)超出并行SCSI存儲(chǔ)設(shè)備存儲(chǔ)協(xié)議-iSCSIiSCSI （Internet SCSI）把SCSI命令和塊狀數(shù)據(jù)封裝在TCP中在IP網(wǎng)絡(luò)中傳輸iSCSI作為SCSI的傳輸層協(xié)議，基本出發(fā)點(diǎn)是利用成熟的IP網(wǎng)絡(luò)技術(shù)來實(shí)現(xiàn)和延伸SANSCSI應(yīng)用（文件系統(tǒng)、數(shù)據(jù)庫）SCSI塊指令SCSI流指令其他SCSI指令SCSI指令、數(shù)據(jù)和狀態(tài)iSCSI TCPIP以太網(wǎng)等iSCSI協(xié)議棧iSCSI 啟動(dòng)器-目標(biāo)器模型啟動(dòng)器（Initiator）SCSI層負(fù)責(zé)生成CDB（命