經(jīng)典：存儲基礎知識應知應會

1、王智王智 90002439 90002439 （emailemail：)IT IT存儲解決方案銷售部存儲解決方案銷售部存儲基礎知識應知應會1目錄目錄存儲基本解決方案介紹存儲基礎知識存儲業(yè)界主要廠商介紹1 12 23 34 4存儲產(chǎn)品系統(tǒng)及軟件概述2存儲是什么？p廣義的存儲定義CD、DVD、ZIP，磁帶，硬盤等1、存儲硬件系統(tǒng)（磁盤陣列，控制器，磁盤柜，磁帶庫等）2、存儲軟件（備份軟件；管理軟件，快照，復制等增值軟件）3、存儲網(wǎng)絡（HBA卡，光纖交換機，F(xiàn)C/SAS線纜等）4、存儲解決方案（集中存儲，歸檔，備份，容災等）p狹義的存儲定義3存儲是企業(yè)數(shù)據(jù)的“家”4存儲發(fā)展歷程：從附屬于服務器，剝離

2、成獨立系統(tǒng)Server硬盤CPURAMServerSCSI卡控制器CPU硬盤RAM硬盤在服務器內(nèi)部RAID功能JBOD(Just a Bunch Of Disk)CPU硬盤RAMServerSCSI卡外部硬盤陣列（DAS)智能硬盤陣列(DAS)控制器中包含RAID功能、大容量Cache，同時使得磁盤陣列具有多種實用的功能，配置專用管理軟件進行配置管理在邏輯上把幾個物理磁盤串聯(lián)在一起，其目的純粹是為了增加磁盤的容量，并不提供數(shù)據(jù)安全保障。局局限性：限性： 硬盤成為系統(tǒng)性能瓶頸 有限硬盤槽位，容量小 單硬盤存放數(shù)據(jù)，可靠性差 存儲空間利用率低 本地存儲，數(shù)據(jù)分散 解決問題：解決問題： 有限硬盤槽位

3、，容量小 單硬盤存放數(shù)據(jù)，可靠性差解決問題：解決問題： 硬盤成為系統(tǒng)性能瓶頸 有限硬盤槽位，容量小 單硬盤存放數(shù)據(jù)，可靠性差解決問題：解決問題： 硬盤成為系統(tǒng)性能瓶頸 有限硬盤槽位，容量小 單硬盤存放數(shù)據(jù)，可靠性差 存儲空間利用率低 本地存儲，數(shù)據(jù)分散 nSAN多個多個應應用服務器用服務器NASSAN應用服務器應用服務器文件系統(tǒng)文件系統(tǒng)應用服務器應用服務器文件系統(tǒng)文件系統(tǒng)文件系統(tǒng)文件系統(tǒng)RAIDRAIDRAIDnLAN5存儲主要協(xié)議SCSI協(xié)議： （Small Computer System Interface，小型計算機系統(tǒng)接口）是一種為小型機研制的接口技術(shù)，用于主機與外部設備之間的連接。S

4、CSI-3是所有存儲協(xié)議的基礎，其它存儲協(xié)議都用到SCSI的指令集。優(yōu)點：與主機無關(guān)、多設備并行、高帶寬。缺點：允許連接設備數(shù)量少、連接距離非常有限。FC協(xié)議： FC是光纖通道（Fiber Channel）的簡稱，用于服務器與共享存儲設備的連接，存儲控制器和驅(qū)動器之間的內(nèi)部連接，是一種高性能的串行連接標準。其接口傳輸速率目前有4Gbps 、8Gbps幾種標準。傳輸介質(zhì)可以選擇銅纜或光纖，傳輸距離遠，支持多種互聯(lián)拓撲結(jié)構(gòu)。光纖通道是構(gòu)建FC SAN的基礎，是FC SAN系統(tǒng)的硬件接口和通信接口。iSCSI協(xié)議： （Internet Small Computer System Interface）

5、互聯(lián)網(wǎng)小型計算機系統(tǒng)接口，是一種在TCP/IP上進行數(shù)據(jù)塊傳輸?shù)臉藴?，可以理解為SCSI over IP。iSCSI可構(gòu)成基于IP的SAN，為用戶提供高速、低價、長距離的存儲解決方案。iSCSI將SCSI命令封裝到TCP/IP數(shù)據(jù)包中，使I/O數(shù)據(jù)塊可通過IP網(wǎng)絡傳輸，是未來的發(fā)展之路。SAS協(xié)議： （Serial Attached SCSI）即SCSI總線協(xié)議的串行標準，即串行連接SCSI；SAS采用串行技術(shù)以獲得更高的擴充性，并兼容SATA盤。目前SAS的最高傳輸速率高達3Gpbs、6Gbps，支持全雙工模式。6DAS起源磁盤陣列控制器服務器控制器控制器SASFCSCSIlDAS（Dire

6、ct Attached Storage）l時間：70年代l背景：用戶最早因為數(shù)據(jù)量的增多而產(chǎn)生存儲的需求，從而產(chǎn)生最早最簡單的存儲架構(gòu)直連附加存儲DASl連接方式：FC,SCSI,SASl訪問方式：直連式存儲與服務器主機之間的連接通道通常采用SCSI連接l鏈路速率：20MB/s、40MB/s、80MB/sl提供快照、備份等功能7lNAS(Network Attached Storage)l時間：90年代初l背景：網(wǎng)絡飛速發(fā)展，大量數(shù)據(jù)需要共享和交換l出現(xiàn)專用的NAS存儲設備，成為數(shù)據(jù)共享與交換的核心l訪問方式：多臺前端服務器共享后端存儲設備，后端NAS設備上的存儲空間通過CIFS（window

7、系統(tǒng)）、NFS（Linux系統(tǒng)）協(xié)議共享給前端主機，可同時對同一目錄或文件進行并發(fā)讀寫l文件系統(tǒng)位于后端存儲設備l鏈路速率：1Gbps、10GbpsNAS應用系統(tǒng)架構(gòu)NFS,CIFS專用IP存儲網(wǎng)絡RAID文件系統(tǒng)NAS存儲設備NAS起源（網(wǎng)絡數(shù)據(jù)共享與交換需求）NFSNFSCIFS2021/8/678lFC SAN（Fiber Channel Storage Area Network）l時間：90年代中后期l背景：為解決DAS擴展性差的問題，將存儲設備網(wǎng)絡化，可以同時連接上百臺服務器l連接方式：FC光纖，使用專用的FC交換機l訪問方式：后端一臺存儲設備的存儲空間可以劃分為多個LUN，每一個L

8、UN只能屬于一臺前端服務器l鏈路速率：2Gbps、4Gbpsl提供快照、容災等高級數(shù)據(jù)保護功能FC鏈路磁盤陣列FC SAN控制器FC交換機服務器FC SAN起源（由DAS到FC SAN）2021/8/689IP鏈路磁盤陣列iSCSI存儲控制器以太網(wǎng)交換機服務器IP SAN起源（由FC SAN到IP SAN）lIP SAN（IP Storage Area Network）l時間：2001年l背景：為解決FC-SAN在價格及管理上的諸多門坎而產(chǎn)生l連接方式：采用以太網(wǎng)作為連接鏈路，以太網(wǎng)交換機l訪問方式：后端一臺存儲設備的存儲空間可以劃分為多個LUN，每一個LUN只能屬于一臺前端服務器l鏈路速率：

9、1Gbps、10Gbpsl提供快照、容災等高級數(shù)據(jù)保護功能liSCSI 被看好的原因p可以采用非常成熟的IP網(wǎng)絡管理工具和基礎建設pIP網(wǎng)絡使用普遍，可為企業(yè)節(jié)省大筆建設、管理及人事成本2021/8/6910三種存儲組網(wǎng)，各有優(yōu)劣SAN與NAS并不是兩種互相競爭的技術(shù)，二者通常相互補充以提供對不同類型數(shù)據(jù)的訪問。SAN針對海量的面向數(shù)據(jù)塊的數(shù)據(jù)傳輸，而NAS則提供文件級的數(shù)據(jù)訪問和共享服務。越來越多的數(shù)據(jù)中心采用SAN+NAS的方式實現(xiàn)數(shù)據(jù)整合、高性能訪問以及文件共享服務。DASNASSANFC-SANIP-SAN傳輸類型SCSI、FC、SASIPFCIP數(shù)據(jù)類型塊級文件級塊級塊級典型應用任何

10、文件服務器數(shù)據(jù)庫應用視頻監(jiān)控優(yōu)點易于理解兼容性好易于安裝成本低高擴展性、高性能高可用性高擴展性成本低缺點難管理，擴展性有限存儲空間利用率不高性能較低對某些應用不適合較昂貴，配置復雜互操作性問題性能較低2021/8/61011GE/10GEFCoEFCCIFSNFS塊DatabasesDigital mediaApplicationsFile services文件FTPHTTPNAS和SAN的融合統(tǒng)一存儲SAN、NAS、iSCSI控制器l時間：21世紀初l背景：為解決多種存儲架構(gòu)帶來的管理、高TCO問題，支持多種傳輸協(xié)議，同時滿足不同需求的統(tǒng)一存儲設備應運而生l同時支持不同傳輸協(xié)議，以單一系統(tǒng)滿

11、足企業(yè)各式各樣的存儲需求l統(tǒng)一的管理界面，簡化系統(tǒng)管理l模塊化的架構(gòu)，靈活配置，輕松擴容，降低整體TCO統(tǒng)一存儲：一種網(wǎng)絡存儲架構(gòu)，它既支持基于文件的NAS存儲，又支持基于塊的SAN存儲。磁盤陣列12SCSI協(xié)議FC協(xié)議iSCSI協(xié)議接口技術(shù)SCSI光纖通道IP接口類型并行串行串行適配器SCSI卡FC HBAiSCSI HBA或以太網(wǎng)卡目前最大速率320MB/s4/8Gb/s1/10Gb/s管理簡單復雜簡單兼容性好較差好優(yōu)點與主機無關(guān)多設備并行，高帶寬高帶寬、低時延、傳輸距離長高可靠、高擴展、易管理、標準化、無距離限制，廣域存儲缺點連接設備少；傳輸距離短；單I/O控制器，有單點故障成本高、缺少

12、統(tǒng)一標準，傳輸距離有限存儲主要協(xié)議對比其他協(xié)議：SAS協(xié)議、AOE協(xié)議、Infiniband協(xié)議等13硬盤類型5.25 英寸3.5 英寸2.5 英寸1.8 英寸機械硬盤(HDD)固態(tài)硬盤(SDD)ATA/IDESATA/NL SASSCSISASFC桌面級企業(yè)級桌面級硬盤主要針對家庭個人應用，應用在臺式PC、筆記本等領域；企業(yè)級硬盤針對企業(yè)級應用，主要應用在服務器、存儲磁盤陣列、圖形工作站等。容量：相比桌面級硬盤，企業(yè)級硬盤具備更大的存儲容量，當前單硬盤最大容量可達4TB性能：主要體現(xiàn)在轉(zhuǎn)速、緩存、平均尋道時間等可靠性：企業(yè)級硬盤具有更高的平均無故障時間（MTBF），一般來說桌面級硬盤的平均無

13、故障時間大部分都在50萬左右小時，企業(yè)級的都在100萬以上。硬盤類型2021/8/61314SATASASNL-SASSSD主流轉(zhuǎn)速（RPM）7,20015,000/10,0007200NA串行/并行串行串行串行串行主流容量（TB）1T/2T/3T0.3T/0.6T2T/3T/4T0.1T/0.2T/0.4TMTBF(h）1,200,0001,600,0001,200,0002,000,000備注由ATA硬盤發(fā)展而來，采用串行方式傳輸，SATA 2.0支持300MB/s, SATA3.0實現(xiàn)600MB/s最高數(shù)據(jù)傳輸率.SATA硬盤年故障率大約2%。SAS專為滿足高性能企業(yè)需求而設計，并且兼容

14、SATA硬盤。能夠提供3.0Gb/s到6.0Gb/s的傳輸率，未來規(guī)劃到12.0Gb/s。SAS硬盤年故障率小于2%。帶有SAS接口的“企業(yè)級SATA驅(qū)動器”。適用于在一個此盤陣列系統(tǒng)中實現(xiàn)分級存儲，簡化了磁盤陣列系統(tǒng)的設計。NL-SAS硬盤年故障率大約2%。固態(tài)硬盤（Solid State Disk）用固態(tài)電子存儲芯片陣列而制成的硬盤，由控制單元和存儲單元（FLASH芯片、DRAM芯片）組成。固態(tài)硬盤的接口規(guī)范和定義、功能及使用方法上與普通硬盤的完全相同，在產(chǎn)品外形和尺寸上也完全與普通硬盤一致。硬盤接口是硬盤與主機系統(tǒng)間的連接部件，作用是在硬盤緩存和主機內(nèi)存之間傳輸數(shù)據(jù)。不同的硬盤接口決定著

15、硬盤與計算機之間的連接速度，接影響著程序運行快慢和系統(tǒng)性能好壞。 主流硬盤類型2021/8/61415硬盤關(guān)鍵指標硬盤容量（Volume） 容量的單位為兆字節(jié)（MB）或千兆字節(jié)（GB）。影響硬盤容量的因素有單碟容量和碟片數(shù)量。轉(zhuǎn)速（Rotational speed）硬盤的轉(zhuǎn)速指硬盤盤片每分鐘轉(zhuǎn)過的圈數(shù)，單位為RPM（Rotation Per Minute）。一般硬盤的轉(zhuǎn)速都達到5400RPM/7200RPM。SCSI接口硬盤轉(zhuǎn)速可達1000015000RPM。平均訪問時間*（Average Access Time）平均尋道時間平均等待時間。數(shù)據(jù)傳輸率（Date Transfer Rate） 硬

16、盤的數(shù)據(jù)傳輸率是指硬盤讀寫數(shù)據(jù)的速度，單位為兆字節(jié)每秒（MB/s）。硬盤數(shù)據(jù)傳輸率包括內(nèi)部傳輸率和外部傳輸率兩個指標。IOPS(Input/Output Per Second) 即每秒的輸入輸出量(或讀寫次數(shù))，是衡量磁盤性能的主要指標之一。隨機讀寫頻繁的應用，如OLTP(Online Transaction Processing)，IOPS是關(guān)鍵衡量指標。另一個重要指標是數(shù)據(jù)吞吐量(Throughput)，指單位時間內(nèi)可以成功傳輸?shù)臄?shù)據(jù)數(shù)量。對于大量順序讀寫的應用，如電視臺的視頻編輯，視頻點播等則更關(guān)注吞吐量指標。 16RAID基本概念定義 RAID （Redundant Array of

17、Independent Disks）即獨立磁盤冗余陣列，RAID技術(shù)將多個單獨的物理硬盤以不同的方式組合成一個邏輯硬盤，從而提高了硬盤的讀寫性能和數(shù)據(jù)安全性。RAID 0數(shù)據(jù)條帶化，無校驗RAID 1數(shù)據(jù)鏡像，無校驗RAID 3數(shù)據(jù)條帶化讀寫，校驗信息存放于專用硬盤RAID 5數(shù)據(jù)條帶化，校驗信息分布式存放RAID 6數(shù)據(jù)條帶化，分布式校驗并提供兩級冗余RAID 0+1先做RAID 0，后做RAID 1，同時提供數(shù)據(jù)條帶化和鏡像RAID 10類似于RAID 0+1，區(qū)別在于先做RAID 1，后做RAID 0RAID 50先做RAID 5，后做RAID 0，能有效提高RAID 5的性能n同時采用

18、兩種不同的RAID方式還能組合成新的RAID級別:n根據(jù)不同的組合方式可以分為不同的RAID級別:2021/8/61617RAID基本概念數(shù)據(jù)組織及存取方式數(shù)據(jù)組織形式分塊：將一個分區(qū)分成多個大小相等的、地址相鄰的塊，這些塊稱為分塊。它是組成條帶的元素。條帶：同一磁盤陣列中的多個磁盤驅(qū)動器上的相同“位置”（或者說是相同編號）的分塊。分塊條帶硬盤0硬盤2硬盤1硬盤3分條2021/8/61718RAID基本概念熱備、重構(gòu)n熱備（HotSpare）的定義： 當冗余的RAID組中某個硬盤失效時，在不干擾當前RAID系統(tǒng)的正常使用的情況下，用RAID系統(tǒng)中另外一個正常的備用硬盤自動頂替失效硬盤，及時保證

19、RAID系統(tǒng)的冗余性。n熱備一般分為兩種：全局式：備用硬盤為系統(tǒng)中所有的冗余RAID組共享專用式：備用硬盤為系統(tǒng)中某一組冗余RAID組專用熱備重構(gòu)數(shù)據(jù)盤A1A0P熱備盤A0A1PXOR重構(gòu)故障數(shù)據(jù)盤校驗盤A2A2XOR數(shù)據(jù)盤更換2021/8/61819RAID基本概念邏輯卷 在RAID的基礎上可以按照指定容量創(chuàng)建一個或多個邏輯卷，通過LUN（Logic Unit Number）來標識物理磁盤RAID邏輯卷RAIDLUN1LUN2LUN3分割2021/8/61920RAID級別RAID0,RAID1 沒有容錯設計的條帶硬盤陣列，以條帶形式將RAID組的數(shù)據(jù)均勻分布在各個硬盤中 又稱鏡像（Mirr

20、or），數(shù)據(jù)同時一致寫到主硬盤和鏡像硬盤RAID0RAID1EDCBAEDCBAABCDE=數(shù)據(jù)數(shù)據(jù)LHDKGCJFBIEAABC D EFG H2021/8/62021P4A3A2A1A0B4P3B2B1B0C4C3P2C1C0D4D3D2P1D0E4E3E2E1P0異或運算A0 B0 C0 D0 A1 B1 C1 E1 A2 B2 D2數(shù)據(jù)D0C0B0A0D1C1A1B1D2C2A2B2PDPCPAPBABCD異或運算數(shù)據(jù)盤校驗盤RAID級別 RAID3，RAID5 帶有校驗的并行數(shù)據(jù)傳輸陣列，數(shù)據(jù)條帶化分布在數(shù)據(jù)盤中，同時使用專用校驗硬盤存放校驗數(shù)據(jù) 與RAID 3機制類似，但校驗數(shù)據(jù)均

21、勻分布在各數(shù)據(jù)硬盤上，RAID成員硬盤上同時保存數(shù)據(jù)和校驗信息，數(shù)據(jù)塊和對應的校驗信息保存在不同硬盤上。RAID 5是最常用的RAID方式之一RAID3RAID52021/8/62122RAID級別 RAID 6原理示例 A1A3A2A4A7A10A8A5A9A13A6A15A11A12A16異或運算A1A2A3A4A5A6A7A9橫向校驗盤：P1P4為各個數(shù)據(jù)盤中橫向數(shù)據(jù)的校驗信息例：P1=A1 XOR A2 XOR A3 XOR A4斜向校驗盤：DP1DP4為各個數(shù)據(jù)盤及橫向校驗盤的斜向數(shù)據(jù)的校驗信息例：DP1=A1 XOR A6 XOR A11 XOR A16P1P2P3P4橫向校驗盤斜

22、向校驗盤數(shù)據(jù)盤A8DP1DP2DP3DP4A14DP52021/8/62223RAID組合級別 RAID 10，RAID50 將鏡像和條帶進行兩級組合的RAID級別，第一級是RAID1鏡像對，第二級為RAID 0。RAID10也是一種應用比較廣泛的RAID級別 將RAID5和RAID 0進行兩級組合的RAID級別，最低一級是RAID 5，第二級為RAID 0RAID5RAID5RAID0P13F1A2P02A1A0B2B1P01B0P03C1C0P00A0B0D0E0 A1C0D1F0B1C1D2P12D1D0E2E1P11E0F0P10硬盤0硬盤1硬盤2硬盤3硬盤4硬盤5異或運算RAID1R

23、AID1RAID0ABCDEFGHFDBFDBECAECA2021/8/62324常見RAID級別的比較RAID級別RAID0RAID1RAID5RAID6RAID10可靠性最低高較高最高高冗余類型無鏡像冗余校驗冗余校驗冗余鏡像冗余可用空間100%50%（N-1)/N（N-2)/N50%性能最高最低較高較高高25物理硬盤存儲池PoolChunkCKG主機看見LUN多種類型硬盤同時存放于存儲池每個硬盤空間被切分成精細粒度的塊Chunk(64MB)來自不同硬盤上的Chunk組成CKGLUN可在短時間內(nèi)創(chuàng)建成功，無需預先分配資源ExtentCKG被切分成更細粒度的空間(256KB64MB)分級不分級

24、Vloume不分級多個Extent組成Volume華為RAID2.0+: 兩層虛擬化26目錄目錄存儲基本解決方案介紹存儲基礎知識存儲業(yè)界主要廠商介紹1 12 23 34 4存儲產(chǎn)品系統(tǒng)及軟件概述27存儲陣列與硬件概況控制框硬盤擴展框=+控制框和硬盤框分離（俗稱：盤控分離）存儲陣列系統(tǒng)控制器和硬盤框一體（俗稱：盤控一體）硬盤框控制器模塊=+存儲陣列系統(tǒng)n概述：存儲陣列是把多個硬盤組成一個陣列，當作大資源池使用，它將數(shù)據(jù)以分段（striping）的方式儲存在不同硬盤中，存取數(shù)據(jù)時，陣列中的相關(guān)磁盤一起動作，既保證可靠性，又大幅減低數(shù)據(jù)存取時間，同時有更佳的空間利用率。常見陣列形式（以我司為例），主

25、要有如下兩種：2021/8/62728雙控制器主流陣列架構(gòu)l將多個LUN的負載或者同一個LUN的負載均衡在兩個控制器上，避免性能瓶頸l一控制器故障時，另一控制器在主機多路徑軟件配合下接管業(yè)務負載，確保不中斷n1）寫入數(shù)據(jù)在雙控CACHE中各保存一份，避免單控故障導致數(shù)據(jù)丟失。 2）每個控制板的后端分別接入物理磁盤的環(huán)路業(yè)務負載均衡，提升整體系統(tǒng)性能鏡像通道硬盤通道SAS/FCSAS/FCCPUCPUCPUCPUServer2021/8/62829常見存儲軟件概覽管理類數(shù)據(jù)保護類可靠性提升類效率提升類存儲軟件，從底層的驅(qū)動、設備管理到上層的系統(tǒng)管理、增值軟件等，種類繁多，根據(jù)功能可大致分為以下幾

26、類：我司對應軟件IT基礎設施管理 ，磁盤資源管理Management Console， InfraControl快照， LUN 拷貝，分裂鏡像，遠程復制，HyperSnap， HyperCopy ，HyperClone， HyperReplication自動精簡配置，自動數(shù)據(jù)分級重復數(shù)據(jù)刪除，服務質(zhì)量控制緩存預取、分區(qū)，智能數(shù)據(jù)迅移UltraPath， UltraVR， UltraAPMSmartThin， SmartTierDe-duplication，SmartQoS，SmartCache， SmartMotion多路徑軟件30多路徑軟件保護屏蔽冗余硬盤虛擬硬盤多路徑驅(qū)動多路徑虛擬HBAH

27、BA1HBA2LUN硬盤驅(qū)動HBA1HBA2LUNLUN硬盤驅(qū)動LUN1未安裝多路徑2安裝了多路徑主機看到兩個物理LUN主機只看到一個LUNLUN1路徑的故障切換和恢復HBA1HBA2LUN0A控B控LUN2LUN3物理路徑IO路徑LUN1LUN0LUN0LUN1可靠性提升效率提升綠色節(jié)能數(shù)據(jù)保護31用戶可見的存儲空間用戶可見的存儲空間datadatadatadata邏輯虛擬空間邏輯虛擬空間存儲資源池存儲資源池存儲陣列存儲陣列硬盤資源硬盤資源 實際分配物理空間實際分配物理空間服務器服務器spacediskdiskdisk存儲容量虛擬化存儲容量虛擬化根據(jù)推測設定理論存儲空間根據(jù)推測設定理論存儲空

28、間只劃分出實際所需的只劃分出實際所需的物理存儲空間物理存儲空間自動精簡配置技術(shù)可靠性提升效率提升綠色節(jié)能數(shù)據(jù)保護32SSD硬盤，存取速度快、性能好、價格相對昂貴；適合用于作為在線存儲；FC/SAS硬盤，存取速度相對較快、價格相對適中適合用于作為近線存儲SATA/NL-SAS硬盤，存取速度相對較慢、容量較大，價格相對便宜適合用于作為離線存儲數(shù)據(jù)訪問頻數(shù)據(jù)訪問頻繁、對存取繁、對存取速度敏感速度敏感熱數(shù)據(jù)流動方向冷數(shù)據(jù)流動方向數(shù)據(jù)訪問頻數(shù)據(jù)訪問頻率低，無較率低，無較高性能要求高性能要求自動分級存儲可靠性提升效率提升綠色節(jié)能數(shù)據(jù)保護33重復數(shù)據(jù)刪除技術(shù)重復數(shù)據(jù)刪除，顧名思義，就是刪除重復數(shù)據(jù)來給系統(tǒng)瘦

29、身，它是一種數(shù)據(jù)縮減技術(shù)，通常用于基于磁盤的備份系統(tǒng)。系統(tǒng)不能判斷哪些信息是垃圾，卻可以判斷哪些信息是冗余的。通過識別這些冗余信息并作刪除處理，實現(xiàn)了系統(tǒng)的顯著“減肥”。外網(wǎng)內(nèi)網(wǎng)某數(shù)據(jù)中心備份中心原文件：9TB原文件：9TB重刪后的文件：3TBABCAAACBC重刪后傳輸內(nèi)容重刪前傳輸內(nèi)容ABCAAACBCABCAAACBCABCABC數(shù)據(jù)塊重復數(shù)據(jù)塊索引重刪比：3:1，最高可達20:1可靠性提升效率提升綠色節(jié)能數(shù)據(jù)保護34硬盤休眠技術(shù)存儲數(shù)據(jù)在生命周期內(nèi)并非一直處于被訪問狀態(tài)，硬盤休眠技術(shù)就是讓某些特定的硬盤進入“休眠狀態(tài)”，來達到降低存儲設備能耗，延長硬盤使用壽命、節(jié)省電力資源、減少維護成

30、本、高效利用硬盤資源的目的。Standby即我們所說的“休眠狀態(tài)”，當有新I/O請求時，可以“喚醒”硬盤，其從Standby進入到Active狀態(tài)。Active狀態(tài)Standby狀態(tài)Idle狀態(tài)硬盤有正常的I/O讀寫訪問，硬盤電機與磁頭均正常工作硬盤無讀寫操作，磁頭不動，但是電機正常運轉(zhuǎn)電機停轉(zhuǎn)，磁頭不動，硬盤正常供電系統(tǒng)正常工作，保證對硬盤的供電硬盤休眠可靠性提升效率提升綠色節(jié)能數(shù)據(jù)保護35快照技術(shù)快照是對指定數(shù)據(jù)集合的一個完全可用拷貝完全可用拷貝，該拷貝包含源數(shù)據(jù)在拷貝時間點的靜態(tài)映像靜態(tài)映像?？煺湛梢允菙?shù)據(jù)再現(xiàn)的一個副本或者復制。作用：進行在線數(shù)據(jù)備份與恢復。當存儲設備發(fā)生應用故障或者文

31、件損壞時可以進行快速的數(shù)據(jù)恢復數(shù)據(jù)恢復，將數(shù)據(jù)恢復某個可用的時間點。價值：在不中斷正常業(yè)務的前提下，快速得到一份與源文件系統(tǒng)或源LUN一致的數(shù)據(jù)副本。副本生成之后立即可用，并且對副本的讀寫操作不再影響源數(shù)據(jù)。因此通過快照技術(shù)就可以解決如在線的備份、數(shù)據(jù)分析、應用測試在線的備份、數(shù)據(jù)分析、應用測試等難題。adgjbehkcfiladgjbehkcfil快照快照adgjbmhkcfnl8:00 AM9:00 AMadgjbehkcfil源數(shù)據(jù)數(shù)據(jù)快照可靠性提升效率提升綠色節(jié)能數(shù)據(jù)保護36LUN拷貝技術(shù)定義：將磁盤陣列中的源LUN數(shù)據(jù)Copy到目標LUN中，主要有全量拷貝和增量拷貝兩種。全量拷貝即把

32、源LUN數(shù)據(jù)從頭到尾進行一次完整的至目標LUN的拷貝。增量拷貝即在第一次啟動數(shù)據(jù)初始全量拷貝后，以后每次拷貝只需將上次時間點至本次拷貝時間點之間更新的數(shù)據(jù)同步即可。特點：異構(gòu)存儲之間拷貝 一對多拷貝 在線改變拷貝速率 FC/IP網(wǎng)絡支持 業(yè)務無關(guān)性（增量LUN拷貝），不需中斷業(yè)務場景：數(shù)據(jù)遷移，數(shù)據(jù)備份全量拷貝增量拷貝可靠性提升效率提升綠色節(jié)能數(shù)據(jù)保護37分裂鏡像技術(shù)定義：在不中斷業(yè)務的前提下，為存儲系統(tǒng)的LUN建立一份某時刻的完整物理拷貝，并且在分裂后對物理拷貝的讀寫操作不會影響原LUN上的數(shù)據(jù)，等同于數(shù)據(jù)克隆。可靠性提升效率提升綠色節(jié)能數(shù)據(jù)保護38遠程復制技術(shù)遠程復制又稱遠程鏡像，是數(shù)據(jù)鏡

33、像技術(shù)的一種，它能夠在兩個或多個站點維護若干個數(shù)據(jù)副本，利用長距離來避免災難發(fā)生時的數(shù)據(jù)丟失。主要有同步遠程復制和異步遠程復制兩種主流技術(shù)。同步遠程復制異步遠程復制新數(shù)據(jù)寫入向災備中心端發(fā)出寫入請求災備中心端返回“完成”信號新數(shù)據(jù)寫入生產(chǎn)陣列災備陣列新數(shù)據(jù)寫入向災備中心端發(fā)出寫入請求災備中心端返回“完成”信號新數(shù)據(jù)寫入生產(chǎn)陣列災備陣列可靠性提升效率提升綠色節(jié)能數(shù)據(jù)保護39持續(xù)數(shù)據(jù)保護（CDP）是一套方法，它可以捕獲或跟蹤數(shù)據(jù)的變化，并將其在生產(chǎn)數(shù)據(jù)之外獨立存放，以確保數(shù)據(jù)可以恢復到過去的任意時間點。持續(xù)數(shù)據(jù)保護系統(tǒng)可以基于塊、文件或應用實現(xiàn)，可以為恢復對象提供足夠細的恢復粒度，實現(xiàn)幾乎無限多的

34、恢復時間點。持續(xù)數(shù)據(jù)保護技術(shù)傳統(tǒng)備份快照技術(shù)復制技術(shù)CDP3 d1 d2 d4 dN 天4-6 小時最后同步任意時間點數(shù)據(jù)的持續(xù)一致性業(yè)務系統(tǒng)的“實時”備份生產(chǎn)業(yè)務的無影響時間點CPU利用率可靠性提升效率提升綠色節(jié)能數(shù)據(jù)保護40管理軟件集中監(jiān)控IT服務管理資源管理&自動控制機房監(jiān)控 NetEco云服務管理事件管理故障處理變更管理服務級別 (SLA) 配置管理業(yè)務發(fā)放服務目錄服務需求StorageServerNetworkModularized equipment roomContainer shelterSecurity運維管理云運營BSS業(yè)務保障 資產(chǎn)&配置管理用戶管理計量管

35、理服務目錄服務SLA企業(yè)服務Portal用戶管理計費管理產(chǎn)品管理訂單管理云運營門戶運營門戶資源管理資產(chǎn)管理資源控制自動部署資源調(diào)度CMDB告警性能監(jiān)控拓撲視頻監(jiān)控環(huán)境監(jiān)控自動化運維系統(tǒng)配置軟件部署業(yè)務影響分析業(yè)務KPI監(jiān)控故障診斷/定位容量管理云服務/運營管理面向資源面向業(yè)務和流程1. 設備管理，如多設備的集中管理，簡單的配置向?qū)?. 集中監(jiān)控，如拓撲展示，實時監(jiān)控系統(tǒng)的健康狀態(tài)，多種告警上報機制等 3. 業(yè)務保障：多維度性能統(tǒng)計展示，性能報表導出及查詢等下圖“紅框”中的內(nèi)容為我司Infracontrol 軟件管理內(nèi)容41各種分散的各種分散的存儲特性存儲特性NNAS ManagerCLUN C

36、opySNSnapshot ManagerBBackup ArchivePPerformance ManagerArray ManagerASAN ArrayNAS ArrayLun CopyBackup ArchivePerformanceSnapshot多設備管理多設備管理網(wǎng)絡資源管理網(wǎng)絡資源管理業(yè)務管理業(yè)務管理性能統(tǒng)計性能統(tǒng)計2021/8/641存儲統(tǒng)一管理軟件Huawei InfraControl42目錄目錄存儲基本解決方案介紹存儲基礎知識存儲業(yè)界主要廠商介紹1 12 23 34 4存儲產(chǎn)品系統(tǒng)及軟件概述43OAHPCWebNFS/CIFS/FTP/HTTPCIFS/NFS/iSCSI

37、/FC/FCoEiSCSI/FC/FCoEUnstructured data applicationsVirtual machine applicationsStructured data appliactions NASUnified StorageSANVDIVM Server 華為集中存儲解決方案基礎方案數(shù)據(jù)災備44災備概述災難備援，是指利用科學的技術(shù)手段和方法，提前建立系統(tǒng)化的數(shù)據(jù)應急方式，以應對災難的發(fā)生。其內(nèi)容包括數(shù)據(jù)備份和系統(tǒng)備份，業(yè)務連續(xù)規(guī)劃、人員架構(gòu)、通信保障、危機公關(guān)，災難恢復規(guī)劃、災難恢復預案、業(yè)務恢復預案、緊急事件響應、第三方合作機構(gòu)和供應鏈危機管理等等。 RTO (R

38、ecovery Time Objective)客戶可以承受的最長停機時間應用恢復啟動恢復完成恢復備份完成RPO故障 /災難 發(fā)生00:0006:0012:00備份開始RPO (Recovery Point Objective)客戶可以承受的最大數(shù)據(jù)丟失量BW(Backup Window)一個工作周期內(nèi)留給備份系統(tǒng)進行備份的時間長度RTOBW故障發(fā)生后數(shù)據(jù)可以恢復到的時間點基礎方案數(shù)據(jù)災備45災備系統(tǒng)建設的國際標準15Min 14Hr 48Hr 812Hr 1216hr 24Hr Days Weeks RTOTCOTier 7 數(shù)據(jù)0丟失(RPO=0)，自動系統(tǒng)故障切換Tier 6 數(shù)據(jù)0丟失T

39、ier 5 軟件級，兩地間兩階段提交（交易完整性）Tier 4 活動狀態(tài)的備份中心 (Active Secondary中心)Tier 3 電子鏈接傳輸Tier 2 卡車運送+熱備站點Tier 1 卡車運送SHARE 78國際標準將系統(tǒng)容災級別劃分為如下7級: （一般而言，數(shù)據(jù)備份常應用在Tier 1- Tier 4，數(shù)據(jù)容災常應用在Tier 4 Tier 7）TCO: Total Cost of Ownership基礎方案數(shù)據(jù)災備46典型的備份類型Sun.Mon.Tue.Wed.Thu.Fri.Sat.Sun.Sun.Mon.Tue.Wed.Thu.Fri.Sat.Sun.Sun.Mon.Tu

40、e.Wed.Thu.Fri.Sat.Sun.完全備份差異備份增量備份每天全備份每周一次全備份本周其余每天備份與全備份的差異部分每周一次全備份本周其余每天備份與上次備份的差異部分備份舉例說明：完全備份時每天都做全備份；而增量備份和差異備份策略是：周日做一次全備備份舉例說明：完全備份時每天都做全備份；而增量備份和差異備份策略是：周日做一次全備份，一周份，一周7 7天為天為1 1個備份周期個備份周期基礎方案數(shù)據(jù)災備47典型備份組網(wǎng)拓撲:LAN-BaseLAN-Base Network Structuren占用較大的現(xiàn)有網(wǎng)絡帶寬n備份性能受限n對主機應用有一定影響優(yōu)點描述缺點n充分利用已有網(wǎng)絡，節(jié)省投

41、資n對設備的要求較低n備份數(shù)據(jù)流通過已有的LAN網(wǎng)絡進行傳輸生產(chǎn)存儲備份介質(zhì)應用服務器備份服務器介質(zhì)服務器生產(chǎn)中心SAN備份中心數(shù)據(jù)庫服務器文件服務器LAN應用服務器iDAiDAiDAiDAMACS備份客戶端代理備份服務器MAiDACS介質(zhì)服務器IPFC基礎方案數(shù)據(jù)災備48典型備份組網(wǎng)拓撲:LAN-FreeLAN-Free Network Structuren增加了對網(wǎng)絡的投資n對設備要求較高優(yōu)點描述缺點n對業(yè)務主機影響小n對現(xiàn)有業(yè)務網(wǎng)絡影響小n備份性能好n備份數(shù)據(jù)流通過SAN網(wǎng)絡進行傳輸生產(chǎn)存儲備份介質(zhì)應用服務器備份服務器介質(zhì)服務器生產(chǎn)中心SAN備份中心數(shù)據(jù)庫服務器文件服務器LAN應用服務器

42、iDAiDAiDAiDAMACS備份客戶端代理備份服務器MAiDACS介質(zhì)服務器IPFC基礎方案數(shù)據(jù)災備49典型備份組網(wǎng)拓撲:Server-FreeServer-Free Network Structuren對網(wǎng)絡的投資較大n對設備要求高優(yōu)點描述缺點n對業(yè)務主機幾乎無影響n對現(xiàn)有業(yè)務網(wǎng)絡幾乎無影響n備份性能好，依賴于SAN網(wǎng)絡n備份數(shù)據(jù)流直接通過介質(zhì)服務器經(jīng)由獨立SAN網(wǎng)絡進行傳輸生產(chǎn)存儲備份介質(zhì)應用服務器備份服務器介質(zhì)服務器生產(chǎn)中心SAN備份中心數(shù)據(jù)庫服務器文件服務器LAN應用服務器iDAiDAiDAiDAMACS備份客戶端代理備份服務器MAiDACS介質(zhì)服務器IPFC基礎方案數(shù)據(jù)災備50容

43、災技術(shù)方案的選擇基于主機層 數(shù)據(jù)庫復制 文件系統(tǒng)復制基于SAN網(wǎng)絡層(VIS鏡像)基于陣列層(HyperMirror/S)基礎方案數(shù)據(jù)災備51華為存儲災備解決方案Tier 1-2Tier 3Tier 6NAS生產(chǎn)中心容災中心WORMDiscPTLVTLVirtual LUN remote replication Remote replicationIP remote replicationCold backupFile ServerMail serverDatabaseWeb ServerFile ServerMail serverDatabaseWeb ServerUnified stora

44、geSANRTPStorageBackup softwareWORMDiscVTLVTLRTPStorageBackup softwareFC/IPVISFC/IPVISTier 4-5Tier 4-5UltraVR / UltraAPMNASUnified storageSANDR software基礎方案數(shù)據(jù)災備52目錄目錄存儲基本解決方案介紹存儲基礎知識存儲業(yè)界主要廠商介紹1 12 23 34 4存儲產(chǎn)品系統(tǒng)及軟件概述53業(yè)界存儲廠商總體情況市場方面，EMC長期占據(jù)30%以上的市場份額，接下來的依次是IBM, NetApp, HDS，HP各占據(jù)10%左右的市場份額（2012Q3 Gart

45、ner數(shù)據(jù))。各個廠商基本特點：EMC通過精確收購，構(gòu)建了完整的存儲解決方案，其高端存儲陣列品牌和市場占有率很高; IBM的存儲結(jié)合其小型機，業(yè)務咨詢能力，在行業(yè)垂直解決方案有充分的優(yōu)勢; NetApp抓住非結(jié)構(gòu)化數(shù)據(jù)存儲的發(fā)展機會，基于統(tǒng)一的Data ONTAP平臺，提供了豐富的軟件功能及靈活性，有很多的差異化亮點；HDS存儲的最大特點是高性能、高穩(wěn)定性。HP的主要特點是渠道優(yōu)勢、商務較好。華為在存儲領域有十年投入，華賽回歸華為后加大了投入力度。華為吸取了業(yè)界的經(jīng)驗，突出的特點是硬件平臺統(tǒng)一，軟件平臺統(tǒng)一，便于持續(xù)發(fā)展和存儲方案整合。當前華為存儲的市場占有率還很低（0.83%），但增長迅速，

46、 年復合增長率為80%。54華為存儲市場成就較之2011年，2012年Gartner通用存儲魔力四象限中華為取得了更好的成績，是國產(chǎn)存儲廠商中唯一上榜的廠商。Source: Gartner (March 2013). 55華為存儲產(chǎn)品競爭對位圖廠商 華為華為EMCEMCNetappNetappH HDSDSHP HP IBMIBM統(tǒng)一存統(tǒng)一存儲儲低端低端 S2000T VNXe FAS2000HUS110 P2000/MSAV3000 中端中端 S5000T VNX5000 FAS3000HUS130StoreVirtual(P4000)EVA (P6000)V7000 中高端中高端 S600

47、0T VNX7000 FAS6000HUS1503PAR StoreServ V7000 高端高端SAN HVS VMAX /VSP3PAR StoreServ DS8000,XIV集群集群NAS N8000/N9000 Isilon GXHNASStoreAll SoNAS 分布式云存儲分布式云存儲 UDS Atmos StorageGRID/虛擬存儲虛擬存儲 VIS Vplex V SeriesHUS VM/SVC 備份軟件備份軟件 /*Networker /DP TSM 虛擬帶庫虛擬帶庫 VTL6900 DataDomain NearStore/StoreOnce TS 資源管理資源管理

48、 InfraControl Connectrix OnCommand System ManagerCommand SuiteOpernView Tivoli *注：華為存儲目前可以轉(zhuǎn)售第三方備份軟件Symantec NBU和CommVault Simpana來組成備份解決方案。56入門級存儲產(chǎn)品比較主要廠商IBMHPDELLEMCNetApp 華為市場優(yōu)劣勢借助服務器良好的口碑和渠道快速向市場鋪貨；低端領域一直以OEM為主，正在逐步自研市場份額20.5%，第二。存儲產(chǎn)品經(jīng)常與自有服務器捆綁銷售；盡管HP在入門級市場具有較高的占比，但目前下滑嚴重市場份額最高28.5%, 存儲產(chǎn)品經(jīng)常與自有服務器

49、捆綁銷售，整包銷售不利于客戶降低商務低端存儲的市場占有率低于HP、DELL等廠商，其優(yōu)勢在中、高端市場；入門級統(tǒng)一存儲的創(chuàng)新者，在中低端領域耕耘多年后進者，發(fā)展快，已經(jīng)在國內(nèi)廠商中領先商務優(yōu)劣勢典型配置-雙控+12pcs 1T SATA略高略高最低高略高與Dell持平關(guān)鍵技術(shù)特性優(yōu)劣勢軟件功能豐富，支持虛擬化、實時數(shù)據(jù)壓縮等功能入門級產(chǎn)品對業(yè)界新技術(shù)的支持反應緩慢，提供基本的陣列功能，技術(shù)優(yōu)勢不明顯PowerVault 陣列使用的是由 LSI開發(fā)的控制器硬件和管理軟件。 陣列僅提供常規(guī)的 RAID 存儲，不具備像精簡資源調(diào)配和壓縮等高效性的功能業(yè)界技術(shù)的領導者，新推出的低端一體化統(tǒng)一存儲在同一

50、套系統(tǒng)中可以同時多協(xié)議的訪問一體化統(tǒng)一存儲的創(chuàng)新者。能同時提供基于塊或者文件的分層，其性能無損快照數(shù)業(yè)界領先;WAFL能在短期內(nèi)提供良好的寫入性能，但持續(xù)使用的情況下性能會下降在IOPS上第一，同價位配置規(guī)格高57各廠商中端存儲設備比較主要廠商EMCIBMNetAppHP 華為市場優(yōu)劣勢市場占有率26.26%。存儲界領頭羊，在全球各市場區(qū)域皆表現(xiàn)良好。EMC具備最完備的存儲產(chǎn)品線，收購精準明確市場占有率15.61%。存儲產(chǎn)品競爭力相對不是很強，通過服務器和解決方案組合銷售，保持存儲的規(guī)模市場占有率12.37%。抓住非結(jié)構(gòu)化數(shù)據(jù)爆發(fā)的機會，推出差異化的NAS產(chǎn)品，在差異化的客戶獲得快速成長市場占

51、有率10.37%。存儲產(chǎn)品競爭力相對不是很強，通過服務器和解決方案組合銷售，保持存儲的規(guī)模市場占有率0.83%。存儲的后進者，目前處于快速上升期，短時間內(nèi)迅速躍升至國內(nèi)第四，全球第九的存儲廠商。整體份額對比友商還有較大差距商務優(yōu)劣勢商務相對較高。增值軟件通常按照業(yè)務數(shù)量收費，并且有容量授權(quán)費用，后期使用成本不可控商務相對較高。多種功能按照業(yè)務數(shù)量收費，后期使用成本不可控商務相對較高。軟件費用較高，多項增值功能的管理軟件（如快照）需要單獨收費。在配置較多主機訪問協(xié)議授權(quán)時費用高商務相對較高。多項增值功能的管理軟件（如快照）需要單獨收費軟、硬件商務低于國際友商，軟件為一次性收費，在配置容量較大時有

52、較大商務優(yōu)勢關(guān)鍵技術(shù)特性優(yōu)劣勢FAST效率提升軟件功能豐富；虛擬機支持度最好，方案豐富;廠商宣稱性能高，但是其從不參與SPC測試，無法提供有效證明中端只有V7000一款產(chǎn)品，支持存儲虛擬化是其最大賣點; 但其NAS功能是通過兩個通用服務器拼湊，并非專業(yè)存儲設備，穩(wěn)定性和性能無法得到保障一體化統(tǒng)一存儲，NAS功能效率最好;其塊功能是基于其文件系統(tǒng)之上構(gòu)建，因此塊功能效率相對較差HP存儲整體技術(shù)優(yōu)勢不強：不支持NAS，端口類型缺失，不支持動態(tài)分級和自動精簡配置等存儲高級軟件是其軟肋SPC-1性能業(yè)界第一; 軟件功能當前與業(yè)界拉齊。后續(xù)和高端存儲系統(tǒng)統(tǒng)一到同一軟件平臺，軟件功能具有強大優(yōu)勢58各廠商高端存儲設備比較主要廠商EMCHDSIBMHP 華為市場優(yōu)勢1.高端存儲市場占有44%2.市場占有率業(yè)界第一3. 在政府、能源行業(yè)應用普遍1.高端存儲市場占有21%2.金融行業(yè)應用普遍1.高端存儲市場占有22%2.整體解決方案占優(yōu)1.高端存儲市場占有12%2.在NS