OceanStor 5000混合閃存系統(tǒng)技術(shù)白皮書-D

1、華為 OceanStor 5000 系列混合閃存存儲系統(tǒng)技術(shù)白皮書華為 OceanStor 5000 V5 系列混合閃存存儲系統(tǒng)技術(shù)白皮書目 錄目 錄 HYPERLINK l _bookmark0 摘要1 HYPERLINK l _bookmark1 簡介2 HYPERLINK l _bookmark2 產(chǎn)品系列2 HYPERLINK l _bookmark4 客戶價值3 HYPERLINK l _bookmark6 系統(tǒng)架構(gòu)5 HYPERLINK l _bookmark7 硬件架構(gòu)5 HYPERLINK l _bookmark9 多控 Scale-out.5 HYPERLINK l _boo

2、kmark11 硬件全冗余6 HYPERLINK l _bookmark12 門衛(wèi)式數(shù)據(jù)加密（國內(nèi)適用）7 HYPERLINK l _bookmark13 SED 數(shù)據(jù)加密（國外適用）7 HYPERLINK l _bookmark14 軟件架構(gòu)8 HYPERLINK l _bookmark17 塊級虛擬化9 HYPERLINK l _bookmark19 SAN/NAS 一體化11 HYPERLINK l _bookmark20 負載均衡12 HYPERLINK l _bookmark21 數(shù)據(jù)緩存12 HYPERLINK l _bookmark22 端到端數(shù)據(jù)完整性保護13 HYPERLIN

3、K l _bookmark23 豐富軟件特性13 HYPERLINK l _bookmark24 面向閃存的系統(tǒng)優(yōu)化14 HYPERLINK l _bookmark25 精簡高效 Smart 特性系列15 HYPERLINK l _bookmark26 異構(gòu)虛擬化（SmartVirtualiztaion）15 HYPERLINK l _bookmark28 數(shù)據(jù)遷移（SmartMigration）17 HYPERLINK l _bookmark31 數(shù)據(jù)重刪壓縮（SmartDedupe&SmartCompression）18 HYPERLINK l _bookmark35 智能數(shù)據(jù)分級（Sma

4、rtTier）21 HYPERLINK l _bookmark37 塊數(shù)據(jù)分級（SmartTier for Block）21 HYPERLINK l _bookmark38 文件數(shù)據(jù)分級（SmartTier for File）22 HYPERLINK l _bookmark40 智能精簡配置（SmartThin）23 HYPERLINK l _bookmark42 智能服務(wù)質(zhì)量控制（SmartQoS）23 HYPERLINK l _bookmark44 智能緩存分區(qū)（SmartPartition）25 HYPERLINK l _bookmark46 SSD 智能緩存（SmartCache）27

5、 HYPERLINK l _bookmark49 LUN 銷毀（SmartErase）27 HYPERLINK l _bookmark51 多租戶（SmartMulti-Tenant）28 HYPERLINK l _bookmark53 智能配額（SmartQuota）29 HYPERLINK l _bookmark55 智能數(shù)據(jù)迅移（SmartMotion）30 HYPERLINK l _bookmark57 數(shù)據(jù)保護 Hyper 特性系列31 HYPERLINK l _bookmark58 快照（HyperSnap）31 HYPERLINK l _bookmark60 LUN 快照（Hyp

6、erSnap For Block）31 HYPERLINK l _bookmark61 FS 快照（HyperSnap For File）32 HYPERLINK l _bookmark62 克?。℉yperClone）34 HYPERLINK l _bookmark64 LUN 克隆（HyperClone For Block）34 HYPERLINK l _bookmark65 FS 克?。℉yperClone For File）36 HYPERLINK l _bookmark66 遠程復(fù)制（HyperReplication）37 HYPERLINK l _bookmark68 LUN 同步

7、遠程復(fù)制（HyperReplication/S For Block）38 HYPERLINK l _bookmark69 LUN 異步遠程復(fù)制（HyperReplication/A For Block）40 HYPERLINK l _bookmark70 FS 異步遠程復(fù)制（HyperReplication/A For File）41 HYPERLINK l _bookmark71 陣列雙活（HyperMetro）43 HYPERLINK l _bookmark73 陣列雙活（HyperMetro For Block）43 HYPERLINK l _bookmark74 陣列雙活（HyperM

8、etro For File）45 HYPERLINK l _bookmark75 一體化備份（HyperVault）47 HYPERLINK l _bookmark77 LUN 拷貝（HyperCopy）47 HYPERLINK l _bookmark79 卷鏡像（HyperMirror）49 HYPERLINK l _bookmark81 WORM（HyperLock）51 HYPERLINK l _bookmark85 兩地三中心（3DC）53 HYPERLINK l _bookmark87 最佳實踐55 HYPERLINK l _bookmark88 A 附錄56 HYPERLINK l

9、 _bookmark89 更多參考信息56 HYPERLINK l _bookmark90 如何反饋意見56 HYPERLINK l _bookmark91 縮略語表57華為 OceanStor 5000 V5 系列混合閃存存儲系統(tǒng)技術(shù)白皮書1 摘要 1摘要華為OceanStor 5000 V5系列混合閃存存儲系統(tǒng)（以下簡稱OceanStor V5中端存儲系統(tǒng)） 是面向企業(yè)級應(yīng)用的新一代統(tǒng)一存儲產(chǎn)品。本文從產(chǎn)品定位、硬件架構(gòu)、軟件架構(gòu)、特性方面詳細介紹了OceanStor V5中端存儲系統(tǒng)的關(guān)鍵技術(shù)，以及為客戶帶來的獨特價值。華為 OceanStor 5000 V5 系列混合閃存存儲系統(tǒng)技術(shù)白

10、皮書2 簡介 2簡介 HYPERLINK l _bookmark3 產(chǎn)品系列 HYPERLINK l _bookmark5 客戶價值產(chǎn)品系列OceanStor V5中端存儲系統(tǒng)包括如下型號：OceanStor 5110 V5、OceanStor 5300 V5、OceanStor 5500 V5、OceanStor 5600 V5、OceanStor 5800 V5。圖 2-1 OceanStor 5110 V5/5300 V5/5500 V5 中端存儲系統(tǒng)圖 2-2 OceanStor 5600 V5/5800 V5 中端存儲系統(tǒng)詳細產(chǎn)品規(guī)格信息請參見： HYPERLINK /cn/prod

11、ucts/cloud-computing-dc/storage/massive-storage/5300-5500-5600-5800-v5 /cn/products/cloud-computing-dc/ HYPERLINK /cn/products/cloud-computing-dc/storage/massive-storage/5300-5500-5600-5800-v5 storage/massive-storage/5300-5500-5600-5800-v5?？蛻魞r值憑借面向云架構(gòu)的存儲操作系統(tǒng)、強勁的新一代硬件平臺和豐富的智能管理軟件， OceanStor V5中端存儲系統(tǒng)在

12、功能、性能、效率、可靠性和易用性上都達到業(yè)界領(lǐng)先水平，很好的滿足了大型數(shù)據(jù)庫OLTP/OLAP、文件共享、云計算等各種應(yīng)用下的數(shù)據(jù)存儲需求，廣泛適用于政府、金融、電信、能源、媒資等行業(yè)。同時，OceanStor V5中端存儲系統(tǒng)能夠提供高效、靈活、豐富的備份、容災(zāi)解決方案，有效保證用戶業(yè)務(wù)連續(xù)性和數(shù)據(jù)安全，為用戶提供卓越的存儲服務(wù)。極致融合：融會貫通，提升數(shù)據(jù)服務(wù)效率l閃存的融合：華為擁有最全面的閃存產(chǎn)品，能夠?qū)崿F(xiàn)不同類型，不同檔次，不同代次的閃存實現(xiàn)互聯(lián)互通；從數(shù)據(jù)面，管理面，運維面實現(xiàn)多層維度的閃存融 合，實現(xiàn)百萬級IOPS的高性能低時延，同時又保障SSD的長期可靠性。lSAN與NAS的融

13、合：可同時兼容 SAN 和 NAS 兩種服務(wù)，滿足業(yè)務(wù)彈性發(fā)展需求，提升存儲資源利用率，有效降低 TCO。將塊與文件兩種數(shù)據(jù)服務(wù)融會貫通， 不光能夠?qū)崿F(xiàn)多業(yè)務(wù)承載的能力，而且 SAN 與NAS 性能與功能業(yè)界領(lǐng)先。l存儲資源池的融合：通過內(nèi)置異構(gòu)虛擬化功能，OceanStor V5中端存儲系統(tǒng)能高效接管其它主流廠商存儲陣列 ( 不同檔位，不同種類，不同型號 )，并整合成統(tǒng)一的資源池，消除數(shù)據(jù)孤島，資源可統(tǒng)一管理，自動化 & 服務(wù)編排；同時，還可以實現(xiàn)實現(xiàn)第三方設(shè)備遷移 0 中斷，遷移操作工具化自動完成，耗時平均縮短 60%。l多數(shù)據(jù)中心的融合：融合網(wǎng)關(guān)，仲裁，網(wǎng)絡(luò)的一體化雙活； 組網(wǎng)更簡單，雙

14、活+HyperVault 3DC 等進一步保證核心業(yè)務(wù)連續(xù)性；從雙活數(shù)據(jù)中心可平滑升級到3DC，提供兩地三中心最高級別的業(yè)務(wù)連續(xù)性；可實現(xiàn) 64:1 的多級 DC，提供數(shù)據(jù)集中容災(zāi)與保障。穩(wěn)定可靠：從產(chǎn)品到方案實現(xiàn)99.9999%高可用l多控制器負載均衡：OceanStor V5中端存儲系統(tǒng)實現(xiàn)多個控制器間負載均衡，消除單點故障，實現(xiàn)系統(tǒng)高可用，保護業(yè)務(wù)穩(wěn)定在線。同時可利用多個控制器并發(fā)加速同一主機業(yè)務(wù)，消除單控制器性能瓶頸，實現(xiàn)性能加倍。l獨有的數(shù)據(jù)快速恢復(fù)技術(shù)：采用創(chuàng)新的塊級虛擬化技術(shù)，1TB 數(shù)據(jù)重構(gòu)時間從 10個小時降低到 30 分鐘，與傳統(tǒng)存儲相比，因硬盤故障引起的數(shù)據(jù)失效風(fēng)險降低9

15、5%。l豐富的數(shù)據(jù)保護方案：Hyper 系列數(shù)據(jù)保護特性包含快照、克隆、一體化備份、遠程復(fù)制等數(shù)據(jù)保護技術(shù)，可以實現(xiàn)用戶系統(tǒng)內(nèi)、本地、異地以及多地的數(shù)據(jù)保護方案，實現(xiàn) 99.9999% 的可用性，最大程度保障用戶業(yè)務(wù)連續(xù)性和數(shù)據(jù)可用性。l面向核心應(yīng)用的SAN與NAS一體化雙活保護：創(chuàng)新性的在業(yè)界率先推出一體化雙活方案，OceanStor V5中端存儲系統(tǒng)同時支持 SAN 與 NAS 雙活，確保數(shù)據(jù)庫與文件業(yè)務(wù)同時高可用。憑借 HyperMetro 免網(wǎng)關(guān) Active-Active 雙活，保障雙活系統(tǒng)具備負載均衡的雙活鏡像以及無中斷的跨站點接管，保障用戶核心應(yīng)用數(shù)據(jù)零丟失，業(yè)務(wù)零中斷。此外，華

16、為 HyperMetro 雙活方案能夠平滑升級至兩地三中心解決方案。極致性能：滿足企業(yè)業(yè)務(wù)的性能彈性增長需求l面向閃存的存儲架構(gòu)：采用面向閃存的系統(tǒng)架構(gòu)，基于閃存融合技術(shù)在CPU調(diào) 度、Cache、RAID以及系統(tǒng)與硬盤聯(lián)動等方面專門針對閃存進行了設(shè)計，系統(tǒng)可對HDD和SSD介質(zhì)智能感知，自動識別介質(zhì)類型并動態(tài)選擇最優(yōu)系統(tǒng)算法適配， 確保存儲系統(tǒng)處理大量業(yè)務(wù)訪問時依然能夠提供穩(wěn)定低于1ms的I/O快速響應(yīng)，保證用戶關(guān)鍵應(yīng)用的極致性能體驗。l 匹配閃存設(shè)計的領(lǐng)先規(guī)格： OceanStor V5中端存儲系統(tǒng)采用多核處理器，支持多種主機接口；控制器之間采用 PCIe 3.0 總線互聯(lián)，并采用 12G

17、bps SAS 3.0 高速硬盤接口，滿足視頻、大文件等高帶寬應(yīng)用場景所需。l 靈活的擴展性：可線性擴展系統(tǒng)資源，能夠平滑擴展至最大 16 個控制器、8TB 緩存，滿足用戶未來業(yè)務(wù)高速增長的數(shù)據(jù)需求，幫助用戶實現(xiàn)投資收益最大化。華為 OceanStor 5000 V5 系列混合閃存存儲系統(tǒng)技術(shù)白皮書3 系統(tǒng)架構(gòu) 3系統(tǒng)架構(gòu) HYPERLINK l _bookmark8 硬件架構(gòu) HYPERLINK l _bookmark15 軟件架構(gòu)硬件架構(gòu)OceanStor V5中端存儲系統(tǒng)采用智能矩陣式多控架構(gòu)，以控制框為單位橫向擴展，達到性能和容量的線性增長。單個控制框采用雙控冗余架構(gòu)，雙控間采用板載P

18、CIe 3.0實現(xiàn)雙控緩存鏡像通道，多控制框之間通過10GbE交換機或PCIE交換機實現(xiàn)Scale-out?？刂瓶蚧蛴脖P框內(nèi)的硬盤通過雙端口連接到兩個控制器，支持SAS接口的SSD、SAS、NL-SAS三種類型硬盤。通過BBU（Backup Battery Unit），在系統(tǒng)掉電時把Cache中的緩存數(shù)據(jù)持久化到數(shù)據(jù)保險箱上實現(xiàn)緩存數(shù)據(jù)的保護。多控 Scale-out全新的OceanStor V5中端存儲系統(tǒng)擁有PCIe 3.0背板互聯(lián)設(shè)計、后端SAS 3.0技術(shù)和Intel 新一代Skylake CPU所帶來的高速通道和強勁的計算能力，靈活滿足客戶越來越高的性能需求。而中端與高端一樣無單點故

19、障的設(shè)計和Scale-out的擴展能力，更是為只有有限預(yù)算的客戶帶來了高端存儲才有的高可靠性和靈活擴展性。OceanStor V5中端存儲系統(tǒng)采取控制框間IP互聯(lián)或PCIE光互聯(lián)架構(gòu)設(shè)計實現(xiàn)橫向擴展。控制框間的業(yè)務(wù)交換通道由10GbE以太網(wǎng)或PCIE交換網(wǎng)絡(luò)承載。系統(tǒng)最大支持8個控制框，每個控制框包含2個控制器，整個系統(tǒng)最大支持16個控制器。每個控制器分別通過兩個互為冗余的交換通道與系統(tǒng)中其它控制器進行互連實現(xiàn)數(shù)據(jù)轉(zhuǎn)發(fā)。控制框內(nèi)的兩個控制器之間采用PCIe 3.0背板互聯(lián)設(shè)計（如 HYPERLINK l _bookmark10 圖3-1所示），由最多32 lane PCIe 3.0組成雙控間的

20、高速鏡像通道。圖 3-1 雙控 PCIe 3.0 互聯(lián)在IP互聯(lián)的集群組網(wǎng)中，交換通道支持交換和直連組網(wǎng)。交換組網(wǎng)中多個控制框之間通過10GbE以太網(wǎng)連接到兩個冗余的數(shù)據(jù)交換機DSW（Data Switch）中，在DSW中實現(xiàn)數(shù)據(jù)交換，此種集群最大支持到16個控制器；在直連組網(wǎng)中，一個網(wǎng)卡上的2個網(wǎng)口分別連接到另外一個控制框的控制器，此種集群最大支持到4個控制器。由于交換鏈路采用雙鏈路設(shè)計，保證集群數(shù)據(jù)交換網(wǎng)絡(luò)的冗余性。采用IP互聯(lián)可以為以后集群的擴展預(yù)留空間，更適合將來的集群彈性擴展。而雙控間數(shù)據(jù)交換和鏡像通道采用全PCIe 的互聯(lián)架構(gòu)，實現(xiàn)更加高效的數(shù)據(jù)交換。在PCIE互聯(lián)的集群組網(wǎng)中，控

21、制器之間采用PCIe光互聯(lián)設(shè)計，實現(xiàn)控制器間的業(yè)務(wù)交換。集群中所有控制器通過QSFP光纜連接到兩個冗余的DSW中，在DSW中實現(xiàn)數(shù)據(jù)交換，采用全PCIe的互聯(lián)架構(gòu)的優(yōu)勢在于減少協(xié)議轉(zhuǎn)換的延時，可以實現(xiàn)更加高效的數(shù)據(jù)交換。采用全光互聯(lián)的設(shè)計一方面提高了長距離數(shù)據(jù)傳輸?shù)目煽啃?，另外一方面對機柜之間的距離要求減少，有利于客戶機房內(nèi)部的機柜布局設(shè)計。硬件全冗余OceanStor V5中端存儲系統(tǒng)所有組件與通道均為全冗余設(shè)計，無單點故障，各組件與通道均可獨立完成故障檢測、修復(fù)和隔離，確保系統(tǒng)穩(wěn)定運行。表 3-1 硬件部件全冗余位置系統(tǒng)部件冗余情況故障影響控制框控制器1+1冗余性能按比例下降電源模塊1+1

22、冗余無影響風(fēng)扇模塊有冗余（不同產(chǎn)品型號冗余程度不同）無影響B(tài)BU模塊有冗余（不同產(chǎn)品型號冗余程度不同）無影響接口卡1+1冗余無影響管理板a1+1冗余無影響2U硬盤框級聯(lián)板1+1冗余無影響電源模塊1+1冗余無影響風(fēng)扇模塊1+1冗余無影響4U硬盤框級聯(lián)板1+1冗余無影響電源模塊2+2冗余無影響風(fēng)扇模塊5+1冗余無影響說明a. 僅適用于5600 V5/5800 V5。門衛(wèi)式數(shù)據(jù)加密（國內(nèi)適用）門衛(wèi)式數(shù)據(jù)加密特性，由華為存儲系統(tǒng)、門衛(wèi)式加密機、密鑰管理中心（KMC，Key Management Center）三個部件組成。門衛(wèi)式加密機實現(xiàn)商密加解密算法和數(shù)據(jù)流程， 存儲系統(tǒng)負責(zé)加密數(shù)據(jù)的存儲，密鑰管理

23、中心負責(zé)加密密鑰的管理和生命周期控制。 說明門衛(wèi)式數(shù)據(jù)加密機，只支持FC鏈路，不支持快照、克隆、遠程復(fù)制、LUN遷移等增值特性，不支持NAS協(xié)議加密。SED 數(shù)據(jù)加密（國外適用）華為OceanStor V5中端存儲系統(tǒng)支持SED（Self-Encrypting Drive，自加密硬盤）數(shù)據(jù)加密特性，通過配置自加密硬盤和內(nèi)置密鑰管理（存儲系統(tǒng)自帶密管系統(tǒng)）或者外置密鑰管理（外部配置獨立的密管系統(tǒng)），與存儲系統(tǒng)配合完成數(shù)據(jù)靜態(tài)加密。數(shù)據(jù)加密特性通過AES 256密碼算法對存儲系統(tǒng)上的用戶數(shù)據(jù)進行加密，保證用戶數(shù)據(jù)的保密性、完整性、可用性。內(nèi)置密鑰管理內(nèi)置密鑰管理是OceanStor V5中端存儲系

24、統(tǒng)內(nèi)嵌的密鑰管理應(yīng)用，提供對數(shù)據(jù)加密特性中自加密硬盤的AK的生命周期管理。內(nèi)置密鑰管理支持密鑰產(chǎn)生、更新、銷毀、備 份、恢復(fù)等功能。內(nèi)置密鑰管理易部署、易配置、易管理；在無更高安全要求，并且整個數(shù)據(jù)中心的密鑰管理僅用于存儲系統(tǒng)的場景下，建議選擇內(nèi)置密鑰管理；無需再獨立部署一套密管系統(tǒng)。外置密鑰管理OceanStor V5中端存儲系統(tǒng)支持外置密鑰管理，采用第三方外部的KMS（Key Manager Server）對數(shù)據(jù)加密特性的密鑰管理。外置密鑰管理采用KMIP+TLS的標準協(xié)議。 在者數(shù)據(jù)中心多場景需要密鑰集中管理時，建議選擇外置密鑰管理。外置密鑰管理支持密鑰產(chǎn)生、更新、銷毀、備份、恢復(fù)等操作

25、。同時外置密鑰管理支持雙機模式，兩個KMS之間會進行密鑰的實時同步，保證密鑰可靠性。自加密硬盤SED具備兩層安全保護，分別使用AK(authentication key)和DEK(data encryption key)兩個安全密鑰。l AK認證原理：當在OceanStor V5中端存儲系統(tǒng)上打開硬盤加密特性時，存儲會打開加密硬盤的AutoLock功能，并使用由Key Manager分配的AK，此時硬盤的訪問已由SED的AutoLock功能保護，只能由存儲系統(tǒng)本身訪問。硬盤每次接入時，需要存儲系統(tǒng)從密管服務(wù)器獲取硬盤的AK，如果與硬盤上的AK匹配，硬盤就將加密后的DEK解密，用于數(shù)據(jù)加解密。如

26、果AK與硬盤上的AK不匹配，則任何讀寫操作都將失敗。l數(shù)據(jù)加密原理：當硬盤成功通過Autolock認證后，對硬盤進行讀寫時，硬盤通過自身的硬件電路和內(nèi)部的數(shù)據(jù)密鑰（Data Entrypt Key）完成寫入數(shù)據(jù)加密和讀取數(shù)據(jù)解密的功能。數(shù)據(jù)在寫入硬盤之后，通過DEK的加密，變成加密信息。DEK本身無法獲取，意味著硬盤被拆除后，通過機械讀取的方式無法還原原始信息。軟件架構(gòu)OceanStor V5中端存儲系統(tǒng)提供的軟件包括存儲系統(tǒng)端軟件、維護終端軟件和應(yīng)用服務(wù)器端軟件。這三部分軟件相互配合，從而智能、高效、經(jīng)濟地實現(xiàn)各種存儲業(yè)務(wù)、備份業(yè)務(wù)和容災(zāi)業(yè)務(wù)。存儲系統(tǒng)軟件結(jié)構(gòu)如 HYPERLINK l _b

27、ookmark16 圖3-2所示。圖 3-2 OceanStor V5 中端存儲系統(tǒng)軟件架構(gòu)框圖存儲系統(tǒng)端軟件采用OceanStor OS專用操作系統(tǒng)，實現(xiàn)硬件管理和支撐存儲業(yè)務(wù)軟件的運行。存儲系統(tǒng)通過基本功能控制軟件實現(xiàn)基礎(chǔ)的數(shù)據(jù)存儲和讀寫功能；通過增值功能控制軟件實現(xiàn)各種備份、容災(zāi)和性能調(diào)優(yōu)等高級功能；通過管理功能控制軟件實現(xiàn)對存儲系統(tǒng)的管理功能。下面從塊級虛擬化、SAN/NAS一體化、負載均衡、數(shù)據(jù)緩存、端到端數(shù)據(jù)完整性保護、軟件特性等方面進行關(guān)鍵軟件架構(gòu)技術(shù)介紹。塊級虛擬化塊級虛擬化原理OceanStor V5中端存儲系統(tǒng)采用RAID2.0+塊虛擬化架構(gòu)。不同于傳統(tǒng)RAID固定成員盤的

28、做法，RAID2.0+是基于硬盤的塊級虛擬化技術(shù)。陣列內(nèi)所有的硬盤被劃分為固定大小的CHUNK，系統(tǒng)自動隨機選擇多個硬盤的多個CHUNK按照RAID算法組成CKG，CKG直接分配給Volume或被劃分為固定大小的數(shù)據(jù)塊（Extent）分配給不同的Volume 使用。Volume對外體現(xiàn)為LUN或文件系統(tǒng)（File System，縮寫為FS）。RAID2.0+ 如下圖所示：圖 3-3 RAID2.0+塊虛擬化快速重構(gòu)快速重構(gòu)，每個物理硬盤的CHUNK會和多個硬盤的CHUNK組成RAID，單個硬盤故障后參與重構(gòu)的硬盤比傳統(tǒng)方式多很多，可以極大提高重構(gòu)速度，最快可以達到每TB重構(gòu)30分鐘完成。以9塊

29、硬盤RAID5 為例。當硬盤1損壞，造成CKG0和CKG1的數(shù)據(jù)損壞。系統(tǒng)隨機選擇CHUNK進行重構(gòu)。如下圖， 14和16兩個CHUNK損壞，將隨機選擇POOL中的空閑CHUNK進行重構(gòu)（如 HYPERLINK l _bookmark18 圖3-4黃色方塊），隨機選擇的CHUNK將保證盡量分布在不同的硬盤上。圖 3-4 RAID2.0+快速重構(gòu)示意圖（一）如下圖，隨機選擇硬盤6的61號CHUNK和硬盤8的81號CHUNK，數(shù)據(jù)將從其他成員盤重構(gòu)到這兩個CHUNK。圖 3-5 RAID2.0+快速重構(gòu)示意圖（二）傳統(tǒng)硬盤重構(gòu)的瓶頸主要在目標盤（熱備盤），因為所有成員盤將所有數(shù)據(jù)讀出后重構(gòu)數(shù)據(jù)會全

30、部寫入到目標盤，其寫帶寬就成了整個重構(gòu)速度的關(guān)鍵，比如一塊傳統(tǒng)2T 大容量硬盤，重構(gòu)時間就是2T除以30M/S，也就是18個小時。而經(jīng)過RAID2.0+塊虛擬化后將有兩個方面的提升：多塊目標盤，如上例子就是兩塊目標盤，重構(gòu)時間就將縮短為9小時，當CHUNK 數(shù)量和成員盤增加時，目標盤可以達到成員盤個數(shù)，所以重構(gòu)速度將極大提升。按CHUNK重構(gòu)，當故障盤上分配的CHUNK較少時，需重構(gòu)的數(shù)據(jù)將大幅降低， 重構(gòu)速度將進一步提升。RAID2.0+最快可以達到每TB重構(gòu)30分鐘完成，重構(gòu)時間的縮短，將大大降低雙盤失效的概率。硬盤負載均衡RAID2.0+技術(shù)將使硬盤自動負載均衡，Volume的數(shù)據(jù)被均勻

31、分布到陣列內(nèi)所有的硬盤上，可以防止局部硬盤過熱，提升可靠性。在參與業(yè)務(wù)讀寫過程中，陣列內(nèi)硬盤參與度高，有效提升系統(tǒng)性能。最大化硬盤資源利用率最大化硬盤資源利用率：性能：在RAID2.0+環(huán)境中，LUN/文件系統(tǒng)基于資源池（Pool）創(chuàng)建，不再受限于RAID組磁盤數(shù)量，單個LUN/文件系統(tǒng)的性能可得到大大提升；容量：由于資源池中的磁盤數(shù)量不受限于RAID級別，免除傳統(tǒng)卷管理技術(shù)環(huán)境下有些RAID組空間利用率高而有些RAID組空間利用率低的狀況，并借助LUN/文件系統(tǒng)動態(tài)擴容，從而提升磁盤的容量利用率。提升存儲管理效率易規(guī)劃：無需花費過多的時間做存儲預(yù)規(guī)劃，只需簡單地將多個硬盤組合成存儲池，設(shè)置存

32、儲池的分層策略，從存儲池劃分空間(卷)即可；存儲池易擴容：當需要擴容存儲池，只需插入新的硬盤，系統(tǒng)會自動的調(diào)整數(shù)據(jù)分布，讓數(shù)據(jù)均衡的分布到各個硬盤上；卷易擴容：當需要擴容卷時，只需輸入想要擴容的卷大小，系統(tǒng)會自動從存儲池中劃分所需的空間，并自動調(diào)整卷的數(shù)據(jù)分布，使得卷數(shù)據(jù)更加均衡的分布到所有的硬盤上。SAN/NAS 一體化OceanStor V5中端存儲系統(tǒng)采用SAN/NAS一體化設(shè)計，不再需要NAS網(wǎng)關(guān)設(shè)備，一套軟硬件同時支持SAN和NAS，支持NFS、CIFS、FTP、HTTP等文件訪問協(xié)議，以及NDMP文件備份協(xié)議。NAS與SAN一樣，同樣支持16控的Scale-out，主機可以從任意1

33、 個控制器上的前端主機端口訪問任意1個LUN或文件系統(tǒng)。統(tǒng)一存儲的OceanStor V5融合平臺架構(gòu)如下圖，文件系統(tǒng)和LUN是平行的出在Space子系統(tǒng)之上，下面是基于RAID2.0+的塊虛擬化存儲池子系統(tǒng)。在這個架構(gòu)中，文件系統(tǒng)和LUN都直接與底層的Space子系統(tǒng)交互。文件系統(tǒng)架構(gòu)是基于對象的，每個文件或文件夾是一個對象，每個文件系統(tǒng)是由對象組成的對象集。對于LUN來說，LUN分ThinLUN和傳統(tǒng)的Thick LUN。兩種LUN也都來自于Pool和Space系統(tǒng)，并沒有建立在文件系統(tǒng)之上。這樣簡化的軟件棧帶來的存儲效率比傳統(tǒng)的統(tǒng)一存儲架構(gòu)效率要高，同時LUN和文件系統(tǒng)各自保持獨立，互不

34、影響。圖 3-6 OceanStor OS 軟件平臺架構(gòu)示意圖負載均衡SAN 負載均衡默認情況下，OceanStor V5中端存儲系統(tǒng)自動將不同LUN均衡分配到不同控制器，LUN空間均衡打散到系統(tǒng)內(nèi)所有硬盤。如果主機到存儲陣列的每個控制器都有I/O路徑，華為自研多路徑軟件UltraPath會優(yōu)選LUN歸屬控制器的路徑下發(fā)；如果沒有優(yōu)選路徑，則IO下發(fā)到陣列后，系統(tǒng)會自動判斷對應(yīng)LUN業(yè)務(wù)應(yīng)由哪個控制器處理，通過Smart Matrix智能矩陣將IO轉(zhuǎn)發(fā)到對應(yīng)控制器進行處理。通過將LUN均衡分配給不同控制器及LUN空間在全局范圍均衡分布，使得不同控制器業(yè)務(wù)、硬盤壓力相對均衡，配合華為自研多路徑U

35、ltraPath選擇最優(yōu)路徑下發(fā)IO，使系統(tǒng)性能達到了最優(yōu)。NAS 負載均衡默認情況下，OceanStor V5中端存儲系統(tǒng)自動將不同文件系統(tǒng)均衡分配到不同控制器， 文件系統(tǒng)空間均衡打散到系統(tǒng)內(nèi)所有硬盤，使得不同控制器業(yè)務(wù)、硬盤壓力相對均衡。OceanStor V5中端存儲系統(tǒng)也同時提供DNS負載均衡特性，可根據(jù)業(yè)務(wù)負載智能地將主機NFS/CIFS/FTP客戶端連接分發(fā)給配置在不同節(jié)點、不同端口上的業(yè)務(wù)IP進行處理， 從而提升系統(tǒng)的性能和可靠性。DNS負載均衡特性是指主機通過域名訪問存儲陣列的NAS業(yè)務(wù)時，先發(fā)DNS請求到陣列內(nèi)置DNS服務(wù)器，根據(jù)域名獲取IP地址。域名下包含多個IP時，內(nèi)置D

36、NS服務(wù)器根據(jù)各IP所在的控制器的CPU利用率、端口帶寬利用率、所在控制器的NAS連接數(shù)等，選擇負載較輕的IP作為DNS響應(yīng)返回給主機。主機收到DNS響應(yīng)后，向目標IP發(fā)起業(yè)務(wù)請求。DNS負載均衡特性支持的負載均衡策略有輪循方式、按節(jié)點CPU利用率、按節(jié)點連接數(shù)、按節(jié)點帶寬利用率、按節(jié)點綜合負載。數(shù)據(jù)緩存l緩存分布：OceanStor V5中端存儲系統(tǒng)的物理內(nèi)存的使用分布情況為：物理內(nèi)存 = 操作系統(tǒng)等占用緩存 + 讀緩存 + 本地寫緩存 + 鏡像寫緩存 + 業(yè)務(wù)特性占用緩存l緩存類型：OceanStor V5中端存儲系統(tǒng)緩存分為讀緩存、寫緩存。讀緩存：將已讀取的數(shù)據(jù)保存在內(nèi)存空間中（讀緩存）

37、，當下次再次讀取同一數(shù)據(jù)時就不必重新從磁盤上讀取，從而提高速率。寫緩存：將要寫入磁盤的數(shù)據(jù)先保存在內(nèi)存空間中（寫緩存），當保存到寫緩存中的數(shù)據(jù)達到一個閾值時，便將數(shù)據(jù)保存到硬盤中。通過讀寫緩存可以減少實際的磁盤操作，提升系統(tǒng)讀寫性能，同時有效的保護磁盤免于重復(fù)的讀寫操作而導(dǎo)致的損壞。寫緩存沒有使用時，系統(tǒng)所有緩存都可以用作讀緩存。系統(tǒng)對讀緩存有最小容量預(yù)留，以保證在寫業(yè)務(wù)壓力很大時，仍能保證讀業(yè)務(wù)緩存資源可以使用。l緩存預(yù)取：OceanStor V5中端存儲系統(tǒng)實現(xiàn)了多路順序流識別算法，即在大量亂序和隨機的IO中識別出順序IO流，對順序的讀寫IO流采用預(yù)取和合并算法，能優(yōu)化多種應(yīng)用場景的系統(tǒng)性

38、能。同時，OceanStor V5中端存儲系統(tǒng)的預(yù)取算法實現(xiàn)了智能預(yù)取、固定預(yù)取、倍數(shù)預(yù)取等算法。智能預(yù)取能自動識別IO特征，根據(jù)IO特征決定是否預(yù)取、預(yù)取多大長度，確保產(chǎn)品性能能滿足不同應(yīng)用場景。系統(tǒng)默認采用智能預(yù)取算法，在某些I/O模型非常明確的應(yīng)用場景，用戶也可以配置固定預(yù)取或倍數(shù)預(yù)取算法，這兩種算法支持由用戶自行配置預(yù)取數(shù)據(jù)長度。l緩存淘汰：當系統(tǒng)緩存占用率達到閾值時，淘汰算法根據(jù)歷史訪問頻率和當前的訪問頻率，計算數(shù)據(jù)塊的熱度，結(jié)合多路順序流識別算法，選擇合適的數(shù)據(jù)進行淘汰。另外根據(jù)用戶的具體需要，可配置Volume的緩存優(yōu)先級，還可以對具體業(yè)務(wù)調(diào)整每個IO的優(yōu)先級。低優(yōu)先級的數(shù)據(jù)，優(yōu)

39、先淘汰；高優(yōu)先級的數(shù)據(jù)緩存更多，保證數(shù)據(jù)命中率。端到端數(shù)據(jù)完整性保護ANSI T10 PI（Protection Information）標準提供了一種方法來校驗訪問存儲系統(tǒng)過程中的數(shù)據(jù)完整性。這種檢查通過T10標準中定義的PI字段來實現(xiàn)。該標準通過在每個扇區(qū)數(shù)據(jù)后加上8字節(jié)的PI字段來實現(xiàn)數(shù)據(jù)完整性檢查。T10 PI通常用來保證存儲系統(tǒng)內(nèi)部的數(shù)據(jù)完整性。DIX（Data Integrity Extensions）進一步延伸了T10 PI的保護范圍，實現(xiàn)了從應(yīng)用到主機HBA的數(shù)據(jù)完整性保護，因此，DIX+T10 PI可以實現(xiàn)從應(yīng)用到硬盤的完整的端到端數(shù)據(jù)保護。OceanStor V5中端存儲系

40、統(tǒng)不但支持T10 PI來保證存儲系統(tǒng)內(nèi)部的數(shù)據(jù)完整性保護，而且支持從應(yīng)用到硬盤的DIX+T10 PI端到端數(shù)據(jù)完整性保護。陣列對數(shù)據(jù)PI字段進行實時校驗并下發(fā)，如果主機側(cè)不支持PI，則陣列會在主機接口增加PI字段并下發(fā)。在存儲系統(tǒng)中，PI跟隨用戶數(shù)據(jù)一起參與各種轉(zhuǎn)發(fā)、傳輸并最終存儲到磁盤介質(zhì)中。數(shù)據(jù)被主機應(yīng)用重新讀出前，系統(tǒng)會通過數(shù)據(jù)PI檢查數(shù)據(jù)的正確性和完整性，保證用戶數(shù)據(jù)的可靠性。豐富軟件特性O(shè)ceanStor V5中端存儲系統(tǒng)提供了用于系統(tǒng)效率提升的Smart軟件系列和用于數(shù)據(jù)保護的Hyper系列軟件：l效率提升系列（Smart系列）：在線重刪（SmartDedupe）、在線壓縮（Sma

41、rtCompression）、智能精簡配置（SmartThin）、異構(gòu)虛擬化（SmartVirtualization）、智能數(shù)據(jù)迅移（SmartMotion）、智能數(shù)據(jù)遷移（SmartMigration）、智能數(shù)據(jù)分級（SmartTier）、智能服務(wù)質(zhì)量控制（SmartQoS）、智能緩存分區(qū)（SmartPartition）、數(shù)據(jù)銷毀（SmartErase）、多租戶（SmartMulti-Tenant）、SSD智能緩存（SmartCache）、智能配額（SmartQuota），主要為用戶提供存儲效率提升方面的功能，降低用戶的TCO。l數(shù)據(jù)保護系列（Hyper系列）：快照（HyperSnap）、克

42、隆（HyperClone）、遠程復(fù)制（HyperReplication）、雙活（HyperMetro）、一體化備份（HyperVault）、LUN拷貝（HyperCopy）、卷鏡像（HyperMirror）、WORM（HyperLock），主要為用戶提供數(shù)據(jù)容災(zāi)備份相關(guān)的功能。同時支持豐富的兩地三中心（3DC）解決方案。面向閃存的系統(tǒng)優(yōu)化SSD盤優(yōu)勢在于隨機IO性能好，時延低，劣勢在與擦寫次數(shù)有限；而HDD優(yōu)勢在于順序IO性能好，無擦寫次數(shù)限制。OceanStor V5中端存儲系統(tǒng)對SSD盤與SSD/HDD混合存儲進行了針對性優(yōu)化，以達到更好的性能和可靠性。系統(tǒng)與自研SSD Firmware無

43、縫聯(lián)動SSD由于采用Flash的原因，盤片內(nèi)部會存在擦除操作，當盤片內(nèi)部正在擦除時， 與擦除相同通道的其他數(shù)據(jù)不能讀寫，因此會造成大約12ms的時延，導(dǎo)致性能波動。華為存儲系統(tǒng)采用華為自研SSD時，系統(tǒng)和盤片配合，協(xié)調(diào)多個硬盤輪流執(zhí)行擦除操作，系統(tǒng)不選擇從正在擦除的盤讀取數(shù)據(jù)，而是通過RAID冗余從其他盤上讀取數(shù)據(jù)，從而保證穩(wěn)定的時延。Cache針對 SSD的智能“感知”針對SSD和HDD，華為存儲系統(tǒng)采取不同的臟數(shù)據(jù)刷盤策略，充分發(fā)揮出各自優(yōu)勢：當經(jīng)過華為認證的硬盤接入時，系統(tǒng)自動識別介質(zhì)類型。針對SSD硬盤，系統(tǒng)按照LRU算法刷盤，降低算法計算復(fù)雜度（也降低了時延），延遲活躍數(shù)據(jù)的刷盤時間

44、，減少下盤次數(shù)，減小寫放大，提升系統(tǒng)性能，同時也延長了SSD壽 命。多核性能優(yōu)化在多核調(diào)度機制方面，針對NUMA架構(gòu)進行性能優(yōu)化，例如把單個IO的消息調(diào)度在一個CPU核上進行處理，減少多CPU間訪問開銷，提升CPU緩存命中率。在多線程運行效率上，通過數(shù)據(jù)結(jié)構(gòu)的合理設(shè)計，避免多線程并發(fā)訪問CPU L1Cache一個緩存單位（Cacheline）上的數(shù)據(jù)，消除CPU L1 Cache偽共享的問題，極大提升CPU L1 Cache利用效率，減小數(shù)據(jù)內(nèi)存訪問的CPU開銷。華為 OceanStor 5000 V5 系列混合閃存存儲系統(tǒng)技術(shù)白皮書4 精簡高效 Smart 特性系列 4精簡高效 Smart

45、特性系列 HYPERLINK l _bookmark27 異構(gòu)虛擬化（SmartVirtualiztaion） HYPERLINK l _bookmark29 數(shù)據(jù)遷移（SmartMigration） HYPERLINK l _bookmark32 數(shù)據(jù)重刪壓縮（SmartDedupe&SmartCompression） HYPERLINK l _bookmark36 智能數(shù)據(jù)分級（SmartTier） HYPERLINK l _bookmark41 智能精簡配置（SmartThin） HYPERLINK l _bookmark43 智能服務(wù)質(zhì)量控制（SmartQoS） HYPERLINK l

46、 _bookmark45 智能緩存分區(qū)（SmartPartition） HYPERLINK l _bookmark47 SSD智能緩存（SmartCache） HYPERLINK l _bookmark50 LUN銷毀（SmartErase） HYPERLINK l _bookmark52 多租戶（SmartMulti-Tenant） HYPERLINK l _bookmark54 智能配額（SmartQuota） HYPERLINK l _bookmark56 智能數(shù)據(jù)迅移（SmartMotion）異構(gòu)虛擬化（SmartVirtualiztaion）OceanStor V5中端存儲系統(tǒng)提供異

47、構(gòu)虛擬化特性SmartVirtualization來接管異構(gòu)存儲系統(tǒng)（包括其他華為存儲系統(tǒng)和第三方廠商的存儲系統(tǒng)），保護現(xiàn)有投資。使用SmartVirtualization后，本端存儲系統(tǒng)能夠?qū)悩?gòu)存儲系統(tǒng)提供的存儲資源當作本地存儲資源進行使用并對其進行集中管理，無需關(guān)注存儲系統(tǒng)間軟件架構(gòu)和硬件架構(gòu)的差異。同時，結(jié)合SmartMigration特性還可以實現(xiàn)對異構(gòu)存儲系統(tǒng)中的數(shù)據(jù)進行在線遷移，幫助客戶完成新老設(shè)備的更新?lián)Q代和數(shù)據(jù)搬遷。工作原理通過把異構(gòu)陣列映射到本端陣列，把異構(gòu)陣列的存儲空間通過eDevLUN（External Device LUN）的方式管理和利用起來。eDevLUN包括元數(shù)

48、據(jù)卷（Meta Volume）和數(shù)據(jù)卷（Data Volume）。元數(shù)據(jù)卷用于對eDevLUN的數(shù)據(jù)存儲位置進行管理，其所需要的物理空間由本端存儲系統(tǒng)提供。數(shù)據(jù)卷是對外部LUN數(shù)據(jù)的邏輯抽象，其所需的物理空間由異構(gòu)存儲系統(tǒng)提供，不占用本端存儲系統(tǒng)空間。本端存儲系統(tǒng)上創(chuàng)建的eDevLUN與異構(gòu)存儲系統(tǒng)上的外部LUN是一一對應(yīng)的關(guān)系。應(yīng)用服務(wù)器可以通過對eDevLUN的讀寫操作實現(xiàn)對外部LUN的數(shù)據(jù)訪問。圖 4-1 異構(gòu)虛擬化技術(shù)示意圖SmartVirtualization通過LUN偽裝技術(shù)，將OceanStor V5中端存儲系統(tǒng)的eDevLUN的WWN和Host LUN ID設(shè)置成與異構(gòu)存儲系統(tǒng)

49、上的LUN的信息一致，在數(shù)據(jù)遷移完成后，通過主機多路徑軟件實現(xiàn)在線LUN的無縫切換，從而在主機不中斷業(yè)務(wù)的情況下完成數(shù)據(jù)遷移。應(yīng)用場景l(fā)異構(gòu)陣列接管用戶的數(shù)據(jù)中心通過長期的建設(shè)，數(shù)據(jù)中心可能存在來自不同異構(gòu)廠商的存儲陣列。存儲管理員可通過異構(gòu)虛擬化接管功能，對現(xiàn)有設(shè)備進行管理、配置，達到保護原有投資的目的。l異構(gòu)數(shù)據(jù)遷移對于數(shù)據(jù)中心中有些設(shè)備過?；蛘咝阅苋萘康炔荒茉贊M足業(yè)務(wù)需求時，客戶需要對存儲更新?lián)Q代。采用SmartVirtulization技術(shù)和SmartMigration技術(shù)，可以實現(xiàn)將客戶原有數(shù)據(jù)在線遷移到OceanStor V5中端存儲系統(tǒng)上，從而在不中斷主機業(yè)務(wù)的前提先實現(xiàn)數(shù)據(jù)的平

50、滑遷移。l異構(gòu)容災(zāi)如果客戶業(yè)務(wù)數(shù)據(jù)分散在包含來自不同廠商存儲設(shè)備的不同的站點，且對業(yè)務(wù)的持續(xù)性要求較高時，異構(gòu)虛擬化和HyperReplication配合可以使異構(gòu)陣列間的LUN數(shù)據(jù)做到互相備份，做到站點間的數(shù)據(jù)容災(zāi)。當災(zāi)難發(fā)生時， 能夠通過互為備份的站點進行業(yè)務(wù)數(shù)據(jù)的接管和數(shù)據(jù)恢復(fù)。l異構(gòu)數(shù)據(jù)保護客戶異構(gòu)陣列上的LUN數(shù)據(jù)可能受到病毒或其他原因?qū)е翷UN數(shù)據(jù)受到破壞。異構(gòu)虛擬化結(jié)合HyperSnap技術(shù)技術(shù)可為異構(gòu)LUN提供快照備份，快照瞬間完成，當數(shù)據(jù)被破壞后，可通過快照迅速的回滾到指定的快照時間點的數(shù)據(jù)，迅速恢復(fù)數(shù)據(jù)。數(shù)據(jù)遷移（SmartMigration）OceanStor V5中端存

51、儲系統(tǒng)通過LUN遷移（SmartMigration）提供了智能化的數(shù)據(jù)遷移手段?？梢栽诓恢袛嘣袠I(yè)務(wù)的情況下實現(xiàn)將源LUN上的數(shù)據(jù)完整地遷移到目標LUN 上。LUN遷移不僅支持存儲系統(tǒng)內(nèi)部的數(shù)據(jù)遷移，還支持華為存儲系統(tǒng)和與其兼容的異構(gòu)存儲系統(tǒng)之間的數(shù)據(jù)遷移。SmartMigration特性通過把源LUN的數(shù)據(jù)完整的復(fù)制到目標LUN，在復(fù)制過程中采用源LUN和目標LUN雙寫、差異日志記錄等技術(shù)，復(fù)制完成后采用LUN信息交換由目標LUN接管源LUN業(yè)務(wù)，實現(xiàn)數(shù)據(jù)的在線遷移。SmartMigration的實現(xiàn)過程分為兩個階段：數(shù)據(jù)同步遷移前，客戶需要配置遷移的源LUN和目標LUN。遷移開始時，數(shù)據(jù)由

52、源LUN復(fù)制到目標LUN。主機此時可以繼續(xù)訪問源LUN。主機寫入源LUN數(shù)據(jù)時，系統(tǒng)首先在DCL（Data Change Log）中記錄差異日志。寫入的數(shù)據(jù)同時向源LUN和目標LUN雙寫。如果雙寫成功，系統(tǒng)清除DCL上此次寫入LBA的記錄。如果目標LUN寫失敗，存儲側(cè)將DCL上記錄的未同步成功的數(shù)據(jù)拷貝至目標LUN，拷貝結(jié)束后返回主機寫I/O完成；如果源LUN寫失敗，返回主機寫I/O失敗，主機重新下發(fā)數(shù)據(jù)至源LUN，但不寫入目標LUN。LUN 信息交換數(shù)據(jù)復(fù)制完成后，主機IO將暫時懸掛，源LUN和目標LUN進行信息交換，具體原理如 HYPERLINK l _bookmark30 圖4-2所示：

53、圖 4-2 LUN 信息交換示意圖由于LUN信息交換是瞬時完成的，因此主機無需中斷業(yè)務(wù)，實現(xiàn)了用戶無感知情況下的業(yè)務(wù)遷移。應(yīng)用場景l(fā)結(jié)合SmartVirtualization 特性實現(xiàn)存儲系統(tǒng)升級換代結(jié)合異構(gòu)虛擬化技術(shù)，現(xiàn)有老舊設(shè)備上數(shù)據(jù)遷移到華為新陣列上，提升業(yè)務(wù)的性能和數(shù)據(jù)的可靠性；老舊設(shè)備可以是華為設(shè)備，也可以是其他存儲廠商的設(shè)備。l由于容量、性能、可靠性調(diào)整等原因所需要的數(shù)據(jù)遷移。數(shù)據(jù)重刪壓縮（SmartDedupe&SmartCompression）數(shù)據(jù)重刪壓縮功能為文件系統(tǒng)和Thin LUN提供數(shù)據(jù)精簡的服務(wù)?？梢詾榭蛻艄?jié)約空間的同時也減少了企業(yè)IT架構(gòu)的TCO（Total Cos

54、t Ownership）。在線重刪（SmartDedupe）OceanStor V5中端存儲系統(tǒng)采用在線處理的方式實現(xiàn)了基于文件系統(tǒng)和Thin LUN的數(shù)據(jù)重刪功能。在系統(tǒng)中，重刪功能的粒度和文件系統(tǒng)或者ThinLUN的最小讀寫單元Grain保持一致。同時，由于用戶在創(chuàng)建文件系統(tǒng)或者ThinLUN時可以指定Grain的大小（4KB64KB），OceanStor V5中端存儲系統(tǒng)也即實現(xiàn)了基于不同粒度的數(shù)據(jù)重刪功能。OceanStor V5中端存儲系統(tǒng)進行重復(fù)數(shù)據(jù)刪除處理的流程如 HYPERLINK l _bookmark33 圖4-3所示。圖 4-3 重復(fù)數(shù)據(jù)刪除處理流程存儲系統(tǒng)按照塊大小進行

55、拆分。存儲系統(tǒng)會將新寫入的數(shù)據(jù)塊與舊的數(shù)據(jù)塊通過指紋庫進行對比，如果指紋不同，當做是新數(shù)據(jù)塊，寫入。如果指紋不同：逐字節(jié)比較功能關(guān)閉（默認），存儲系統(tǒng)會將舊有數(shù)據(jù)塊直接指向新寫入的數(shù)據(jù)塊存儲位置，而不分配空間。逐字節(jié)比較功能開啟時，將之前寫入的數(shù)據(jù)與當前的數(shù)據(jù)內(nèi)容進行字節(jié)級比較，如果完全相同，則認為是重復(fù)數(shù)據(jù)塊。如果不同，當做是新數(shù)據(jù)塊。例如，文件系統(tǒng)中原有數(shù)據(jù)塊為數(shù)據(jù)塊A和數(shù)據(jù)塊B。應(yīng)用服務(wù)器寫入數(shù)據(jù)塊C和數(shù)據(jù)塊D，數(shù)據(jù)塊C與數(shù)據(jù)塊B指紋信息一致，數(shù)據(jù)塊D與與原有數(shù)據(jù)塊A、B的指紋信息均不一致。采用不同的重復(fù)數(shù)據(jù)刪除策略時，數(shù)據(jù)重刪處理結(jié)果示意圖如Figure 4-4所示。圖 4-4 數(shù)據(jù)重

56、刪處理結(jié)果在線壓縮（SmartCompression）業(yè)界一般的壓縮做法有在線壓縮以及后壓縮。存儲系統(tǒng)實現(xiàn)了在線壓縮，對新寫入的數(shù)據(jù)在寫盤前先進行壓縮處理，再將壓縮后的數(shù)據(jù)寫盤，能有效的節(jié)省用戶的空間。和后壓縮（在數(shù)據(jù)下盤后再執(zhí)行壓縮）相比，在線壓縮有以下優(yōu)點：l更小的初始存儲空間，降低客戶初始投資。l更少的I/O, 適合有讀寫壽命限制的SSD磁盤。l在線壓縮是在執(zhí)行壓縮后再打快照，能做到最大限度的節(jié)省存儲空間。存儲系統(tǒng)在進行數(shù)據(jù)壓縮處理時，會根據(jù)用戶設(shè)定的壓縮策略進行不同程度的壓縮。存儲系統(tǒng)支持如下兩種壓縮策略：lFast策略：Fast策略是系統(tǒng)默認使用的壓縮算法。該算法壓縮速度快，但與De

57、ep策略相比壓縮后空間節(jié)省效率低一些。lDeep策略：Deep策略可以獲得空間節(jié)省效率的明顯提升，但壓縮和解壓需要花費更長的時間。OceanStor V5中端存儲系統(tǒng)的數(shù)據(jù)壓縮處理過程如 HYPERLINK l _bookmark34 圖4-5所示。圖 4-5 數(shù)據(jù)壓縮處理結(jié)果重刪、壓縮效果可疊加OceanStor V5中端存儲系統(tǒng)的SmartDedupe和SmartCompression功能支持同時開啟。當同時開啟時，數(shù)據(jù)先經(jīng)過重刪再執(zhí)行壓縮，可以實現(xiàn)縮減效果的疊加，可以為用戶節(jié)省更多存儲空間。由于OceanStor V5中端存儲系統(tǒng)采用在線處理的方式實現(xiàn)數(shù)據(jù)的重刪和壓縮，當用戶開啟重刪壓縮

58、功能時，只對后續(xù)寫入的數(shù)據(jù)執(zhí)行重刪壓縮；當關(guān)閉重刪壓縮功能時，之前重刪過的數(shù)據(jù)不會被恢復(fù)成原來的格式。智能數(shù)據(jù)分級（SmartTier）塊數(shù)據(jù)分級（SmartTier for Block）SmartTier是針對塊存儲的智能數(shù)據(jù)分級特性。SmartTier按照應(yīng)用對性能的需求，將SSD，SAS和NL-SAS三種類型磁盤分別對應(yīng)高性能存儲層，性能存儲層和容量存儲層。每個存儲層可以單獨使用，也可以根據(jù)需要兩兩組合，或者三者組合在一起組成存儲池提供數(shù)據(jù)存儲空間。SmartTier進行LUN級別的智能化數(shù)據(jù)存放管理，以“extent”為單位，默認4MB（512KB 64MB可配）來統(tǒng)計和分析數(shù)據(jù)的活躍

59、度，將不同活躍度的數(shù)據(jù)和不同特點的存儲介質(zhì)動態(tài)匹配，并通過數(shù)據(jù)遷移將活躍度高的“繁忙”數(shù)據(jù)遷移至具有更高性能的存儲介質(zhì)（如SSD 硬盤），將活躍度低的“空閑”數(shù)據(jù)遷移至具有更高容量且更低容量成本的存儲介質(zhì)（如NL-SAS 硬盤）。SmartTier經(jīng)歷的數(shù)據(jù)監(jiān)控、排布分析、數(shù)據(jù)遷移三個階段，如下圖所示：圖 4-6 SmartTier 處理過程其中，數(shù)據(jù)監(jiān)控、排布分析階段由存儲系統(tǒng)自動完成，數(shù)據(jù)遷移階段通過用戶手動觸發(fā)或根據(jù)用戶配置的定時策略觸發(fā)。SmartTier提高存儲系統(tǒng)性能并降低用戶成本，滿足企業(yè)對性能和容量的雙重需求，避免歷史數(shù)據(jù)占用昂貴的存儲介質(zhì)，保證企業(yè)有效投入，消除無用容量帶來的

60、能耗開 銷，降低企業(yè)TCO，得到最優(yōu)性價比。文件數(shù)據(jù)分級（SmartTier for File）SmartTier是為了滿足客戶簡化數(shù)據(jù)生命周期管理，提升介質(zhì)利用率，降低客戶成本而推出的面向文件系統(tǒng)的分級特性。它是基于用戶自定義策略，以文件為粒度在不同介質(zhì)中進行動態(tài)遷移的技術(shù)。企業(yè)存儲的Storage Pool可以由多種介質(zhì)（例如SSD、HDD）混合組成，SmartTier根據(jù)用戶指定的策略（例如：文件名、文件大小、文件類型、文件創(chuàng)建時間、SSD使用率等），使數(shù)據(jù)可以在多種介質(zhì)間流動，比如從高性能介質(zhì)（例如SSD）自動遷移到大容量介質(zhì)（例如HDD，包括SAS或NL-SAS）。原理如 HYPER