2021OceanStor Dorado 6000,Dorado 18000系列產(chǎn)品白皮書(shū)

OceanStorDorado6000,Dorado18000系列6.1.2產(chǎn)品技術(shù)白皮書(shū)文檔版本 01發(fā)布日期 2021-06-04OceanStorDorado6000,Dorado18000系列產(chǎn)品技術(shù)白皮書(shū)OceanStorDorado6000,Dorado18000系列產(chǎn)品技術(shù)白皮書(shū)01(2021-06-04)PAGE\*roman01(2021-06-04)PAGE\*romanvii目錄摘要 1簡(jiǎn)介 3客戶(hù)價(jià)值 3硬件架構(gòu) 5硬件介紹 5控制框 5硬盤(pán)框 9SAS硬盤(pán)框 10智能SAS/NVMe硬盤(pán)框 10HSSD硬盤(pán)單元 14SCM硬盤(pán)單元 19功耗與散熱 20SmartMatrix高速全互聯(lián)均衡架構(gòu) 22全共享的前端 24全互聯(lián)的控制器 26全共享的硬盤(pán)框 28低時(shí)延RDMA設(shè)計(jì) 29端到端NVMe. 31NVMeoverFabric端到端部署 31FC/iSCSI/NVMeoF協(xié)議對(duì)比 32軟件架構(gòu) 34SAN/NAS一體化統(tǒng)一存儲(chǔ)架構(gòu) 34Active-Active的SAN邏輯架構(gòu) 35全局負(fù)載均衡 35Active-Active的NAS邏輯架構(gòu) 35Active-Active文件系統(tǒng) 36NAS協(xié)議 37NFS協(xié)議 37CIFS協(xié)議 38跨協(xié)議訪(fǎng)問(wèn) 39NDMP協(xié)議 40內(nèi)置DNS負(fù)載均衡 42審計(jì)日志 44全局緩存 454.1.4RAID2.0+ 46FlashLink? 46智能眾核技術(shù) 47大塊順序?qū)?48多流分區(qū)技術(shù) 50端到端I/O優(yōu)先級(jí) 52智能盤(pán)框 53智能技術(shù) 54豐富增值特性 55增值特性：Smart系列 57數(shù)據(jù)縮減（SmartDedupe&SmartCompression） 57相似重刪 585.1.2壓縮 60壓縮處理 60數(shù)據(jù)壓緊（DataCompaction） 61服務(wù)質(zhì)量控制（SmartQoS） 61功能特性 62上限流控 62下限保障 64策略管理 65分層管理 65策略分配 66推薦配置 66異構(gòu)虛擬化（SmartVirtualization） 67智能數(shù)據(jù)遷移（SmartMigration） 68智能精簡(jiǎn)配置（SmartThin） 69數(shù)據(jù)加密和銷(xiāo)毀（SmartEncrypt&SmartErase） 70配額(SmartQuota) 71智能緩存（SmartCache） 72SmartCache基本原理 72SmartCache應(yīng)用場(chǎng)景 73智能分級(jí)存儲(chǔ)（SmartTier） 74多租戶(hù)（SmartMulti-tenant） 74內(nèi)置容器（SmartContainer） 75增值特性：Hyper系列 78快照（HyperSnap） 78SAN快照（HyperSnapforSAN） 78快照基本原理 78級(jí)聯(lián)快照 81快照一致性組 81NAS快照(HyperSnapforNAS). 82持續(xù)數(shù)據(jù)保護(hù)（HyperCDP） 83克?。℉yperClone） 84SAN克?。℉yperCloneforSAN） 85正向數(shù)據(jù)同步 85反向數(shù)據(jù)同步 85Clone即時(shí)可用 86HyperClone一致性組 87級(jí)聯(lián)HyperClone 87NAS克隆（HyperCloneforNAS） 88遠(yuǎn)程復(fù)制（HyperReplication） 90SAN遠(yuǎn)程復(fù)制（HyperReplicationforSAN） 90同步遠(yuǎn)程復(fù)制（HyperReplication/S） 91異步遠(yuǎn)程復(fù)制（HyperReplication/A） 91技術(shù)特點(diǎn) 92NAS遠(yuǎn)程復(fù)制(HyperReplicationforNAS). 93雙活（HyperMetro） 95SAN雙活（HyperMetroforSAN） 96讀寫(xiě)流程 96支持一致性組 98NAS雙活（HyperMetroforNAS） 98雙活技術(shù)特征 101免網(wǎng)關(guān)雙活 101支持并行訪(fǎng)問(wèn) 102高可靠用仲裁 102高擴(kuò)展性 103高性能 103兩地三中心（3DC） 105內(nèi)雙活I(lǐng)nner） 107增值特性：Cloud系列 109云復(fù)制（CloudReplication） 109云備份（CloudBackup） 110系統(tǒng)可靠性設(shè)計(jì) 113數(shù)據(jù)可靠性設(shè)計(jì) 113緩存數(shù)據(jù)可靠性保證 114緩存多副本 114掉電保護(hù) 115持久數(shù)據(jù)可靠性保證 115盤(pán)內(nèi)RAID. 115RAID2.0+ 116盤(pán)級(jí)冗余RAID. 116框級(jí)冗余RAID. 116縮列重構(gòu) 117I/O路徑數(shù)據(jù)可靠性保證 118端到端PI. 118矩陣校驗(yàn) 118業(yè)務(wù)可用性設(shè)計(jì) 119接口模塊/鏈路冗余保護(hù) 120控制器冗余保護(hù) 120持續(xù)鏡像 120多控/框間鏡像 121存儲(chǔ)介質(zhì)冗余保護(hù) 121盤(pán)故障快速隔離 121多盤(pán)冗余 121陣列故障冗余保護(hù) 121系統(tǒng)性能設(shè)計(jì) 123前端網(wǎng)絡(luò)優(yōu)化 124CPU計(jì)算優(yōu)化 125后端網(wǎng)絡(luò)優(yōu)化 126系統(tǒng)可服務(wù)性設(shè)計(jì) 127系統(tǒng)管理 127DeviceManager 127存儲(chǔ)空間管理 128靈活的存儲(chǔ)池管理 128與主機(jī)映射 128主機(jī)自動(dòng)發(fā)現(xiàn) 129開(kāi)箱快速配置向?qū)?130基于已有對(duì)象快速發(fā)放NAS資源 131數(shù)據(jù)保護(hù)管理 131基于保護(hù)組的批量數(shù)據(jù)保護(hù) 131組與保護(hù)組靈活的使用 132對(duì)組或保護(hù)組擴(kuò)容 133跨設(shè)備數(shù)據(jù)保護(hù)單側(cè)配置 133配置任務(wù) 134故障管理 135硬件設(shè)備狀態(tài)監(jiān)控 135告警與事件監(jiān)控 135性能及容量管理 136內(nèi)置性能數(shù)據(jù)采集與分析能力 137獨(dú)立的數(shù)據(jù)存儲(chǔ)空間 137支持容量預(yù)測(cè) 137支持性能閾值告警 138支持定時(shí)報(bào)表 138AIOps設(shè)備側(cè)智能運(yùn)維 138智能GUI. 138性能異常識(shí)別 139容量預(yù)測(cè) 139性能預(yù)測(cè) 14010.1.2CLI 140RestfulAPI 140SNMP 14010.1.5SMI-S 14010.1.6配套工具 141升級(jí)過(guò)程主機(jī)透明（NDU） 141設(shè)備生命周期管理 142更換控制器 142更換硬盤(pán)框 143系統(tǒng)安全設(shè)計(jì) 145軟件完整性保護(hù) 145安全啟動(dòng) 146系統(tǒng)智能設(shè)計(jì) 147智能存儲(chǔ) 147智能芯片 147智能緩存和分級(jí) 148云智能管理 151采集信息范圍 152智能報(bào)障 153容量預(yù)測(cè) 153硬盤(pán)健康預(yù)測(cè) 154設(shè)備健康評(píng)估 156性能潮汐分析 157性能異常檢測(cè) 158性能瓶頸分析 159生態(tài)兼容性 161數(shù)據(jù)面生態(tài)兼容性 161主機(jī)操作系統(tǒng) 161主機(jī)虛擬化系統(tǒng) 161主機(jī)集群軟件 162數(shù)據(jù)庫(kù)軟件 162存儲(chǔ)網(wǎng)關(guān) 162異構(gòu)存儲(chǔ) 162存儲(chǔ)網(wǎng)絡(luò) 162管控面生態(tài)兼容性 162備份軟件 162網(wǎng)管軟件 162OpenStack集成 162容器平臺(tái)集成 163更多參考信息 164如何反饋意見(jiàn) 16516縮略語(yǔ) 166OceanStorDorado6000,Dorado18000系列產(chǎn)品技術(shù)白皮書(shū)1OceanStorDorado6000,Dorado18000系列產(chǎn)品技術(shù)白皮書(shū)1摘要01(2021-06-04)PAGE01(2021-06-04)PAGE11摘要華為OceanStorDorado系列全閃存存儲(chǔ)系統(tǒng)（以下簡(jiǎn)稱(chēng)OceanStorDorado）是華為面向企業(yè)、金融、數(shù)據(jù)中心等關(guān)鍵存儲(chǔ)應(yīng)用業(yè)務(wù)打造的新一代智能全閃存標(biāo)桿產(chǎn)品，該系列產(chǎn)品具有如下特點(diǎn)：獨(dú)有的SmartMatrix可靠架構(gòu)，業(yè)務(wù)永遠(yuǎn)在線(xiàn)業(yè)務(wù)0中斷：業(yè)界唯一在控制器單點(diǎn)、雙點(diǎn)、多點(diǎn)（高端8壞7，跨控制框）障后，業(yè)務(wù)依然連續(xù)運(yùn)行的存儲(chǔ)產(chǎn)品。故障0感知：控制器故障后能夠秒級(jí)切換，業(yè)務(wù)無(wú)中斷，主機(jī)鏈路無(wú)感知。資源全均衡：端到端Active-Active，資源共享均衡。芯片引領(lǐng)，性能永快一步五“芯”保障：傳-算-存-管-智，5顆芯片奠定業(yè)界最高性能。智能加速芯片+智能緩存算法：讓存儲(chǔ)有“智慧”，深度學(xué)習(xí)業(yè)務(wù)I/O智能化提升數(shù)據(jù)處理能力。唯一。端云智能，永智高效量趨勢(shì)提前60天預(yù)判、系統(tǒng)提前14天發(fā)現(xiàn)故障盤(pán)、93%問(wèn)題發(fā)現(xiàn)即給出方案。云上云下協(xié)同：云上通用智能+練，深度學(xué)習(xí)業(yè)務(wù)特征，提升個(gè)性化體驗(yàn)。OceanStorDorado能夠滿(mǎn)足數(shù)據(jù)庫(kù)、虛擬桌面（VDI）、虛擬服務(wù)器架構(gòu)（VSI）、文件共享服務(wù)等企業(yè)級(jí)應(yīng)用的關(guān)鍵需求，助力金融、制造、運(yùn)營(yíng)商等行業(yè)向全閃存時(shí)代平滑演進(jìn)，構(gòu)建虛擬化、云化和智能化IT，有效支撐向工業(yè)4.0的轉(zhuǎn)型邁進(jìn)。金融、運(yùn)營(yíng)商、制造、政府等行業(yè)的業(yè)務(wù)，隨著業(yè)務(wù)量增大，特別是在月末、月初等特殊時(shí)段，IT系統(tǒng)響應(yīng)慢，業(yè)務(wù)卡頓，客戶(hù)抱怨大。采用OceanStorIT的業(yè)務(wù)壓力，同時(shí)滿(mǎn)足響應(yīng)更快，不卡頓，提升客戶(hù)滿(mǎn)意度。金融、運(yùn)營(yíng)商、制造、政府等行業(yè)的OLAP業(yè)務(wù)，隨著業(yè)務(wù)量的增長(zhǎng)，批處理普遍存在處理時(shí)間窗口不足的問(wèn)題。以海關(guān)為例，每天晚上需要對(duì)前一天的報(bào)關(guān)、通關(guān)、貿(mào)易監(jiān)管數(shù)據(jù)等進(jìn)行數(shù)據(jù)整合，如果不能在早上8：00物不能按時(shí)通關(guān)，大批貨物滯留。采用OceanStorDorado，能夠提供更快的處理能力，批處理的處理時(shí)常大幅縮短，滿(mǎn)足海量數(shù)據(jù)在時(shí)間窗內(nèi)完成處理。本文從產(chǎn)品定位、硬件架構(gòu)、軟件架構(gòu)、特性方面詳細(xì)介紹了OceanStorDorado的關(guān)鍵技術(shù)，以及為客戶(hù)帶來(lái)的獨(dú)特價(jià)值。OceanStorDorado6000,Dorado18000系列產(chǎn)品技術(shù)白皮書(shū)2OceanStorDorado6000,Dorado18000系列產(chǎn)品技術(shù)白皮書(shū)2簡(jiǎn)介01(2021-06-04)PAGE01(2021-06-04)PAGE32簡(jiǎn)介本章描述OceanStorDorado及獨(dú)特的客戶(hù)價(jià)值。本系列產(chǎn)品型號(hào)包括：OceanStorDorado6800V6，OceanStorDorado18500V6，OceanStorDorado18800V6。2.1客戶(hù)價(jià)值客戶(hù)價(jià)值過(guò)去的幾年，數(shù)據(jù)量的快速增加和數(shù)據(jù)價(jià)值的應(yīng)用挖掘，催生了IT的技術(shù)革新，尤其是存儲(chǔ)設(shè)備的革新。主存介質(zhì)從HDD向SSD的切換；主存協(xié)議從SAS向NVMe的切換；對(duì)存儲(chǔ)系統(tǒng)訪(fǎng)問(wèn)端到端的時(shí)延也由10ms向1ms甚至更低時(shí)延演進(jìn)和切換；換。一系列的需求發(fā)展和關(guān)聯(lián)技術(shù)的變革對(duì)客戶(hù)IT基礎(chǔ)設(shè)施的設(shè)計(jì)和構(gòu)建提出了更高的要求，要構(gòu)建一個(gè)現(xiàn)代化的IT基礎(chǔ)設(shè)計(jì)，選擇一個(gè)合適的存儲(chǔ)系統(tǒng)是最為關(guān)鍵的環(huán)節(jié)。存儲(chǔ)系統(tǒng)穩(wěn)定高性能、疊加各種高可靠性配置后性能依然穩(wěn)定是構(gòu)建一個(gè)智能IT、規(guī)模擴(kuò)展能力的IT的基礎(chǔ)。高效存儲(chǔ)是IT系統(tǒng)構(gòu)建的成本關(guān)鍵因素，存儲(chǔ)數(shù)據(jù)的高效流動(dòng)、智能運(yùn)維、不中斷升級(jí)、長(zhǎng)期供應(yīng)保障則是IT系統(tǒng)長(zhǎng)期演進(jìn)和發(fā)展的基礎(chǔ)。OceanStorDorado秉承“數(shù)據(jù)+智能”理念重定義存儲(chǔ)架構(gòu)，通過(guò)軟硬件的核心科技化智能IT系統(tǒng)對(duì)存儲(chǔ)系統(tǒng)的訴求?；诤诵目萍?，實(shí)現(xiàn)高效高性能的存儲(chǔ)應(yīng)用：提供端到端低時(shí)延、大吞吐量的穩(wěn)定高性能能力。前端、集群交換和后端互聯(lián)接口，提供NVMe、32GbFC、100GbRDMA的高速協(xié)議支持和硬件卸載能力，提供低時(shí)延高帶寬的通信能力。FlashLink?技術(shù)實(shí)現(xiàn)盤(pán)和控制器的深度配合，利用多流、RAID2.0+的滿(mǎn)分條新寫(xiě)、多級(jí)可控GC充分激發(fā)盤(pán)的高性能和長(zhǎng)生命周期運(yùn)行的業(yè)務(wù)能力。通過(guò)智能進(jìn)行workload的學(xué)習(xí)分析，實(shí)現(xiàn)長(zhǎng)周期的間隔順序識(shí)別和數(shù)據(jù)關(guān)聯(lián)邏輯識(shí)別，大幅度提升緩存的數(shù)據(jù)預(yù)取能力，實(shí)現(xiàn)高達(dá)2100萬(wàn)IOPS（SPC-1測(cè)試模型）的高吞吐量和0.05ms的極致低時(shí)延的性能能力?；赟martMatrix的創(chuàng)新架構(gòu)，實(shí)現(xiàn)高可靠穩(wěn)定存儲(chǔ)服務(wù)能力：采用全新一代的硬件平臺(tái)和極致穩(wěn)定的SmartMatrix全互聯(lián)架構(gòu)，從數(shù)據(jù)可靠性和業(yè)務(wù)連續(xù)性?xún)蓚€(gè)維度強(qiáng)化保障存儲(chǔ)服務(wù)能力持續(xù)在線(xiàn)。在數(shù)據(jù)可靠性上，提供了數(shù)據(jù)端到端的數(shù)據(jù)冗余保護(hù)和有效性校驗(yàn)和修復(fù)技術(shù)。從非持久化的Cache鏡像多副本和跨控制框的數(shù)據(jù)保護(hù)能力，持久化的RAID副本保護(hù)能力、再到遠(yuǎn)程復(fù)制、雙活等特性的跨設(shè)備空間域數(shù)據(jù)保護(hù)能力，多級(jí)可選冗余保護(hù)按需配置；同時(shí)在預(yù)防硬件的可修復(fù)突發(fā)性故障模型（bit翻轉(zhuǎn)等），在數(shù)據(jù)存取的端到端過(guò)程中都對(duì)數(shù)據(jù)的完整性進(jìn)行校驗(yàn)檢查和修復(fù)，有效解決設(shè)備不可控間歇性亞健康狀態(tài)下的數(shù)據(jù)安全和數(shù)據(jù)錯(cuò)誤的影響擴(kuò)散。控制器8壞7故障容錯(cuò)業(yè)務(wù)無(wú)中斷，軟件升級(jí)業(yè)務(wù)不中斷主機(jī)無(wú)感知。越好用：隨著存儲(chǔ)系統(tǒng)的高可靠、性能更高容量更大的演進(jìn)，單存儲(chǔ)系統(tǒng)將承載更多的業(yè)務(wù)系統(tǒng)，而不同業(yè)務(wù)系統(tǒng)的性能模型不同、容量訴求不同、數(shù)據(jù)保護(hù)的級(jí)別和成本接受度不同，不僅僅是對(duì)存儲(chǔ)系統(tǒng)高可靠、高性能和大容量的能力的挑戰(zhàn)，更是對(duì)客戶(hù)的IT整體規(guī)劃、設(shè)備和資源配置精細(xì)化管理更高的要求。OceanStorDorado在設(shè)計(jì)之初就考慮到多業(yè)務(wù)不同Workload訴求和共享存儲(chǔ)資源的混合應(yīng)用模型的容量和性能之間的平衡，以及不同時(shí)間點(diǎn)平衡訴求差異化的特征，提供智能的系統(tǒng)默認(rèn)配置管理模式和客戶(hù)自定義的配置管理模式，支持按業(yè)務(wù)邏輯的跨設(shè)備單頁(yè)面的配置能力，實(shí)際使用過(guò)程中客戶(hù)可以按需選擇。同時(shí)提供報(bào)表管理功能幫助客戶(hù)對(duì)設(shè)備的健康狀態(tài)、性能、容量的實(shí)時(shí)狀態(tài)和演進(jìn)狀態(tài)，以供客戶(hù)進(jìn)行業(yè)務(wù)規(guī)劃調(diào)整和后續(xù)規(guī)劃參考。在系統(tǒng)自適應(yīng)模式下會(huì)采用系統(tǒng)的最優(yōu)配置進(jìn)行配置管理，后續(xù)會(huì)引入對(duì)系統(tǒng)Workload持續(xù)學(xué)習(xí)和基于學(xué)習(xí)結(jié)果的性能配置自適應(yīng)調(diào)整、滿(mǎn)足應(yīng)用業(yè)務(wù)周期性或突發(fā)的業(yè)務(wù)波峰的穩(wěn)定性能的支撐；對(duì)亞健康或者磨損部件工作參數(shù)調(diào)整優(yōu)化設(shè)備長(zhǎng)時(shí)間運(yùn)行后生命周期的穩(wěn)定性。OceanStorDorado6000,Dorado18000系列產(chǎn)品技術(shù)白皮書(shū)3OceanStorDorado6000,Dorado18000系列產(chǎn)品技術(shù)白皮書(shū)3硬件架構(gòu)01(2021-06-04)PAGE01(2021-06-04)PAGE103硬件架構(gòu)OceanStorDorado采用全互聯(lián)架構(gòu)，前端接口模塊、控制器模塊、后端接口模塊、電源模塊、BBU模塊、風(fēng)扇模塊、硬盤(pán)單元等所有FRU不存在任何單點(diǎn)故障，支持2個(gè)或者2個(gè)以上FRU冗余。各種FRU均支持在線(xiàn)熱插拔，支持在線(xiàn)可更換。OceanStorDorado采用RDMA高速網(wǎng)絡(luò)互聯(lián)，通過(guò)該網(wǎng)絡(luò)實(shí)現(xiàn)全局緩存的低時(shí)延共享訪(fǎng)問(wèn)；后端采用智能硬盤(pán)框（硬盤(pán)框內(nèi)有CPU和內(nèi)存，有運(yùn)算能力，能夠?qū)?duì)硬盤(pán)重構(gòu)等進(jìn)行卸載）技術(shù)，實(shí)現(xiàn)硬盤(pán)重構(gòu)等特性下移到智能硬盤(pán)框，達(dá)到對(duì)控制器的壓力卸載。硬件介紹SmartMatrix高速全互聯(lián)均衡架構(gòu)端到端NVMe硬件介紹控制框OceanStorDorado高端系列產(chǎn)品包括型號(hào)：OceanStorDorado6800V6，OceanStorDorado18500V6，OceanStorDorado18800V6；高端系列采用盤(pán)控分離形態(tài)，單框最大可支持28張接口模塊，所有槽位均支持共享接口模塊；單個(gè)控制框支持4控壞3控（如果擴(kuò)展到兩個(gè)控制框，則可以支持8控壞7控）時(shí)業(yè)務(wù)不中斷；關(guān)鍵部件模塊化設(shè)計(jì)，支持在線(xiàn)可更換；所有FRU冗余設(shè)計(jì)，電源雙平面設(shè)計(jì)，同一個(gè)電源平面內(nèi)電源1+1冗余備份。華為OceanStorDorado高端系列為客戶(hù)提供SAN和NAS的統(tǒng)一存儲(chǔ)服務(wù)，端到端的低時(shí)延SAN（FC-NVMe、、iSCSI、NVMeoverRoCE）和NAS（NFS、CIFS、NDMP)等前端協(xié)議服務(wù)能力，提供豐富的業(yè)務(wù)接口模塊，其中：前端：前端接口模塊包括4端口8G/16G/32GFC/FC-NVMe接口模塊，4端口25GbNVMeoverRoCE接口模塊，4端口10GE/25GEETH接口模塊，2端口40GE/100GEETH接口模塊。集群互聯(lián)：Scale-Out接口模塊包括2端口100GbRDMA接口模塊。后端：后端接口模塊包括4端口12GbSAS接口模塊（接入SAS硬盤(pán)框的接口模塊）,2端口100GbRDMA接口模塊（接入智能SAS，智能NVMe硬盤(pán)框的接口模塊）。智能加速：支持智能加速卡，實(shí)現(xiàn)智能讀緩存加速。SCM加速：支持SCM盤(pán)的加速卡，實(shí)現(xiàn)SmartCache的性能加速。華為OceanStorDorado高端系列支持3種類(lèi)型硬盤(pán)框分別如下：SAS硬盤(pán)框智能SAS硬盤(pán)框智能NVMe硬盤(pán)框集群互聯(lián)采用RDMA實(shí)現(xiàn)控制器間互聯(lián)，支持直連和交換互聯(lián)兩種模式。直連模式通過(guò)Scale-Out接口模塊實(shí)現(xiàn)2個(gè)控制框免交換機(jī)直連，交換互聯(lián)模式通過(guò)Scale-out接口模塊鏈接到交換機(jī)實(shí)現(xiàn)雙交換平面最大32控互聯(lián)。每控制框有2模塊都配置了3個(gè)GE口（維護(hù)/管理網(wǎng)口），1個(gè)USB口，1個(gè)串口。OceanStorDorado高端系列控制框前視圖和后視圖如圖3-1和圖3-2所示。圖3-1控制框前視圖說(shuō)明每個(gè)控制器包含七個(gè)風(fēng)扇模塊。四個(gè)控制器的布局從上往下依次為控制器A、控制器C、控制器B和控制器D。圖3-2控制框后視圖說(shuō)明可插拔I/O接口模塊，支持8G/16G/32GFC/FC-NVMe、25/10GbNVMeoverRoCE、10/25/40/100GEETH?？刹灏渭铀倏ǎС种悄芗铀倏?，SCM加速卡。接口板推薦按AB/CD平面對(duì)稱(chēng)配置。電源，支持交流和直流。管理模塊，支持1個(gè)串口，1個(gè)維護(hù)網(wǎng)口，2個(gè)管理網(wǎng)口。OceanStorDorado高端系列如上后視圖中接口模塊槽位分A、B、C、D四個(gè)象限，代表著非共享接口模塊的歸屬控制器，例如當(dāng)非共享接口模塊插在A(yíng)屬A控制器。說(shuō)明前端接口模塊：8G/16G/32GFC/FC-NVMe是共享接口模塊，10/25/40/100GEETH（支持iSCSINVMeoverRoCE）是非共享接口模塊。Scale-Out接口模塊：100GbRDMA擴(kuò)展接口模塊是共享接口模塊。后端接口模塊：100GbRDMA、12GbSAS是共享接口模塊。OceanStorDorado高端系列4個(gè)控制器互為備份，負(fù)載均衡，4個(gè)控制器間通過(guò)100GbRDMA實(shí)現(xiàn)互聯(lián)能力，如圖3-3所示：圖3-3高端4控邏輯架構(gòu)示意圖OceanStorDorado高端系列控制框支持4個(gè)控制器或2個(gè)控制器2種配置方式，每個(gè)控制器最大支持4個(gè)處理器，每個(gè)控制框內(nèi)最大支持16個(gè)處理器，如圖3-4所示。圖3-4OceanStorDorado18800V6的控制器外觀(guān)圖接口模塊密度提升為了提升系統(tǒng)空間利用率，提升系統(tǒng)I/O端口數(shù)量，控制框接口模塊高密設(shè)計(jì)，引入小型化連接器，將接口模塊厚度由Dorado上一代的25mm減少到18.5mm，實(shí)現(xiàn)4U空間28張接口模塊。表3-1接口模塊密度對(duì)比連接器接口模塊接口模塊密度OceanStorDorado連接器寬度6mm厚度18.5mm4U28張接口模塊（7張接口模塊/U）OceanStorDoradoV3連接器寬度14.5mm厚度25mm6U24接口模塊（4張接口模塊/U）規(guī)格提升寬度下降59%厚度下降26%密度提升75%整柜華為高端存儲(chǔ)系統(tǒng)由于其設(shè)備組件多，組網(wǎng)復(fù)雜，為了降低現(xiàn)場(chǎng)交付安裝的復(fù)雜性，以及因?yàn)榘惭b過(guò)程中引起的各類(lèi)可靠性問(wèn)題，支持通過(guò)整柜交付（華為機(jī)柜的尺寸整柜交付的高可靠性：更好的供電管理更好的抗震、防腐蝕能力更高的硬盤(pán)可靠性更可靠的線(xiàn)纜連接系統(tǒng)更好的在途運(yùn)輸質(zhì)量控制整柜交付的可維護(hù)性：更簡(jiǎn)單的現(xiàn)場(chǎng)部署更簡(jiǎn)單的后期維護(hù)能力無(wú)中斷的在線(xiàn)擴(kuò)容能力硬盤(pán)框OceanStorDorado提供了三種硬盤(pán)框：表3-2硬盤(pán)框類(lèi)型硬盤(pán)框類(lèi)型硬盤(pán)類(lèi)型端口盤(pán)位數(shù)SAS硬盤(pán)框雙端口SAS盤(pán)4x12GbpsSAS寬端口25智能SAS硬盤(pán)框雙端口SAS盤(pán)4x100GbRDMA25硬盤(pán)框類(lèi)型硬盤(pán)類(lèi)型端口盤(pán)位數(shù)智能NVMe硬盤(pán)框雙端口NVMe盤(pán)4x100GbRDMA36SAS硬盤(pán)框SAS硬盤(pán)框，采用SAS3.0協(xié)議，每個(gè)框支持25塊SAS硬盤(pán)?？刂瓶蛲ㄟ^(guò)板載SAS接口或者SAS接口模塊與SAS硬盤(pán)框連接。圖3-52U25SAS硬盤(pán)框前視圖圖3-62U25SAS硬盤(pán)框后視圖智能SAS/NVMe硬盤(pán)框智能SAS硬盤(pán)框和智能NVMe硬盤(pán)框，硬盤(pán)框級(jí)聯(lián)模塊內(nèi)有CPU和DDR內(nèi)存，是一個(gè)獨(dú)立的計(jì)算機(jī)系統(tǒng)，具備計(jì)算能力，能夠?qū)刂瓶騼?nèi)控制器的計(jì)算任務(wù)進(jìn)行卸載。比如硬盤(pán)故障時(shí)的重構(gòu)計(jì)算，就可以大量計(jì)算能力卸載到智能SAS/NVMe硬盤(pán)框上，從而大大降低重構(gòu)對(duì)控制器性能的影響。常規(guī)PCIeRC系統(tǒng)只有256個(gè)PCIe總線(xiàn)地址，系統(tǒng)內(nèi)部設(shè)備、接口模塊和NVMe都需要占用PCIe的總線(xiàn)地址導(dǎo)致單系統(tǒng)支持的NVMe硬盤(pán)數(shù)往往不能超過(guò)128個(gè)。華為的智能NVMe硬盤(pán)框，通過(guò)板載處理器采用獨(dú)立PCIe地址域模式，有效隔離了控制框和硬盤(pán)框的PCIe地址域，NVMe硬盤(pán)插在智能NVMe硬盤(pán)框內(nèi)，占用的就是智能NVMe系統(tǒng)的PCIe設(shè)備數(shù)，不占用控制框內(nèi)系統(tǒng)的PCIeNVMe硬盤(pán)框再通過(guò)RDMA端口與控制框連接，就實(shí)現(xiàn)了支持大規(guī)格的NVMe盤(pán)數(shù)的能力?？刂瓶蛲ㄟ^(guò)板載的100GbRDMA端口或者100GbRDMA后端接口模塊與智能SAS硬盤(pán)框和智能NVMe硬盤(pán)框連接，提供高帶寬低時(shí)延的傳輸通道。智能SAS硬盤(pán)框，采用2U25盤(pán)位形態(tài)，如圖3-7和圖3-8所示。圖3-72U25SAS硬盤(pán)框前視圖圖3-82U25SAS硬盤(pán)框后視圖智能NVMe硬盤(pán)框，采用2U36盤(pán)形態(tài)，如圖3-9和圖3-10所示。圖3-92U36盤(pán)位智能NVMe硬盤(pán)框前視圖圖3-102U36盤(pán)位智能NVMe硬盤(pán)框后視圖硬盤(pán)框高密設(shè)計(jì)OceanStorDorado通過(guò)業(yè)界領(lǐng)先的整機(jī)散熱能力，支撐業(yè)界空間密度最高的設(shè)計(jì)。傳統(tǒng)豎直背板存在開(kāi)窗小，風(fēng)阻大，雙面連接器相互干涉，硬盤(pán)數(shù)量有限，且傳統(tǒng)2.5寸硬盤(pán)厚度達(dá)到14.8mm尺寸，在標(biāo)準(zhǔn)19英寸機(jī)柜設(shè)備內(nèi)，傳統(tǒng)企業(yè)存儲(chǔ)2U的空間內(nèi)很難突破25盤(pán)位。傳統(tǒng)豎直背板設(shè)計(jì)如圖3-11、圖3-12和圖3-13所示。圖3-11傳統(tǒng)豎直背板設(shè)計(jì)圖3-12傳統(tǒng)豎直背板設(shè)計(jì)正面開(kāi)窗圖圖3-13傳統(tǒng)豎直背板設(shè)計(jì)空氣流向圖通過(guò)創(chuàng)新的水平背板正交連接結(jié)構(gòu)，如圖3-14和圖3-15所示，硬盤(pán)連接器和控制器連接器正交連接，無(wú)干涉，提升硬盤(pán)連接器密度，再配合NVMe盤(pán)盤(pán)），厚度（14.8mm->9.5mm），使得2U空間內(nèi)可以容納下36盤(pán)位，盤(pán)密度提升44%。另50%，散熱能力25%，如圖3-16和圖3-17所示，保證了硬盤(pán)的散熱能力。圖3-14水平背板設(shè)計(jì)圖3-15水平背板正交結(jié)構(gòu)（側(cè)視圖）圖3-16水平背板正面圖圖3-17水平背板空氣流向圖HSSD硬盤(pán)單元OceanStorDorado的硬盤(pán)單元，支持自主研發(fā)的SSD（HSSD），通過(guò)存儲(chǔ)軟件和HSSD盤(pán)的深度配合，可以發(fā)揮OceanStorDorado的極致性能。SSD主要由控制單元和存儲(chǔ)單元組成，控制單元包括SSD控制器、主機(jī)接口、DRAM等，存儲(chǔ)單元主要是NANDFLASH顆粒。NANDFLASH內(nèi)部存儲(chǔ)讀寫(xiě)的基本單元為Block和Page。Page組成；16KB。對(duì)NANDFLASH讀寫(xiě)數(shù)據(jù)的操作主要涉及擦除（Erase）、編程（Program）和讀（Read），其中編程和讀的基本操作單位是Page，擦除的基本操作單位是Block。在盤(pán)內(nèi)磨損均衡壞塊管理數(shù)據(jù)冗余保護(hù)

寫(xiě)入一個(gè)Page之前，必須要擦除這個(gè)Page所在的整個(gè)Block。因此在寫(xiě)入某個(gè)Page時(shí)，需要把Block中其他有效的數(shù)據(jù)拷貝到新的存儲(chǔ)空間，從而把原先的整個(gè)Block擦除，這一過(guò)程稱(chēng)為垃圾回收（GarbageCollection，簡(jiǎn)稱(chēng)GC）。每一次對(duì)Block的編程寫(xiě)入和擦除稱(chēng)為一次P/E（Program/Erase）。不同于機(jī)械硬盤(pán)HDD，SSD盤(pán)中對(duì)每個(gè)Block的擦寫(xiě)次數(shù)是有限制的。如果某些Block的擦寫(xiě)次數(shù)太多，將會(huì)導(dǎo)致該Block不可用。針對(duì)SSD的這些特點(diǎn)，HSSD盤(pán)采用了多項(xiàng)關(guān)鍵技術(shù)來(lái)保證SSD的可靠性和性能。磨損均衡是指SSD控制器通過(guò)對(duì)NANDFlash中Block的P/E次數(shù)進(jìn)行監(jiān)控，通過(guò)一定的軟件算法使所有Block的P/E次數(shù)比較平均，防止單個(gè)Block因過(guò)度擦寫(xiě)而導(dǎo)致失效，延長(zhǎng)NANDFLASH整體的使用壽命。華為HSSD機(jī)數(shù)據(jù)寫(xiě)入的時(shí)候，優(yōu)先挑選磨損較小的Block使用，這樣保證P/E消耗平均分布；靜態(tài)磨損均衡是指盤(pán)片定期在整個(gè)盤(pán)片的范圍內(nèi)尋找P/E消耗較少的Block并回收其上的有效數(shù)據(jù)，從而使得保存冷數(shù)據(jù)的Block也參與到磨損均衡的循環(huán)中。HSSD通過(guò)這2種方案的結(jié)合來(lái)保證全盤(pán)磨損均衡。NANDFLASHBlock將被標(biāo)志為壞塊。HSSD根據(jù)大量的實(shí)驗(yàn)數(shù)據(jù)和應(yīng)用場(chǎng)景確定了壞塊的判斷標(biāo)準(zhǔn)，該標(biāo)準(zhǔn)會(huì)根據(jù)NANDFLASH的擦寫(xiě)次數(shù)，錯(cuò)誤類(lèi)型，發(fā)生的頻率等因素來(lái)判斷Block是否為壞塊。如果出現(xiàn)壞塊，則通過(guò)NANDFLASH間XOR冗余校驗(yàn)數(shù)據(jù)來(lái)計(jì)算出壞塊上的數(shù)據(jù)，并將數(shù)據(jù)恢復(fù)到新的可用Block上。在一個(gè)SSD生命周期內(nèi)，盤(pán)片會(huì)出現(xiàn)壞塊，HSSD在盤(pán)片內(nèi)部預(yù)留了空間用作壞塊替換，確保在生命周期內(nèi)可能出現(xiàn)的壞塊可以及時(shí)被替換，保障SSD上的數(shù)據(jù)安全可靠。由于SSD在使用過(guò)程中可能會(huì)出現(xiàn)數(shù)據(jù)位翻轉(zhuǎn)和跳變，HSSD采用冗余校驗(yàn)對(duì)用戶(hù)數(shù)據(jù)進(jìn)行多維度的保護(hù)。數(shù)據(jù)在SSD的DRAM中使用了和CRC校驗(yàn)來(lái)防止數(shù)據(jù)跳變和篡改；數(shù)據(jù)在NANDFLASH中使用了LDPC和CRC校驗(yàn)來(lái)保護(hù)Page上的數(shù)據(jù)；而在不同的NANDFLASH之間則采用了XOR冗余進(jìn)行保護(hù)以防止顆粒失效導(dǎo)致的數(shù)據(jù)丟失。圖3-18多維度數(shù)據(jù)冗余保護(hù)后臺(tái)巡檢

LDPC即低密度奇偶校驗(yàn)碼（LowDensityParityCheckCode），是通過(guò)校驗(yàn)矩陣定義的一類(lèi)線(xiàn)性碼，主要用于數(shù)據(jù)校驗(yàn)和糾錯(cuò)，廣泛應(yīng)用于無(wú)線(xiàn)通信、衛(wèi)星數(shù)字傳輸?shù)阮I(lǐng)域。在數(shù)據(jù)寫(xiě)入NANDFLASH的Page時(shí)，計(jì)算出數(shù)據(jù)的LDPC校驗(yàn)信息一起寫(xiě)入到Page中；在從Page中讀取數(shù)據(jù)的時(shí)候通過(guò)LDPC進(jìn)行校驗(yàn)和糾錯(cuò)。HSSD盤(pán)片還通過(guò)閃存顆粒間內(nèi)置XOR異或引擎對(duì)用戶(hù)數(shù)據(jù)進(jìn)行冗余保護(hù)，當(dāng)Flash顆粒出現(xiàn)物理故障（頁(yè)失效、塊失效、DIE失效甚至顆粒失效）障塊上的用戶(hù)數(shù)據(jù)進(jìn)行恢復(fù)，確保用戶(hù)數(shù)據(jù)不丟失。NANDFLASH上的數(shù)據(jù)會(huì)由于存放時(shí)間過(guò)長(zhǎng)，讀干擾、寫(xiě)干擾、隨機(jī)失效等原因?qū)е聰?shù)據(jù)發(fā)生錯(cuò)誤。HSSD會(huì)周期性的讀取NANDFLASH上的數(shù)據(jù)，識(shí)別數(shù)據(jù)跳變情況，對(duì)于出現(xiàn)高比特位跳變的數(shù)據(jù)及時(shí)讀取并寫(xiě)入到新的Page。通過(guò)這一后臺(tái)巡檢過(guò)程可以提前識(shí)別出現(xiàn)的風(fēng)險(xiǎn)并進(jìn)行處理，能有效防止這些錯(cuò)誤導(dǎo)致的數(shù)據(jù)丟失，提高數(shù)據(jù)的安全性和可靠性。支持SAS和NVMe協(xié)議華為自主研發(fā)的HSSD支持SAS或NVMe（Non-VolatileMemoryExpress）兩種接口。NVMe協(xié)議相對(duì)傳統(tǒng)的SAS協(xié)議更為簡(jiǎn)潔高效：從軟件棧來(lái)看，去掉了SCSI層，協(xié)議交互次數(shù)減少；從硬件傳輸路徑來(lái)看，無(wú)需SAS控制器、SASExpander，直接與CPU通總線(xiàn)連接，實(shí)現(xiàn)更低的時(shí)延，如圖3-19所示。同時(shí)NVMe可以支持更大的并發(fā)充分發(fā)掘SSD的性能。NVMe接口的SSD通過(guò)多年在閃存技術(shù)方面的積累，能夠支持雙端口，熱插拔能力，有效的提升了系統(tǒng)的性能、可靠性和可維護(hù)性。圖3-19NVMe盤(pán)片與SAS盤(pán)片傳輸路徑對(duì)比NVMeSSD寫(xiě)請(qǐng)求數(shù)據(jù)間通信次數(shù)相比SASSSD從4次減少到2次。如圖3-20所示：SAS：在SCSI（SAS后端）協(xié)議會(huì)通過(guò)4次協(xié)議交互的步驟才能完成一次寫(xiě)操作；NVMe：在NVMe協(xié)議只需要2圖3-20NVMeSAS協(xié)議交互流程對(duì)比SASSSD硬盤(pán)單元SASSSD硬盤(pán)單元，包含2個(gè)部件：硬盤(pán)拉手條和2.5寸SSD硬盤(pán)盤(pán)體，如圖3-21所示：圖3-21SASSSD物理示意圖NVMeSSD硬盤(pán)單元NVMeSSD采用自定義的物理形態(tài)，其拉手條與盤(pán)融為一體，尺寸規(guī)格與2.5寸SSD差異較大，整體規(guī)格：79.8mm*9.5mm*160.2mm，如圖3-22所示。圖3-22NVMeSSD物理示意圖SCM硬盤(pán)單元StorageClassMemory介質(zhì)介紹當(dāng)前主流的存儲(chǔ)介質(zhì)主要有SRAM、DRAM、SCM、FlashMemory、HDD，延遲依次從低到高，成本則從高到低。存儲(chǔ)級(jí)存儲(chǔ)器SCM介于傳統(tǒng)DRAM和NANDFlash之間，相較普通的NAND擁有更快的速度、更低的延遲，較DRAM則容量更大，成本相對(duì)較低。SCM介質(zhì)的使用將為大數(shù)據(jù)應(yīng)用程序和復(fù)雜工作負(fù)載性提供變革和突破性存儲(chǔ)解決方案。目前業(yè)界主流的StorageClassMemoryIntelPCM3DXpoint，Z-NAND.。XL-FLASH技術(shù)采用3DSLC堆棧，并把SLC結(jié)構(gòu)進(jìn)行了大量修改，其Plane設(shè)置遠(yuǎn)小于普通3DNAND，從而能達(dá)到最低讀時(shí)延低至4us，寫(xiě)時(shí)延75us。XL-Flash介質(zhì)的整體時(shí)延要遠(yuǎn)低于普通3DNAND，尤其是在讀延遲上更是低于10倍以上。SCMSCM有兩種形態(tài)：第一種SCM盤(pán)，外觀(guān)形態(tài)與普通SSD盤(pán)一致，可用于OceanStorDorado硬盤(pán)槽位。.根據(jù)接口大小和尺寸分為普通2.5寸盤(pán)和PALM盤(pán)，對(duì)應(yīng)的型號(hào)規(guī)格參考產(chǎn)品的規(guī)格清單。第二種是SCM插卡，可用于高端系列控制器接口模塊插槽中。功耗與散熱OceanStorDorado通過(guò)如下節(jié)能設(shè)計(jì)來(lái)滿(mǎn)足節(jié)能環(huán)保要求：高能效比的處理器采用業(yè)界最高轉(zhuǎn)換效率的供電模塊通過(guò)比例微積分風(fēng)扇調(diào)速算法，提高系統(tǒng)散熱效率巧妙的錯(cuò)峰上電設(shè)計(jì)，降低大功率供電需求通過(guò)高能效設(shè)計(jì)，節(jié)省供電和散熱開(kāi)銷(xiāo)；通過(guò)業(yè)界領(lǐng)先的散熱技術(shù)和自定義的高密NVMe盤(pán)，實(shí)現(xiàn)SSD密度增加超過(guò)44%（在2U硬盤(pán)框內(nèi)，NVMe盤(pán)數(shù)增加到36盤(pán)位），減少空間占用。高能效處理器

ARM與X86平臺(tái)的差異主要由架構(gòu)差異引入，而這些架構(gòu)差異主要集中在芯片內(nèi)部的設(shè)計(jì)中，包括指令集、流水線(xiàn)、核分布、緩存、內(nèi)存、I/O控制等各方面。X86使用復(fù)雜指令集（CISC)，以增加處理器本身復(fù)雜度作為代價(jià)，去換取更高的性能；X86指令集從MMX，發(fā)展到了SSE，AVX。而ARM使用精簡(jiǎn)指令集（RISC），大幅簡(jiǎn)化架構(gòu)，僅保留所需要的指令，可以讓整個(gè)處理器更為簡(jiǎn)化，擁有小體積、高效能的特性；ARM支持64位操作，指令32位，寄存器64位，尋址能力64位，并且軟硬件的深度配合提升了性能，同時(shí)多處理器架構(gòu)能夠支持產(chǎn)品性能擴(kuò)展，能效比具有極大優(yōu)勢(shì)。華為采用高集成化的SOC芯片，通過(guò)緩存一致性總線(xiàn)，最高可實(shí)現(xiàn)4處理（SMP）能力，且每個(gè)處理器具備豐富的I/O接口、存儲(chǔ)控制器以及存儲(chǔ)加速引擎：豐富I/O接口：支持最大16xSAS3.0接口、最大40xPCIe4.0、最大2x100GE存儲(chǔ)加速引擎：RAID引擎、引擎、ZIP壓縮引擎通過(guò)集成以上接口和引擎，減少了外圍芯片，從而簡(jiǎn)化系統(tǒng)設(shè)計(jì)，降低系統(tǒng)功耗。高效電源高壓直流供電

OceanStorDorado采用80白金、鈦金電源，在50%帶載時(shí)的供電轉(zhuǎn)換效率可達(dá)94%以上，功率因數(shù)可達(dá)98%以上，降低供電損耗。鈦金電源的轉(zhuǎn)換效率比白金提高個(gè)點(diǎn)，可以達(dá)到96%以上，而且輕載時(shí)的轉(zhuǎn)換效率可以達(dá)到90%以上，對(duì)比普通PSU電源的轉(zhuǎn)換效率提升將近10個(gè)點(diǎn)，最大程度降低產(chǎn)品全負(fù)載范圍內(nèi)的供電損耗。PSU電源滿(mǎn)足80PLUS認(rèn)證規(guī)范，可提供認(rèn)證證書(shū)。80PLUS效率要求：80PLUS電源認(rèn)證類(lèi)型電源轉(zhuǎn)換效率（230V輸入）負(fù)載比（%）10%20%50%100%80PLUS銅81%85%81%80PLUS銀85%89%85%80PLUS黃金88%92%88%80PLUS白金90%94%91%80PLUS鈦金90%94%96%91%OceanStorDorado通過(guò)支持高壓直流HVDC供電、或交直流混合供電，取代交流供電，提高供電系統(tǒng)可靠性，減少UPS占地面積，降低機(jī)房建設(shè)及維護(hù)成本。高壓直流供電方案減少機(jī)房供電轉(zhuǎn)換層級(jí)，提高系統(tǒng)供電效率15％～25％，每年可為大型數(shù)據(jù)中心節(jié)省電費(fèi)上百萬(wàn)。解決低壓直流（12V/48VDC）給大功率設(shè)備供電時(shí)的大電流、電纜粗、布線(xiàn)困難等問(wèn)題。PID節(jié)能調(diào)速技術(shù)OceanStorDoradoPID（ProportionalIntegralDerivative，比例積微分算法）幅度大、噪聲高等問(wèn)題，實(shí)現(xiàn)風(fēng)扇快速響應(yīng)、快速降溫、超低功耗、超低靜音的效果。經(jīng)驗(yàn)證，使用PID節(jié)能調(diào)速算法可以提升產(chǎn)品能效4％～9蕩。通過(guò)PID調(diào)速，風(fēng)扇響應(yīng)速度可以提升22％～53％，明顯降低產(chǎn)品噪聲。錯(cuò)峰上電

通過(guò)錯(cuò)峰上電，消除產(chǎn)品上電瞬間的供電脈沖，避免多臺(tái)設(shè)備同時(shí)上電對(duì)機(jī)房供電造成風(fēng)險(xiǎn)。重刪壓縮

重刪壓縮是常用的數(shù)據(jù)縮減技術(shù)，它通過(guò)逐個(gè)比較數(shù)據(jù)內(nèi)部細(xì)節(jié)，刪除重復(fù)數(shù)據(jù)，只保留其中一份，可以很大程度上減少對(duì)物理存儲(chǔ)空間的需求，降低產(chǎn)品能耗。節(jié)能認(rèn)證

產(chǎn)品滿(mǎn)足中國(guó)環(huán)保部的節(jié)能認(rèn)證標(biāo)準(zhǔn)、CQC的節(jié)能認(rèn)證標(biāo)準(zhǔn)、RoHS環(huán)保認(rèn)證標(biāo)準(zhǔn)。SmartMatrix高速全互聯(lián)均衡架構(gòu)華為OceanStorDorado高端系列采用全互聯(lián)均衡架構(gòu)，如圖3-23所示，該架構(gòu)采用了高速無(wú)源背板，支持同時(shí)安裝4個(gè)控制器以及28個(gè)接口模塊。全互聯(lián)均衡架構(gòu)下主機(jī)通過(guò)任意前端端口接入后，主機(jī)I/O將均衡分發(fā)到控制框內(nèi)各控制器進(jìn)行處理。這種設(shè)計(jì)允可以避免控制器之間的轉(zhuǎn)發(fā)，實(shí)現(xiàn)Active-Active細(xì)粒度均衡訪(fǎng)問(wèn)、高效低時(shí)延地進(jìn)行控制器協(xié)同作業(yè)，即使在某一個(gè)控制器模塊意外故障情況下，業(yè)務(wù)能夠靈活無(wú)縫接管，處理更加及時(shí)和平穩(wěn)，提升了系統(tǒng)可用性，硬件資源利用更加經(jīng)濟(jì)更加高效。圖3-23全互聯(lián)均衡架構(gòu)（直連組網(wǎng)）全互聯(lián)均衡架構(gòu)允許1個(gè)或多個(gè)控制框組成集群系統(tǒng)，如圖3-24所示，包括以下三層：業(yè)務(wù)不歸零，升級(jí)主機(jī)無(wú)感知、主機(jī)I/OActive-Active均衡分發(fā)?？刂破骰ヂ?lián)層，控制框內(nèi)控制器之間互聯(lián)，以及控制框Scale-out擴(kuò)展互聯(lián)。后端連接層，控制框通過(guò)共享卡與硬盤(pán)框組成共享網(wǎng)絡(luò)，實(shí)現(xiàn)控制器8壞7硬盤(pán)框數(shù)據(jù)可訪(fǎng)問(wèn)。圖3-248控互聯(lián)（內(nèi)雙活）圖3-2532控互聯(lián)全共享的前端華為OceanStorDorado高端系列支持前端接口模塊（front-endinterconnectI/Omodule，簡(jiǎn)稱(chēng)FIM）有兩種：共享接口模塊和非共享接口模塊。每個(gè)共享接口模塊通過(guò)4條PCIE總線(xiàn)分別連接到4個(gè)控制器，主機(jī)能夠通過(guò)連接共享接口模塊的任一端口同時(shí)訪(fǎng)問(wèn)4個(gè)控制器。對(duì)于華為OceanStorDorado高端系列支持多種前端形態(tài)和能力：FC知，F(xiàn)C/FC-NVMe單鏈路升級(jí)。IPSAN組網(wǎng)下，不支持共享接口模塊，控制器故障會(huì)有鏈路告警，支持NVMeoverRoCE單鏈路升級(jí)。NAS組網(wǎng)下（NFS/CIFS），持NAS單鏈路升級(jí)。前端共享接口模塊能夠?qū)χ鳈C(jī)I/O進(jìn)行智能識(shí)別處理，并按特定規(guī)則分發(fā)，使得主機(jī)I/O無(wú)需控制器預(yù)處理就直接發(fā)送給最佳處理控制器，避免主機(jī)I/O在控制器之間轉(zhuǎn)發(fā)。由于共享接口模塊的每個(gè)端口在內(nèi)部均有獨(dú)立通道分別與4個(gè)控制器互連，因此在主機(jī)與存儲(chǔ)系統(tǒng)間只有一條鏈路時(shí)，下發(fā)的主機(jī)I/O仍能直接發(fā)送至最佳處理控制器。在控制器故障的情況下，業(yè)務(wù)也不受影響。前端FC共享接口模塊的實(shí)現(xiàn)原理如圖3-26所示：每個(gè)共享接口模塊有4個(gè)物理端口，每個(gè)端口有1個(gè)WWN，主機(jī)與每個(gè)端口可建立1個(gè)外部會(huì)話(huà)連接，同時(shí)每個(gè)端口與內(nèi)部控制器分別建立4視角看，每個(gè)控制器都與主機(jī)建立了一條鏈路。共享接口模塊通過(guò)內(nèi)部完成協(xié)議轉(zhuǎn)換與連接處理，將主機(jī)I/O在共享接口模塊內(nèi)部按照智能分發(fā)算法分發(fā)到四條鏈路上。圖3-26FC前端共享接口模塊原理全共享的前端設(shè)計(jì)可以使系統(tǒng)組網(wǎng)更簡(jiǎn)單。在使用非共享接口模塊的情況下，若主機(jī)需要與每個(gè)控制器建立物理鏈路，四控的系統(tǒng)需要最少4條鏈路。在使用共享接口模塊情況下，只需要1條連線(xiàn)（出于冗余路徑考慮，配置2條或多條），主機(jī)便可與每個(gè)控制器建立物理鏈路。芯片會(huì)在檢測(cè)到端口與控制器之間的PCIe用非共享接口模塊下的控制器故障需要主機(jī)多路徑進(jìn)行的鏈路切換所消耗的10~30秒，共享接口模塊的切換只需要1秒，切換時(shí)間更短，可靠性更高。如圖3-27所示，若控制器1故障，共享接口模塊智能算法根據(jù)控制器故障情況，將控制器1上的業(yè)務(wù)快速切換到其他控制器、把I/O分發(fā)到新的控制器處理。整個(gè)過(guò)程快速完成，共享接口模塊與主機(jī)的FC鏈路無(wú)閃斷，主機(jī)對(duì)控制器的故障無(wú)感知。圖3-27控制器故障情況下主機(jī)業(yè)務(wù)切換全互聯(lián)的控制器控制框內(nèi)全互聯(lián)華為OceanStorDorado高端系列的控制框可包含4個(gè)控制器，每個(gè)控制器是一個(gè)獨(dú)立可熱插拔服務(wù)處理單元，可提供3對(duì)RDMA高速鏈路，通過(guò)連接到無(wú)源背板與其他控制器實(shí)現(xiàn)全交叉互連，與其他3個(gè)控制器全交叉連接，如圖3-28。圖3-28控制框內(nèi)控制器互聯(lián)得益于控制器全互連，控制器之間的數(shù)據(jù)能夠在不經(jīng)過(guò)第三方中轉(zhuǎn)的情況下實(shí)現(xiàn)一次RDMA直達(dá)，從而實(shí)現(xiàn)均衡、快速、高效的訪(fǎng)問(wèn)效果。由于控制器位于同一個(gè)控制框內(nèi)，不需要外部線(xiàn)纜和交換機(jī)，部署更簡(jiǎn)單，不易出錯(cuò)。此外，無(wú)源背板只使用了無(wú)源線(xiàn)路，可靠性極高?？刂瓶蜷g全互聯(lián)華為OceanStorDorado全系列支持scale-out功能，可以按需擴(kuò)展到32控應(yīng)用，支持采用直連組網(wǎng)方式（最大8控）和雙交換組網(wǎng)方式（最大32控）。每個(gè)控制框提供4張Scale-out接口模塊進(jìn)行組網(wǎng)，如下圖。Scale-out接口模塊與本控制框的4個(gè)控制器直接連接，同時(shí)收發(fā)來(lái)自屬于其它互聯(lián)控制框的4個(gè)控制器的數(shù)據(jù)。直連組網(wǎng)節(jié)省了2臺(tái)交換機(jī)，并且減少了一半的線(xiàn)纜連接，能夠有效降低系統(tǒng)組網(wǎng)成本及管理復(fù)雜度。圖3-298控Scale-Out直連組網(wǎng)圖圖3-3032控Scale-out交換組網(wǎng)圖華為OceanStorDorado高端系列通過(guò)2端口的100GBRDMA共享接口模塊進(jìn)行擴(kuò)展，最大可支持?jǐn)U展到32控。8控可以采用直連組網(wǎng)或交換組網(wǎng)，超過(guò)8控則必須使用DCB交換機(jī)。不支持直連組網(wǎng)在線(xiàn)修改為交換組網(wǎng)模式。全共享的硬盤(pán)框OceanStorDorado存儲(chǔ)系統(tǒng)支持三種硬盤(pán)框：SAS硬盤(pán)框、智能SAS硬盤(pán)框、智能NVMe硬盤(pán)框，并通過(guò)12GbSAS級(jí)聯(lián)模塊或者100GbRDMA接口模塊連接硬盤(pán)框：12GbSAS級(jí)聯(lián)模塊連接SAS硬盤(pán)框，100GbRDMA接口模塊連接智能SAS硬盤(pán)框或智能NVMe硬盤(pán)框。全系列采用雙端口硬盤(pán)，實(shí)現(xiàn)硬盤(pán)的1+1的Active-Active的共享互聯(lián)能力。連接智能硬盤(pán)框時(shí)控制框內(nèi)4控全互聯(lián)：每個(gè)RDMA接口模塊接口模塊內(nèi)部通過(guò)4條PCIE3.0*4連接到框內(nèi)四個(gè)控制器，四個(gè)控制器可以同時(shí)訪(fǎng)問(wèn)硬盤(pán)框內(nèi)的硬盤(pán)單元?？刂瓶蜷g8建立鏈路，實(shí)現(xiàn)了8個(gè)控制器能夠同時(shí)訪(fǎng)問(wèn)相同的硬盤(pán)框的功能。圖3-31硬盤(pán)框8控全互聯(lián)連接SAS硬盤(pán)框時(shí)，由于SAS級(jí)聯(lián)模塊內(nèi)置了SAS擴(kuò)展器，該擴(kuò)展器提供8個(gè)12GbSAS通路（每個(gè)端口提供4*12Gbps速率），其中4個(gè)通路通過(guò)背板走線(xiàn)連接到4個(gè)控制器，另外4個(gè)對(duì)外提供線(xiàn)纜與SAS由于SAS硬盤(pán)框只有一組上行接口，所以只能連接到一個(gè)控制框，也就只能同時(shí)被一個(gè)控制框內(nèi)的四個(gè)控制器訪(fǎng)問(wèn)。RDMA設(shè)計(jì)華為OceanStorDorado全閃存存儲(chǔ)系統(tǒng)的控制器之間均采用RDMA組網(wǎng)連接，控制器之間的數(shù)據(jù)可以直接RDMA一跳到達(dá)到對(duì)端節(jié)點(diǎn)內(nèi)存，無(wú)需再次搬移或中轉(zhuǎn)。控制框與智能NVMe硬盤(pán)框、智能SAS硬盤(pán)框之間也采用RDMA組網(wǎng)連接。圖3-32以華為OceanStorDorado高端系列為例進(jìn)行說(shuō)明。圖3-328控RDMA互聯(lián)數(shù)據(jù)經(jīng)過(guò)RDMA鏈路進(jìn)行遠(yuǎn)程DMA數(shù)據(jù)搬移，搬移工作由接口模塊完成，無(wú)需兩側(cè)CPU參與，大大提高了數(shù)據(jù)傳輸效率，降低了訪(fǎng)問(wèn)時(shí)延。通常，數(shù)據(jù)的傳輸過(guò)程分為兩個(gè)步驟：把控制消息發(fā)送到對(duì)端，對(duì)端準(zhǔn)備好接受的內(nèi)存資源等，通知發(fā)送端準(zhǔn)備好了；發(fā)送端再把數(shù)據(jù)發(fā)送到接收端。RDMA的通訊過(guò)程，通過(guò)接收端預(yù)先準(zhǔn)備好內(nèi)存資源等方式，控制消息和數(shù)據(jù)一起發(fā)送到接收端，減少了一次交互過(guò)程，實(shí)現(xiàn)了通訊的低時(shí)延。使用基于RoCE的RDMA技術(shù)，相比PCIE/SAS鏈路，具備更高可靠和更低通信時(shí)延。下圖圖3-33是基于PCIE的DMA鏈路和RoCE鏈路的IO交互過(guò)程對(duì)比。數(shù)據(jù)傳遞包含三個(gè)階段：?jiǎn)?dòng)控制命令，傳遞傳輸?shù)綄?duì)端，以及對(duì)端接收數(shù)據(jù)進(jìn)行驗(yàn)證并回響應(yīng)消息。在PCIe通信模型下為雙邊通信模型，即數(shù)據(jù)從控制器A發(fā)送到控制器B以后，控制器A的CPU還需要通過(guò)控制流通知控制器B數(shù)據(jù)已送達(dá)（觸發(fā)控制器B的中斷），控制器B調(diào)用中斷處理過(guò)程，對(duì)消息進(jìn)行校驗(yàn)并回響應(yīng)消息。對(duì)于RoCE鏈路OceanStorDorado采用單邊通信模型，即當(dāng)數(shù)據(jù)發(fā)送成功后，控制器A無(wú)需通知控制器B數(shù)據(jù)已經(jīng)送達(dá)，控制器B會(huì)輪詢(xún)并處理達(dá)到的數(shù)據(jù)，并回響應(yīng)。因此RoCE相比PCIE就減少了通知數(shù)據(jù)已經(jīng)到達(dá)的過(guò)程，減少了交互次數(shù)，時(shí)延更低，帶寬更高。圖3-33PCIe和RoCE交互過(guò)程對(duì)比可靠通信模型（帶對(duì)端確認(rèn)機(jī)制）操作步驟數(shù)RoundTrip總時(shí)延(us)基于PCIe通信模型6~50基于RDMA通信模型3~30RDMA全互聯(lián)設(shè)計(jì)在連接距離、擴(kuò)展靈活性、共享訪(fǎng)問(wèn)上還產(chǎn)生額外收益，下表是PCIE、RoCE以及SAS通道比較。表3-3PCIe/SAS/RDMA(RoCE)可靠通信模型下性能對(duì)比不同組網(wǎng)協(xié)議對(duì)照PCIe(PCIe3.0x4端口)SAS(12GSAS3.0x4端口)RoCE(100GbRDMA端口)性能性能：帶寬(GB/s)3.2410性能：RoundTrip時(shí)延(us)~50~60~30擴(kuò)展性連接距離(銅纜)約0.5米3~5米5~7米最大支持的NVMe盤(pán)數(shù)(塊)占用總線(xiàn)ID與接口卡共用，一般最大支持盤(pán)數(shù)<100不支持無(wú)限制不同組網(wǎng)協(xié)議對(duì)照PCIe(PCIe3.0x4端口)SAS(12GSAS3.0x4端口)RoCE(100GbRDMA端口)熱插拔需先按按鈕再插機(jī)風(fēng)險(xiǎn)支持支持盤(pán)框支持共享訪(fǎng)問(wèn)的控制器數(shù)量2控4控4控NVMeNVMe是一種抽象協(xié)議層，提供可靠的NVMe命令和數(shù)據(jù)傳輸。為了支持?jǐn)?shù)據(jù)中心的網(wǎng)絡(luò)存儲(chǔ)，通過(guò)NVMeoverFabric可以實(shí)現(xiàn)NVMe標(biāo)準(zhǔn)在多種網(wǎng)絡(luò)上的擴(kuò)展，達(dá)到降低存儲(chǔ)網(wǎng)絡(luò)協(xié)議棧處理開(kāi)銷(xiāo)并提供高并發(fā)低延時(shí)的目的，適應(yīng)SSDoverFabric支持把NVMe命令和數(shù)據(jù)映射到多個(gè)Fabric傳輸鏈路，主要包括FC、InfiniBand、RoCEv2、iWARP和。OceanStorDorado支持端到端的NVMe，包括：存儲(chǔ)與主機(jī)網(wǎng)絡(luò)支持FC-NVMe（NVMeoverFC），NVMeoverRoCEv2，后續(xù)將擴(kuò)展到NVMeoverTCP/IP。更高的接口速率，支持32GbpsFC-NVMe和25GbNVMeoverRoCE、100GbNVMeoverRoCE。iSCSI連接TCP/IP協(xié)議棧卸載技術(shù)，減少CPU消耗以及降低網(wǎng)絡(luò)協(xié)議棧時(shí)延。為多核定制設(shè)計(jì)的NVMe多隊(duì)列輪詢(xún)，免鎖處理多并發(fā)I/O底。針對(duì)NVMeSSD訪(fǎng)問(wèn)而設(shè)計(jì)，對(duì)下盤(pán)請(qǐng)求提高讀優(yōu)先級(jí)調(diào)度，減少在寫(xiě)SSD候，對(duì)主機(jī)讀請(qǐng)求的訪(fǎng)問(wèn)阻塞時(shí)長(zhǎng)，使得更快響應(yīng)。采用端到端NVMe設(shè)計(jì)的系統(tǒng)最低訪(fǎng)問(wèn)時(shí)延降低至100us以?xún)?nèi)，相比上一代降幅達(dá)50%。NVMeover端到端部署如圖3-34，華為存儲(chǔ)系統(tǒng)支持從主機(jī)、前端網(wǎng)絡(luò)到存儲(chǔ)系統(tǒng)，包括存儲(chǔ)系統(tǒng)后端的磁盤(pán)框和SSD，全數(shù)據(jù)路徑支持NVMe協(xié)議。主機(jī)OS：支持NVMe協(xié)議的操作系統(tǒng)，SUSE，RetHat等主流操作系統(tǒng)。主機(jī)網(wǎng)卡：FC-HBA卡，RoCE卡，安裝NVMe網(wǎng)卡驅(qū)動(dòng)。SANFabric：FCSwitch，DCBETHSwitch，對(duì)NVMe協(xié)議透明。存儲(chǔ)陣列：DoradoV6系列，F(xiàn)C-NVMe接口卡，NVMEoverRoCE接口卡；硬盤(pán)框：智能NVMe硬盤(pán)框，NVMeSSD。圖3-34NVMeoverFabrics對(duì)于FC-NVMe應(yīng)用，基于現(xiàn)有數(shù)據(jù)中心FCSAN的組網(wǎng)和交換機(jī)配置等基礎(chǔ)設(shè)施，在主機(jī)FCHBA卡上安裝NVMe驅(qū)動(dòng)就可以支持NVMe協(xié)議，保護(hù)已有投資的同時(shí)向NVMe演進(jìn)。對(duì)于NVMeoverRoCE應(yīng)用，需要基于RoCE網(wǎng)卡和DCB以太網(wǎng)交換機(jī)構(gòu)建，適用于新建數(shù)據(jù)中心，實(shí)現(xiàn)數(shù)據(jù)中心的服務(wù)器集群、前端LAN網(wǎng)絡(luò)和存儲(chǔ)SAN網(wǎng)絡(luò)的融合和統(tǒng)一，降低。RoCE網(wǎng)卡和DCB交換機(jī)支持基于業(yè)務(wù)流的擁塞反壓控制，組成了無(wú)丟包增強(qiáng)以太網(wǎng)，是RDMA和NVME運(yùn)行的網(wǎng)絡(luò)基礎(chǔ)。FC/iSCSI/NVMeoF協(xié)議對(duì)比如下圖3-35所示，NVMe作為新一代的塊存儲(chǔ)協(xié)議命令集，從后端直連存儲(chǔ)向全數(shù)據(jù)路徑的網(wǎng)絡(luò)連接存儲(chǔ)的演進(jìn)。圖3-35SCSI和NVMe協(xié)議棧對(duì)比1、NVMe作為SCSI協(xié)議一種替代，定義了一套新的塊存儲(chǔ)協(xié)議命令集，使用PCIe作為傳輸通道，極大的提升了時(shí)延和帶寬。2、FC和iSCSI解決了SCSI協(xié)議的擴(kuò)展和拉遠(yuǎn)問(wèn)題，同樣NVMeoverFabric解決了NVMe的擴(kuò)展和拉遠(yuǎn)問(wèn)題：PCIeNVMe受限PCIe總線(xiàn)地址數(shù)，最大支持255個(gè)節(jié)點(diǎn)，通常只能支持到100個(gè)左右的SSD盤(pán)。PCIeNVMe只能通過(guò)直連方式連接控制器，距離有限。3、NVMeOverRoCE，基于DCB的無(wú)損以太網(wǎng)基礎(chǔ)設(shè)施，利用RDMA的低時(shí)延和低NVMe，并實(shí)現(xiàn)數(shù)據(jù)中心LAN網(wǎng)絡(luò)和SAN網(wǎng)絡(luò)融合。DCB是數(shù)據(jù)中心以太網(wǎng)標(biāo)準(zhǔn)，支持基于業(yè)務(wù)流的擁塞控制和反壓，實(shí)現(xiàn)以太網(wǎng)的無(wú)損不丟包。4、NVMeOverFC，基于現(xiàn)有FC基礎(chǔ)設(shè)施，快速構(gòu)建端到端的NVMe。OceanStorDorado6000,Dorado18000系列產(chǎn)品技術(shù)白皮書(shū)4OceanStorDorado6000,Dorado18000系列產(chǎn)品技術(shù)白皮書(shū)4軟件架構(gòu)01(2021-06-04)PAGE01(2021-06-04)PAGE344軟件架構(gòu)本章節(jié)描述OceanStorDorado通過(guò)對(duì)稱(chēng)Active-Active架構(gòu)實(shí)現(xiàn)系統(tǒng)的負(fù)載均衡，以及配合FlashLink?技術(shù)，針對(duì)SSD的特點(diǎn)，進(jìn)行深度優(yōu)化，充分發(fā)揮全閃存存儲(chǔ)系統(tǒng)性能。OceanStorDorado全系列都采統(tǒng)一軟件架構(gòu)，支持互聯(lián)互通。SAN/NAS一體化統(tǒng)一存儲(chǔ)架構(gòu)FlashLink?豐富增值特性SAN/NAS一體化統(tǒng)一存儲(chǔ)架構(gòu)OceanStorDorado采用SAN/NAS一體化設(shè)計(jì)，不需要單獨(dú)的NAS網(wǎng)關(guān)設(shè)備，一套軟硬件同時(shí)支持SAN和NAS，支持NFS、CIFS文件訪(fǎng)問(wèn)協(xié)議和、iSCSI、NOF等塊訪(fǎng)問(wèn)協(xié)議。SAN和NAS均支持多控的Scale-out技術(shù)，主機(jī)可以從任意1個(gè)控制器上的前端主機(jī)端口訪(fǎng)問(wèn)任意1個(gè)或文件系統(tǒng)。圖4-1OceanStorDorado軟件架構(gòu)圖OceanStorDorado的系統(tǒng)架構(gòu)自下而上包括以下子系統(tǒng)：存儲(chǔ)池(StoragePool)：提供全局統(tǒng)一的存儲(chǔ)池服務(wù)，采用ROW(Redirectonwrite)技術(shù)進(jìn)行空間分配，為數(shù)據(jù)進(jìn)行全局的重刪和壓縮功能，對(duì)元數(shù)據(jù)和數(shù)據(jù)進(jìn)行識(shí)別并分流寫(xiě)入SSD，提供RAID2.0+全局快速重構(gòu)功能和全局的后臺(tái)垃圾回收功能?？臻g管理層(SpaceManagement)：基于ThinProvision按需分配機(jī)制，分別為和文件系統(tǒng)提供空間分配和回收管理服務(wù)。全局Cache(GlobalCache)：提供全局統(tǒng)一的Cache服務(wù)，為和文件系統(tǒng)提供讀寫(xiě)緩存和元數(shù)據(jù)緩存。數(shù)據(jù)服務(wù)層(DataServiceLayer)：提供統(tǒng)一的數(shù)據(jù)復(fù)制、復(fù)制管理、配置管理和復(fù)制網(wǎng)絡(luò)管理服務(wù)，為和文件系統(tǒng)提供遠(yuǎn)程復(fù)制、雙活等容災(zāi)能力。協(xié)議層(ProtocalLayer)：分別為和文件系統(tǒng)提供協(xié)議服務(wù)，提供協(xié)議的解析處理、I/O收發(fā)、錯(cuò)誤處理。OceanStorDorado的架構(gòu)上，文件系統(tǒng)和LUN都是直接從存儲(chǔ)池直接分配空間并提供服務(wù)的，屬于SAN/NAS平行架構(gòu)，即文件系統(tǒng)和LUN都直接與底層的存儲(chǔ)池交互。相比傳統(tǒng)在基礎(chǔ)上創(chuàng)建文件系統(tǒng)和在文件系統(tǒng)上創(chuàng)建的架構(gòu)，這樣的軟件架構(gòu)為和文件系統(tǒng)都能提供最短的I/O的空間管理保持獨(dú)立，互不影響，增強(qiáng)了可靠性。Active-Active的SAN邏輯架構(gòu)在A(yíng)LUA（AsymmetricLogicUnitAccess）架構(gòu)中，LUN有歸屬控制器，客戶(hù)在創(chuàng)建的時(shí)候，需要對(duì)的歸屬進(jìn)行規(guī)劃，以盡可能的實(shí)現(xiàn)系統(tǒng)中每個(gè)控制器的負(fù)載均衡。但是由于不同的業(yè)務(wù)壓力各不相同，同一個(gè)不同時(shí)段的壓力也不相同，在實(shí)際情況下架構(gòu)難以實(shí)現(xiàn)系統(tǒng)的負(fù)載均衡。OceanStorDorado軟件采用SymmetricActive-Active架構(gòu)。通過(guò)均衡算法，實(shí)現(xiàn)每個(gè)控制器接收到的主機(jī)讀寫(xiě)請(qǐng)求是均衡的；通過(guò)全局緩存技術(shù)實(shí)現(xiàn)無(wú)歸屬，每個(gè)控制器收到的讀寫(xiě)請(qǐng)求，就在本控制器處理（而不像AULA存儲(chǔ)需要轉(zhuǎn)發(fā)到LUN歸屬控制器處理），實(shí)現(xiàn)了控制器壓力均衡；通過(guò)RAID2.0+技術(shù)，數(shù)據(jù)均勻的分布到存儲(chǔ)池內(nèi)的所有硬盤(pán)上，實(shí)現(xiàn)盤(pán)的壓力均衡；全局負(fù)載均衡OceanStorDorado每個(gè)主機(jī)讀寫(xiě)請(qǐng)求，應(yīng)該被存儲(chǔ)系統(tǒng)的哪個(gè)控制器處理，是通過(guò)對(duì)HASH計(jì)算來(lái)確定的。華為主機(jī)多路徑（UltraPath）、前端共享接口模塊、以及控制器，協(xié)商了相同的HASH計(jì)算方法和參數(shù)，實(shí)現(xiàn)讀寫(xiě)請(qǐng)求的智慧分發(fā)。多路徑軟件和前端共享接口模塊，會(huì)盡力把主機(jī)的讀寫(xiě)請(qǐng)求分發(fā)到這個(gè)讀寫(xiě)請(qǐng)求最終被處理的控制器，避免了在控制器內(nèi)部的轉(zhuǎn)發(fā)。在沒(méi)有使用華為多路徑及前端共享接口模塊的情況下，控制器收到主機(jī)請(qǐng)求后，首先會(huì)根據(jù)主機(jī)請(qǐng)求LBA的HASH計(jì)算結(jié)果，把請(qǐng)求轉(zhuǎn)發(fā)到最終處理的控制器，也保證每個(gè)控制器處理的主機(jī)讀寫(xiě)請(qǐng)求是均衡的。華為主機(jī)多路徑把主機(jī)I/O請(qǐng)求發(fā)送到最優(yōu)的控制框上的共享接口模塊，共享接口模塊再把I/O請(qǐng)求發(fā)送到最優(yōu)的控制器處理。單控制框的場(chǎng)景下，不需要依賴(lài)多路徑能力，共享接口模塊也能實(shí)現(xiàn)I/O請(qǐng)求的最優(yōu)分發(fā)，有效避免了框內(nèi)控制器間再轉(zhuǎn)發(fā)。多控制框的場(chǎng)景下，推薦使用華為多路徑軟件，可以有效避免跨框之間的前端IO轉(zhuǎn)發(fā)。Active-Active的NAS邏輯架構(gòu)在傳統(tǒng)NAS文件系統(tǒng)架構(gòu)中，業(yè)界一般采用Active-Passive架構(gòu)，文件系統(tǒng)歸屬某1個(gè)控制器，在創(chuàng)建文件系統(tǒng)的時(shí)候，需要對(duì)文件系統(tǒng)的歸屬進(jìn)行規(guī)劃，采用多個(gè)文件系統(tǒng)運(yùn)行在不同的控制器上，實(shí)現(xiàn)系統(tǒng)中每個(gè)控制器的負(fù)載均衡。這樣的NAS架構(gòu)，如果只有1個(gè)文件系統(tǒng)只能發(fā)揮1個(gè)控制器的硬件性能，無(wú)法把多控制器的硬件資源都利用起來(lái)獲得更高的性能，因此無(wú)法支持單一命名空間(SingleNameSpace)。如果采用創(chuàng)建多個(gè)文件系統(tǒng)，由于不同文件系統(tǒng)的業(yè)務(wù)壓力各不相同，也很難以實(shí)現(xiàn)系統(tǒng)的負(fù)載均衡。OceanStorDorado的NAS采用分布式文件系統(tǒng)架構(gòu)，文件系統(tǒng)沒(méi)有歸屬控制器，通過(guò)均衡算法將文件系統(tǒng)的目錄和文件均衡寫(xiě)入每個(gè)控制器，實(shí)現(xiàn)每個(gè)控制器接收到的主機(jī)讀寫(xiě)請(qǐng)求是均衡的，使得1以根據(jù)自己的業(yè)務(wù)規(guī)劃靈活的使用單一命名空間的文件系統(tǒng)或者多個(gè)文件系統(tǒng)。Active-Active文件系統(tǒng)OceanStorDorado的NAS分布式文件系統(tǒng)架構(gòu)兼具海量小文件和大文件并存的文件共享場(chǎng)景，采用基于目錄的分布式打散策略，以目錄為粒度將數(shù)據(jù)均衡打散寫(xiě)入到各個(gè)控制器，達(dá)到負(fù)載均衡的目的。目錄與目錄下的子文件歸屬相同的控制器進(jìn)行I/O處理，避免跨控制器轉(zhuǎn)發(fā)，以提升目錄遍歷查詢(xún)、屬性遍歷查詢(xún)、批量屬性設(shè)置等場(chǎng)景的性能。針對(duì)大文件，當(dāng)大文件寫(xiě)入OceanStorDorado的存儲(chǔ)池時(shí)，通過(guò)RAID2.0+的全局?jǐn)?shù)據(jù)塊打散技術(shù)，可以將大文件的數(shù)據(jù)塊打散到存儲(chǔ)池的所有硬盤(pán)上，提升大文件的寫(xiě)入帶寬。圖4-2NAS均衡策略O(shè)ceanStorDoradoNAS支持兩種目錄均衡打散策略：LocalAllocation：主機(jī)寫(xiě)入的目錄優(yōu)先從所掛載IP的控制器直接寫(xiě)入和讀取，以獲得最佳性能和時(shí)延。系統(tǒng)后臺(tái)根據(jù)各個(gè)控制器管理的數(shù)據(jù)容量、文件數(shù)量和負(fù)載，動(dòng)態(tài)調(diào)整遠(yuǎn)端分配比例，即當(dāng)某個(gè)控制器的負(fù)載、管理的數(shù)據(jù)容量或者管理的文件數(shù)量高于其他控制器一定閾值后，系統(tǒng)會(huì)自動(dòng)將遠(yuǎn)端控制器分配比例調(diào)高，以讓每個(gè)控制器的負(fù)載和管理容量達(dá)到均衡。此模式為OceanStorDorado的默認(rèn)分配模式，在存儲(chǔ)的每個(gè)控制器的每個(gè)IP被主機(jī)均衡掛載時(shí)能獲得最佳性能，適合EDA仿真、HPC譯、并行計(jì)算等對(duì)性能和時(shí)延要求較高的場(chǎng)景，推薦與OceanStorDorado的內(nèi)置DNS服務(wù)功能配合使用，內(nèi)置DNS服務(wù)將自動(dòng)為主機(jī)掛載進(jìn)均衡的分配。BalanceAllocation：主機(jī)寫(xiě)入的目錄直接進(jìn)行按控制器負(fù)載均衡的打散寫(xiě)入，以在一開(kāi)始就獲得最佳的負(fù)載均衡能力，系統(tǒng)后臺(tái)仍然會(huì)根據(jù)各控制器的管理容量等信息進(jìn)行均衡調(diào)整。此模式適合主機(jī)掛載存儲(chǔ)的IP地址不均勻、壓力不均勻，應(yīng)用與對(duì)時(shí)延不高的文件共享場(chǎng)景。圖4-3大目錄性能均衡當(dāng)系統(tǒng)存在熱點(diǎn)目錄，即某個(gè)目錄和目錄下的子文件訪(fǎng)問(wèn)十分頻繁，OceanStorDorado支持將熱點(diǎn)目錄負(fù)載到多個(gè)CPU免熱點(diǎn)效應(yīng)。NAS協(xié)議NFS協(xié)議圖4-4NFS應(yīng)用組網(wǎng)圖NFS(NetworkFileSystem)網(wǎng)絡(luò)文件系統(tǒng)，是在linux/unix環(huán)境里面普遍使用的網(wǎng)絡(luò)文件共享協(xié)議。NFS的應(yīng)用場(chǎng)景主要有：面向UNIX/LINUX/AIX/SOLARIS等類(lèi)UNIX操作系統(tǒng)的網(wǎng)絡(luò)文件共享。Vmware/XEN/虛擬機(jī)應(yīng)用場(chǎng)景SAPHANA/Oracle數(shù)據(jù)庫(kù)應(yīng)用場(chǎng)景OceanStorDorado支持NFS協(xié)議版本包括NFSV3、NFSV4.1(詳細(xì)參考產(chǎn)品規(guī)格清單)，支持本地用戶(hù)環(huán)境（無(wú)域環(huán)境）以及LDAP/NIS域控管理網(wǎng)絡(luò)環(huán)境，LDAP支持導(dǎo)入證書(shū)提供LDAPS的安全域傳輸。在多租戶(hù)環(huán)境下，支持每個(gè)租戶(hù)單獨(dú)配置LDAP/NIS服務(wù)。CIFS協(xié)議圖4-5CIFS應(yīng)用組網(wǎng)圖SMB（ServerMessageBlock）也稱(chēng)為CIFS（CommonInternetFileSystem，公共互聯(lián)網(wǎng)文件系統(tǒng)），是在Windows環(huán)境里面普遍使用的網(wǎng)絡(luò)文件共享協(xié)議。SMB的應(yīng)用場(chǎng)景主要有：面向Windows操作系統(tǒng)的網(wǎng)絡(luò)文件共享。虛擬機(jī)應(yīng)用場(chǎng)景OceanStorDorado支持SMB2.0/SMB3.0協(xié)議，支持本地用戶(hù)環(huán)境（無(wú)域環(huán)境）以及AD域控管理網(wǎng)絡(luò)環(huán)境，能基于A(yíng)D域的Kerberos和NTLM認(rèn)證鑒權(quán)，支持單一域、父子域、信任域等AD域網(wǎng)絡(luò)環(huán)境。在多租戶(hù)環(huán)境下，支持每個(gè)租戶(hù)配置獨(dú)立的AD域。跨協(xié)議訪(fǎng)問(wèn)OceanStorDorado支持NFS/SMB跨協(xié)議訪(fǎng)問(wèn)，能為一個(gè)文件系統(tǒng)既配置NFS共享服務(wù)又配置SMB共享服務(wù)，系統(tǒng)通過(guò)MultiprotocalLockmanager進(jìn)行分布式鎖管理，保證NFS/SMB能互斥的訪(fǎng)問(wèn)相同的文件，不會(huì)造成文件損壞或數(shù)據(jù)不一致?？鐓f(xié)議訪(fǎng)問(wèn)場(chǎng)景下的安全模式，OceanStorDorado當(dāng)前僅支持2種：NT模式：僅允許在window端通過(guò)SMB設(shè)置文件的屬性和ACL據(jù)配置好的用戶(hù)映射關(guān)系，將SMB用戶(hù)的文件權(quán)限映射到NFS端，從而NFS端使用對(duì)應(yīng)的Linux用戶(hù)來(lái)訪(fǎng)問(wèn)該文件時(shí)可以成功鑒權(quán)。在NFS端該模式會(huì)禁止用戶(hù)設(shè)置文件的Mode和ACL權(quán)限。UNIX模式：僅允許在Linux/UNIX端通過(guò)NFS設(shè)置文件的權(quán)限，系統(tǒng)會(huì)自動(dòng)根據(jù)配置好的用戶(hù)映射關(guān)系，將Linux用戶(hù)的文件權(quán)限映射到SMB端，從而SMB端使用對(duì)應(yīng)的用戶(hù)來(lái)訪(fǎng)問(wèn)該文件時(shí)可以成功鑒權(quán)。在SMB端該模式會(huì)禁止用戶(hù)設(shè)置文件的ACL權(quán)限。NDMP協(xié)議NDMP（NetworkDataManagementProtocol）網(wǎng)絡(luò)數(shù)據(jù)管理協(xié)議，是一種基于企業(yè)級(jí)數(shù)據(jù)管理的開(kāi)放協(xié)議。最初是由NetworkApplianceLegatoSystems公司聯(lián)合開(kāi)發(fā)設(shè)計(jì)的，當(dāng)前存儲(chǔ)網(wǎng)絡(luò)行業(yè)協(xié)會(huì)（SNIA）成立了一個(gè)工作組專(zhuān)門(mén)負(fù)責(zé)制定此協(xié)議標(biāo)準(zhǔn)。NDMP協(xié)議定義了一種基于網(wǎng)絡(luò)的控制機(jī)制，該機(jī)制的作用在于控制數(shù)據(jù)的備份和恢復(fù)過(guò)程，以及控制數(shù)據(jù)在存儲(chǔ)系統(tǒng)和磁帶庫(kù)之間的傳輸。NDMP可以讓存儲(chǔ)系統(tǒng)直接向其所連接的磁帶庫(kù)或者位于網(wǎng)絡(luò)上的備份服務(wù)器發(fā)送需要備份的數(shù)據(jù)，這個(gè)過(guò)程不需要任何備份客戶(hù)端的參與，也不會(huì)占用大量網(wǎng)絡(luò)資源和服務(wù)器資源。NDMP的組網(wǎng)架構(gòu)包括3類(lèi)設(shè)備：NDMP客戶(hù)端、NDMP服務(wù)器、帶庫(kù)；采用數(shù)控分離的架構(gòu)實(shí)現(xiàn)數(shù)據(jù)從存儲(chǔ)到存儲(chǔ)的直接傳輸，實(shí)現(xiàn)serverfree數(shù)據(jù)源端和目標(biāo)端設(shè)備均支持NDMP協(xié)議。OceanStorDorado支持基于NDMP的NAS圖4-7）的備份組網(wǎng)拓?fù)涔δ?。NDMP客戶(hù)端為安裝有備份軟件的備份服務(wù)器，提供備份作業(yè)的配置管理和備份任務(wù)控制操作；NDMP服務(wù)器為OceanStorDorado存儲(chǔ)設(shè)備，提供備份源端文件系統(tǒng)的NDMP協(xié)議讀寫(xiě)能力、快照和快照差異比獲取能力，提供帶庫(kù)的驅(qū)動(dòng)訪(fǎng)問(wèn)能力；帶寬為提供FC/iSCSC驅(qū)動(dòng)訪(fǎng)問(wèn)接口的第三方帶庫(kù)或VTL設(shè)備，提供備份數(shù)據(jù)的存儲(chǔ)和讀寫(xiě)能力。OceanStorDorado6000,Dorado18000系列產(chǎn)品技術(shù)白皮書(shū)4軟件架構(gòu)OceanStorDorado6000,Dorado18000系列產(chǎn)品技術(shù)白皮書(shū)4軟件架構(gòu)圖4-62way組網(wǎng)拓?fù)?1(2021-06-04)PAGE01(2021-06-04)PAGE41OceanStorDorado6000,Dorado18000系列產(chǎn)品技術(shù)白皮書(shū)4軟件架構(gòu)OceanStorDorado6000,Dorado18000系列產(chǎn)品技術(shù)白皮書(shū)4軟件架構(gòu)圖4-73way組網(wǎng)拓?fù)?1(2021-06-04)PAGE01(2021-06-04)PAGE42內(nèi)置DNS負(fù)載均衡OceanStorDorado6000,Dorado18000系列產(chǎn)品技術(shù)白皮書(shū)4OceanStorDorado6000,Dorado18000系列產(chǎn)品技術(shù)白皮書(shū)4軟件架構(gòu)01(2021-06-04)PAGE01(2021-06-04)PAGE43在NAS環(huán)境中，主機(jī)可通過(guò)域名訪(fǎng)問(wèn)存儲(chǔ)陣列上的服務(wù)。當(dāng)同一域名下有多個(gè)IP地址時(shí)，可通過(guò)DNS實(shí)現(xiàn)不同IP間的負(fù)載均衡。外置的DNS服務(wù)器無(wú)法感知陣列上各IP節(jié)點(diǎn)的CPU利用率、所在端口的帶寬利用率等負(fù)載情況，通常只能提供簡(jiǎn)單的round-robin策略，無(wú)法真實(shí)的反應(yīng)各IP的負(fù)載情況，均衡效果不理想。使用傳統(tǒng)外置DNS服務(wù)器主要有以下問(wèn)題：均衡策略，無(wú)法感知陣列上各IP所在節(jié)點(diǎn)的CPU利用率、所在端口的帶寬利用率等負(fù)載情況，均衡效果不理想。依賴(lài)外置DNS服務(wù)器穩(wěn)定性，陣列不能提供高可靠的域名解析服務(wù)。OceanStorDorado提供一種新的內(nèi)置DNS負(fù)載均衡技術(shù)，可以感知陣列上各IP的負(fù)載情況，獲得更好的負(fù)載均衡效果，從而提升存儲(chǔ)業(yè)務(wù)性能和可靠性。OceanStorDoradoDNS負(fù)載均衡特性支持的策略有輪循方式、按節(jié)點(diǎn)CPU利用率、按節(jié)點(diǎn)連接數(shù)、按節(jié)點(diǎn)帶寬利用率、按節(jié)點(diǎn)綜合負(fù)載，其選擇參考如表所示。名稱(chēng)說(shuō)明優(yōu)點(diǎn)缺點(diǎn)加權(quán)輪詢(xún)需負(fù)載的各IP以處理客戶(hù)端業(yè)務(wù)。NAS各業(yè)務(wù)本身差異不大時(shí)，均衡效果最佳。僅在各IP間均衡，無(wú)法感況。任何DNS域名請(qǐng)求（如客ping、nslookup請(qǐng)求或showmount命令等），超時(shí)或認(rèn)證失敗的業(yè)務(wù)連接都會(huì)影響負(fù)載均衡。CPU利用率各節(jié)點(diǎn)CPU使用處理客戶(hù)端業(yè)務(wù)。依賴(lài)的數(shù)據(jù)為CPU使用率，能夠以權(quán)值概率來(lái)選擇性能數(shù)據(jù)中CPU使用率最低的節(jié)點(diǎn)處理客戶(hù)端業(yè)務(wù)，同時(shí)也能應(yīng)對(duì)并發(fā)場(chǎng)景。CPU使用率需要各節(jié)點(diǎn)承擔(dān)業(yè)務(wù)才會(huì)顯著變化，先掛載的客戶(hù)端必須跑業(yè)務(wù)，后續(xù)才能有效的按CPU利用率進(jìn)行負(fù)載均衡，具有一定的時(shí)延性。帶寬利用率當(dāng)客戶(hù)端通過(guò)域名訪(fǎng)問(wèn)時(shí)，根據(jù)各節(jié)點(diǎn)總帶寬利用率性能數(shù)據(jù)計(jì)算權(quán)重，以權(quán)值作為概率選擇節(jié)點(diǎn)處理客戶(hù)端業(yè)務(wù)。依賴(lài)的數(shù)據(jù)為節(jié)點(diǎn)總帶寬使用率，能夠以權(quán)值概率來(lái)選擇性能數(shù)據(jù)中端口總帶寬使用率最低的節(jié)點(diǎn)處理客戶(hù)端業(yè)務(wù)，同時(shí)也能應(yīng)對(duì)并發(fā)場(chǎng)景。分到各物理端口上。掛載的客戶(hù)端必須跑業(yè)名稱(chēng)說(shuō)明優(yōu)點(diǎn)缺點(diǎn)NAS連接數(shù)各節(jié)點(diǎn)NAS連接處理客戶(hù)端業(yè)務(wù)。依賴(lài)的數(shù)據(jù)為節(jié)點(diǎn)NAS連接數(shù)，能夠以權(quán)值概率來(lái)選擇性能數(shù)據(jù)中連接數(shù)最少的節(jié)點(diǎn)處理客戶(hù)端業(yè)務(wù)，同時(shí)也能應(yīng)對(duì)并發(fā)場(chǎng)景。會(huì)影響客戶(hù)端的負(fù)載均衡。如果已掛載的NFS業(yè)務(wù)沒(méi)到該節(jié)點(diǎn)，影響負(fù)載均衡。綜合負(fù)載當(dāng)客戶(hù)端通過(guò)域名訪(fǎng)問(wèn)時(shí)，根據(jù)性能數(shù)據(jù)的節(jié)點(diǎn)綜合負(fù)載選擇節(jié)點(diǎn)處理客戶(hù)端業(yè)務(wù)。根據(jù)CPU利用率、帶寬利用率和NAS連接數(shù)計(jì)算節(jié)點(diǎn)負(fù)載，負(fù)載越低則被選中的概率越高。到節(jié)點(diǎn)的CPU使端業(yè)務(wù)。的節(jié)點(diǎn)承擔(dān)業(yè)負(fù)載均衡。綜合負(fù)載統(tǒng)計(jì)需要節(jié)點(diǎn)承擔(dān)業(yè)務(wù)才會(huì)顯著變化，先掛載的客戶(hù)端必須進(jìn)行業(yè)務(wù)，后續(xù)才能有效的按綜合負(fù)載進(jìn)行負(fù)載均衡，具有一定的時(shí)延性。審計(jì)日志審計(jì)日志特性是對(duì)設(shè)備的操作進(jìn)行日志記錄，提供日志審計(jì)功能實(shí)現(xiàn)設(shè)備訪(fǎng)問(wèn)安全管理和業(yè)務(wù)規(guī)律和趨勢(shì)的分析判斷。OceanStorDorado審計(jì)日志（如圖4-8所示）支持管理操作審計(jì)日志和NAS業(yè)務(wù)操作審計(jì)日志。圖4-8審計(jì)日志業(yè)務(wù)訪(fǎng)問(wèn)的審計(jì)是針對(duì)NAS服務(wù)業(yè)務(wù)對(duì)NAS客戶(hù)端的訪(fǎng)問(wèn)操作進(jìn)行日志記錄，采用獨(dú)立的審計(jì)日志文件系統(tǒng)記錄日志。該功能按租戶(hù)為單位支持使能配置，租戶(hù)間相互獨(dú)立，支持保證模式和非保證模式，支持配置具體的審計(jì)操作對(duì)象（具體的配置對(duì)象參考特性指南說(shuō)明）。租戶(hù)的審計(jì)日志功能一旦開(kāi)啟，則對(duì)應(yīng)審計(jì)的操作需要先記錄操作日志，再執(zhí)行操作任務(wù)。在保證模式下如果操作日志記錄失敗則操作不執(zhí)行，可能會(huì)造成業(yè)務(wù)中斷；非保證模式下操作將繼續(xù)執(zhí)行，但記錄的操作日志信息將不完整，系統(tǒng)默認(rèn)為保證模式，客戶(hù)可以在線(xiàn)修改。審計(jì)日志文件系統(tǒng)采用evt該文件系統(tǒng)支持實(shí)時(shí)共享給審計(jì)日志服務(wù)器進(jìn)行審計(jì)訪(fǎng)問(wèn)。配置管理的審計(jì)是針對(duì)設(shè)備管理員對(duì)設(shè)備的配置管理操作進(jìn)行的日志記錄，僅記錄配置修改類(lèi)操作（查詢(xún)類(lèi)不記錄），該日志文件采用系統(tǒng)內(nèi)部文件存儲(chǔ)，不支持提供在線(xiàn)訪(fǎng)問(wèn)功能，該功能默認(rèn)使能（不能關(guān)閉），支持實(shí)時(shí)導(dǎo)出查詢(xún)（導(dǎo)出格式可以選CSV和TXT格式），支持CSV格式轉(zhuǎn)存日志備份服務(wù)器。全局緩存OceanStorDorado中，所有控制器節(jié)點(diǎn)的緩存一起構(gòu)成全局緩存。每個(gè)LUN的數(shù)據(jù)，都是均勻的分布到所有節(jié)點(diǎn)的緩存中，被所有的控制器處理，實(shí)現(xiàn)了LUN無(wú)歸屬。圖4-9為高端系列的讀寫(xiě)流程示意圖，圖中存儲(chǔ)系統(tǒng)包括兩個(gè)控制框，一共八個(gè)控制器。圖4-9讀寫(xiě)流程示意圖1、多路徑軟件把主機(jī)讀寫(xiě)請(qǐng)求分發(fā)到前端接口模塊。如果是華為多路徑（UltraPath），多路徑會(huì)根據(jù)與存儲(chǔ)系統(tǒng)協(xié)商的均衡算法，判斷本次讀寫(xiě)請(qǐng)求會(huì)被存儲(chǔ)系統(tǒng)的哪個(gè)控制器處理，會(huì)優(yōu)選對(duì)應(yīng)該控制器的鏈路。2、前端接口模塊接收到讀寫(xiě)請(qǐng)求后，把讀寫(xiě)請(qǐng)求發(fā)送到處理該請(qǐng)求的控制器。3、對(duì)寫(xiě)請(qǐng)求，全局緩存把數(shù)據(jù)存放到本節(jié)點(diǎn)后，并鏡像到鏡像節(jié)點(diǎn)，可以配置為保存一份或者兩份鏡像副本（兩副本以上配置能力是高端可配置特性，需要License授權(quán)）。如果是讀請(qǐng)求，檢查在緩存中是否命中，如果命中，則轉(zhuǎn)到步驟4；如果不命中，則轉(zhuǎn)到步驟5。4、向主機(jī)返回寫(xiě)成功或者讀到的數(shù)據(jù)。5者讀到的數(shù)據(jù)。RAID2.0+存儲(chǔ)的數(shù)據(jù)，最終都會(huì)存儲(chǔ)到SSD致某些壓力大的SSD盤(pán)成為系統(tǒng)的瓶頸。OceanStorDorado通過(guò)RAID2.0+技術(shù)，通過(guò)細(xì)粒度的劃分，實(shí)現(xiàn)所有的數(shù)據(jù)均衡的分布在每個(gè)SSD盤(pán)上，實(shí)現(xiàn)盤(pán)的負(fù)載均衡。RAID2.0的機(jī)制：多個(gè)SSD組成一個(gè)存儲(chǔ)池（Sto