華為OceanStor-100D對象存儲(chǔ)解決方案介紹

OceanStor分布式對象存儲(chǔ)解決方案介紹

云存儲(chǔ)池化方式資源即效勞，共享存儲(chǔ)池，最大化資源利用率超大規(guī)模數(shù)據(jù)存儲(chǔ)和大數(shù)據(jù)應(yīng)用下，數(shù)據(jù)集中化提升存儲(chǔ)資源利用率180ZB預(yù)計(jì)2025年數(shù)據(jù)量7X24h不間斷運(yùn)行滿足大業(yè)務(wù)量性能要求滿足未來5年業(yè)務(wù)開展要求新興應(yīng)用的崛起應(yīng)用1應(yīng)用2新建應(yīng)用N云存儲(chǔ)資源池按需、彈性供給存儲(chǔ)資源Analysis分析型應(yīng)用分布式架構(gòu)60%2015202025%35%傳統(tǒng)架構(gòu)40%事務(wù)型應(yīng)用Source:IDC,Gartner,AWSWorkloadEstimates核心數(shù)據(jù)處理接入訪問萎縮增長重構(gòu)傳統(tǒng)架構(gòu)80%分布式架構(gòu)20%10%30%分布式架構(gòu)是實(shí)現(xiàn)資源池化的關(guān)鍵手段專有設(shè)備主導(dǎo)“加大云存儲(chǔ)應(yīng)用推廣”集中式主導(dǎo)分布式主導(dǎo)通用設(shè)備主導(dǎo)海量數(shù)據(jù)實(shí)時(shí)處理〔舉例：BSS系統(tǒng)、CDR話單〕承載在小型機(jī)上承載在效勞器上Web接入，移動(dòng)，社交類應(yīng)用〔舉例：營業(yè)廳、網(wǎng)上商城〕對象存儲(chǔ)降低系統(tǒng)復(fù)雜度，提升擴(kuò)展性線性擴(kuò)展可支持百億級(jí)對象存儲(chǔ)大文件存儲(chǔ)TB級(jí)的文件跨區(qū)域互聯(lián)跨區(qū)域可訪問，復(fù)制元數(shù)據(jù)可擴(kuò)展自定義元數(shù)據(jù)訪問友好RESTAPI，Http，Https對象存儲(chǔ)23415ObjectObjectObjectObjectObject二三類賬戶在線業(yè)務(wù)創(chuàng)新滿足強(qiáng)監(jiān)管要求15年歷史文件提升為千億級(jí)文件30年以上在線存放隨時(shí)追溯審計(jì)、澄清糾紛全生命周期可查可追溯從隔日/隔周升級(jí)為實(shí)時(shí)在線從本省授權(quán)升級(jí)為跨地域?qū)徟鷺I(yè)務(wù)連續(xù)性要求從半小時(shí)級(jí)提升為“零”中斷，TCO下降對象接口數(shù)據(jù)平面票據(jù)、身份、合約等影像數(shù)據(jù)票據(jù)客戶信息會(huì)計(jì)憑證交易過程數(shù)據(jù)….傳統(tǒng)存儲(chǔ)架構(gòu)隔日/隔周審批離線或紙質(zhì)歸檔二三類賬戶APP生物識(shí)別錄音錄像…實(shí)時(shí)在線全生命周期存放票據(jù)影像業(yè)務(wù)訴求：超長生命周期可訪問、歸檔數(shù)據(jù)實(shí)時(shí)可查數(shù)據(jù)收集和預(yù)處理AI訓(xùn)練仿真AI推理AI應(yīng)用興起，海量數(shù)據(jù)讓自動(dòng)駕駛走入生活數(shù)據(jù)導(dǎo)入數(shù)據(jù)預(yù)處理百GB/s帶寬海量小文件極致OPS和時(shí)延數(shù)十GB/s帶寬極致時(shí)延每車每天60TB數(shù)據(jù)百PB級(jí)，數(shù)據(jù)存不下S3、NFS、HDFS多接口海量數(shù)據(jù)拷貝，分析效率低同時(shí)要求高帶寬和高OPS超低時(shí)延，性能挑戰(zhàn)大GPS毫米波雷達(dá)激光雷達(dá)超聲波傳感器攝像頭AI訓(xùn)練仿真<1ms時(shí)延百PB級(jí)L2演進(jìn)到L3里程10x，數(shù)據(jù)20xS3/NFSHDFSNFSNFS/CIFSNFS/HDFS驗(yàn)證數(shù)據(jù)備份：企業(yè)關(guān)鍵數(shù)據(jù)數(shù)據(jù)保護(hù)需適配多種應(yīng)用及軟件快速規(guī)劃和建立災(zāi)難恢復(fù)流程共享數(shù)據(jù)，跨地域、跨業(yè)務(wù)系統(tǒng)，減少數(shù)據(jù)重復(fù)和流動(dòng)災(zāi)備中心生產(chǎn)中心災(zāi)難恢復(fù)跨地域部署盡可能縮短備份窗口，提升備份和恢復(fù)性能高效備份RTO≦XRPO≦Y具備自動(dòng)化管理能力，便于管理員維護(hù)和操作數(shù)據(jù)平安性自動(dòng)化數(shù)據(jù)管理具備兼容多種備份軟件的能力，

NBU，TSM，Networker，CV，Atempo，Rubrik……兼容性海量數(shù)據(jù)存儲(chǔ)關(guān)鍵訴求：集中管理、彈性擴(kuò)展內(nèi)容存儲(chǔ)、數(shù)據(jù)使用需擁有實(shí)時(shí)、即時(shí)的查詢和存儲(chǔ)能力能夠在短時(shí)間內(nèi)處理海量數(shù)據(jù)，為業(yè)務(wù)提升客戶體驗(yàn)支持分支機(jī)構(gòu)跨地域部署支持?jǐn)?shù)據(jù)同步和共享一次寫，很少讀，數(shù)據(jù)量巨大分級(jí)歸檔，可離線保存超長的數(shù)據(jù)生命周期，硬件設(shè)備可更替、可更換、可升級(jí)指數(shù)級(jí)的數(shù)據(jù)增長不能帶來指數(shù)級(jí)的費(fèi)用投入數(shù)據(jù)保護(hù)、備份資源池存儲(chǔ)效勞不中斷、備份/歸檔數(shù)據(jù)不喪失法規(guī)、審計(jì)的要求，數(shù)據(jù)需長時(shí)間保存，系統(tǒng)規(guī)模增長時(shí)，能夠靈活擴(kuò)展重刪技術(shù)，最小化建設(shè)投資部署和維護(hù)簡單熱數(shù)據(jù)溫?cái)?shù)據(jù)冷數(shù)據(jù)溫冷數(shù)據(jù)分級(jí)歸檔生產(chǎn)存儲(chǔ)本地備份異地備份……無憂更快更大省事OceanStor100D分布式對象存儲(chǔ)最大企業(yè)級(jí)商用存儲(chǔ)集群4096節(jié)點(diǎn)，EB級(jí)，彈性伸縮同類產(chǎn)品最高，所買即所得單桶支持1000億對象業(yè)務(wù)0宕機(jī)多重?cái)?shù)據(jù)保護(hù)99.9999%高可用簡單易用，運(yùn)維無憂存儲(chǔ)資源池替代煙囪式存儲(chǔ)40%TCO節(jié)省OceanStor創(chuàng)新存儲(chǔ)架構(gòu)自動(dòng)負(fù)載均衡跨域部署、異步復(fù)制快速擴(kuò)容幫助企業(yè)構(gòu)筑彈性云存儲(chǔ)資源池按需擴(kuò)展OceanStor

100DOceanStor

100DOceanStor

100D桶1桶2桶3集群A集群B集群C跨域部署，多地域多集群統(tǒng)一域名訪問廣州北京上海深圳對象存儲(chǔ)資源池LAN/WANObject統(tǒng)一域名訪問支持跨地域的數(shù)據(jù)分析可構(gòu)建基于全局的域名或基于區(qū)域的域名統(tǒng)一域名：ObjectObjectObjectObjectObjectObjectObjectObject5分鐘/節(jié)點(diǎn)快速擴(kuò)容構(gòu)建海量存儲(chǔ)池，業(yè)務(wù)無感知資源池?cái)U(kuò)容僅需5分鐘/節(jié)點(diǎn)自動(dòng)平衡容量和性能自動(dòng)遷移數(shù)據(jù)到新節(jié)點(diǎn),無需支付額外效勞費(fèi)智能流控，不中斷業(yè)務(wù)，更不影響業(yè)務(wù)已有節(jié)點(diǎn)新節(jié)點(diǎn)OceanStor

100D更大的存儲(chǔ)池〔更多的存儲(chǔ)空間〕小存儲(chǔ)池(較少的可用空間)以節(jié)點(diǎn)為單位擴(kuò)容(3->4096每系統(tǒng))………以機(jī)柜為單位擴(kuò)容(3->12每資源池)以存儲(chǔ)池為單位擴(kuò)容(1->128每系統(tǒng))跨Region部署(1->32Region)華為OceanStor存儲(chǔ)構(gòu)建招行分布式云存儲(chǔ)效勞平臺(tái)FusionSphere用戶業(yè)務(wù)系統(tǒng)ATM/VTM柜面銀行呼叫中心開發(fā)測試云仿真業(yè)務(wù)聯(lián)調(diào)業(yè)務(wù)測試業(yè)務(wù)企業(yè)網(wǎng)盤60M~120M移動(dòng)活潑用戶物理資源對象存儲(chǔ)效勞塊存儲(chǔ)效勞通用硬件統(tǒng)一管理與SLA調(diào)度40%TCO節(jié)省基于通用硬件平臺(tái)，共計(jì)交付3PB+IT聯(lián)合創(chuàng)新，池化部署替代煙囪式架構(gòu)為開發(fā)測試、渠道接入系統(tǒng)提供PB級(jí)塊存儲(chǔ)；為企業(yè)網(wǎng)盤提供對象存儲(chǔ)，資源按需獲取10x性能提升真正實(shí)現(xiàn)性能、容量線性增長

ATMOceanStor存儲(chǔ)資源池性能及利用率同時(shí)提升，提供最優(yōu)性價(jià)比云存儲(chǔ)資源池經(jīng)濟(jì)高效性能、容量同時(shí)提升小對象在線聚合ErasureCode智能流控對象重刪EC〔ErasureCode〕：即糾刪碼，是云存儲(chǔ)的核心編碼容錯(cuò)技術(shù)，以數(shù)據(jù)冗余檢驗(yàn)替代一份數(shù)據(jù)存多份的多副本技術(shù)，以更低本錢、更高技術(shù)含量為云存儲(chǔ)池提供相同甚至更高數(shù)據(jù)可靠性。PPPPPPPP數(shù)據(jù)分片冗余分片…將磁盤空間利用率從三副本33%提升到80%，節(jié)省硬件本錢，實(shí)現(xiàn)磁盤空間利用率40%提升基于不同硬件介質(zhì)，數(shù)據(jù)可用性可達(dá)6個(gè)9通常由成熟的企業(yè)級(jí)云存儲(chǔ)產(chǎn)品提供掌控核心編碼容錯(cuò)技術(shù)，ErasureCode實(shí)現(xiàn)40%磁盤空間利用率提升利用率最高的分布式數(shù)據(jù)容錯(cuò)技術(shù)Erasurecode單桶1000億文件存儲(chǔ)，滿足新興應(yīng)用需求票據(jù)影像備份/歸檔IoT車聯(lián)網(wǎng)……以工行為例，千億級(jí)別對象存儲(chǔ)，單套100億級(jí)別文件存儲(chǔ)性能：TPS1000~10000，時(shí)延通常<200ms雙錄備份/歸檔對象大小1~100MB10億級(jí)文件存儲(chǔ)系統(tǒng)帶寬>200MB/s高空間利用率大對象〔>1MB〕的文件，帶寬>250MB/s小對象〔10KB~100KB〕的文件，單桶TPS要求300~600，首字節(jié)時(shí)延<20msX廠商E廠商1500萬10億H廠商10億1000億HUAWEI1000億TPS100萬HUAWEIX廠商數(shù)據(jù)來源：國家電子計(jì)算機(jī)質(zhì)量監(jiān)督檢驗(yàn)中心，簡稱NCTC性能穩(wěn)定單桶對象數(shù)100萬10秒節(jié)點(diǎn)故障快速切換，業(yè)務(wù)感知最小化1822故障HuaweiServerSmartNetworkcard10秒快速故障切換僅為其他廠商產(chǎn)品1/3媲美傳統(tǒng)高端存儲(chǔ)能力快速切換配合華為智能網(wǎng)卡等部件，可進(jìn)一步將故障檢測通知時(shí)間縮短到毫秒級(jí)，提升整體切換效率1倍【2020年】進(jìn)程故障檢測快速心跳群發(fā)快速業(yè)務(wù)接管快速IO重定向5秒5秒性能、容量同時(shí)提升，小對象在線聚合提升空間利用率至80%利用SSDCache進(jìn)行對象會(huì)聚，單節(jié)點(diǎn)性能提升6倍〔PUT4000TPS/節(jié)點(diǎn)〕元數(shù)據(jù)和數(shù)據(jù)分區(qū)存放，實(shí)現(xiàn)垃圾空間回收，降低系統(tǒng)寫放大元數(shù)據(jù)和數(shù)據(jù)獨(dú)立分區(qū)存儲(chǔ)節(jié)點(diǎn)1…節(jié)點(diǎn)2…SSDCacheSSDCache………Obj1Obj2Obj3Obj4Obj5Obj6Strip1Strip2Strip3Strip4Objectdata聚合會(huì)聚成大對象后做增量EC校驗(yàn)1校驗(yàn)2512K以4+2為例小對象在線聚合元數(shù)據(jù)數(shù)據(jù)實(shí)現(xiàn)智能流控，支持租戶和桶資源的定向分配100MB/sVIPVIP用戶50MB/s普通用戶1000TPS桶110TPS桶2精細(xì)化控制I/O提供租戶、桶級(jí)別的TPS和帶寬粒度的效勞質(zhì)量控制，可以精確控制PUT，GET，DELETE和LIST等操作資源合理分配對不同優(yōu)先級(jí)的租戶、桶提供差異化的效勞,保障核心業(yè)務(wù)TPS與帶寬供給OceanStor對象級(jí)重刪，進(jìn)一步節(jié)省存儲(chǔ)空間OceanStor存儲(chǔ)資源池文件A文件A文件B文件B文件C文件D文件E文件F桶桶桶桶租戶(未開啟重刪〕租戶(開啟重刪〕租戶(開啟重刪〕OceanStor100D更適合規(guī)模云業(yè)務(wù)賬戶級(jí)全局重刪，

在系統(tǒng)范圍內(nèi)對所有已開啟重刪賬戶的數(shù)據(jù)進(jìn)行重復(fù)數(shù)據(jù)刪除對象級(jí)重刪，通過指紋識(shí)別100%準(zhǔn)確識(shí)別相同數(shù)據(jù)多重可靠性保障，數(shù)據(jù)全生命周期管理平安可靠7x24業(yè)務(wù)永續(xù)0宕機(jī)6個(gè)9可靠性異步復(fù)制對象存儲(chǔ)ClusterA主站點(diǎn)bucket對象存儲(chǔ)Cluster

BbucketS3client使用統(tǒng)一域名訪問，無需感知多DC的域名主、備桶名一致，故障發(fā)生后，主備切換對應(yīng)用無感知唯一支持基于復(fù)制性能的QoS控制，支持基于桶或租戶設(shè)置帶寬、TPSQoS，保障高優(yōu)先級(jí)應(yīng)用性能可視化：管理界面可直觀展示多DC拓?fù)鋱D，復(fù)制任務(wù)、進(jìn)度、網(wǎng)絡(luò)情況等方案可靠：基于QoS控制的對象異步復(fù)制備站點(diǎn)WANDocumentA副本DocumentA*……EC……EC電子票據(jù)影像/雙錄、自動(dòng)駕駛等滿足在線存儲(chǔ)數(shù)據(jù)高可用更適合規(guī)模云業(yè)務(wù)OceanStor

100D分布式存儲(chǔ)池機(jī)柜級(jí)冗余：最大容忍4個(gè)機(jī)柜〔最多48節(jié)點(diǎn)〕同時(shí)失效節(jié)點(diǎn)級(jí)冗余：最大容忍4個(gè)節(jié)點(diǎn)同時(shí)失效冗余策略按需靈活配置和部署傳統(tǒng)集中式存儲(chǔ)OceanStor

100DRAID0/1/5/6/10僅容許硬盤級(jí)失效采用分布式RAID技術(shù)，提供最豐富、最成熟的EC冗余數(shù)據(jù)保護(hù)，容許柜級(jí)失效更適合規(guī)模云業(yè)務(wù)集群可靠:最全面的數(shù)據(jù)冗余保護(hù)，最大容許4機(jī)柜失效業(yè)務(wù)無中斷機(jī)柜1機(jī)柜2機(jī)柜3機(jī)柜4機(jī)柜5機(jī)柜6機(jī)柜7機(jī)柜8機(jī)柜9機(jī)柜10……………………………………………………Pool1Pool2PoolNOceanStor

100D系統(tǒng)級(jí)可靠:0.5小時(shí)/TB高速數(shù)據(jù)重構(gòu)，比傳統(tǒng)存儲(chǔ)恢復(fù)快10倍Node1Node2Node3Disk1Disk2DisknDisk1Disk2DisknDisk1Disk2DisknIO3-2IO3-30.5小時(shí)/TB數(shù)據(jù)極速恢復(fù)智能I/O流程，業(yè)務(wù)0感知的恢復(fù)SSD大Cache+數(shù)據(jù)并行重建傳統(tǒng)RAID分布式RAID30分鐘5小時(shí)是傳統(tǒng)存儲(chǔ)10倍其他分布式存儲(chǔ)分布式RAID30分鐘1小時(shí)是其他分布式存儲(chǔ)2倍檢測存儲(chǔ)介質(zhì)和硬件的故障及亞健康檢測，提前恢復(fù)數(shù)據(jù)硬盤故障，慢盤，壞塊Smart信息UNC錯(cuò)誤SSD卡故障，慢卡，壞塊高溫故障，電容失效擦寫次數(shù)超過亞健康閾值存儲(chǔ)節(jié)點(diǎn)CPU資源耗盡CPU頻率降低

內(nèi)存故障網(wǎng)絡(luò)網(wǎng)卡失效、降速鏈路丟包、降速端口故障、閃斷、丟包防患于未然，保障性能與可靠性運(yùn)維可靠:提前洞悉存儲(chǔ)性能、容量走勢，簡化管理，提升資源利用率14天60天365天提前發(fā)現(xiàn)故障盤性能預(yù)測容量趨勢預(yù)測提前排除潛在風(fēng)險(xiǎn)，業(yè)界領(lǐng)先分析潮汐規(guī)律，識(shí)別性能瓶頸精準(zhǔn)分析workload，資源利用率提升20%提供最正確擴(kuò)容方案，降低TCO校驗(yàn)數(shù)據(jù)原始數(shù)據(jù)EC〔ErasureCode〕算法，N份數(shù)據(jù)與M份校驗(yàn)數(shù)據(jù)存儲(chǔ)，保證任意M份數(shù)據(jù)失效數(shù)據(jù)不喪失只讀權(quán)限WORM時(shí)鐘法規(guī)遵從企業(yè)級(jí)WORM〔Write-OnceRead-Many-times〕數(shù)據(jù)防篡改……Disk1Disk2DiskN靈活管理文件訪問權(quán)限便于企業(yè)內(nèi)控管理數(shù)據(jù)可靠：ErasureCode+WORM防篡改，數(shù)據(jù)平安固假設(shè)金湯管理可靠：統(tǒng)一數(shù)據(jù)管理平臺(tái)，降低數(shù)據(jù)管理復(fù)雜度圖形化界面自助運(yùn)維Vs.開源軟件GUI工具命令行向?qū)脚渲妹钚蠽s.開源軟件亞健康檢查無硬件故障圖示無自動(dòng)運(yùn)維工具