宏杉科技存儲產(chǎn)品及解決方案介紹

1、宏杉科技存儲產(chǎn)品及解決方案介紹目錄CONTENT公司全產(chǎn)品010203全閃存產(chǎn)品對象產(chǎn)品第一部分 產(chǎn)品線介紹發(fā)展以創(chuàng)新為本發(fā)布存儲規(guī)法論：存儲七項(xiàng)式、數(shù)據(jù)中心五分區(qū)發(fā)布國內(nèi)首個國產(chǎn)芯片企業(yè)級自主可控存儲產(chǎn)品發(fā)布V4引擎 業(yè)界最高業(yè)務(wù)連續(xù)性標(biāo)桿創(chuàng)新MacroSAN+商業(yè)模式發(fā)布分布式文件、對象、云計(jì)算數(shù)據(jù)管理解決方案發(fā)布Mach系列高性能NVMe全閃存產(chǎn)品發(fā)布下一代高端陣列7000G2、5500G2發(fā)布企業(yè)級云計(jì)算創(chuàng)新架構(gòu)CloudSAN發(fā)布AF、AFT系列全閃存產(chǎn)品全閃存與存儲陣列統(tǒng)一架構(gòu)存儲網(wǎng)絡(luò)工業(yè)協(xié)會(SNIA)全球首家中國投票會員發(fā)布CRAID技術(shù)、對稱雙活存儲技術(shù)SDAS發(fā)布全球首款雙

2、矩陣架構(gòu)最高端產(chǎn)品MS7000發(fā)布MS2500、MS3000、MS5500產(chǎn)品201720162010-20152018-2019 宏杉全存儲家族混合陣列MS3000G2MS5500G2MS7000G2MS5500G2/5000AFMS7000G2-AFT/AF文件及對象備份解決方案備份一體機(jī)備份服務(wù)器網(wǎng)關(guān)備份軟件PCI-E交換機(jī)MS2500G2MS3000G2-AF/AFTV4MS2500G2AFMach全閃存32Gb FC25/100Gb 以太網(wǎng)交換機(jī)和板卡基 礎(chǔ) 軟 硬 件FC交換機(jī)XAN基礎(chǔ)架構(gòu)MOFS分布式文件存儲一體化NASMOFS分布式文件網(wǎng)關(guān)雙活存儲快照備份海量對象存儲混合云方

3、案異地災(zāi)備私有云方案海量文件存儲一體化非線編一體化視頻平臺性能優(yōu)化存儲虛擬整合虛擬機(jī)優(yōu)化云平臺優(yōu)化高性能計(jì)算大數(shù)據(jù)分析應(yīng)用優(yōu)化方案非結(jié)構(gòu)化/大數(shù)據(jù)方案數(shù)據(jù)保護(hù)方案云方案MacroSAN+MOSS對象存儲NAS網(wǎng)關(guān)存儲軟件快照鏡像雙活分層在線全局重刪克隆備份復(fù)制自動精簡配置在線壓縮無中斷數(shù)據(jù)遷移VVoLIDDCCRAID閃存荷爾蒙以太網(wǎng)交換機(jī)CloudSANAllFile MOFSCloudObject MOSSAllBackup：Tina技 術(shù) 方 案統(tǒng) 一 管 理CloudSUN第二部分 全閃存市場分析從HDD到SSD的發(fā)展趨勢IDC：數(shù)據(jù)存儲五大趨勢之全閃存不NVMe第一個基于NVMe的存

4、儲平臺于2016年發(fā)布，定位為 丏用工作負(fù)載的共享高性能存儲，而今年主流存儲設(shè)備 廠商都已迚入該市場。預(yù)測顯示，2019年全球NAFA收 入將超過20 億美元， 到2021 年， 全球NAFA 將驅(qū)勱 50%以上外部存儲市場。IDC: 2018年存儲市場增長態(tài)勢基本定局， 全閃存成最大推勱力閃存特性閃存的主要優(yōu)勢帶寬SAS 7.2K80-100MB/sSAS 10K100-150MB/sSAS 15K125-175MB/sSSD400-550MB/s更高IOPSIOPSSAS 7.2K76SAS 10K155SAS 15K180SSD8.4W（讀）2.5W（寫）更大帶寬更低延遲數(shù)據(jù)延遲SAS

5、7.2K4.16ms+9msSAS 10K2.9ms+3.5msSAS 15K2ms+3.5msSSD55s（讀）66s（寫）注：數(shù)據(jù)取自Intel和希捷的官網(wǎng)，型號分別為、DC S3610 400GB、SAS15KST300MP0005、ST1200MM0088、ST4000NM0033壽命 成本MLCTLCQLCSLC閃存顆粒約10萬次擦寫壽命約3000-1萬次擦寫壽命約500-1000次擦寫壽命約150次擦寫壽命性能2種狀態(tài) 表示1bit數(shù)據(jù)4種狀態(tài) 表示2bit數(shù)據(jù)8種狀態(tài) 表示3bit數(shù)據(jù)16種狀態(tài) 表示4bit數(shù)據(jù)根據(jù)NAND閃存中電子單元密度的差異， 閃存顆?？梢苑譃镾LC （

6、單層次存儲單 元）、MLC（雙層存儲單元）、TLC（三 層存儲單元）和QLC（四層存儲單元）。NVMe的時代CPUNVMe SSDPCIe總線CPUSAS 控制SAS擴(kuò)展SAS SSDNVMe-oF是一種基于NVMe設(shè)計(jì)的塊存儲通信協(xié)議， 一種全新的高性能端到端數(shù)據(jù)傳輸方式類別NVMeSCSI適配硬件接口64Gbps (PCI0-E x8 3.0)12Gbps (SAS 3.0)幵發(fā)隊(duì)列數(shù)655351隊(duì)列深度65536254協(xié)議效率直接與PCI-E總線 迚行傳輸需PCI-E到SAS協(xié)議轉(zhuǎn)換平均響應(yīng)時間100 s3 msNVMe硬盤可直接與CPU通信，無需協(xié)議轉(zhuǎn)換，擁有高效的數(shù)據(jù)通道和超低延遲M

7、ach系列是宏杉科技全新推出的基于NVMe協(xié)議的全閃存陣列。支持48控制器橫向擴(kuò)展，雙控制器3T超大緩存、50塊2.5英寸NMVe SSD 、100個PCIe3.0通道交換帶寬。 全方位地釋放閃存顆粒的性能，提供數(shù)倍于傳統(tǒng)閃存陣列的讀寫性能。*NVMe SSD降價速度快于SAS SSD， 終將成為企業(yè)級SSD的主流*NVMe-oF實(shí)現(xiàn)NVMe在PCIe總線上的擴(kuò)展， 來撼動SCSI在SAN中的統(tǒng)治地位NVMe-OF介紹NVMe-oFNVMe over Fabric 是指將用于塊存儲的非易失性存儲，連接到 網(wǎng)絡(luò)。NVMe-oF 定義了一個通用架構(gòu)，它支持一系列存儲網(wǎng)絡(luò) 結(jié)構(gòu)，是用于存儲網(wǎng)絡(luò)結(jié)構(gòu)乊

8、上的NVMe塊存儲協(xié)議。目標(biāo)基于消息的模型通過網(wǎng)絡(luò)在主機(jī)和目標(biāo)存儲設(shè)備之間發(fā)送請求和 響應(yīng)，即實(shí)現(xiàn)本地NVMe設(shè)備與進(jìn)距離NVMe設(shè)備的連接，丐延 遲丌超過10s。 。類型NVMe over Fabric 支持把 NVMe 映射到多個 Fabrics 傳輸選項(xiàng)， 主要包括 FC、 InfiniBand、 RoCE v2、 iWARP 和 TCP。NVMf宏杉全閃產(chǎn)品Mach系列AFT系列AF系列宏杉科技全閃存產(chǎn)品家族Mach系列極致性能全閃存：全新NVME全閃存MS7770G2-MachMS7370G2-MachAF系列高性價比全閃存：高性價比，用于替換傳統(tǒng)陣列MS7000G2-AFMS558

9、0G2-AFAFT系列高性能全閃存：高端全閃存，面向關(guān)鍵型業(yè)務(wù)MS7000G2-AFTMS5580G2-AFTMS3000G2-AFMS2500G2-AFMS5500-AFMS3000G2-AFTMach 產(chǎn)品概述MS7000G2-Mach整機(jī)5U高雙控50塊2.5英寸NMVe SSD400萬IOPS/50盤位，性能線性增長 最多48控制器擴(kuò)展，雙控緩存3TB 采用新一代至強(qiáng)多核高性能處理器雙 控 制 器 后 端 總 帶 寬 1600Gbps 10/25/100GE、16/32Gb FC高性能IO卡支持SSD SSD SSD SSD SSD SSD SSD SSD SSD SSDSSD SSD

10、 SSD SSD SSD SSD SSD SSD SSD SSDSSD SSD SSD SSD SSD SSD SSD SSD SSD SSDSSD SSD SSD SSD SSD SSD SSD SSD SSD SSDSSD SSD SSD SSD SSD SSD SSD SSD SSD SSD前端總線CPUCPURoot ComplexSwitch Chip前端總線CPUCPURoot ComplexSwitch Chip強(qiáng)大的硬件架構(gòu)Mach系列NVMe將CPU與閃存迚行直接連接，這 種架構(gòu)擁有高效的數(shù)據(jù)通道和超低延遲每一塊SSD都采用兩條獨(dú)立PCI-E數(shù)據(jù)通道與控制器相連，一共有100

11、條獨(dú) 立的數(shù)據(jù)通道，總傳輸帶寬高達(dá)1600Gb/s50塊盤400萬IOPSAF、AFT硬件架構(gòu)前端總線CPUCPUSAS ControllerSAS Expander前端總線CPUCPUSAS ControllerSAS Expander前端總線CPUCPUSAS ControllerSAS Expander前端總線CPUCPUSAS ControllerSAS Expander采用2根SAS3.0每交換單元承載25線纜與后端磁塊SSD，獨(dú)享8根盤柜相連SAS3.0線纜，帶SSD SSDSSD SSDSSD SSDSSD SSDSSD SSD寬384Gb/s。實(shí)現(xiàn)“每25盤位SSDSSDSSD

12、SSDSSDSSDSSDSSDSSD SSDSSD SSD SSDSSD SSD SSDSSD SSD SSDSSD SSD SSDSSD SSD SSD40萬IOPS的線性增長”SSD SSD SSDSSD SSD SSDSSD SSD SSDSSD SSD SSDSSD SSD SSDAF系列AFT系列矩陣式全交換閃存通道架構(gòu)傳統(tǒng)閃存架構(gòu)閃存優(yōu)化技術(shù)：閃存荷爾蒙FlashHormoneFlashHormone是宏杉科技針對SSD讀寫特性開發(fā)的一項(xiàng)性能優(yōu)化專利技術(shù)宏杉FlashHormone技術(shù)能夠有效解決傳統(tǒng)讀寫算法對SSD的性能制約，并且保護(hù)SSD使用壽命宏杉FlashHormone技術(shù)

13、針對每次寫入數(shù)據(jù)無論是追加新寫還是改寫現(xiàn)有數(shù)據(jù)，都重新分配一個空間寫入；無論用戶是什么樣的業(yè)務(wù)模型，所有的寫數(shù)據(jù)都可以均 勻的分布到丌同的SSD上，寫入的數(shù)據(jù)是合幵為一個滿條帶后一次寫入SSD，從而避免了RAID寫流程所需的數(shù)據(jù)回讀的過程。閃存荷爾蒙FlashHormone技術(shù)優(yōu)勢0110寫IO技術(shù)價值一，規(guī)避RAID寫懲罰技術(shù)價值二，RAID條帶零沖突技術(shù)價值三，SSD磨損均衡2寫入的IO都是滿條帶寫入在新的空白條帶上， 不再需要多次回讀數(shù)據(jù)重新校驗(yàn)再寫入， 避免了RAID算法寫懲罰，不管是 什么RAID級別，寫懲罰值均為1。將每個寫IO均寫在新的條帶上，而不 針對乊前的條帶迚行變勱，因此，

14、也不存 在某些條帶發(fā)生IO沖突，條帶沖突為零。不論是追加寫還是修改寫，數(shù)據(jù)實(shí)際 寫在了新的條帶上，幵丐分布在不同 的硬盤上，保證了數(shù)據(jù)分散存放， 使得SSD磨損的均衡，保證了全 閃存的壽命和穩(wěn)定性。Deduplication Processing重復(fù)數(shù)據(jù)刪除（重刪）是一種節(jié)約存儲空間的技術(shù)，通常情況下，在數(shù)據(jù)存儲池內(nèi)是有很多重復(fù)的數(shù)據(jù)， 重刪則是將這些重復(fù)的數(shù)據(jù)找出并處理的技術(shù)。重刪示意圖 簡單地說重刪，就是將N份重復(fù)的數(shù)據(jù)僅 保留1份，并將N-1份數(shù)據(jù)的地址指針指 向唯一的那一份。舉一個例子，我們常用Foxmail管理郵件 的收發(fā)，一般的小體積附件會直接附在 這封郵件中并發(fā)送給收件人；如果是

15、超 大附件發(fā)送，會先將你的附件上傳到中 轉(zhuǎn)站，然后收件人收到一個鏈接，如果 有需要再去下載，否則這個超大附件不 會保留在本地而是僅保留一份副本在服 務(wù)器上。（這雖然不是重刪的應(yīng)用，但其實(shí)就是重刪的意義，即多份重復(fù)的數(shù) 據(jù)，僅保留一份就好了）+MetaData重復(fù)數(shù)據(jù)刪除Step3：若存在一樣的指紋信息，則刪除此新數(shù)據(jù)，若不存在一致 的指紋，則寫入新數(shù)據(jù)Step1：對傳入數(shù)據(jù)進(jìn)行掃描分割并計(jì)算每個數(shù)據(jù)塊的指紋（哈希值）tep2：將新寫入的數(shù)據(jù)的指紋與現(xiàn)有指紋庫比對這種實(shí)現(xiàn)過程主要表現(xiàn)為在線重刪的過程，目前，在存儲主流業(yè)界均采用這種形式。重刪的原理無損重刪進(jìn)行哈希計(jì)算后，發(fā)現(xiàn)“指紋”相 同后， 再

16、進(jìn)行數(shù)據(jù)比較（ 進(jìn)行 XOR校驗(yàn)），再確認(rèn)是否為重復(fù) 數(shù)據(jù)，這種算法能夠完全避免哈 希沖突，不會丟失任何數(shù)據(jù)。有損重刪進(jìn)行重刪算法后，就確認(rèn)被計(jì)算 的數(shù)據(jù)是否為重復(fù)的數(shù)據(jù)，這種 算法不能從根本上避免哈希沖突， 是有數(shù)據(jù)丟失的風(fēng)險的。只適用 于對數(shù)據(jù)準(zhǔn)確性要求不高的情況。Or我司采用無損重刪的設(shè)計(jì)，能夠保證重刪數(shù)據(jù)的安全性。主流廠商選擇無損重刪的方式居多無損重刪和有損重刪優(yōu)點(diǎn)缺點(diǎn)在線重刪無額外的存儲空間要求；可以減少寫盤次數(shù)，減少對RAID和磁盤資源的占用；在全閃存陣列中能有效減少全閃 存設(shè)備中SSD盤的數(shù)據(jù)寫入量， 延長了SSD盤的壽命，從而降低 數(shù)據(jù)失效的風(fēng)險。影響IO的性能，增加了IO的延

17、遲，且對緩存的設(shè)計(jì)有較高的要求后端重刪不影響寫IO響應(yīng)時間，對前對業(yè)務(wù) 沒有顯著影響重刪過程占用系統(tǒng)資源。數(shù)據(jù)寫入到消除重復(fù)數(shù)據(jù)前，需要確保有足夠的存儲空間。和在線重刪相比，SSD盤的寫入 次數(shù)顯著增加，對延長SSD盤的 壽命沒有幫助。CACHEDisk刷盤 寫IO 重刪計(jì)算重刪計(jì)算目前，在線重刪是業(yè)界主流的重刪方式，我司重刪方式也是在線重刪在線重刪和后臺重刪MS5500G2-AFT SPC-1性能測試設(shè)備型號MS5580G2-AFT增強(qiáng)版 384塊 SAS SSDIOPS 高達(dá)610萬平均延遲0.3ms，最大延遲0.45ms成功案例高端全閃案例項(xiàng)目名稱產(chǎn)品配置鐵路總公司MS7040-AFT*

18、2陜西省環(huán)境保護(hù)廳MS7040-AFT*2國家稅務(wù)總局貴州省稅務(wù)局八控制器MS7040-AF浙江石油MS7370G2-Mach*2河北省交管局MS7040-AFT重慶高法MS7370G2-Mach*2第三部分 MOSS對象存儲市場分析云服務(wù)廠商AWSAli OSSTencent COSQingStor.傳統(tǒng)存儲廠商MacroSANHuaweiHDSInspureEMC軟件定義SDSXskySandstone中國主存儲市場下滑，而管理非結(jié)構(gòu)化數(shù)據(jù) 的二級存儲需求快速增長。2019年上半年中國二 級存儲收入同比增長254，而全球?yàn)?。二級 存儲已經(jīng)占中國總體存儲收入的27。19年H1全球與中國主存

19、儲 VS 二級存儲市場情況市場 分析HDS HCP軟硬一體化20+6 Erasure Code (EC) 數(shù)據(jù)保護(hù)版本管理壓縮加密G10網(wǎng)關(guān)2U服務(wù)器計(jì)算節(jié)點(diǎn)4個網(wǎng)關(guān)起配S10節(jié)點(diǎn)4U服務(wù)器60盤位S10使用20+6的Extent Group, 每個節(jié)點(diǎn)最大支持56個數(shù)據(jù)磁盤，同時支持6個 磁盤故障S10節(jié)點(diǎn)AS13000G5-M36AS13000G5-M12AS13000G5-M25AS13000G5-E36AS13000G5-M72基于Ceph開發(fā)基于Ceph開發(fā)每個廠商硬件帶盤數(shù)也不一致XSKY/杉巖統(tǒng)一數(shù)據(jù)平臺iSCSI | FC | SCSI | RBDNFS | CIFS | FT

20、PNFS | S3延展集群快照復(fù)制精簡配置業(yè)務(wù)QoS恢復(fù)QoSWORM多版本磁盤漫游分層存儲 整池擴(kuò)容硬件管理集群管理拓?fù)涔芾碓萍蒘NMP事件中心運(yùn)維中心配置拓?fù)渖芷诠芾砀北緗 EC故障域數(shù)據(jù)雙活快照一基致性于組快c照ep卷h克開隆發(fā)異地備份多站點(diǎn)在線遷移多路徑負(fù)載均衡 高鏈路級加密功能傳輸基重刪本云為歸檔Cep壓h縮自V帶AAI 功能CSI宏杉MOSS緩存：256GB，電源帶電池緩存刷至內(nèi)置SSD；高度：4U， 16*2.5/3.5板載： 14*GE+4*10GE， 2個IO擴(kuò)展模塊帶盤數(shù)：單臺帶盤數(shù)184塊；MS2500G2-16M 前面板MS2500G2-16M 后面板MOSS對象

21、存儲資源池vLUNvLUNvLUNvLUNv1v1024Node-1/vLUNxxxNode-5/vLUNxxxv2Node-100/vLUNxxx桶名+文件名哈希計(jì)算vNNode-50/vLUNxxx哈希環(huán)客戶端客戶端客戶端客戶端客戶端vLUN流媒體金融票據(jù)數(shù)據(jù)歸檔內(nèi)容管理Bucket1Bucket2軟件自研產(chǎn)品可維護(hù)性強(qiáng)可靈活支持客戶二次開發(fā)支持客戶API接口需求定制豐富的軟件功能檢索查詢WORM多版本性能/容量配額巡檢機(jī)器人/IDDC高可靠性硬件可提供6個9的可靠性節(jié)點(diǎn)可故障硬盤數(shù)高部件全冗余服務(wù)響應(yīng)公司重點(diǎn)產(chǎn)品研發(fā)投入大研發(fā)現(xiàn)場支持MOSS靈活檢索MOSS可針對桶進(jìn)行自由靈活的檢索，可

22、對系統(tǒng)元數(shù)據(jù)、用戶元數(shù)據(jù)就進(jìn)行精確查詢和 模糊匹配。能有效滿足文檔管理系統(tǒng)的需求，達(dá)到毫秒級響應(yīng)，保障業(yè)務(wù)無憂。系統(tǒng)元數(shù)據(jù)查詢文件名稱目錄名稱修改時間01用戶元數(shù)據(jù)查詢按用戶自定義元數(shù)據(jù)內(nèi)容查詢，例如： 姓名、年齡、性別等02靈活檢索支持精確查詢、模糊匹配支持對查詢結(jié)果設(shè)置顯示范圍支持選擇內(nèi)部桶或外部桶進(jìn)行查詢支持對對象最后修改日期范圍進(jìn)行查詢03未使用“含有前綴的臨時URL”功能時：每份文件上傳需申請一個URL每次上傳都需經(jīng)過TCP/IP三次握手等過程低效傳輸，消耗大量系統(tǒng)資源客戶端同時上傳大量文件時系統(tǒng)資源緊張！省政中心辦公支出報表.doc省政中心預(yù)算報表.doc使用“含有前綴的臨時URL

23、”功能時：所有前綴相同的對象只需申請一個臨時URL只需經(jīng)過一次TCP/IP三次握手等過程高效傳輸，減少系統(tǒng)資源負(fù)擔(dān)申申請請IIPP資資源源Bucket省政中心業(yè)務(wù)近10年業(yè)務(wù)報表100份文件省政中心近15年預(yù)算報表1000份文件500份文件有效解決多文件并發(fā)上傳難題采用臨時URL數(shù)據(jù)更安全VS企業(yè)網(wǎng)盤系統(tǒng)企業(yè)網(wǎng)盤中有大量的圖片、文檔等非結(jié)構(gòu)化數(shù)據(jù)100次URL500次URL1000次URLMOSS對象存儲 傳統(tǒng)對象存儲客戶端1客戶端1客戶端1100份文件500份文件1000份文件申請1次URL申請1次URL申申請請1次URL系統(tǒng)資源緊張臨時文件1臨時文件2臨時文件3臨時文件4保留文件1保留文件2過期3天過期3天過期3天過期3天有效期內(nèi)有效期內(nèi)Bucket2：刪除過期三天的文件基于批量刪除API通過配置規(guī)則定期刪除桶內(nèi)對象每個桶最多可設(shè)置1000條規(guī)則為什么要使用生命周期管理？在企業(yè)數(shù)據(jù)中心中存在海量的數(shù)據(jù)，運(yùn)維人員常需要定期手動清理。MOSS生命周期管理能夠讓系統(tǒng)按照策略定期清理數(shù)據(jù)，簡化了工作難度。Bucket1：刪除前綴為“臨時”的文件意外上傳同名文件導(dǎo)致數(shù)據(jù)丟失 誤操作刪除重要文件，怎么辦？Object.pdfnullObject.pdfnull創(chuàng)建覆蓋Object.txtVersion1Object.txtVersion2Object.t