FusionStorage分布式存儲(chǔ)系統(tǒng)介紹

1、FusionStorage 分布式存儲(chǔ)系統(tǒng)介紹技術(shù)創(chuàng)新，變革未來(lái)學(xué)完本課程后，您將能夠：區(qū)分傳統(tǒng)存儲(chǔ)和分布式存儲(chǔ)的區(qū)別描述Fusionstorage基礎(chǔ)原理和特性安裝和使用FusionStorageFusionStorage方案介紹FusionStorage架構(gòu)原理FusionStorage部署配置認(rèn)識(shí)Server SAN概念由多個(gè)獨(dú)立服務(wù)器自帶的存儲(chǔ)組成一個(gè)存儲(chǔ)資源池，同時(shí)融合了計(jì)算和存儲(chǔ)資源。特征專(zhuān)有設(shè)備變通用設(shè)備計(jì)算與存儲(chǔ)線性擴(kuò)展簡(jiǎn)單管理、低TCO傳統(tǒng)SAN架構(gòu)孤立的存儲(chǔ)資源：存儲(chǔ)通過(guò)專(zhuān)用網(wǎng)絡(luò)連接到有限數(shù)量的服務(wù)器。FC/IP存儲(chǔ)設(shè)備通過(guò)添加硬盤(pán)框增加容量，控制器性能成為瓶頸。分布式Se

2、rver SAN架構(gòu)共享式存儲(chǔ)資源池計(jì)算、存儲(chǔ)融合部署InfiniBand /10GE Network虛擬化/操作系統(tǒng)容量和性能線性增長(zhǎng)InfiniBand /10GE Network分布式Server SAN架構(gòu)共享式存儲(chǔ)資源池計(jì)算、存儲(chǔ)融合部署InfiniBand /10GE Network虛擬化/操作系統(tǒng)容量和性能線性增長(zhǎng)InfiniBand /10GE Network華為Server SAN產(chǎn)品FusionStorage分布式塊存儲(chǔ)軟件將通用X86服務(wù)器的本地HDD、SSD等介質(zhì)通過(guò)分布式技術(shù)組織成大規(guī)模存儲(chǔ)資源池。對(duì)非虛擬化環(huán)境的上層應(yīng)用和虛擬機(jī)提供工業(yè)界標(biāo)準(zhǔn)的SCSI和iSCSI接

3、口。開(kāi)放的API。計(jì)算存儲(chǔ)存儲(chǔ)計(jì)算計(jì)算計(jì)算存儲(chǔ)存儲(chǔ)ControllerControllerControllerControllerPCIe SSDPCIe SSDPCIe SSDPCIe SSD華為FusionStorage兩大主要應(yīng)用場(chǎng)景FusionStorageSCSI/iSCSI物理部署虛擬化平臺(tái)OpenStack查詢檢索財(cái)務(wù)報(bào)表數(shù)據(jù)分析HANA公有云VDI開(kāi)發(fā)測(cè)試私有云CRMERP市場(chǎng)營(yíng)銷(xiāo)分布式Cache分布式Cachex86服務(wù)器DHT環(huán)強(qiáng)一致性算法x86服務(wù)器高速網(wǎng)絡(luò) IB /GE/10GE云資源池?cái)?shù)據(jù)庫(kù)及關(guān)鍵應(yīng)用FusionStorage方案介紹FusionStorage架構(gòu)原理

4、FusionStorage部署配置FusionStorage邏輯架構(gòu) (1/2)FSM（FusionStorage Manager）：FusionStorage管理模塊，提供告警、監(jiān)控、日志、配置等操作維護(hù)功能。一般情況下FSM主備節(jié)點(diǎn)部署。FSA（FusionStorage Agent）：代理進(jìn)程，部署在各節(jié)點(diǎn)上，實(shí)現(xiàn)各節(jié)點(diǎn)與FSM通信。FSA包含MDC、VBS和OSD三種不同的進(jìn)程。根據(jù)系統(tǒng)不同配置要求，分別在不同的節(jié)點(diǎn)上啟用不同的進(jìn)程組合來(lái)完成特定的功能。FusionStorage邏輯架構(gòu) (2/2)MDC（MetaData Controller）：元數(shù)據(jù)控制，實(shí)現(xiàn)對(duì)分布式集群的狀態(tài)控制

5、，以及控制數(shù)據(jù)分布式規(guī)則、數(shù)據(jù)重建規(guī)則等。 MDC默認(rèn)部署在3個(gè)節(jié)點(diǎn)的ZK(Zookeeper)盤(pán)上，形成MDC集群。VBS（Virtual Block System）：虛擬塊存儲(chǔ)管理組件，負(fù)責(zé)卷元數(shù)據(jù)的管理，提供分布式集群接入點(diǎn)服務(wù)，使計(jì)算資源能夠通過(guò)VBS訪問(wèn)分布式存儲(chǔ)資源。每個(gè)節(jié)點(diǎn)上默認(rèn)部署一個(gè)VBS進(jìn)程，形成VBS集群。節(jié)點(diǎn)上也可以通過(guò)部署多個(gè)VBS來(lái)提升IO性能。OSD（Object Storage Device）：對(duì)象存儲(chǔ)設(shè)備服務(wù)，執(zhí)行具體的I/O操作。在每個(gè)服務(wù)器上部署多個(gè)OSD進(jìn)程，一塊磁盤(pán)默認(rèn)對(duì)應(yīng)部署一個(gè)OSD進(jìn)程。在SSD卡作主存時(shí)，為了充分發(fā)揮SSD卡的性能，可以在1張S

6、SD卡上部署多個(gè)OSD進(jìn)程進(jìn)行管理，例如2.4TB的SSD卡可以部署6個(gè)OSD進(jìn)程，每個(gè)OSD進(jìn)程負(fù)責(zé)管理400GB。FusionStorage部署方式融合部署指的是將VBS和OSD部署在同一臺(tái)服務(wù)器中。虛擬化應(yīng)用推薦采用融合部署的方式部署。分離部署指的是將VBS和OSD分別部署在不同的服務(wù)器中。高性能數(shù)據(jù)庫(kù)應(yīng)用則推薦采用分離部署的方式?；A(chǔ)概念 (1/2)資源池：FusionStorage中一組硬盤(pán)構(gòu)成的存儲(chǔ)池。Volume：應(yīng)用卷，代表了FusionStorage向上層呈現(xiàn)的一個(gè)邏輯存儲(chǔ)單元。DiskP1P2PyDiskDiskDiskDiskDiskVolume1Volume2Volum

7、e3P1P2Px資源池1Volume10Volume11Server1Server2Server3資源池2基礎(chǔ)概念 (2/2)數(shù)據(jù)副本： FusionStorage采用數(shù)據(jù)多副本備份機(jī)制來(lái)保證數(shù)據(jù)的可靠性，即同一份數(shù)據(jù)可以復(fù)制保存為23個(gè)副本。Disk1P1P2Disk2Disk3Disk6Disk4Disk5Server 1Server 2Server 3P3P4P5P6P7P8P13P14P15P16P17P18P19P20P1P3P5P7P9P10P11P12P13P15P17P19P21P22P23P24P4P8P16P20P21P22P23P24P9P10P2P6P14P18P11P

8、12P9P10P11P12P2P6P14P18P21P22P23P24P4P8P16P20FusionStorage Cache寫(xiě)機(jī)制OSD在收到VBS發(fā)送的寫(xiě)IO操作時(shí)，會(huì)將寫(xiě)IO緩存在SSD cache后完成本節(jié)點(diǎn)寫(xiě)操作。OSD會(huì)周期將緩存在SSD cache中的寫(xiě)IO數(shù)據(jù)批量寫(xiě)入到硬盤(pán)，寫(xiě)Cache有一個(gè)水位值，未到刷盤(pán)周期超過(guò)設(shè)定水位值也會(huì)將Cache中數(shù)據(jù)寫(xiě)入到硬盤(pán)中。FusionStorage支持大塊直通，按缺省配置大于256KB的塊直接落盤(pán)不寫(xiě)Cache，這個(gè)配置可以修改。FusionStorage Cache讀機(jī)制FusionStorage的讀緩存采用分層機(jī)制，第一層為內(nèi)存ca

9、che，內(nèi)存cache采用LRU機(jī)制緩存數(shù)據(jù)。第二層為SSD cache，SSD cache采用熱點(diǎn)讀機(jī)制，系統(tǒng)會(huì)統(tǒng)計(jì)每個(gè)讀取的數(shù)據(jù)，并統(tǒng)計(jì)熱點(diǎn)訪問(wèn)因子，當(dāng)達(dá)到閾值時(shí)，系統(tǒng)會(huì)自動(dòng)緩存數(shù)據(jù)到SSD中，同時(shí)會(huì)將長(zhǎng)時(shí)間未被訪問(wèn)的數(shù)據(jù)移出SSD。FusionStorage預(yù)讀機(jī)制，統(tǒng)計(jì)讀數(shù)據(jù)的相關(guān)性，讀取某塊數(shù)據(jù)時(shí)自動(dòng)將相關(guān)性高的塊讀出并緩存到SSD中。FusionStorage 分布式CacheFusionStorage集群內(nèi)各服務(wù)器節(jié)點(diǎn)的緩存和帶寬都均勻分布到各個(gè)服務(wù)器節(jié)點(diǎn)上，不存在獨(dú)立存儲(chǔ)系統(tǒng)中大量磁盤(pán)共享計(jì)算設(shè)備和存儲(chǔ)設(shè)備之間有限帶寬的問(wèn)題。FusionStorage支持將服務(wù)器部分內(nèi)存用作讀

10、緩存，NVDIMM和SSD用作寫(xiě)緩存，數(shù)據(jù)緩存均勻分布到各個(gè)節(jié)點(diǎn)上，所有服務(wù)器的緩存總?cè)萘窟h(yuǎn)大于采用外置獨(dú)立存儲(chǔ)的方案。即使采用大容量低成本的SATA硬盤(pán)，F(xiàn)usionStorage仍然可以發(fā)揮很高的IO性能，整體性能提升13倍。FusionStorage支持SSD用作數(shù)據(jù)緩存，除具備通常的寫(xiě)緩存外，增加熱點(diǎn)數(shù)據(jù)統(tǒng)計(jì)和緩存功能，加上其大容量的優(yōu)勢(shì)，進(jìn)一步提升了系統(tǒng)性能。Cache共享，水平任意擴(kuò)展主機(jī)APP1主機(jī)APP2存儲(chǔ)SRV1存儲(chǔ)SRV2存儲(chǔ)SRV3存儲(chǔ)SRV1存儲(chǔ)SRV2存儲(chǔ)SRV3存儲(chǔ)SRV4主機(jī)APP1主機(jī)APP2Cache資源池Cache資源池FusionStorage：分布式C

11、ache資源池9.6TB7.2TB存儲(chǔ)網(wǎng)絡(luò)GE/10GE組網(wǎng)物理服務(wù)器網(wǎng)卡要求配置網(wǎng)口聚合（Bond）。GE組網(wǎng)時(shí)，硬件至少為4*1Gb組網(wǎng)，其中至少3*1Gb用于存儲(chǔ)平面。10GE組網(wǎng)時(shí)，硬件至少為2*10Gb組網(wǎng)，其中至少2*6Gb用于存儲(chǔ)平面。IB高速組網(wǎng)FusionStorage內(nèi)部通信支持低時(shí)延、高帶寬的Infiniband網(wǎng)絡(luò)，存儲(chǔ)交換無(wú)瓶頸。單口56Gbps帶寬，完美配合極速SSD存儲(chǔ)吞吐。FusionStorage塊存儲(chǔ)功能 - SCSI/iSCSI塊接口FusionStorage通過(guò)VBS以SCSI或iSCSI方式提供塊接口：SCSI方式：安裝VBS的物理部署、FusionS

12、phere或KVM等采用SCSI方式；iSCSI方式：安裝VBS以外的虛擬機(jī)或主機(jī)提供存儲(chǔ)訪問(wèn)，VMware、MS SQL Server集群采用iSCSI模式。CVM硬件介質(zhì)VMWARE-ESXiVBSOSDVMVMiSCSI-InitiatorVMFS iSCSI-TargetVM硬件介質(zhì)UVP/KVMVBSOSDVMSCSIFusionStorage精簡(jiǎn)配置功能相比傳統(tǒng)方式分配物理存儲(chǔ)資源，精簡(jiǎn)配置可顯著提高存儲(chǔ)空間利用率。FusionStorage天然支持自動(dòng)精簡(jiǎn)配置，和傳統(tǒng)SAN相比不會(huì)帶來(lái)性能下降。2TB2TB2TB300GB600GB900GB傳統(tǒng)配置自動(dòng)精簡(jiǎn)配置時(shí)間FusionS

13、torage快照功能FusionStorage快照機(jī)制，將用戶卷數(shù)據(jù)在某個(gè)時(shí)間點(diǎn)的狀態(tài)保存下來(lái)，可用作導(dǎo)出數(shù)據(jù)、恢復(fù)數(shù)據(jù)之用。FusionStorage快照數(shù)據(jù)在存儲(chǔ)時(shí)采用ROW（Redirect-On-Write）機(jī)制，快照不會(huì)引起原卷性能下降。無(wú)限次快照：快照元數(shù)據(jù)分布式存儲(chǔ)，水平擴(kuò)展，無(wú)集中式瓶頸，理論上可支持無(wú)限次快照。卷恢復(fù)速度快：無(wú)需數(shù)據(jù)搬遷，從快照恢復(fù)卷1S內(nèi)完成（傳統(tǒng)SAN在幾小時(shí)級(jí)別）。第一次快照123456789123456789初始卷新數(shù)據(jù)寫(xiě)123456789111213第二次快照123456789111213新數(shù)據(jù)寫(xiě)123456789121113151811151345

14、67818等效內(nèi)容FusionStorage故障容忍數(shù)據(jù)可靠是第一位的，F(xiàn)usionStorage建議3副本配置部署。如果兩副本故障，仍可保障數(shù)據(jù)不丟失。故障容忍根據(jù)環(huán)境規(guī)?？梢灾С郑嚎绶?wù)器故障容忍跨機(jī)柜故障容忍跨機(jī)房故障容忍容忍同時(shí)2機(jī)房故障支持機(jī)房級(jí)安全機(jī)房A機(jī)房B機(jī)房CFusionStorage快速數(shù)據(jù)重建FusionStorage中的每個(gè)硬盤(pán)都保存了多個(gè)DHT分區(qū)（Partition），這些分區(qū)的副本按照策略分散在系統(tǒng)中的其他節(jié)點(diǎn)。當(dāng)FusionStorage檢測(cè)到硬盤(pán)或者節(jié)點(diǎn)硬件發(fā)生故障時(shí)，自動(dòng)在后臺(tái)啟動(dòng)數(shù)據(jù)修復(fù)。由于分區(qū)的副本被分散到多個(gè)不同的存儲(chǔ)節(jié)點(diǎn)上，數(shù)據(jù)修復(fù)時(shí)，將會(huì)在不同的

15、節(jié)點(diǎn)上同時(shí)啟動(dòng)數(shù)據(jù)重建，每個(gè)節(jié)點(diǎn)上只需重建一小部分?jǐn)?shù)據(jù)，多個(gè)節(jié)點(diǎn)并行工作，有效避免單個(gè)節(jié)點(diǎn)重建大量數(shù)據(jù)所產(chǎn)生的性能瓶頸，對(duì)上層業(yè)務(wù)的影響做到最小化。數(shù)據(jù)分片存儲(chǔ)硬件故障故障自動(dòng)檢測(cè)自動(dòng)重建數(shù)據(jù)副本多節(jié)點(diǎn)并行恢復(fù)FusionStorage彈性擴(kuò)展FusionStorage擴(kuò)容后，容量、性能、帶寬、緩存等整體提升。ServerAPPAPPMemorySSDHDDsServerAPPAPPMemorySSDHDDsServerAPPAPPMemorySSDHDDsServerMemorySSDHDDsServerMemorySSDHDDs待擴(kuò)容加入節(jié)點(diǎn)1待擴(kuò)容加入節(jié)點(diǎn)2FusionStorage 分

16、布式一體化存儲(chǔ)計(jì)算網(wǎng)絡(luò)（10GE）FusionStorage跨資源池的卷冷遷移跨資源池卷冷遷移：把卷從源資源池 遷移到目的資源池，即【創(chuàng)建目標(biāo)卷】 【卷數(shù)據(jù)復(fù)制】 【刪除源卷】 【目標(biāo)卷改名】 【完成】整個(gè)過(guò)程的實(shí)現(xiàn)。遷移過(guò)程中，源卷不能有寫(xiě)數(shù)據(jù)的操作，所以叫做“冷”遷移。亦可通過(guò)工具調(diào)用復(fù)制接口。場(chǎng)景1：資源池之間的容量平衡，容量滿的池 遷移到一個(gè)空閑的池。場(chǎng)景2： 卷在不同性能的資源池池之間的遷移，從低性能的池向高性能的池遷移。資源池A資源池BFusionStorage方案介紹FusionStorage架構(gòu)原理FusionStorage部署配置與FusionSphere聯(lián)合安裝部署 (1/

17、4)FusionStorage安裝前對(duì)虛擬化環(huán)境的要求：項(xiàng)目說(shuō)明Domain0資源按照FusionStorage的要求配置Domain 0規(guī)格每臺(tái)主機(jī)操作系統(tǒng)的時(shí)間，必須確保與當(dāng)?shù)貢r(shí)間一致服務(wù)器加入VRM集群確保待安裝FusionStorage軟件的服務(wù)器已加入VRM站點(diǎn)下的集群為主機(jī)添加管理接口確保FusionStorage Agent軟件所在主機(jī)已配置管理IP，用于CNA與VRM間、FSA與FSM間通信為主機(jī)添加存儲(chǔ)接口使用FusionStorage提供共享存儲(chǔ)，需在每個(gè)主機(jī)上添加存儲(chǔ)接口若系統(tǒng)存儲(chǔ)平面使用IB網(wǎng)絡(luò)通信，則不需要為主機(jī)添加存儲(chǔ)接口與FusionSphere聯(lián)合安裝部署 (2

18、/4)安裝FSM主備VM規(guī)格要求：項(xiàng)目規(guī)格是否與主機(jī)綁定是，并選擇“始終為虛擬機(jī)預(yù)留資源”操作系統(tǒng)Novell SUSE Linux Enterprise Server 11 SP3 (64位)CPU3個(gè)64個(gè)主機(jī)：設(shè)置CPU數(shù)量為4個(gè) 65個(gè)4096個(gè)主機(jī)：設(shè)置CPU數(shù)量為16個(gè)內(nèi)存3個(gè)64個(gè)主機(jī)：設(shè)置內(nèi)存為16GB 65個(gè)4096個(gè)主機(jī)：設(shè)置內(nèi)存為32GB網(wǎng)卡1個(gè)，使用管理平面的分布式交換機(jī)和端口組磁盤(pán)數(shù)量1個(gè)3個(gè)64個(gè)主機(jī)：設(shè)置磁盤(pán)為100GB 65個(gè)4096個(gè)主機(jī)：設(shè)置磁盤(pán)為300GBQoS設(shè)置在“CPU資源控制”中將“預(yù)留（MHz）”拖動(dòng)到最大值 在“內(nèi)存資源控制”中將“預(yù)留（MB）”拖動(dòng)到最大值HA啟用啟動(dòng)方式硬盤(pán)啟動(dòng)高級(jí)設(shè)置取消勾選“內(nèi)存交換磁盤(pán)”其他選項(xiàng)均保持默認(rèn)即可與FusionSphere聯(lián)合安裝部署 (3/4)安裝FSM主備虛擬機(jī)配置FSM主備HA關(guān)系登錄FSM管理界面導(dǎo)入服務(wù)器列表與FusionSphere聯(lián)合安裝部署 (4/4)批量安裝F