H3C ONEStor存儲技術(shù)白皮書

1、H3CH3cONEStor存儲技術(shù)白皮書-芭，ihi-1c.一%HBC數(shù)字化解決方案領(lǐng)導(dǎo)者 存儲集群的性能取決于兩方面：一方面是單節(jié)點的能力，另一方面是系統(tǒng)的擴(kuò)展能力。如前所述，ONEStor系統(tǒng)的性能可以隨節(jié)點的規(guī)模而線性擴(kuò)展，所以對第二點來說，已經(jīng)達(dá)到了最大化。對于單節(jié)點的能力，ONEStor在系統(tǒng)設(shè)計和硬件配置方便實現(xiàn)了足夠的靈活性，從而可以表現(xiàn)出良好的性能。對傳統(tǒng)的HDD來說，受尋道能力的限制，單盤的隨機(jī)讀寫能力一般不超過200IOPS。SSD的出現(xiàn)，使得在IOPS上的能力相比于HDD有了大幅的提升，一般可以提升2個數(shù)量級以上，從在在當(dāng)前對IOPS有較高需求的應(yīng)用(如數(shù)據(jù)庫、VDI等)

2、中得到了廣泛使用。另一方面，當(dāng)前SSD在容量、價格、使用壽命等方面和HDD相比還有一定的差距，所以針對不同的場景和需求，一個良好的存儲系統(tǒng)應(yīng)該可以進(jìn)行靈活的配置。具體來說：ONEStor系統(tǒng)支持的硬盤類型包括：全HDD、SSD+HDD混合組網(wǎng)、全SSD。在SSD+HDD混合組網(wǎng)模式下，ONEStor系統(tǒng)既可以將SSD作為Cache使用，也可以將SSD和HDD放到不同的pool，做分層存儲使用。在混合模式下，既可以發(fā)揮SSD的IOPS和Throughput的優(yōu)勢，又可以發(fā)揮HDD的容量和價格優(yōu)勢，是目前廣泛采用的存儲架構(gòu)。2.1.6從存儲系統(tǒng)的業(yè)務(wù)供給能力角度看，不同的存儲系統(tǒng)可以提供所謂的塊存

3、儲(FCSAN/IPSAN)、文件存儲(NAS)、對象存儲等不同類型。假如用戶有多重應(yīng)用，就需要購買不同的存儲系統(tǒng)。ONEStor基于Ceph開發(fā)，因為Ceph本身提供了塊、對象、文件等多種不同的接口，故而ONEStor也可以對用戶提供不同的存儲接口。其基本架構(gòu)圖如下：應(yīng)用主機(jī)/虛擬機(jī)客戶端庫函數(shù)接口應(yīng)用可通過應(yīng)用主機(jī)/虛擬機(jī)客戶端庫函數(shù)接口應(yīng)用可通過UCH，Java.Python,Runy,PHP等接口證底層存對象服務(wù)通過3芯wi計接口為用戶提供對泉行旅服務(wù)塊設(shè)備服務(wù)以內(nèi)膾摸QEMU梗比為物理機(jī)M虛報所揀供分布式塊設(shè)省明務(wù)文件服務(wù)為客戶出供兼亶FOX在濤義的公布式文件系統(tǒng)服務(wù)底層存儲服務(wù)集群

4、由分布式、可智能負(fù)載分擔(dān)、白適應(yīng)節(jié)息蛆成，提供系統(tǒng)級別的高可罪、高性能、高可用性如上圖所示，ONEStor系統(tǒng)的軟件邏輯分層:底層存儲服務(wù)集群，這一層是一個對象存儲系統(tǒng)，RADOS采用C+開發(fā)。庫函數(shù)接口：這一層的功能是對底層存儲服務(wù)進(jìn)行抽象和封裝，并向上層提供API（包括C和C+、Java、Python、Ruby和PHP的支持。高層應(yīng)用接口：這一層包括了三個部分：對象服務(wù)、塊設(shè)備服務(wù)、文件服務(wù)等三部分應(yīng)用層：這一層就是不同場景下對于ONEStor各個應(yīng)用接口的各種應(yīng)用方式。從用戶的角度，一個存儲集群就可以滿足用戶不同的存儲應(yīng)用。2.2典型應(yīng)用場景使用場景和虛擬計算融合的應(yīng)用場景：H3CONE

5、Stor存儲系統(tǒng)和H3cCAS虛擬機(jī)融合，ONEStor作為虛擬計算的后端存儲。虛擬機(jī)的應(yīng)用包含基礎(chǔ)服務(wù)架構(gòu)類應(yīng)用：FTP、DNS、PROXY、AD、DHCPserver等；WEB類應(yīng)用（B/S架構(gòu)）中的Web服務(wù)器、中間件（APP）服務(wù)器：辦公OA、郵件系統(tǒng)、云網(wǎng)盤、選課、報稅等軟件。以及其他輕載類應(yīng)用、非IO密集型應(yīng)用，可多業(yè)務(wù)、多虛擬機(jī)混合負(fù)載在零存儲上。其邏輯組網(wǎng)圖如下：虛擬桌面應(yīng)用虛擬桌面對存儲的需求是跟業(yè)務(wù)強(qiáng)相關(guān)的，可以根據(jù)每個虛桌面正常運(yùn)行時需要1530個IOPS來估算虛桌面系統(tǒng)對存儲的性能要求。VDI開啟時需要60個IOPS，大量VDI同時啟動時會產(chǎn)生啟動風(fēng)暴，要使用SSD緩存

6、加速。備份系統(tǒng)ONEStor和備份軟件配合，為生產(chǎn)系統(tǒng)的主用存儲提供備份功能。4.CommvaultONEStor實現(xiàn)云網(wǎng)盤功能。數(shù)據(jù)上傳時4.CommvaultONEStor實現(xiàn)云網(wǎng)盤功能。數(shù)據(jù)上傳時從客戶直接傳遞到對象網(wǎng)關(guān)，對象網(wǎng)關(guān)、云網(wǎng)盤服務(wù)器都需要高可靠機(jī)制，云網(wǎng)盤服務(wù)器使用負(fù)載均衡設(shè)備，云網(wǎng)盤服務(wù)器重定向時負(fù)載分擔(dān)到各對象網(wǎng)關(guān)。云網(wǎng)盤服務(wù)器又晝網(wǎng)美云網(wǎng)盤服務(wù)器又晝網(wǎng)美(RGW)5.H3c云管理平臺/Openstack后端存儲ONEStor還可以作為H3c云管理平臺以及標(biāo)準(zhǔn)的OPENSTACK平臺的后端存儲。除了作為塊存儲和Cinder對接，作為對象存儲和Swift對接，還可以和Key

7、stone、Glance、Nova、Cinder等模塊對接配合。對于以下場景不建議使用ONEStor存儲：大型數(shù)據(jù)庫、ORACLE數(shù)據(jù)庫、OLTP實時交易型業(yè)務(wù)、對存儲時延要求很高的應(yīng)用。2.2.2典型組網(wǎng)架構(gòu)在組網(wǎng)上，H3CONEStor既可以和虛擬計算融合組網(wǎng)，也可以作為IPSAN獨(dú)立組網(wǎng)。在融合型組網(wǎng)中，H3CCAS系統(tǒng)和ONEStor存儲系統(tǒng)結(jié)合，以集群的形式對外提供服務(wù)。具體組網(wǎng)如下圖所示：CW、比塞木機(jī)業(yè)務(wù)網(wǎng)急老安理網(wǎng)絡(luò)業(yè)務(wù)土一機(jī)享存儲H3CFlexServer獨(dú)立的IPSAN組網(wǎng)圖如下:IH3CFlexServerH3CFlexServer尋世阿絡(luò)云造理外反交換機(jī)物理服務(wù)精存儲集

8、群業(yè)各妗網(wǎng)ONEStcrONEStorONEStor存曲后端網(wǎng)招存睹管芟網(wǎng)2.3ONEStor對硬件設(shè)備要求2.3.1硬件要求1.服務(wù)器最少1臺服務(wù)就可以組網(wǎng)。實際部署中，為存儲數(shù)據(jù)可靠性考慮，建議最少部署三臺服務(wù)器。硬盤系統(tǒng)盤：必配，至少2塊硬盤。2個硬盤做RAID1用來安裝ONEStor等系統(tǒng)軟件，不作為數(shù)據(jù)盤；系統(tǒng)盤建議使用SAS盤，容量、轉(zhuǎn)速沒有特殊要求。數(shù)據(jù)盤：必配，至少1塊硬盤1、轉(zhuǎn)速建議10K以上，若有RAID卡，單盤做RAID0條帶化；2、ONEStor使用副本機(jī)制（2N副本）或糾刪碼機(jī)制保障可靠性。如果使用N副本，則可用容量是裸容量的N分之一。建議使用2-3副本，保持較好的性

9、價比。如果對存儲效率都有比較高的要求，也可以采用糾刪碼技術(shù)，此時對CPU要求有所提高。3、不同節(jié)點硬盤類型（容量、轉(zhuǎn)速）可以不同，但為保證最佳性能，需要采用一定的配置策略。在一般項目中，為簡化起見，建議不同節(jié)點配置相同類型的硬盤。為保證系統(tǒng)性能，建議配置10000rpm的硬盤。SSDSSD為系統(tǒng)提供快速寫日志功能及緩存加速功能，建議每臺服務(wù)器SSD硬盤容量與機(jī)械硬盤的容量比為1:5。內(nèi)存根據(jù)服務(wù)器配置的數(shù)據(jù)盤容量計算ONEStor占用內(nèi)存容量：512M內(nèi)存/TB磁盤容量。例如某服務(wù)器節(jié)點配置8塊1T的數(shù)據(jù)盤，那么ONEStor占用內(nèi)存容量為：8*512M=4G。注意：服務(wù)器還需要配置足夠的內(nèi)存

10、供虛擬機(jī)使用。RAID控制器選配，H3CFlexServer服務(wù)器默認(rèn)已自帶硬件Raid卡。其他品牌服務(wù)器需確認(rèn)形態(tài)及兼容性。RAID卡緩存推薦配置不少于2G。如果Raid卡沒有電源保護(hù)，則關(guān)閉Cache。網(wǎng)絡(luò)至少配置3個網(wǎng)口，分別對應(yīng)存儲內(nèi)網(wǎng)、管理網(wǎng)、業(yè)務(wù)網(wǎng)，其中存儲內(nèi)網(wǎng)為萬兆網(wǎng)卡，其他可千兆；為進(jìn)一步提升可靠性及性能，建議網(wǎng)口采用冗余配置，共6個網(wǎng)口（2個萬兆，4個千兆）。如果還要求提供外部存儲服務(wù)，則需要另配網(wǎng)卡（千兆或者萬兆均可）。以太網(wǎng)交換機(jī)在服務(wù)器節(jié)點較少的時候，多張網(wǎng)絡(luò)可以共用交換機(jī)，通過VLAN隔離；存儲內(nèi)網(wǎng)交換機(jī)必須為萬兆端口。3ONEStor管理系統(tǒng)管理系統(tǒng)的特點無中心管理

11、架構(gòu)設(shè)計H3CONEStor的管理系統(tǒng)稱為Handy。為了滿足管理平臺的高可用性（HA）特性，現(xiàn)有技術(shù)方案一般都是采用HA工具（如keepalived）實現(xiàn)，如圖1所示，管理平臺分為活動節(jié)點和備用節(jié)點兩部分，HA工具會在活動節(jié)點A上配置一個VIP（本例中為IPV1），用戶通過IPV1訪問管理平臺時，請求的是實際IP地址為IPA的節(jié)點A。北向統(tǒng)一宸擬IPit址IP，1同步數(shù)據(jù)同步數(shù)據(jù)心跳檢測心跳檢測活動早點下發(fā)配先到集群中寸同臣筆群贊偌動節(jié)點同步數(shù)據(jù)同步數(shù)據(jù)心跳檢測心跳檢測活動早點下發(fā)配先到集群中寸同臣筆群贊偌動節(jié)點當(dāng)活動節(jié)點A出現(xiàn)故障時，HA工具通過各個節(jié)點之間的心跳檢測可以感知到，這時候會將

12、VIP配置到備用節(jié)點B上，并將節(jié)點B標(biāo)記為活動節(jié)點，用戶這時候通過IPV1訪問管理平臺時，實際訪問的已經(jīng)是IPB所在的節(jié)點B?，F(xiàn)有技術(shù)的缺點主要是：1、管理平臺數(shù)據(jù)庫中的信息要跟集群中的信息進(jìn)行同步。一方面，假如不通過管理平臺，而是通過命令行的方式增加配置到集群中，管理平臺就不能感知到，所以需要定時同步集群數(shù)據(jù)到管理平臺上。另一方面，管理平臺數(shù)據(jù)庫的引入也增加了系統(tǒng)的復(fù)雜性和失效風(fēng)險。2、活動節(jié)點與各個備用節(jié)點之間的所有數(shù)據(jù)（包括數(shù)據(jù)庫、監(jiān)控信息、日志信息等）都要進(jìn)行同步。3、需要額外的HA軟件（如keepalived）來實現(xiàn)管理平臺各節(jié)點之間的心跳檢測，增加了網(wǎng)絡(luò)負(fù)擔(dān)。Handy針對以上缺點

13、，重新設(shè)計了管理架構(gòu)，充分利用ONEStor集群本身的HA特性，實現(xiàn)了管理節(jié)點和存儲節(jié)點的深入融合，以達(dá)到以下目的：1、系統(tǒng)的配置和狀態(tài)信息直接從集群中獲取，不需要保存到單獨(dú)的數(shù)據(jù)庫中，解決了數(shù)據(jù)庫與集群數(shù)據(jù)的一致性問題。2、活動節(jié)點與所有的備用節(jié)點之間不需要同步任何數(shù)據(jù)，包括數(shù)據(jù)庫、日志信息等，大大減少了網(wǎng)絡(luò)帶寬的占用和數(shù)據(jù)同步的復(fù)雜度。3、利用ONEStor自身的HA機(jī)制，就可以實現(xiàn)VIP（虛擬IP）從管理節(jié)點到健康管理節(jié)點的自動切換。需要說明的是，Handy節(jié)點既可以部署的獨(dú)立的物理服務(wù)器上，也可以和ONEStor部署在相同的物理服務(wù)器上，以便用戶根據(jù)集群的規(guī)模和特定要求靈活選擇。對一般

14、用戶，尤其是企業(yè)網(wǎng)用戶而言，對存儲系統(tǒng)進(jìn)行配置還是一項比較繁瑣的工作，尤其是對一些參數(shù)的選擇更是不易。為了最大限度的簡化存儲配置管理，Handy對ONEStor主要的應(yīng)用場景進(jìn)行了總結(jié)，在不同的場景中對一些原本需要用戶輸入的參數(shù)進(jìn)行智能計算，這樣用戶只需要根據(jù)業(yè)務(wù)需要選定場景，就可以很容易地完成相關(guān)配置。其基本配置頁面如下圖所示：3.2首次登錄Handy管理系統(tǒng)，需要先創(chuàng)建一個ONEStor集群，并通過：基本信息、場景選擇、增加機(jī)架、增加主機(jī)、確認(rèn)信息等步驟完成集群的創(chuàng)建。在以上步驟中，只需要根據(jù)向?qū)Ъ纯奢p松完成ONEStor集群的部署。Handy管理系統(tǒng)分為：系統(tǒng)概覽、集群管理、存儲管理、運(yùn)

15、維監(jiān)控、系統(tǒng)管理，共五部分。系統(tǒng)概覽：主要描述ONEStor集群的整體狀態(tài)，包括：1，主機(jī)、硬盤、監(jiān)控器、虛節(jié)點等健康狀態(tài)2，集群整體的2，集群整體的IOPS和存儲容量使用量3，群的告警信息4，集群的物理拓?fù)湔故酒浣缑嫒缦聢D所示：集群管理：分為主機(jī)管理和集群拓?fù)鋬刹糠?。其界面如下圖所示：集群管理：分為主機(jī)管理和集群拓?fù)鋬刹糠?。在主機(jī)管理中，可以選擇手動部署或自動部署將新的主機(jī)加入到集群中。在集群中可以顯示所有主機(jī)的信息，包括硬盤數(shù)量和狀態(tài)、存儲使用率、CPU使用率和內(nèi)存使用率等。集群拓?fù)渲?，集群中主機(jī)的形態(tài)以直觀的拓?fù)滹@示在管理界面中，當(dāng)鼠標(biāo)移至機(jī)架、服務(wù)器、硬盤上時會有具體的信息顯示物理設(shè)備

16、的狀態(tài)；當(dāng)硬盤出現(xiàn)故障時，硬盤燈將由綠色變?yōu)榧t色。存儲管理：分為Pool管理、塊存儲管理、對象存儲管理等。Pool管理主要完成根據(jù)不同應(yīng)用場景創(chuàng)建不同的存儲池，并制定存儲池的創(chuàng)建策略，比如副本策略、SSD策略、對象網(wǎng)關(guān)等。塊存儲管理可以完成對塊的創(chuàng)建、修改、刪除、快照、快照管理、克隆操作。對象存儲管理主要是為對象存儲業(yè)務(wù)創(chuàng)建對象網(wǎng)關(guān)。運(yùn)維監(jiān)控：運(yùn)維監(jiān)控頁面可以查看各個主機(jī)和硬盤的資源占用情況，包括CPU、內(nèi)存、硬盤吞吐、硬盤時延、硬盤IOPS和硬盤容量等。系統(tǒng)管理：主要包括告警管理、日志管理、用戶管理、用戶組管理等。4規(guī)格參數(shù)指標(biāo)名稱指標(biāo)值單個資源池最大存儲節(jié)點數(shù)256（無理論限制，從管理角度，建議不大于此值）單個資源池最大存儲節(jié)點數(shù)1單個資源池最大硬盤數(shù)無限制最大單卷容量集群最大磁盤容量每18數(shù)據(jù)恢復(fù)時間HDD:30分鐘SSD:15分鐘數(shù)據(jù)冗余模式副本（2-N）；糾刪碼單個資源池最大邏輯卷數(shù)量無限制5縮略語表英文縮寫英文全稱中文全稱SANStorageAreaNetwork存儲區(qū)域網(wǎng)絡(luò)RAIDRedundantArrayofIndependentDisks獨(dú)立磁盤冗余陣列HDDHardDiskDrive硬盤驅(qū)動器LUN