華為分布式存儲系統(tǒng)概述

1、 與廠商專用硬件解耦：傳統(tǒng)存儲系統(tǒng)軟硬件高度集成，Server SANc產品與硬件解耦， 不與特定硬件綁定。存儲與計算融合：Server SAN構建在通用X86服務器之上，計算和存儲融合存在。Server SAN，超融合架構，軟件定義存儲，業(yè)界對此有不同稱呼，但本質上都對應為相似的產品。機頭瓶頸：雙控16控，且無法線性擴展Cache瓶頸：通常為GB網絡瓶頸：10GE、8G FC傳統(tǒng)存儲資源缺乏共享：傳統(tǒng)存儲設備和資源往往由不同廠家提供，之間無法進行資源共享，數據中心看到的是一個個孤立的存儲資源。傳統(tǒng)存儲一般采用集中式元數據管理方式，元數據中會記錄所有LUN中不同偏移量的數 據在硬盤中的分布，例

2、如LUN1+LBA1地址起始的4KB長度的數據分布在第32塊硬盤的 LBA2上。每次IO操作都需要去查詢元數據服務，隨著系統(tǒng)規(guī)模逐漸變大，元數據的容量也會越來越大，系統(tǒng)所能提供的并發(fā)操作能力將受限于元數據服務所在服務器的能力，元數據服務將會成為系統(tǒng)的性能瓶頸。分布式控制器，可線性擴展至4096節(jié)點分布式Cache，擴展至TB級P2P無阻塞高速IB網絡，56G InfiniBand RDMA數據中心級資源共享：一個數據中心內可以構建一個很大的存儲資源池，滿足數據中心內各類應用對存儲容量，性能和可靠性的需求；實現資源共享和統(tǒng)一管理。云數據中心的新存儲投資選擇。FusionStorage采用的DHT

3、算法具有以下特點：均衡性：數據能夠盡可能分布到所有的節(jié)點中，這樣可以使得所有節(jié)點負載均衡。單調性：當有新節(jié)點加入系統(tǒng)中，系統(tǒng)會重新做數據分配，數據遷移僅涉及新增節(jié)點，現有節(jié)點上的數據不需要做很大調整。支持傳統(tǒng)塊存儲典型應用場景：各種業(yè)務應用(如SQL、Oracle RAC、Web、行業(yè)應用等等)。主流云平臺集成：可以和各種云平臺集成，如華為FusionSphere、VMware、開源Openstack等，按需分配存儲資源。唯一商用支持PB級Server SAN產品。開發(fā)兼容：兼容主流數據庫，兼容主流虛擬化平臺，兼容主流服務器。融合部署：支持虛擬化平臺和數據庫資源池融合部署，即共用同一個數據中心

4、FusionStorage存儲資源池。FusionStorage支持使用SSD替代HDD作為高速存儲設備，支持使用Infiniband網絡替代GE/10GE網絡提供更高的帶寬，為對性能要求極高的大數據量實時處理場景提供完美的 支持千萬級IOPS。FusionStorage的部署有分離部署模式和融合部署模式分離部署模式節(jié)點存在形式為計算節(jié)點（服務器5）和存儲節(jié)點（服務器6）融合部署模式節(jié)點存在形式為計算&存儲節(jié)點（服務器4）兩種部署模式下都需要至少三個管理節(jié)點主存：FusionStorage用服務器的數據存儲磁盤。資源池: 類似于SAN的RAID組概念，與RAID相比，其優(yōu)點是：條帶寬度： 最大

5、2048塊盤（3份拷貝），提升超大存儲空間，避免高IO應用導致熱點瓶頸動態(tài)熱備：所有硬盤都可用作資源池的熱備盤簡單結構：資源池、Volume二層結構，服務器直接看到Volume系統(tǒng)自動將每個卷的數據塊打散存儲在不同服務器的不同硬盤上，冷熱不均的數據會均勻分布在不同的服務器上，不會出現集中的熱點。FusionStorage針對系統(tǒng)中的每1個卷，默認按照1MB進行分片，分片后的數據按照DHT算法保存集群節(jié)點上。對于服務器Server1的 磁盤Disk1上的數據塊P1，它的數據備份為服務器Server2的磁盤Disk2上P1，P1和P1構成了同一個數據塊的兩個副本。例如，當P1所在的硬盤故障時， P

6、1可以繼續(xù)提供存儲服務。數據分片分配算法保證了主用副本和備用副本在不同服務器和不同硬盤上的均勻分布，換句話說，每塊硬盤上的主用副本和備副本數量是均勻的。擴容節(jié)點或者故障減容節(jié)點時，數據恢復重建算法保證了重建后系統(tǒng)中各節(jié)點負載的均衡性。當Server3出現故障，丟失所有Disk3和Disk6上的數據塊，但是數據不會丟失。FusionStorage支持將服務器部分內存用作讀緩存，NVDIMM和SSD用作寫緩存。OSD收到VBS發(fā)送的讀IO操作的步驟處理：Step 1：從內存“讀cache”中查找是否存在所需IO數據，存在則直接返回，并調整該IO數據到“讀cache”LRU隊首，否則執(zhí)行Step 2

7、Step 2：從SSD的“讀cache”中查找是否存在所需IO數據，存在則直接返回，并增加該IO數據的熱點訪問因子，否則執(zhí)行Step 3Step 3：從SSD的“寫cache”中查找是否存在所需IO數據，存在則直接返回，并增加該IO數據的熱點訪問因子；如果熱點訪問因子達到閾值，則會被緩存在SSD 的“讀cache”中。如果不存在，執(zhí)行Step 4Step 4：從硬盤中查找到所需IO數據并返回，同時增加該IO數據的熱點訪問因子， 如果熱點訪問因子達到閾值，則會被緩存在SSD的“讀cache”中讀修復：在讀數據失敗時，系統(tǒng)會判斷錯誤類型，如果是磁盤扇區(qū)讀取錯誤，系統(tǒng)會自動從其他節(jié)點保存的副本讀取數

8、據，然后重新寫入該副本數據到硬盤扇區(qū)錯誤的節(jié)點，從而保證數據副本總數不減少和副本間的數據一致性。FusionStorage支持各種cache介質：如NVDIMM、SSD卡、SSD盤、內存cache、關閉cache 5種方式。計算服務器可以采用獨立的網卡，也可以共用網卡。獨立網卡時，存儲平面必須單獨使用一塊網卡，業(yè)務與管理平面可以共用網卡共用網卡時，存儲平面必須使用獨立的平面，并限速6Gb，業(yè)務與管理平面限速4Gb服務器的10GE網口推薦配置為“源目的IP和端口異或的負荷分擔”bond，也可以配置 為active-standby的主備模式。使用SCSI存儲接口時，支持快照、快照備份、鏈接克隆功能

9、，iSCSI暫不支持前述特性。對于iSCSI協(xié)議的支持是通過VBS提供iSCSI Target，塊存儲使用方通過本機的Initiator與iSCSI Target聯接來訪問存儲。FusionStorage支持以下安全訪問的標準：CHAP身份驗證LUN MASKING給Host對Lun的訪問進行授權圖中無內容空格不代表已分配空間，在磁盤上面不占用實際空間。副本數越多，存儲空間利用率越低。1TB硬盤的重建時間小于30分鐘。FusionStorage的分布式架構具有良好的可擴展性，支持超大容量的存儲擴容存儲節(jié)點后不需要做大量的數據搬遷，系統(tǒng)可快速達到負載均衡狀態(tài)支持靈活擴容計算節(jié)點、硬盤、存儲節(jié)點，

10、或者同時進行擴容機頭、存儲帶寬和Cache都均勻分布到各個節(jié)點上，系統(tǒng)IOPS、吞吐量和Cache隨著節(jié)點擴容線性增加Domain0規(guī)劃需根據產品手冊進行CPU數量和內存大小的配置，Domain0規(guī)格不滿足條 件無法創(chuàng)建集群。圖中輸入的管理IP指的是業(yè)務管理IP地址而不是硬件的管理IP地址如果存儲網絡使用IB網絡，則需手工啟動OpenSM、配置IB網絡信息批量安裝FSA 軟件分三步：通過FSM Portal上傳FSA軟件包選擇服務器及軟件包進行批量安裝查看安裝進度及結果參數要求：存儲網絡類型支持以太或IB網絡，一套FSM下其存儲網絡類型必須相同存儲網絡可以選擇IP段或網口名，每臺服務器上針對存

11、儲網絡只能找到一個滿足 條件的IP地址為存儲IP創(chuàng)建控制集群選擇3臺服務器來創(chuàng)建MDC/ZK集群，即控制集群控制集群服務器上用于存放元數據的磁盤類型必須一致，要么使用獨立分區(qū)（55G），要么使用獨立磁盤，槽位號一致如果使用獨立分區(qū)，需要提前劃分好ZK分區(qū)，并掛載好如果控制集群服務器包含部署FSM管理VM的服務器，元數據盤必須使用獨立磁盤創(chuàng)建存儲池支持配置副本數，設置主存、緩存類型。主存類型有SAS、SATA、SSD卡、SSD盤；緩存類型有NVDIMM、SSD卡、SSD盤；主存和緩存不能同時選擇SSD卡或SSD盤一個存儲池中服務器間的主存總數最多相差2個，槽位號可以不連續(xù)批量選擇是指所選服務器在開始和結束槽位中已插盤都用做存儲池；手動選擇支持給不同服務器配置不同槽位的磁盤用做存儲池；每個磁盤上啟動一個OSD進程該操作支持任務機制，可以在任務管理界面查看是否成功一套FSM最大支持128個存儲池創(chuàng)建塊客戶端給所有需要訪問FusionStorage存儲的服務器創(chuàng)建客戶端，即VBS針對一套FSM，服務器上只需部署一個VBS即可訪問該套FSM下所有存儲池支持批量創(chuàng)建塊客戶端物理部署場景下或VMware下，需要手工登陸FSM Portal創(chuàng)建SCSI卷或ISCSI卷目前規(guī)格支持每個存儲池最大65000個卷，一套FSM最大支持128萬個卷，每