大華云存儲(chǔ)技術(shù)白皮書(shū)

大華云存儲(chǔ)技術(shù)白皮書(shū)云計(jì)算產(chǎn)品線2014年7月目錄目錄 2第一章 概述 41. 背景 42. 設(shè)計(jì)思想 43. 系統(tǒng)架構(gòu) 5第二章 關(guān)鍵技術(shù) 71. 負(fù)載自動(dòng)均衡技術(shù) 72. 高速并發(fā)訪問(wèn)技術(shù) 73. 高可靠性保證技術(shù) 84. 高可用技術(shù) 8第三章 分布式文件系統(tǒng)設(shè)計(jì) 81. 數(shù)據(jù)存儲(chǔ)功能 92. 海量存儲(chǔ)能力 103. 統(tǒng)一命名空間管理 104. 節(jié)點(diǎn)間數(shù)據(jù)冗余 115. 數(shù)據(jù)恢復(fù)機(jī)制 126. 元數(shù)據(jù)管理的高可用性保障 137. 存儲(chǔ)服務(wù)的高可用性保障 148. 動(dòng)態(tài)負(fù)載均衡 149. 在線擴(kuò)容 1510. 磁盤(pán)熱插拔和漂移 1511. 高速并發(fā)訪問(wèn) 15第四章 客戶端接口設(shè)計(jì) 161. 基礎(chǔ)SDK 162. 流媒體SDK(可擴(kuò)展) 173. RESTful接口(可擴(kuò)展) 174. Posix接口(可擴(kuò)展) 175. NFS/CIFS接口(可擴(kuò)展) 18第五章 運(yùn)維管理系統(tǒng)設(shè)計(jì) 191. 設(shè)備管理 192. 系統(tǒng)監(jiān)控 193. 系統(tǒng)維護(hù) 204. 告警日志 215. 故障處理 22

概述背景隨著平安城市建設(shè)的升級(jí)，智慧城市建設(shè)的興起，視頻監(jiān)控高清化開(kāi)始普及，視頻圖像信息的深度應(yīng)用成為行業(yè)的趨勢(shì)，如何有效存儲(chǔ)和高效使用海量監(jiān)控?cái)?shù)據(jù)成為了新的課題。傳統(tǒng)大型監(jiān)控系統(tǒng)主要采用以下兩種模式來(lái)實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)與使用：存儲(chǔ)服務(wù)器+IPSAN；NVR為代表的嵌入式存儲(chǔ)設(shè)備。這兩種方式都存在擴(kuò)展困難，可靠性低，數(shù)據(jù)無(wú)法充分共享等弱點(diǎn)。針對(duì)這些問(wèn)題，有必要將IT云存儲(chǔ)技術(shù)引入到監(jiān)控領(lǐng)域。云存儲(chǔ)解決方案采用全新的設(shè)計(jì)理念，可從成本、容量、空間可擴(kuò)展性、服務(wù)可用性、數(shù)據(jù)可靠性、接口通用性等多個(gè)維度提升監(jiān)控存儲(chǔ)的質(zhì)量。由于這些明顯的優(yōu)勢(shì)，云存儲(chǔ)將成為未來(lái)平安城市、智慧城市系統(tǒng)的基石，有效的支持原始視頻存儲(chǔ)、卡口圖片存儲(chǔ)，視頻圖像信息庫(kù)等數(shù)據(jù)集中存儲(chǔ)與共享業(yè)務(wù)，以及智能實(shí)戰(zhàn)系統(tǒng)，警務(wù)政務(wù)綜合系統(tǒng)，大型數(shù)據(jù)挖掘系統(tǒng)等數(shù)據(jù)分析業(yè)務(wù)，成為便捷、統(tǒng)一管理和高效應(yīng)用的大數(shù)據(jù)基礎(chǔ)平臺(tái)。設(shè)計(jì)思想大華云存儲(chǔ)解決方案采用業(yè)界領(lǐng)先的云存儲(chǔ)架構(gòu)思想，在系統(tǒng)架構(gòu)和設(shè)計(jì)上，充分考慮大規(guī)模集群環(huán)境下軟硬件發(fā)生故障的現(xiàn)實(shí)，采用先進(jìn)的管理思想和軟件系統(tǒng)，實(shí)現(xiàn)對(duì)大量普通存儲(chǔ)服務(wù)器存儲(chǔ)空間資源進(jìn)行虛擬化整合，實(shí)現(xiàn)軟硬件故障高度容錯(cuò)，搭建高度穩(wěn)定可靠的存儲(chǔ)集群。系統(tǒng)將控制流與數(shù)據(jù)流分離，以及充分優(yōu)化元數(shù)據(jù)節(jié)點(diǎn)控制系統(tǒng)，使得系統(tǒng)具備極高的性能和良好的線性擴(kuò)展能力。系統(tǒng)整體為應(yīng)用提供統(tǒng)一命名空間，使得系統(tǒng)具備極好的數(shù)據(jù)共享能力。系統(tǒng)將負(fù)載均衡到集群內(nèi)的各節(jié)點(diǎn)上，充分利用集群各節(jié)點(diǎn)性能，以獲得很好的性能聚合能力以及保證了系統(tǒng)的穩(wěn)定。集群采用高度靈活自組網(wǎng)技術(shù)，提供簡(jiǎn)易部署和維護(hù)功能。系統(tǒng)在數(shù)據(jù)可靠方面，采用智能冗余重建技術(shù)，保證較高磁盤(pán)利用率的前提下，提供最佳冗余策略。另外，系統(tǒng)在節(jié)點(diǎn)軟硬件故障容錯(cuò)方面，也進(jìn)行充分考慮，具備屏蔽所有可屏蔽錯(cuò)誤能力。系統(tǒng)架構(gòu)在本次系統(tǒng)建設(shè)中，云存儲(chǔ)系統(tǒng)屬于基礎(chǔ)平臺(tái)支撐層，以用于數(shù)據(jù)集中存儲(chǔ)和共享，實(shí)現(xiàn)對(duì)數(shù)據(jù)的統(tǒng)一管理和高效應(yīng)用。將數(shù)據(jù)邏輯集中物理分散，以提供多并發(fā)高吞吐帶寬，最大程度降低系統(tǒng)訪問(wèn)瓶頸。云存儲(chǔ)系統(tǒng)采用分布式的存儲(chǔ)機(jī)制，將數(shù)據(jù)分散存儲(chǔ)在多臺(tái)獨(dú)立的存儲(chǔ)服務(wù)器上。它采用包括元數(shù)據(jù)管理服務(wù)器（MetadataServer）、數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)服務(wù)器（DataNode）和客戶端以及運(yùn)維管理服務(wù)器的結(jié)構(gòu)構(gòu)成海量云存儲(chǔ)系統(tǒng)。在每個(gè)服務(wù)器節(jié)點(diǎn)上運(yùn)行云存儲(chǔ)系統(tǒng)的相應(yīng)軟件服務(wù)程序模塊。云存儲(chǔ)系統(tǒng)從功能上劃份為三大部分：分布式文件系統(tǒng)分布式文件系統(tǒng)實(shí)現(xiàn)文件數(shù)據(jù)存儲(chǔ)、可靠性容錯(cuò)、可伸縮性保證、高可用保證、負(fù)載均衡和流量分擔(dān)等功能。存儲(chǔ)訪問(wèn)接口提供高性能專用的API接口，支持云業(yè)務(wù)應(yīng)用層程序?qū)υ拼鎯?chǔ)系統(tǒng)的高性能直接訪問(wèn)。運(yùn)維管理平臺(tái)運(yùn)維管理平臺(tái)提供設(shè)備管理、系統(tǒng)監(jiān)控、告警管理、故障管理等功能。系統(tǒng)架構(gòu)框圖如下圖所示。其中，元數(shù)據(jù)服務(wù)器集群保存系統(tǒng)的元數(shù)據(jù)，負(fù)責(zé)對(duì)整個(gè)文件系統(tǒng)的管理，MetadataServer在邏輯上只有一個(gè)，但采用主備雙機(jī)熱備集群方式，保證系統(tǒng)的不間斷服務(wù)；智能存儲(chǔ)服務(wù)器(DataNode)負(fù)責(zé)具體的數(shù)據(jù)存儲(chǔ)工作，數(shù)據(jù)以文件的形式存儲(chǔ)在DataNode上，DataNode的個(gè)數(shù)可以有多個(gè)，它的數(shù)目直接決定了云存儲(chǔ)系統(tǒng)的規(guī)模；客戶端對(duì)外提供數(shù)據(jù)存儲(chǔ)和訪問(wèn)服務(wù)的接口，為云業(yè)務(wù)平臺(tái)提供云存儲(chǔ)系統(tǒng)的訪問(wèn)能力。整個(gè)方案的軟件架構(gòu)圖如下：系統(tǒng)包含四個(gè)層次功能，來(lái)滿足最終用戶、系統(tǒng)管理員、運(yùn)營(yíng)人員的日常操作需求：資源層：基于單個(gè)存儲(chǔ)節(jié)點(diǎn)，管理本地的硬盤(pán)，文件和數(shù)據(jù)塊。硬盤(pán)熱插拔：管理節(jié)點(diǎn)內(nèi)的硬盤(pán)動(dòng)態(tài)增加和刪除，和存儲(chǔ)管理層同步硬盤(pán)內(nèi)的文件信息。硬盤(pán)漂移：當(dāng)節(jié)點(diǎn)故障時(shí)，支持把節(jié)點(diǎn)上的硬盤(pán)取下來(lái)放到新的存儲(chǔ)設(shè)備上，快速恢復(fù)數(shù)據(jù)。本地文件系統(tǒng)：對(duì)操作系統(tǒng)自帶的本地文件系統(tǒng)進(jìn)行調(diào)優(yōu)，作為數(shù)據(jù)存儲(chǔ)的基礎(chǔ)。對(duì)象數(shù)據(jù)塊管理：對(duì)象存儲(chǔ)到節(jié)點(diǎn)后，會(huì)形成多個(gè)數(shù)據(jù)塊。管理層：提供單個(gè)集群和多域的管理能力節(jié)點(diǎn)管理：管理多個(gè)存儲(chǔ)節(jié)點(diǎn)，支持節(jié)點(diǎn)上下線，搜集節(jié)點(diǎn)信息。負(fù)載均衡：根據(jù)節(jié)點(diǎn)的CPU,網(wǎng)絡(luò)，磁盤(pán)的負(fù)載情況，動(dòng)態(tài)選擇負(fù)載最輕的節(jié)點(diǎn)參與工作。高可用HA：對(duì)兩臺(tái)元數(shù)據(jù)進(jìn)行數(shù)據(jù)同步，在一臺(tái)發(fā)生故障時(shí)快速進(jìn)行主備切換。對(duì)象管理：響應(yīng)客戶端的對(duì)象操作請(qǐng)求，為對(duì)象分配合適的存儲(chǔ)節(jié)點(diǎn)，提供唯一ID。統(tǒng)一目錄：提供文件對(duì)象的目錄視圖，支持文件路徑和按范圍查詢。運(yùn)維管理：提供運(yùn)維Web服務(wù)，支持設(shè)備動(dòng)態(tài)添加刪除，文件手動(dòng)恢復(fù)，系統(tǒng)升級(jí)等。多域管理：通過(guò)索引對(duì)多個(gè)云存儲(chǔ)系統(tǒng)統(tǒng)一管理，提供全域唯一文件路徑。接入層：提供豐富的訪問(wèn)接口，適應(yīng)各種應(yīng)用基礎(chǔ)SDK：通過(guò)SDK可以直接訪問(wèn)云存儲(chǔ)系統(tǒng)，進(jìn)行基本文件操作。流媒體SDK：基于基礎(chǔ)SDK封裝，支持流媒體寫(xiě)入并建立幀索引，按時(shí)間段定位和讀取。POSIX驅(qū)動(dòng)：基于基礎(chǔ)SDK封裝，提供Windows/Linux驅(qū)動(dòng)，將云存儲(chǔ)模擬成本地硬盤(pán)。NFS/CIFS網(wǎng)關(guān)：通過(guò)服務(wù)器，提供網(wǎng)絡(luò)文件系統(tǒng)服務(wù)。WebService：通過(guò)Web服務(wù)器，提供文件Web服務(wù)，并提供RESTful的接口形式。應(yīng)用&服務(wù)層： 業(yè)務(wù)應(yīng)用層部署由各用戶根據(jù)自身需求，充分利用接口層提供的各種接口，開(kāi)發(fā)而成的監(jiān)控系統(tǒng)，聯(lián)網(wǎng)共享系統(tǒng)等。

關(guān)鍵技術(shù)負(fù)載自動(dòng)均衡技術(shù)采用中心服務(wù)器模式來(lái)管理整個(gè)云存儲(chǔ)文件系統(tǒng)，所有元數(shù)據(jù)均保存在元數(shù)據(jù)服務(wù)器上，文件則被按塊劃分存儲(chǔ)在不同的數(shù)據(jù)節(jié)點(diǎn)上。元數(shù)據(jù)維護(hù)了統(tǒng)一的命名空間，同時(shí)掌握整個(gè)系統(tǒng)內(nèi)數(shù)據(jù)節(jié)點(diǎn)的使用情況，當(dāng)客戶端向元數(shù)據(jù)服務(wù)器發(fā)送數(shù)據(jù)讀寫(xiě)的請(qǐng)求時(shí)，元數(shù)據(jù)服務(wù)器根據(jù)數(shù)據(jù)節(jié)點(diǎn)的磁盤(pán)使用情況、網(wǎng)絡(luò)負(fù)擔(dān)等情況，選擇負(fù)擔(dān)最輕的節(jié)點(diǎn)服務(wù)器對(duì)外提供服務(wù)，自動(dòng)調(diào)節(jié)集群的負(fù)載狀態(tài)。數(shù)據(jù)節(jié)點(diǎn)內(nèi)同時(shí)有提供磁盤(pán)級(jí)的負(fù)載均衡，根據(jù)磁盤(pán)的IO負(fù)載，空間容量等情況，自動(dòng)選擇負(fù)載最輕的磁盤(pán)存儲(chǔ)新的數(shù)據(jù)文件。當(dāng)有一個(gè)數(shù)據(jù)節(jié)點(diǎn)因?yàn)闄C(jī)器故障或者其他原因造成離線時(shí)，元數(shù)據(jù)服務(wù)器會(huì)將此機(jī)器自動(dòng)屏蔽掉，不再將此數(shù)據(jù)節(jié)點(diǎn)提供給客戶端使用，同時(shí)存儲(chǔ)在此數(shù)據(jù)節(jié)點(diǎn)上的數(shù)據(jù)也會(huì)自動(dòng)恢復(fù)到其他可用的節(jié)點(diǎn)服務(wù)器上，自動(dòng)屏蔽數(shù)據(jù)單節(jié)點(diǎn)故障對(duì)系統(tǒng)的影響。另外對(duì)故障的數(shù)據(jù)節(jié)點(diǎn)上的數(shù)據(jù)快速恢復(fù)，只需將數(shù)據(jù)節(jié)點(diǎn)上的硬盤(pán)拔出，插入到其他數(shù)據(jù)節(jié)點(diǎn)，這樣即減少集群對(duì)數(shù)據(jù)恢復(fù)的壓力，又不對(duì)客戶端讀寫(xiě)產(chǎn)生影響。高速并發(fā)訪問(wèn)技術(shù)客戶端在訪問(wèn)云存儲(chǔ)時(shí)，首先訪問(wèn)元數(shù)據(jù)服務(wù)器，獲取將要與之進(jìn)行交互的數(shù)據(jù)節(jié)點(diǎn)信息，然后直接訪問(wèn)這些數(shù)據(jù)節(jié)點(diǎn)完成數(shù)據(jù)存取。客戶端與元數(shù)據(jù)服務(wù)器之間只有控制流，而無(wú)數(shù)據(jù)流，這樣就極大地降低了元數(shù)據(jù)服務(wù)器的負(fù)載，使之不成為系統(tǒng)性能的一個(gè)瓶頸?？蛻舳伺c數(shù)據(jù)節(jié)點(diǎn)之間直接傳輸數(shù)據(jù)流，同時(shí)由于文件被分成多個(gè)節(jié)點(diǎn)進(jìn)行分布式存儲(chǔ)，客戶端可以同時(shí)訪問(wèn)多個(gè)節(jié)點(diǎn)服務(wù)器，從而使得整個(gè)系統(tǒng)的I/O高度并行，系統(tǒng)整體性能得到提高。通常情況下，系統(tǒng)的整體吞吐率與節(jié)點(diǎn)服務(wù)器的數(shù)量呈正比。高可靠性保證技術(shù)對(duì)于元數(shù)據(jù)，通過(guò)操作日志來(lái)提供容錯(cuò)功能。主服務(wù)器本地SSD盤(pán)組建高可靠RAID1，提供高可靠容錯(cuò)能力。當(dāng)元數(shù)據(jù)服務(wù)器發(fā)生故障時(shí)，在磁盤(pán)數(shù)據(jù)保存完好的情況下，可以迅速恢復(fù)以上元數(shù)據(jù)。且操作日志在主備元數(shù)據(jù)服務(wù)器之間實(shí)時(shí)同步，實(shí)現(xiàn)更高程度的可靠性。對(duì)于節(jié)點(diǎn)服務(wù)器，采用ErasureCode冗余方式實(shí)現(xiàn)容錯(cuò)，數(shù)據(jù)冗余分布存儲(chǔ)在不同的數(shù)據(jù)節(jié)點(diǎn)上。任一數(shù)據(jù)節(jié)點(diǎn)的損壞，不會(huì)導(dǎo)致任何數(shù)據(jù)丟失，不會(huì)影響任何的數(shù)據(jù)訪問(wèn)和寫(xiě)入過(guò)程。之后，通過(guò)靈活數(shù)據(jù)恢復(fù)機(jī)制，進(jìn)行數(shù)據(jù)重建過(guò)程。高可用技術(shù)系統(tǒng)中的所有服務(wù)節(jié)點(diǎn)均是通過(guò)網(wǎng)絡(luò)連接在一起，由于采用了高可靠的容錯(cuò)機(jī)制，系統(tǒng)增減節(jié)點(diǎn)不必停止服務(wù)，可在線增減存儲(chǔ)節(jié)點(diǎn)。元數(shù)據(jù)服務(wù)器采用主備雙機(jī)熱備技術(shù)，主機(jī)故障，備機(jī)自動(dòng)接替其工作，對(duì)外服務(wù)不停止；存儲(chǔ)節(jié)點(diǎn)采用Erasurecode冗余備份機(jī)制，如采用4+1節(jié)點(diǎn)間冗余容錯(cuò)，任意損失一個(gè)節(jié)點(diǎn)，數(shù)據(jù)不丟失，服務(wù)不停止，客戶端無(wú)感知。分布式文件系統(tǒng)設(shè)計(jì)分布式文件系統(tǒng)是整個(gè)大華云存儲(chǔ)系統(tǒng)的核心，提供了數(shù)據(jù)存儲(chǔ)業(yè)務(wù)的所有功能。本文件系統(tǒng)借鑒眾多現(xiàn)有分布式文件系統(tǒng)設(shè)計(jì)理念和思想，結(jié)合視頻監(jiān)控業(yè)務(wù)特點(diǎn)，提供了眾多功能，包括：文件數(shù)據(jù)存儲(chǔ)與訪問(wèn)功能；利用分布式技術(shù)將眾多存儲(chǔ)設(shè)備集群化成一個(gè)存儲(chǔ)資源池，實(shí)現(xiàn)海量數(shù)據(jù)存儲(chǔ)能力；分布式文件系統(tǒng)管理整個(gè)存儲(chǔ)資源池，構(gòu)建成一個(gè)統(tǒng)一的命名空間；系統(tǒng)提供高可靠、高存儲(chǔ)空間利用率的數(shù)據(jù)冗余策略，保證數(shù)據(jù)的可靠性；提供靈活、非常適用于視頻監(jiān)控業(yè)務(wù)的數(shù)據(jù)恢復(fù)機(jī)制；利用高可靠主備技術(shù)，保證元數(shù)據(jù)管理服務(wù)的高可用性；利用節(jié)點(diǎn)間的失敗檢測(cè)與恢復(fù)機(jī)制，實(shí)現(xiàn)存儲(chǔ)節(jié)點(diǎn)的高可用性；動(dòng)態(tài)負(fù)載均衡技術(shù)保證整個(gè)系統(tǒng)負(fù)載均衡，規(guī)避數(shù)據(jù)熱點(diǎn)和單存儲(chǔ)設(shè)備性能瓶頸；通過(guò)在線動(dòng)態(tài)增加或刪除節(jié)點(diǎn)功能，保證存儲(chǔ)系統(tǒng)建設(shè)的靈活性，以及業(yè)務(wù)的持續(xù)性。分布式文件系統(tǒng)包括元數(shù)據(jù)管理、塊數(shù)據(jù)管理服務(wù)。元數(shù)據(jù)是指文件的名稱、屬性、數(shù)據(jù)塊位置信息等，元數(shù)據(jù)管理通過(guò)元數(shù)據(jù)服務(wù)程序完成。因元數(shù)據(jù)訪問(wèn)頻繁，故系統(tǒng)將元數(shù)據(jù)加載緩存至內(nèi)存中管理，提高訪問(wèn)效率。由于元數(shù)據(jù)的重要性，元數(shù)據(jù)損壞或丟失則相當(dāng)于文件數(shù)據(jù)丟失，因此實(shí)現(xiàn)了元數(shù)據(jù)服務(wù)器主備雙機(jī)熱備，保證高可用，確保７×２４小時(shí)不間斷服務(wù)。塊數(shù)據(jù)是指文件數(shù)據(jù)被按照一定大小（默認(rèn)64MB）分割而成的多個(gè)數(shù)據(jù)塊，分布存儲(chǔ)到不同的存儲(chǔ)節(jié)點(diǎn)服務(wù)器上，并通過(guò)編解碼容錯(cuò)算法產(chǎn)生相應(yīng)的冗余塊。存儲(chǔ)服務(wù)是運(yùn)行在每個(gè)存儲(chǔ)節(jié)點(diǎn)服務(wù)器上的存儲(chǔ)服務(wù)程序，負(fù)責(zé)使用存儲(chǔ)服務(wù)器上的磁盤(pán)空間存儲(chǔ)文件數(shù)據(jù)塊，并實(shí)現(xiàn)相應(yīng)的編解碼功能以及保證磁盤(pán)間的負(fù)載均衡等。相比較傳統(tǒng)業(yè)界的云存儲(chǔ)采用塊數(shù)據(jù)簡(jiǎn)單備份冗余容錯(cuò)機(jī)制，存儲(chǔ)節(jié)點(diǎn)間容錯(cuò)方式大大降低了硬件資源冗余度，提高了磁盤(pán)利用率。文件系統(tǒng)采用非對(duì)稱分布式存儲(chǔ)架構(gòu)，控制流與數(shù)據(jù)流分離，可通過(guò)增加存儲(chǔ)節(jié)點(diǎn)實(shí)現(xiàn)系統(tǒng)的線性擴(kuò)容。該系統(tǒng)架構(gòu)實(shí)現(xiàn)了統(tǒng)一調(diào)度，負(fù)載均衡和流量自動(dòng)分擔(dān)功能，多個(gè)存儲(chǔ)節(jié)點(diǎn)同時(shí)對(duì)外提供數(shù)據(jù)流服務(wù)，系統(tǒng)根據(jù)磁盤(pán)空間使用比例進(jìn)行資源優(yōu)化配置。分布式文件系統(tǒng)具有靈活冗余重建功能，確保單節(jié)點(diǎn)的損壞不會(huì)影響到數(shù)據(jù)的可讀性。數(shù)據(jù)存儲(chǔ)功能數(shù)據(jù)存儲(chǔ)功能是指分布式文件系統(tǒng)提供的，類似單機(jī)文件系統(tǒng)所具備的，創(chuàng)建文件、寫(xiě)入數(shù)據(jù)、關(guān)閉文件、打開(kāi)文件、讀取數(shù)據(jù)、刪除文件、文件內(nèi)定位、獲取文件屬性等功能。這些功能都是文件系統(tǒng)所必須具備的基本功能，但對(duì)于云存儲(chǔ)系統(tǒng)而言，也會(huì)有一些新的特點(diǎn)。本系統(tǒng)提供的是類對(duì)象存儲(chǔ)功能，提供兩大類操作，Bucket操作和文件對(duì)象操作。Bucket是指在分布式文件系統(tǒng)內(nèi)的一個(gè)存儲(chǔ)文件的容器，系統(tǒng)中每一個(gè)文件，都必須包含在一個(gè)Bucket中，Bucket不能嵌套，即Bucket內(nèi)不允許再次創(chuàng)建Bucket。Bucket通過(guò)全局唯一名稱標(biāo)識(shí)。扁平的系統(tǒng)結(jié)構(gòu)，使得云存儲(chǔ)提供海量存儲(chǔ)、線性擴(kuò)展能力成為可能。這樣的扁平結(jié)構(gòu)成為眾多分布式文件系統(tǒng)的選擇，用戶可以創(chuàng)建Bucket，刪除Bucket，按照范圍羅列Bucket內(nèi)的文件。Bucket也可以理解為一個(gè)空間獨(dú)立的目錄，比如監(jiān)控領(lǐng)域可以按照攝像頭來(lái)設(shè)置Bucket，給每個(gè)攝像頭指定相應(yīng)的存儲(chǔ)空間配額。文件對(duì)象對(duì)應(yīng)的是用戶文件，支持創(chuàng)建文件，設(shè)置文件元數(shù)據(jù)，獲取文件元數(shù)據(jù)，追加寫(xiě)文件，讀文件，文件內(nèi)定位等這些方法，基本和POSIX提供的語(yǔ)義一致。海量存儲(chǔ)能力分布式文件系統(tǒng)提供海量存儲(chǔ)能力。系統(tǒng)通過(guò)良好設(shè)計(jì)，將數(shù)據(jù)存儲(chǔ)和訪問(wèn)等數(shù)據(jù)業(yè)務(wù)流和系統(tǒng)管理、數(shù)據(jù)管理等相關(guān)的控制流分離。數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)負(fù)責(zé)提供存儲(chǔ)空間容量和數(shù)據(jù)流服務(wù)，使得存儲(chǔ)空間的增長(zhǎng)和數(shù)據(jù)流服務(wù)能力增長(zhǎng)相匹配，為海量存儲(chǔ)提供基本保障。而元數(shù)據(jù)管理服務(wù)器負(fù)責(zé)控制流管理和服務(wù)。由于控制流流量相對(duì)有限，元數(shù)據(jù)服務(wù)器所能提供的存儲(chǔ)空間，僅受限于服務(wù)器的內(nèi)存量。傳統(tǒng)存儲(chǔ)服務(wù)器由于主機(jī)的性能、散熱、最大支持盤(pán)位數(shù)、管理開(kāi)銷與復(fù)雜度等方面的限制，所能支持的存儲(chǔ)能力都比較有限，而無(wú)法適應(yīng)海量存儲(chǔ)需求。而Scale-up的擴(kuò)展方式顯然無(wú)法突破其限制，且性價(jià)比較低。而本分布式文件系統(tǒng)通過(guò)集群技術(shù)，將眾多廉價(jià)存儲(chǔ)服務(wù)器組建成一個(gè)集群，實(shí)現(xiàn)了Scale-out方式的擴(kuò)展，具備提供海量存儲(chǔ)能力，成為一種性價(jià)比非常高的選擇。本系統(tǒng)所能管理的存儲(chǔ)空間僅受限于元數(shù)據(jù)服務(wù)器的內(nèi)存。32G內(nèi)存容量的元數(shù)據(jù)服務(wù)器可提供10PB級(jí)別的高效數(shù)據(jù)存儲(chǔ)服務(wù)。統(tǒng)一命名空間管理統(tǒng)一命名空間管理是分布式文件系統(tǒng)的一個(gè)重要功能，只有提供統(tǒng)一命名空間管理，才能將集群的眾多信息、狀態(tài)屏蔽在集群內(nèi)，保證系統(tǒng)使用的簡(jiǎn)易性、可擴(kuò)展性、高可共享能力。一個(gè)具備一定規(guī)模的存儲(chǔ)集群，隨時(shí)都可能發(fā)生磁盤(pán)、存儲(chǔ)服務(wù)器硬件等方面的故障，統(tǒng)一命名空間管理功能實(shí)現(xiàn)了將整個(gè)集群統(tǒng)一視圖功能，整體對(duì)外提供一個(gè)訪問(wèn)IP，簡(jiǎn)化了與業(yè)務(wù)系統(tǒng)的接口，保證了系統(tǒng)使用的簡(jiǎn)易性。同時(shí)，存儲(chǔ)的擴(kuò)展僅限存儲(chǔ)內(nèi)部，而不會(huì)影響到系統(tǒng)與業(yè)務(wù)系統(tǒng)的接口，也保證了存儲(chǔ)空間內(nèi)數(shù)據(jù)的高共享能力。系統(tǒng)通過(guò)分布式集群技術(shù)，將所有存儲(chǔ)節(jié)點(diǎn)的存儲(chǔ)空間統(tǒng)一管理，資源池化成一個(gè)統(tǒng)一的存儲(chǔ)空間池。同時(shí)，系統(tǒng)保證所有文件的文件名在統(tǒng)一命名空間內(nèi)，實(shí)現(xiàn)文件訪問(wèn)的統(tǒng)一命名空間。具體的，是通過(guò)bucket名稱全局唯一，以及bucket內(nèi)文件名不重復(fù)實(shí)現(xiàn)了每個(gè)文件訪問(wèn)名稱互不相同，實(shí)現(xiàn)了文件訪問(wèn)的統(tǒng)一管理。同時(shí)，集群存儲(chǔ)空間的統(tǒng)一管理，實(shí)現(xiàn)資源的統(tǒng)一化。再通過(guò)集群唯一訪問(wèn)IP，對(duì)外呈現(xiàn)為一個(gè)統(tǒng)一的整體。只需要獲得存儲(chǔ)集群的訪問(wèn)IP，以及文件所在bucket名稱和文件名，即可通過(guò)系統(tǒng)客戶端在其他主機(jī)上訪問(wèn)這個(gè)文件。這就實(shí)現(xiàn)了分布式文件系統(tǒng)內(nèi)數(shù)據(jù)的高可共享能力。節(jié)點(diǎn)間數(shù)據(jù)冗余傳統(tǒng)存儲(chǔ)服務(wù)器都提供服務(wù)器內(nèi)部磁盤(pán)間，利用RAID技術(shù)，組建各種容錯(cuò)等級(jí)的RAID組，來(lái)為數(shù)據(jù)可靠性提供保障。卡耐基梅隆大學(xué)研究將近100000塊硬盤(pán)的工作狀況得出一個(gè)研究報(bào)告：當(dāng)今企業(yè)級(jí)硬盤(pán)（MTBF通常在1,000,000–1,500,000）的年平均故障率為2-3%（有些極端環(huán)境甚至達(dá)到13%），遠(yuǎn)高于硬盤(pán)廠商宣稱的0.88%。這意味著一個(gè)1000路高清的視頻監(jiān)控存儲(chǔ)系統(tǒng)，需要1054塊硬盤(pán)3T容量企業(yè)級(jí)硬盤(pán)（如果做5塊盤(pán)的RAID5），2%的故障率導(dǎo)致每年我們都有21塊硬盤(pán)損壞，每個(gè)月有1.75塊硬盤(pán)損壞。若存儲(chǔ)系統(tǒng)采用的是監(jiān)控盤(pán)，則結(jié)果將更糟糕。隨著硬盤(pán)的容量越來(lái)越大，RAID的重構(gòu)時(shí)間變得越來(lái)越長(zhǎng)。一塊3T的硬盤(pán)，在工作狀態(tài)下，重構(gòu)的時(shí)間有的時(shí)候甚至要達(dá)到2個(gè)星期之久。在重構(gòu)的過(guò)程中，任一其他的數(shù)據(jù)的錯(cuò)誤，都將導(dǎo)致整個(gè)數(shù)據(jù)丟失或者RAID崩潰。不幸的是，在RAID重構(gòu)時(shí)，相同RAID內(nèi)的硬盤(pán)的出錯(cuò)概率大大增加。顯然，存儲(chǔ)節(jié)點(diǎn)內(nèi)RAID技術(shù)，對(duì)于一定規(guī)模的云存儲(chǔ)系統(tǒng)而言，是無(wú)法提供數(shù)據(jù)可靠性保證的，且由于重構(gòu)時(shí)間以及重構(gòu)時(shí)出錯(cuò)概率增加，甚至?xí)?dǎo)致可靠性降低。在云存儲(chǔ)領(lǐng)域，互聯(lián)網(wǎng)企業(yè)廣泛使用副本技術(shù)來(lái)提供數(shù)據(jù)可靠性，如HDFS默認(rèn)配置的副本因子為3。副本因子為3意味著存儲(chǔ)利用率約為33.3%，這對(duì)于海量低價(jià)值密度的視頻監(jiān)控存儲(chǔ)系統(tǒng)而言，其性價(jià)比相對(duì)較低。當(dāng)前，利用節(jié)點(diǎn)間ErasureCode技術(shù)提高數(shù)據(jù)可靠性日益受到眾廠商的推崇。如Facebook正在實(shí)現(xiàn)HDFS的EC版本，以追求更高的性價(jià)比。本系統(tǒng)推薦采用節(jié)點(diǎn)間數(shù)據(jù)冗余技術(shù)，保證數(shù)據(jù)高可靠性的同時(shí)，追求更高的存儲(chǔ)利用率。圖5.1節(jié)點(diǎn)間冗余技術(shù)示意圖以節(jié)點(diǎn)間4+1冗余策略為例，客戶端在MDS的調(diào)度下，將一定長(zhǎng)度的文件內(nèi)容，切分成四個(gè)數(shù)據(jù)塊，通過(guò)利用EC算法計(jì)算得到一份冗余數(shù)據(jù)，然后客戶端將五份數(shù)據(jù)分發(fā)到MDS指定的五臺(tái)存儲(chǔ)節(jié)點(diǎn)上，就完成了一次數(shù)據(jù)寫(xiě)入動(dòng)作。相對(duì)于副本技術(shù)所普遍采用的pipeline技術(shù)而言，數(shù)據(jù)中心內(nèi)的網(wǎng)絡(luò)流量降低非常明顯，從增加200%下降到僅增加25%，磁盤(pán)空間利用率也從33.3%上升到80%。這五臺(tái)存儲(chǔ)節(jié)點(diǎn)任意一臺(tái)故障或節(jié)點(diǎn)內(nèi)存儲(chǔ)這份數(shù)據(jù)的磁盤(pán)故障，不會(huì)導(dǎo)致數(shù)據(jù)的丟失，從而實(shí)現(xiàn)了數(shù)據(jù)的高可靠性。數(shù)據(jù)恢復(fù)機(jī)制分布式系統(tǒng)通過(guò)數(shù)據(jù)冗余和數(shù)據(jù)恢復(fù)，屏蔽集群內(nèi)磁盤(pán)故障、節(jié)點(diǎn)故障對(duì)系統(tǒng)整體的沖擊，不會(huì)降低數(shù)據(jù)的高可靠性。數(shù)據(jù)恢復(fù)所帶來(lái)的數(shù)據(jù)中心內(nèi)網(wǎng)絡(luò)流量上升，可能威脅到業(yè)務(wù)系統(tǒng)的實(shí)時(shí)業(yè)務(wù)。特別的，對(duì)于視頻監(jiān)控系統(tǒng)而言，實(shí)時(shí)錄像業(yè)務(wù)本身就對(duì)網(wǎng)絡(luò)形成一個(gè)持續(xù)、較高的壓力。且節(jié)點(diǎn)離線可能僅僅是短時(shí)間非故障離線、磁盤(pán)故障也只是暫時(shí)性的。而視頻監(jiān)控系統(tǒng)所采用的存儲(chǔ)設(shè)備往往存儲(chǔ)密度非常高，IO能力卻不是非常強(qiáng)，導(dǎo)致數(shù)據(jù)恢復(fù)較慢。再結(jié)合視頻監(jiān)控系統(tǒng)周期覆蓋的業(yè)務(wù)特征，本系統(tǒng)默認(rèn)不采用自動(dòng)恢復(fù)機(jī)制。本系統(tǒng)采用手動(dòng)和自動(dòng)相結(jié)合的方式，為業(yè)務(wù)系統(tǒng)提供靈活的數(shù)據(jù)恢復(fù)機(jī)制。系統(tǒng)支持手動(dòng)選擇需要恢復(fù)的時(shí)間段，以快速恢復(fù)重要的文件。而對(duì)于一般性文件，則可以通過(guò)數(shù)據(jù)冗余保證數(shù)據(jù)依然可訪問(wèn)。此種方式，特別適用于價(jià)值密度相對(duì)較低的視頻監(jiān)控系統(tǒng)中。同時(shí)，若數(shù)據(jù)恢復(fù)所帶來(lái)的沖擊是能接受的，也可以以自動(dòng)方式，延遲進(jìn)行數(shù)據(jù)恢復(fù)，從而屏蔽掉大部分暫時(shí)離線情況導(dǎo)致的沒(méi)必要數(shù)據(jù)恢復(fù)。由于數(shù)據(jù)存儲(chǔ)的時(shí)候被分片存儲(chǔ)在不同的存儲(chǔ)節(jié)點(diǎn)上，如果一臺(tái)存儲(chǔ)節(jié)點(diǎn)損壞的時(shí)候，所有的存儲(chǔ)節(jié)點(diǎn)均會(huì)參與恢復(fù)，因此恢復(fù)的速度會(huì)很快。元數(shù)據(jù)管理的高可用性保障元數(shù)據(jù)服務(wù)器管理著分布式文件系統(tǒng)的所有元數(shù)據(jù)，其高可用性直接影響著系統(tǒng)的可用性。本系統(tǒng)采用高可用性HighAvailable技術(shù)，保證元數(shù)據(jù)服務(wù)器主備實(shí)時(shí)同步元數(shù)據(jù)，快速檢測(cè)異常，以及迅速接管服務(wù)，保證了系統(tǒng)的高可用。主備元數(shù)據(jù)服務(wù)器之間，通過(guò)單獨(dú)網(wǎng)絡(luò)連接，進(jìn)行實(shí)時(shí)的錯(cuò)誤檢測(cè)。單獨(dú)網(wǎng)絡(luò)保證心跳不會(huì)受到數(shù)據(jù)中心其他網(wǎng)絡(luò)通訊的干擾，保證鏈路的可靠性。心跳機(jī)制保證主備服務(wù)器之間錯(cuò)誤的實(shí)時(shí)檢測(cè)和發(fā)現(xiàn)，為主備快速切換提供保證。圖5.2主備MDS高可用性保證一對(duì)MDS形成主備關(guān)系，對(duì)外表現(xiàn)為一個(gè)虛IP（VIP），即主備的切換對(duì)外部而言，是透明的。一個(gè)時(shí)刻，只有主MDS擁有VIP，對(duì)外提供服務(wù)。主MDS通過(guò)主備之間建立的鏈路，實(shí)時(shí)將元數(shù)據(jù)同步到備MDS，備MDS實(shí)時(shí)加載元數(shù)據(jù)，從而實(shí)現(xiàn)主備元數(shù)據(jù)的一致。備MDS一旦檢測(cè)到主MDS異常，即刻接管VIP，對(duì)外提供服務(wù)，整個(gè)切換過(guò)程對(duì)業(yè)務(wù)系統(tǒng)而言是透明的。存儲(chǔ)服務(wù)的高可用性保障單數(shù)據(jù)節(jié)點(diǎn)，其由于硬件、磁盤(pán)等原因，可用性是難以保證的。形成集群之后，故障率得到了放大，從而表現(xiàn)為集群整體可靠性下降，存儲(chǔ)服務(wù)可用性較低。但是利用集群管理技術(shù)，存儲(chǔ)節(jié)點(diǎn)錯(cuò)誤檢測(cè)和調(diào)度機(jī)制，可以實(shí)現(xiàn)存儲(chǔ)節(jié)點(diǎn)錯(cuò)誤的透明化，從而實(shí)現(xiàn)對(duì)客戶端而言，提高存儲(chǔ)服務(wù)的高可用性。即元數(shù)據(jù)服務(wù)器實(shí)時(shí)監(jiān)測(cè)各數(shù)據(jù)節(jié)點(diǎn)情況，一旦發(fā)現(xiàn)節(jié)點(diǎn)異常，則將節(jié)點(diǎn)所負(fù)責(zé)的業(yè)務(wù)調(diào)度到其他節(jié)點(diǎn)上。再配合客戶端反饋異常機(jī)制，以及將之后的業(yè)務(wù)流進(jìn)行重新定位等，實(shí)現(xiàn)集群對(duì)存儲(chǔ)節(jié)點(diǎn)錯(cuò)誤的屏蔽，大幅提高存儲(chǔ)服務(wù)的高可用性。動(dòng)態(tài)負(fù)載均衡一個(gè)存儲(chǔ)集群內(nèi)部，眾多存儲(chǔ)節(jié)點(diǎn)組建形成的一個(gè)統(tǒng)一空間，從整體性能、避免單點(diǎn)故障、數(shù)據(jù)熱點(diǎn)瓶頸等方面，都需要一個(gè)良好的動(dòng)態(tài)負(fù)載均衡功能。動(dòng)態(tài)負(fù)載均衡指集群內(nèi)部，自動(dòng)根據(jù)各存儲(chǔ)節(jié)點(diǎn)的IO負(fù)載、空間容量、CPU、內(nèi)存負(fù)載等因素，調(diào)度數(shù)據(jù)流向，實(shí)現(xiàn)IO讀寫(xiě)的負(fù)載均衡。對(duì)于存儲(chǔ)數(shù)據(jù)寫(xiě)入而言，動(dòng)態(tài)負(fù)載均衡表現(xiàn)為任意時(shí)刻，數(shù)據(jù)節(jié)點(diǎn)的寫(xiě)入負(fù)載是動(dòng)態(tài)均衡的。元數(shù)據(jù)服務(wù)器根據(jù)各節(jié)點(diǎn)的負(fù)載情況，自動(dòng)調(diào)度，將新的數(shù)據(jù)寫(xiě)入調(diào)度到綜合負(fù)載相對(duì)較低的節(jié)點(diǎn)，實(shí)現(xiàn)整體負(fù)載平衡。對(duì)于存儲(chǔ)數(shù)據(jù)讀出，則根據(jù)數(shù)據(jù)分布情況，以及數(shù)據(jù)分布的幾臺(tái)設(shè)備負(fù)載情況，選擇從負(fù)載較輕的節(jié)點(diǎn)讀取數(shù)據(jù)。在線擴(kuò)容在線擴(kuò)容是指不需要停止在線業(yè)務(wù)的情況下，動(dòng)態(tài)增加或縮小云存儲(chǔ)系統(tǒng)的容量，表現(xiàn)業(yè)務(wù)無(wú)感知的增加或刪除存儲(chǔ)節(jié)點(diǎn)。由于云存儲(chǔ)系統(tǒng)為一個(gè)整體，結(jié)合集群管理、數(shù)據(jù)冗余與恢復(fù)等機(jī)制，實(shí)現(xiàn)了在線動(dòng)態(tài)增加刪除節(jié)點(diǎn)，對(duì)業(yè)務(wù)層僅表現(xiàn)為存儲(chǔ)容量的增加和刪除。磁盤(pán)熱插拔和漂移存儲(chǔ)節(jié)點(diǎn)提供磁盤(pán)的熱插拔功能，為系統(tǒng)維護(hù)帶來(lái)極大的便利。磁盤(pán)的熱插拔影響僅限于集群內(nèi)部，實(shí)現(xiàn)業(yè)務(wù)無(wú)感知的插拔。同時(shí)，靈活的數(shù)據(jù)恢復(fù)機(jī)制，可以保證熱插拔不會(huì)引起沒(méi)有必要的數(shù)據(jù)恢復(fù)帶來(lái)的網(wǎng)絡(luò)壓力和系統(tǒng)磁盤(pán)IO壓力。同時(shí)，存儲(chǔ)節(jié)點(diǎn)也提供了磁盤(pán)漂移能力，即可以將某節(jié)點(diǎn)內(nèi)的磁盤(pán)，拔出插入到另外新的節(jié)點(diǎn)內(nèi)，實(shí)現(xiàn)了在存儲(chǔ)節(jié)點(diǎn)硬件故障時(shí)，快速恢復(fù)數(shù)據(jù)的途徑。同時(shí)，也為一些較小集群規(guī)模時(shí)擴(kuò)容，以最快速、最小代價(jià)實(shí)現(xiàn)負(fù)載均衡提供一種選擇。高速并發(fā)訪問(wèn)本系統(tǒng)采用文件切片，以及文件切片內(nèi)再進(jìn)行節(jié)點(diǎn)間冗余的數(shù)據(jù)分散方式，使得客戶端可以有效利用眾多存儲(chǔ)節(jié)點(diǎn)提供的聚合網(wǎng)絡(luò)帶寬，實(shí)現(xiàn)高速并發(fā)訪問(wèn)?？蛻舳嗽谠L問(wèn)云存儲(chǔ)時(shí)，首先訪問(wèn)元數(shù)據(jù)服務(wù)器，獲取將要與之進(jìn)行交互的數(shù)據(jù)節(jié)點(diǎn)信息，然后直接訪問(wèn)這些數(shù)據(jù)節(jié)點(diǎn)完成數(shù)據(jù)存取?？蛻舳伺c元數(shù)據(jù)服務(wù)器之間只有控制流，而無(wú)數(shù)據(jù)流，這樣就極大地降低了元數(shù)據(jù)服務(wù)器的負(fù)載，使之不成為系統(tǒng)性能的一個(gè)瓶頸?？蛻舳伺c數(shù)據(jù)節(jié)點(diǎn)之間直接傳輸數(shù)據(jù)流，同時(shí)由于文件被分散到多個(gè)節(jié)點(diǎn)進(jìn)行分布式存儲(chǔ)，客戶端可以同時(shí)訪問(wèn)多個(gè)節(jié)點(diǎn)服務(wù)器，從而使得整個(gè)系統(tǒng)的I/O高度并行，系統(tǒng)整體性能得到提高。通常情況下，系統(tǒng)的整體吞吐率與節(jié)點(diǎn)服務(wù)器的數(shù)量呈正比。

客戶端接口設(shè)計(jì)云存儲(chǔ)系統(tǒng)對(duì)外提供多種客戶端接口，可以根據(jù)實(shí)際應(yīng)用的需要編寫(xiě)應(yīng)用程序，通過(guò)調(diào)用相應(yīng)的接口直接訪問(wèn)云存儲(chǔ)系統(tǒng)。基礎(chǔ)SDK推薦使用SDK訪問(wèn)方式，可以獲得最優(yōu)的系統(tǒng)性能，文件讀寫(xiě)時(shí)，直接在SDK做文件的切片和組合，不需要專門(mén)的服務(wù)器來(lái)支持。接口形式上，表現(xiàn)為類posix語(yǔ)義的接口，即提供創(chuàng)建bucket、刪除bucket、設(shè)置bucket屬性、獲取bucket屬性、創(chuàng)建文件、刪除文件、設(shè)置文件私有屬性、獲取文件私有屬性、打開(kāi)文件、寫(xiě)文件、讀文件、文件內(nèi)定位、獲取文件屬性等接口。目前，本系統(tǒng)提供windows/linux上的C++版本接口。具體接口有：創(chuàng)建bucket創(chuàng)建bucket是指在分布式文件系統(tǒng)內(nèi)創(chuàng)建一個(gè)存儲(chǔ)文件的容器。系統(tǒng)中每一個(gè)文件，都必須包含在一個(gè)bucket中。Bucket不能嵌套，即bucket內(nèi)不允許再次創(chuàng)建bucket。Bucket通過(guò)全局唯一名稱標(biāo)識(shí)。刪除bucket刪除bucket是指將一個(gè)空的bucket從分布式文件系統(tǒng)中刪除。羅列bucket內(nèi)文件羅列bucket內(nèi)文件實(shí)現(xiàn)了獲取bucket內(nèi)文