cStor云存儲系統(tǒng)C1000系列產(chǎn)品技術(shù)白皮書

cStor2012PagePAGE28ofNUMPAGES30云存儲系統(tǒng)C1000系列產(chǎn)品技術(shù)白皮書南京云創(chuàng)存儲科技有限公司2012年4月

提要本白皮書闡述了云創(chuàng)存儲cStor云存儲系統(tǒng)技術(shù)架構(gòu)與原理本白皮書闡述了云創(chuàng)存儲C1000系列產(chǎn)品的產(chǎn)品特性本白皮書闡述了云創(chuàng)存儲C1000系列產(chǎn)品的應(yīng)用模式本白皮書闡述了云創(chuàng)存儲C1000系列產(chǎn)品的部署方案本白皮書闡述了云創(chuàng)存儲C1000系列產(chǎn)品的技術(shù)規(guī)格版權(quán)所有2012云創(chuàng)存儲，保留所有權(quán)利 2012年4月未經(jīng)云創(chuàng)存儲有限公司書面許可，本白皮書任何部分的內(nèi)容不得被復(fù)制或抄襲用于任何目的。本白皮書并不暗示云創(chuàng)存儲有限公司提供的任何產(chǎn)品或服務(wù)或其功能與本白皮書描述的內(nèi)容完全一致。、云創(chuàng)存儲是南京云創(chuàng)存儲科技有限公司的注冊商標(biāo)。

目錄1 概述 31.1 云存儲的概念 31.2 cStor云存儲系統(tǒng)簡介 41.3 C1000系列產(chǎn)品特性 61.3.1 高可靠性 61.3.2 高性能 61.3.3 在線伸縮 71.3.4 通用易用 71.3.5 智能管理 72 產(chǎn)品技術(shù)架構(gòu)與關(guān)鍵技術(shù) 82.1 技術(shù)架構(gòu) 82.1.1 工作原理 102.1.2 管理機制 132.2 關(guān)鍵技術(shù) 132.2.1 負(fù)載自動均衡技術(shù) 132.2.2 高速并發(fā)訪問技術(shù) 142.2.3 高可靠性保證技術(shù) 142.2.4 高可用技術(shù) 153 產(chǎn)品應(yīng)用模式與部署方案 163.1 企業(yè)典型云存儲應(yīng)用模式 163.2 大規(guī)模虛擬機映像文件云存儲應(yīng)用模式 183.3 廣電媒資系統(tǒng)云存儲應(yīng)用模式 193.4 城市視頻監(jiān)控云存儲應(yīng)用模式 213.5 公安圖像偵查云存儲應(yīng)用模式 233.6 數(shù)據(jù)災(zāi)備中心云存儲應(yīng)用模式 254 產(chǎn)品技術(shù)規(guī)格 264.1 經(jīng)濟型配置 264.2 中等規(guī)模配置 274.3 高性能配置 28

概述云存儲的概念云存儲是在云計算(cloudcomputing)概念上延伸和發(fā)展出來的一個新的概念，是指通過集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能，將網(wǎng)絡(luò)中大量各種不同類型的存儲設(shè)備通過應(yīng)用軟件集合起來協(xié)同工作，共同對外提供數(shù)據(jù)存儲和業(yè)務(wù)訪問功能的一個系統(tǒng)。當(dāng)云計算系統(tǒng)運算和處理的核心是大量數(shù)據(jù)的存儲和管理時，云計算系統(tǒng)中就需要配置大量的存儲設(shè)備，那么云計算系統(tǒng)就轉(zhuǎn)變成為一個云存儲系統(tǒng)，所以云存儲也可以認(rèn)為是一個以數(shù)據(jù)存儲和管理為核心的云計算系統(tǒng)。與傳統(tǒng)的存儲設(shè)備相比，云存儲不僅僅是一個硬件，而是一個網(wǎng)絡(luò)設(shè)備、存儲設(shè)備、服務(wù)器、應(yīng)用軟件、公用訪問接口、接入網(wǎng)、和客戶端程序等多個部分組成的復(fù)雜系統(tǒng)。各部分以存儲設(shè)備為核心，通過應(yīng)用軟件來對外提供數(shù)據(jù)存儲和業(yè)務(wù)訪問服務(wù)。云存儲系統(tǒng)的結(jié)構(gòu)由存儲管理、存儲服務(wù)、應(yīng)用接口以及存儲訪問等四部分組成。各部分的功能具體描述為：1) 存儲管理存儲管理是云存儲最重要的部分，它負(fù)責(zé)管理所有的存儲服務(wù)節(jié)點，并且對外提供統(tǒng)一的命名空間，采用負(fù)載均衡技術(shù)將客戶端的應(yīng)用請求分配到各個具體的存儲節(jié)點上。2) 存儲服務(wù)存儲服務(wù)是云存儲最基本的部分，它主要負(fù)載對海量數(shù)據(jù)的存儲，個存儲節(jié)點均采用廉價的硬件，通過硬件冗余的方式來解決硬件不可靠的問題，各客戶端與存儲服務(wù)節(jié)點間直接進行數(shù)據(jù)交互而不經(jīng)過管理節(jié)點。云存儲系統(tǒng)的整體性能隨著存儲服務(wù)節(jié)點的增多程線性的增加。3) 應(yīng)用接口應(yīng)用接口是云存儲最靈活多變的部分，具有很強的定制性。不同的云存儲運營單位可以根據(jù)實際業(yè)務(wù)類型，開發(fā)不同的應(yīng)用服務(wù)接口，提供不同的應(yīng)用服務(wù)。4) 存儲訪問任何一個授權(quán)用戶都可以通過相應(yīng)的客戶端來登錄云存儲系統(tǒng)，享受云存儲服務(wù)。云存儲運營單位不同，云存儲提供的訪問類型和訪問手段也不同。cStor云存儲系統(tǒng)簡介cStor云存儲系統(tǒng)是南京云創(chuàng)存儲科技有限公司自主研發(fā)的高科技產(chǎn)品，是一種軟件與硬件相結(jié)合的系統(tǒng)，其中專有技術(shù)和軟件是高附加值部分。與目前國際上知名的云存儲技術(shù)相比，具有超高性價比、高可靠、通用、免維護的優(yōu)勢，可以廣泛應(yīng)用于需要存儲大量數(shù)據(jù)的應(yīng)用場合（如安防、廣電、電信、互聯(lián)網(wǎng)、銀行等領(lǐng)域）。特別地，cStor每個標(biāo)準(zhǔn)機架的最高容量可達1024TB以上，是國際最高水平的3倍，擁有成本和運營成本都僅為同類產(chǎn)品的幾分之一。下圖1-1為cStor云存儲產(chǎn)品C1000系列存儲機柜。圖1-1cStorC1000系列產(chǎn)品存儲機柜C1000系列產(chǎn)品特性C1000系列云存儲產(chǎn)品是南京云創(chuàng)存儲科技有限公司的第一代云存儲產(chǎn)品，它具有如下特性：高可靠性系統(tǒng)中采用廉價的大容量存儲服務(wù)節(jié)點，通過cStor系統(tǒng)軟件實現(xiàn)統(tǒng)一管理和容錯，提供高效、穩(wěn)定服務(wù)。與使用專用服務(wù)器相比，可以將系統(tǒng)構(gòu)建成本節(jié)省5-10倍以上，且規(guī)模越大，優(yōu)勢越明顯。在降低系統(tǒng)的構(gòu)建成本的同時，系統(tǒng)的可靠性不僅沒有收到影響，相反，通過一系列的可靠性保障機制，使得cStor系統(tǒng)具有高可靠性的特性。在cStor云存儲系統(tǒng)中，數(shù)據(jù)具有多個副本（默認(rèn)情況下是2份，可以根據(jù)需要設(shè)置），任意節(jié)點出現(xiàn)故障，系統(tǒng)將會自動復(fù)制數(shù)據(jù)副本到新的節(jié)點上，不會丟失數(shù)據(jù)。這樣，在節(jié)點發(fā)生故障的情況下，也可以實現(xiàn)數(shù)據(jù)的無間斷服務(wù)。同時，元數(shù)據(jù)管理節(jié)點采用雙機鏡像模式容錯，如果有一節(jié)點出現(xiàn)故障，另一節(jié)點自動接替。高性能cStor采用控制流與數(shù)據(jù)流分離的技術(shù)，數(shù)據(jù)的存儲或讀取實際上是與各個存儲節(jié)點上并行讀寫；這樣隨著存儲節(jié)點數(shù)目的增多，整個系統(tǒng)的吞吐量和IO性能將呈線性增長。同時，cStor采用負(fù)載均衡技術(shù)，自動均衡各服務(wù)器負(fù)載，使得各存儲節(jié)點的性能調(diào)節(jié)到最高。在線伸縮cStor云存儲系統(tǒng)擴容非常方便，支持不停止服務(wù)的情況下，動態(tài)加入新的存儲節(jié)點，無需任何操作，即實現(xiàn)擴容；同時，無需人為干預(yù)，也可以摘下任意節(jié)點，系統(tǒng)自動縮小規(guī)模而不丟失數(shù)據(jù)，存儲在此節(jié)點上的數(shù)據(jù)將會重新備份到其他節(jié)點上。通用易用cStor云存儲系統(tǒng)提供標(biāo)準(zhǔn)POSIX接口，無論是哪種操作系統(tǒng)下的應(yīng)用程序，都可以不經(jīng)修改將云存儲當(dāng)成自己的海量磁盤來使用。同時，也提供專用的API接口，供開發(fā)人員調(diào)用。智能管理提供基于WEB的管理平臺，所有的管理工作均由cStor管理模塊自動完成，使用人員無需任何專業(yè)知識便可以輕松管理整個系統(tǒng)。通過管理平臺，可以對cStor中的所有節(jié)點實行無間斷監(jiān)控，用戶通過監(jiān)控界面可以清楚地了解到每一個節(jié)點和磁盤的運行情況。

產(chǎn)品技術(shù)架構(gòu)與關(guān)鍵技術(shù)C1000系列產(chǎn)品采用cStor分布式云存儲文件系統(tǒng)對數(shù)據(jù)進行集中式海量存儲和統(tǒng)一管理，其技術(shù)架構(gòu)和關(guān)鍵技術(shù)在下面的章節(jié)中分別詳細(xì)介紹。技術(shù)架構(gòu)cStor云存儲文件系統(tǒng)采用分布式的存儲機制，將數(shù)據(jù)分散存儲在多臺獨立的存儲服務(wù)器上。它采用包括元數(shù)據(jù)管理服務(wù)器（MasterServer）和數(shù)據(jù)存儲節(jié)點服務(wù)器（ChunkServer）以及客戶端節(jié)點的結(jié)構(gòu)構(gòu)成一個虛擬的海量存儲卷，如下圖所示。圖2-1cStor云存儲系統(tǒng)架構(gòu)其中，MasterServer保存系統(tǒng)的元數(shù)據(jù)，負(fù)責(zé)對整個文件系統(tǒng)的管理，MasterServer在邏輯上只有一個，但采用主備雙機鏡像的方式，保證系統(tǒng)的不間斷服務(wù)；ChunkServer負(fù)責(zé)具體的數(shù)據(jù)存儲工作，數(shù)據(jù)以文件的形式存儲在ChunkServer上，ChunkServer的個數(shù)可以有多個，它的數(shù)目直接決定了cStor云存儲系統(tǒng)的規(guī)模；客戶端即為服務(wù)器對外提供數(shù)據(jù)存儲和訪問服務(wù)的窗口，通常情況下，客戶端都部署在ChunkServer上，每一個塊數(shù)據(jù)服務(wù)器，及時存儲服務(wù)器也是客戶端服務(wù)器。對每一個節(jié)點，cStor云存儲系統(tǒng)提供的管理監(jiān)控中心都可以對其進行管理，包括設(shè)備運行狀態(tài)、磁盤運行狀態(tài)、服務(wù)在線情況以及異常告警等功能；另外，網(wǎng)管監(jiān)控中心還提供有如FTP賬戶添加等客戶端管理和配置工具。這種分布式系統(tǒng)最大的好處是有利于存儲系統(tǒng)的擴展和實現(xiàn)，在小規(guī)模的數(shù)據(jù)擴展時，只需要添加具體的ChunkServer即可，而不需要添加整套設(shè)備。下圖2-2為cStor云存儲系統(tǒng)部署示意圖。圖2-2cStor云存儲系統(tǒng)部署示意圖cStor云存儲系統(tǒng)所有的節(jié)點均通過網(wǎng)絡(luò)的方式連接起來，其中存儲節(jié)點采用廉價的計算機節(jié)點，運用自適應(yīng)副本管理技術(shù)進行容錯。所有存儲節(jié)點同時擔(dān)任對外服務(wù)功能，客戶端分別掛載到不同存儲節(jié)點訪問云存儲系統(tǒng)。通過增加或者減少存儲節(jié)點的方式，即可以對存儲系統(tǒng)進行在線伸縮，由于采用了自適應(yīng)副本管理技術(shù)進行容錯，系統(tǒng)在線伸縮的過程中，不影響系統(tǒng)對外提供服務(wù)。下面簡單的介紹下cStor系統(tǒng)的工作原理和管理機制。工作原理對于cStor云存儲的用戶來說，通過cStor客戶端可以將海量云存儲系統(tǒng)映射成一個本地海量磁盤（Windows客戶端）或者映射到一個目錄（Linux客戶端），對于此磁盤或者目錄的讀寫操作，即可實現(xiàn)云存儲系統(tǒng)數(shù)據(jù)的讀寫。同時，由于cStor文件系統(tǒng)支持POSIX接口規(guī)范，對于目前一般的應(yīng)用不需要做二次開發(fā)即可使用。下面詳細(xì)的介紹一下cStor云存儲系統(tǒng)的實際讀寫過程。下圖2-3是cStor客戶端向系統(tǒng)中寫數(shù)據(jù)的流程圖。圖2-3cStor客戶端寫數(shù)據(jù)流程其詳細(xì)過程是：cStor客戶端向元數(shù)據(jù)服務(wù)器發(fā)起數(shù)據(jù)寫請求；元數(shù)據(jù)服務(wù)器根據(jù)其管理的存儲節(jié)點的工作和使用情況，根據(jù)負(fù)載均衡的原理，在相關(guān)存儲節(jié)點上創(chuàng)建一些新的數(shù)據(jù)塊；相關(guān)存儲節(jié)點服務(wù)器創(chuàng)建成功，將結(jié)果返回給元數(shù)據(jù)服務(wù)器；元數(shù)據(jù)服務(wù)器一方面?zhèn)浞莺屯酱嗽獢?shù)據(jù)信息，另一方面將相關(guān)存儲節(jié)點信息返回給客戶端；客戶端根據(jù)得到的存儲節(jié)點信息，向?qū)?yīng)存儲節(jié)點發(fā)出數(shù)據(jù)寫請求，并向存儲節(jié)點發(fā)送數(shù)據(jù)；存儲節(jié)點接收數(shù)據(jù)并存儲到相應(yīng)塊，同時也向其他存儲節(jié)點發(fā)起備份；當(dāng)本地寫以及備份均成功后，存儲節(jié)點將成功信息返回給客戶端；客戶端收到成功信號后，即完成數(shù)據(jù)的存儲。下圖為cStor客戶端讀數(shù)據(jù)流程圖如下所示：圖2-4cStor客戶端讀數(shù)據(jù)流程總的來說，cStor云存儲系統(tǒng)的控制流和數(shù)據(jù)流是分離的，一方面降低了元數(shù)據(jù)服務(wù)的負(fù)擔(dān)，使得其處理能力更強，另一方面將數(shù)據(jù)讀寫的負(fù)擔(dān)分擔(dān)到各存儲節(jié)點，使得系統(tǒng)的整體性能得到了提高，與節(jié)點數(shù)目成正相關(guān)。管理機制cStor云存儲系統(tǒng)采用的是一種基于網(wǎng)絡(luò)的管理工具，稱之為cStor網(wǎng)管監(jiān)控中心，主要用來對cStor云存儲系統(tǒng)進行遠(yuǎn)程監(jiān)控和管理，其具體功能包括：提供存儲機架的虛擬化管理；可以監(jiān)測到每個節(jié)點服務(wù)器的運行狀態(tài)（包括主備元數(shù)據(jù)服務(wù)器和存儲節(jié)點服務(wù)器的內(nèi)存、CPU、系統(tǒng)盤的利用情況等）；磁盤的運行狀態(tài)和使用情況監(jiān)控；cStor服務(wù)的啟動和關(guān)閉；所有服務(wù)器的重啟、關(guān)閉；卷管理服務(wù)器的設(shè)置和賬戶管理；FTP賬戶的批量添加和刪除等。關(guān)鍵技術(shù)負(fù)載自動均衡技術(shù)cStor采用中心服務(wù)器模式來管理整個云存儲文件系統(tǒng)，所有元數(shù)據(jù)均保存在MasterServer上，文件則劃分為多個chunk存儲在不同的ChunkServer上。MasterServer維護了一個統(tǒng)一的命名空間，同時掌握整個系統(tǒng)內(nèi)ChunkServer的使用情況，當(dāng)客戶端向元數(shù)據(jù)服務(wù)器發(fā)送數(shù)據(jù)讀寫的請求時，元數(shù)據(jù)服務(wù)器根據(jù)ChunkServer的磁盤使用情況、網(wǎng)絡(luò)負(fù)擔(dān)等情況，選擇負(fù)擔(dān)最輕的ChunkServer對外提供服務(wù)，自動均衡負(fù)載負(fù)擔(dān)。另外，當(dāng)某有一個ChunkServer因為機器故障或者其他原因造成離線時，MasterServer會將此機器自動屏蔽掉，不再將此ChunkServer提供給客戶端使用，同時存儲在此ChunkServer上的數(shù)據(jù)也會自動的備份到其他可用的ChunkServer上，自動屏蔽ChunkServer故障對系統(tǒng)的影響。高速并發(fā)訪問技術(shù)客戶端在訪問cStor時，首先訪問MasterServer節(jié)點，獲取將要與之進行交互的ChunkServer信息，然后直接訪問這些ChunkServer完成數(shù)據(jù)存取。cStor的這種設(shè)計方法實現(xiàn)了控制流和數(shù)據(jù)流的分離。Client與MasterServer之間只有控制流，而無數(shù)據(jù)流，這樣就極大地降低了MasterServer的負(fù)載，使之不成為系統(tǒng)性能的一個瓶頸。Client與ChunkServer之間直接傳輸數(shù)據(jù)流，同時由于文件被分成多個chunk進行分布式存儲，Client可以同時訪問多個ChunkServer，從而使得整個系統(tǒng)的I/O高度并行，系統(tǒng)整體性能得到提高。通常情況下，系統(tǒng)的整體吞吐率與ChunkServer的數(shù)量呈正比。高可靠性保證技術(shù)對于元數(shù)據(jù)，cStor通過操作日志來提供容錯功能，當(dāng)MasterServer發(fā)生故障時，在磁盤數(shù)據(jù)保存完好的情況下，可以迅速恢復(fù)以上元數(shù)據(jù)。為了防止MasterServer徹底死機的情況，cStor還提供了MasterServer遠(yuǎn)程的實時備份，這樣在當(dāng)前的MasterServer出現(xiàn)故障無法工作的時候，另外一臺備MasterServer可以迅速接替其工作。對于ChunkServer，cStor采用副本的方式實現(xiàn)容錯。每一個chunk有多個存儲副本（默認(rèn)為兩個），分布存儲在不同的ChunkServer上。副本的分布策略考慮了多種因素，如網(wǎng)絡(luò)的拓?fù)?、機架的分布、磁盤的利用率等。對于每一個ChunkServer，必須將所有的副本全部寫入成功，才視為成功寫入。在其后的過程中，如果相關(guān)的副本出現(xiàn)丟失或不可恢復(fù)等狀況，MasterServer會自動將該副本復(fù)制到其他ChunkServer，從而確保副本保持一定的個數(shù)。在有多個ChunkServer的情況下，任意損失一個節(jié)點，數(shù)據(jù)都不會丟失，而且隨著ChunkServer數(shù)目的增多，整個系統(tǒng)的可靠性越大。高可用技術(shù)系統(tǒng)中的所有服務(wù)節(jié)點均是通過網(wǎng)絡(luò)連接在一起，由于采用了高可靠的容錯機制，系統(tǒng)增減節(jié)點不必停止服務(wù)，可在線增減存儲節(jié)點，存儲節(jié)點和元數(shù)據(jù)節(jié)點間通過注冊管理機制自適應(yīng)管理，實現(xiàn)自動伸縮。元數(shù)據(jù)服務(wù)器采用主備雙機熱備技術(shù)，主機故障，備機自動接替其工作，對外服務(wù)不停止；存儲節(jié)點采用冗余備份機制，多個存儲節(jié)點情況下，任意損失一個節(jié)點，數(shù)據(jù)不丟失，服務(wù)不停止。

產(chǎn)品應(yīng)用模式與部署方案cStor云存儲系統(tǒng)主要是為海量數(shù)據(jù)的集中存儲和處理提供解決方案。針對不同的應(yīng)用場景，它主要有如下集中應(yīng)用模式，下面分而敘之。企業(yè)典型云存儲應(yīng)用模式隨著社會信息化程度的不斷提高，越來越多的企業(yè)對海量數(shù)據(jù)存儲和處理的需求越來越迫切。海量數(shù)據(jù)爆炸式增長，傳統(tǒng)存儲模式面臨著擴容不方便、系統(tǒng)吞吐量不足、無法支持多用戶高并發(fā)快速訪問等問題。如下為傳統(tǒng)存儲模式的示意圖：圖3-1傳統(tǒng)存儲模式傳統(tǒng)存儲都是通過中心服務(wù)器來將數(shù)據(jù)轉(zhuǎn)存到磁盤陣列或磁盤柜等存儲介質(zhì)中，這樣的模式很容易成為系統(tǒng)的瓶頸。cStor基于分布式的云存儲架構(gòu)，能夠完美的解決傳統(tǒng)存儲模式所遇到擴容不方便、系統(tǒng)吞吐量不足、無法支持多用戶高并發(fā)快速訪問等問題?；赾Stor云存儲具體解決方案如下：圖3-2cStor云存儲集中存儲模式采用cStor云存儲的典型云存儲模式具有如下特點：動態(tài)伸縮系統(tǒng)增減節(jié)點不必停止服務(wù)，可在線增減存儲節(jié)點，存儲節(jié)點和元數(shù)據(jù)節(jié)點間通過注冊管理機制自適應(yīng)管理，實現(xiàn)自動伸縮，并且系統(tǒng)可提供7*24小時不間斷的存儲服務(wù)。很好的解決了傳統(tǒng)存儲模式擴容不方便的問題。優(yōu)異性能采用控制流和數(shù)據(jù)流分離的技術(shù)，每個存儲節(jié)點都對外提供數(shù)據(jù)訪問服務(wù)，系統(tǒng)的總體性能與存儲節(jié)點的規(guī)模成正比，整個系統(tǒng)的吞吐量隨著節(jié)點的規(guī)模增加呈線性增長，系統(tǒng)的規(guī)模越大云存儲系統(tǒng)的優(yōu)勢越明顯。多用戶高并發(fā)快速訪問系統(tǒng)自動均衡負(fù)載，根據(jù)節(jié)點的空間使用比例將負(fù)載自動均衡到不同的存儲服務(wù)器上，同時將不同的用戶端的流量自動分擔(dān)到不同的存儲節(jié)點上，從而支持多用戶高并發(fā)快速訪問。大規(guī)模虛擬機映像文件云存儲應(yīng)用模式目前，虛擬化技術(shù)在企業(yè)中的運用是越來越多，特別是桌面云等云計算技術(shù)的應(yīng)用，那么存儲這些虛擬機鏡像也越來越成為一個擺在企業(yè)面前的問題：在傳統(tǒng)的存儲模式下，系統(tǒng)通過單節(jié)點存儲服務(wù)器對外提供虛擬機映像文件的訪問，當(dāng)訪問的節(jié)點達到一定數(shù)量的時候，受訪問的服務(wù)器便無法提供如此高的吞吐率，因此傳統(tǒng)模式不能滿足大規(guī)模的虛擬機映像文件的存儲需求。為了解決傳統(tǒng)存儲模式的缺陷，我公司提出了基于cStor云存儲的解決方案，如下圖所示：圖3-3大規(guī)模虛擬機映像文件存儲由于cStor采用控制流和數(shù)據(jù)流分離的技術(shù)，用戶訪問時通過元數(shù)據(jù)管理服務(wù)器獲取文件存儲的信息，然后直接與各個存儲節(jié)點交互進行文件的存取訪問，避免了元數(shù)據(jù)服務(wù)器超負(fù)載的現(xiàn)象，同時系統(tǒng)的整體吞吐率隨著存儲節(jié)點的增多呈線性增長，解決了傳統(tǒng)方式的超大數(shù)量用戶訪問的瓶頸。廣電媒資系統(tǒng)云存儲應(yīng)用模式隨著視頻技術(shù)的高速發(fā)展，以及高清、新媒體等業(yè)務(wù)的全面展開，媒資管理系統(tǒng)對可靠性、存儲容量、訪問寬帶等要求不斷提高，除了業(yè)務(wù)與設(shè)備高度耦合造成的設(shè)備共享困難外，廣電媒體IT系統(tǒng)的管理復(fù)雜度也越來越高。針對目前的業(yè)務(wù)需求和存儲策略，我們提出了如下的云存儲解決方案：圖3-4廣電媒資系統(tǒng)cStor存儲應(yīng)用模式采用cStor云存儲模式的系統(tǒng)，具有如下特點：高度可靠針對小文件采用多個數(shù)據(jù)塊副本的方式實現(xiàn)冗余可靠，數(shù)據(jù)在不同的存儲節(jié)點上具有多個塊副本，任意節(jié)點發(fā)生故障，系統(tǒng)將自動復(fù)制數(shù)據(jù)塊副本到新的存儲節(jié)點上，數(shù)據(jù)不丟失，實現(xiàn)數(shù)據(jù)完整可靠；針對大文件采用超安存（S3）編解碼算法的方式實現(xiàn)高度可靠，任意同時損壞多個存儲節(jié)點，數(shù)據(jù)可通過超安存算法解碼自動恢復(fù)。該特性可適用于對數(shù)據(jù)安全級別極高的場合，同時相對于副本冗余的可靠性實現(xiàn)方式大大提高了磁盤空間利用率，不到40%的磁盤冗余即可實現(xiàn)任意同時損壞三個存儲節(jié)點而不丟失數(shù)據(jù)。元數(shù)據(jù)管理節(jié)點采用雙機鏡像熱備份的高可用方式容錯，其中一臺服務(wù)器故障，可無縫自動切換到另一臺服務(wù)器，服務(wù)不間斷。整個系統(tǒng)無單點故障，硬件故障自動屏蔽。超大規(guī)?？芍蔚娜萘拷咏鼰o限，理論容量為1024x1024x1024PB（1G個PB容量）。多用戶高并發(fā)快速訪問傳統(tǒng)方式不能滿足同時上傳和下載的高速并發(fā)訪問的要求，cStor云存儲系統(tǒng)能夠自動均衡負(fù)載，根據(jù)節(jié)點的空間使用比例將負(fù)載自動均衡到不同的存儲服務(wù)器上，同時將不同的用戶端的流量自動分擔(dān)到不同的存儲節(jié)點上，從而支持多用戶高并發(fā)快速訪問。智能管理一鍵式安裝，智能化自適應(yīng)管理，簡單方便的監(jiān)控界面，無需學(xué)習(xí)即可使用。城市視頻監(jiān)控云存儲應(yīng)用模式隨著城市視頻監(jiān)控布設(shè)的越來越全面，如果采用1080P的高清視頻監(jiān)控，使用能獲得最高壓縮比的H.264圖像壓縮技術(shù)處理收集的高清視頻，則壓縮輸出碼率最高可達到6Mbps，也就是每臺攝像機每天將大約產(chǎn)生50GB左右的數(shù)據(jù)量，那如果是一個城市一年的視頻數(shù)據(jù)的話是相當(dāng)驚人的。因此傳統(tǒng)處理方式已無法實現(xiàn)如此海量數(shù)據(jù)的存儲與高效處理。針對這一現(xiàn)象，我們提出了如下的云存儲解決方案：圖3-5云視頻監(jiān)控系統(tǒng)框架 本系統(tǒng)具有如下特點：高效處理本方案針對城市視頻監(jiān)控實際應(yīng)用特點，結(jié)合云計算、云存儲優(yōu)勢，利用云創(chuàng)存儲自身云計算與云存儲產(chǎn)品，創(chuàng)新地開發(fā)設(shè)計了城市云視頻監(jiān)控系統(tǒng)平臺，結(jié)合云創(chuàng)cStor海量云存儲系統(tǒng)、cProc高效云處理平臺、cVideo云視頻監(jiān)控管理系統(tǒng)、cTrans高速云傳輸系統(tǒng)四大系統(tǒng)產(chǎn)品，充分發(fā)揮云存儲與云計算針對海量數(shù)據(jù)處理時的優(yōu)勢，達到海量視頻監(jiān)控信息高效率存儲與管理的目的。超大規(guī)模可支撐的容量接近無限，理論容量為1024x1024x1024PB（1G個PB容量），有足夠的存儲空間來存儲城市視頻。動態(tài)伸縮系統(tǒng)可以在不停止服務(wù)的情況下，動態(tài)加入新的存儲節(jié)點，支持超大規(guī)模集群，滿足海量數(shù)據(jù)集中存儲的大容量的要求。公安圖像偵查云存儲應(yīng)用模式近年來，視頻監(jiān)控在安防領(lǐng)域得到了大規(guī)模應(yīng)用，海量的攝像頭完成了部署。視頻監(jiān)控信息在維護社會穩(wěn)定，協(xié)助安全防衛(wèi)過程中發(fā)揮了重要的作用，與此同時，海量視頻數(shù)據(jù)的集中存儲與共享、高度可靠以及多用戶高速并發(fā)訪問成為公安圖像偵察應(yīng)用領(lǐng)域的基本要求。 cStor云存儲系統(tǒng)提供了海量數(shù)據(jù)的集中存儲與共享，以及高度可靠的多用戶高速并發(fā)訪問解決方案，下圖為公安圖像偵查的云存儲應(yīng)用模式示意圖：圖3-6基于cStor云存儲的公安圖像偵查系統(tǒng) 在本偵查系統(tǒng)中，圖像視頻數(shù)據(jù)通過專門的數(shù)據(jù)上傳組進行上傳，同時在多個偵查組可以進行數(shù)據(jù)的偵測（示意圖中的數(shù)據(jù)下載區(qū)），通過這種模式可以大大的節(jié)省團隊的協(xié)作時間，提高整體的執(zhí)行效率。 由于采用了分布式的云存儲架構(gòu)，各個偵查組在進行數(shù)據(jù)的讀寫時，是直接與個存儲節(jié)點進行數(shù)據(jù)的交互，不存儲單節(jié)點性能瓶頸，而且隨著存儲節(jié)點數(shù)目的增多，系統(tǒng)的整體IO性能呈線性的增加。數(shù)據(jù)災(zāi)備中心云存儲應(yīng)用模式對于政府、銀行、交通等行業(yè)，數(shù)據(jù)尤其重要，如果企業(yè)數(shù)據(jù)丟失，不僅會影響到業(yè)務(wù)的開展，更嚴(yán)重還會是企業(yè)丟失客戶的信任以及企業(yè)賴以生存的市場。因此成功的容災(zāi)和備災(zāi)將是一個企業(yè)戰(zhàn)略規(guī)劃的核心部分。為了應(yīng)對災(zāi)難對用戶帶來的威脅，我公司提供了數(shù)據(jù)災(zāi)備中心云存儲系統(tǒng)的解決方案，如下示意圖所示：圖3-7數(shù)據(jù)災(zāi)備中心云存儲應(yīng)用模式各地有本地數(shù)據(jù)存儲中心，重要數(shù)據(jù)則在本地系統(tǒng)空閑（如晚上）時通過網(wǎng)絡(luò)上傳至數(shù)據(jù)災(zāi)備中心進行集中式備份。同時數(shù)據(jù)災(zāi)備中心的存儲服務(wù)器也可以部署云處理平臺，在沒有數(shù)據(jù)備份的空閑時間段也可以對外提供云計算服務(wù)。這種基于云存儲的數(shù)據(jù)災(zāi)備中心，通過云存儲的分布式架構(gòu)，將數(shù)據(jù)分塊存儲在不同的存儲節(jié)點上，提高了數(shù)據(jù)的可靠性，同時cStor中提供的超安存（S3）技術(shù)，不僅提高了磁盤的利用率，還通過其加密技術(shù)增強的數(shù)據(jù)存儲的安全性。通過這種專業(yè)的統(tǒng)一災(zāi)備中心的容災(zāi)，企業(yè)只需要根據(jù)需求購買相應(yīng)容量的存儲，不僅大大減少了各個企業(yè)建立數(shù)據(jù)中心的成本，同時大大的降低了數(shù)據(jù)丟失的風(fēng)險。產(chǎn)品技術(shù)規(guī)格cStor產(chǎn)品根據(jù)不同應(yīng)用對象的應(yīng)用需求以及對系統(tǒng)配置的要求分成三種技術(shù)規(guī)格，詳細(xì)說明如下。經(jīng)濟型配置主要是采用千兆網(wǎng)絡(luò)環(huán)境，應(yīng)用于一般的數(shù)據(jù)備份和歸檔的環(huán)境即可。技術(shù)指標(biāo)技術(shù)要求操作系統(tǒng)Linux64位操作系統(tǒng)，多核處理器管理節(jié)點≥2個,≥4核4線程元數(shù)據(jù)緩存采用內(nèi)存緩存，內(nèi)存≥16GB存儲節(jié)點≥1*雙核存儲緩存≥4GB網(wǎng)絡(luò)配置采用千兆網(wǎng)絡(luò)，最大讀速度達到80MBps，寫速度達到100M