視頻云存儲解決方案簡化版

1、視頻云存儲解決方案簡化版（V2.0）一、系統(tǒng)概述隨著視頻監(jiān)控系統(tǒng)規(guī)模越來越大，以及高清視頻的大規(guī)模應(yīng)用，對視頻監(jiān)控系統(tǒng)中需要存儲的數(shù)據(jù)和應(yīng)用的復(fù)雜程度在不斷提高，且視頻數(shù)據(jù)需要長時間持續(xù)地保存到存儲系統(tǒng)中，并要求隨時可以調(diào)用，對存儲系統(tǒng)的可靠性和性能等方面都提出了新的要求。在未來的復(fù)雜系統(tǒng)中，數(shù)據(jù)將呈現(xiàn)爆炸性的海量增長，提供對海量數(shù)據(jù)的快速存儲及檢索技術(shù)，顯得尤為重要，存儲系統(tǒng)正在成為視頻監(jiān)控技術(shù)未來發(fā)展的決定性因素。面對百PB級的海量存儲需求，傳統(tǒng)的SAN或NAS在容量和性能的擴展上會存在瓶頸。而云存儲可以突破這些性能瓶頸，而且可以實現(xiàn)性能與容量的線性擴展，這對于追求高性能、高可用性的企業(yè)用

2、戶來說是一個新選擇。云存儲是在云計算（cloud computing）概念上延伸和發(fā)展出來的一個新的概念，是指通過集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能，應(yīng)用存儲虛擬化技術(shù)將網(wǎng)絡(luò)中大量各種不同類型的存儲設(shè)備通過應(yīng)用軟件集合起來協(xié)同工作，共同對外提供數(shù)據(jù)存儲和業(yè)務(wù)訪問功能的一個系統(tǒng)。所以云存儲可以認為是配置了大容量存儲設(shè)備的一個云計算系統(tǒng)。 依據(jù)云存儲的功能特點，?？低暪緦ｉT針對大容量視頻數(shù)據(jù)的存儲和管理以及滿足視頻監(jiān)控領(lǐng)域特殊的應(yīng)用需求，量身設(shè)計了一套海康威視視頻云存儲監(jiān)控系統(tǒng)。海康威視視頻云存儲系統(tǒng)可以同時應(yīng)用于視頻、圖片混合存儲，承擔(dān)整個系統(tǒng)內(nèi)的視頻/圖片的數(shù)據(jù)寫入/讀取工作。云存儲

3、系統(tǒng)一方面采用了基于云架構(gòu)的分布式集群設(shè)計和虛擬化設(shè)計，在系統(tǒng)內(nèi)部實現(xiàn)了多設(shè)備協(xié)同工作、性能和資源的虛擬整合，最大限度利用了硬件資源和存儲空間。另一方面，通過將云存儲的存儲功能、管理功能進行打包，通過開放透明的應(yīng)用接口和簡單易用的管理界面，與上層應(yīng)用平臺整合后，為整個安防監(jiān)控系統(tǒng)提供了高效、可靠的數(shù)據(jù)存儲服務(wù)。二、系統(tǒng)架構(gòu)(一) 技術(shù)路線在視頻云存儲系統(tǒng)的設(shè)計中，采用的核心技術(shù)如下：1) 采用存儲全域虛擬化技術(shù)對具有海量存儲需求的用戶提供透明存儲構(gòu)架，可持續(xù)擴容避免瓶頸限制，可以更有效的進行資源管理，靈活增減空間，達到最大程度上合理利用空間的效果。2) 采用集群技術(shù)，解決單/多節(jié)點失效問題，并

4、利用負載均衡技術(shù)充分利用各存儲節(jié)點的性能，提升系統(tǒng)的可靠性和安全性。3) 采用離散存儲技術(shù)，保障了用戶高效的讀寫的同時保證了業(yè)務(wù)的持續(xù)性。4) 采用統(tǒng)一完善的接口，降低對接成本、平臺維護成本和用戶管理的復(fù)雜度。5) 采用開放的集成構(gòu)架，使其可兼容業(yè)界各類iSCSI/FC存儲設(shè)備，保護用戶現(xiàn)有存儲投資資源。6) 采用數(shù)據(jù)備份和容災(zāi)技術(shù)，保證云存儲中的數(shù)據(jù)不丟失，保證云存儲服務(wù)的安全穩(wěn)定。(二) 邏輯架構(gòu)云存儲系統(tǒng)采用分層結(jié)構(gòu)設(shè)計，整個系統(tǒng)從邏輯上分為五層，分別為設(shè)備層、存儲層、管理層、接口層、應(yīng)用層。圖1. 云存儲邏輯架構(gòu)圖1) 設(shè)備層設(shè)備層是云存儲最基礎(chǔ)、最底層的部分，該層由標準的物理設(shè)備組成

5、，支持標準的IP-SAN、FC-SAN存儲設(shè)備。在系統(tǒng)組成中，存儲設(shè)備可以是SAN架構(gòu)下的FC光纖通道存儲設(shè)備或iSCSI協(xié)議下的IP存儲設(shè)備。2) 存儲層在存儲層上部署云存儲流數(shù)據(jù)系統(tǒng)，通過調(diào)用云存儲流數(shù)據(jù)系統(tǒng)，實現(xiàn)存儲傳輸協(xié)議和標準存儲設(shè)備之間的邏輯卷或磁盤陣列的映射，實現(xiàn)數(shù)據(jù)（視頻、圖片、附屬流）和設(shè)備層存儲設(shè)備之間的通信連接，完成數(shù)據(jù)的高效的寫入、讀取和調(diào)用等服務(wù)。3) 管理層在管理層，融合了索引管理、計劃管理、調(diào)度管理、資源管理、集群管理、設(shè)備管理等多種核心的管理功能?？梢詫崿F(xiàn)存儲設(shè)備的邏輯虛擬化管理、多鏈路冗余管理、錄像計劃的主動下發(fā)，以及硬件設(shè)備的狀態(tài)監(jiān)控和故障維護等；實現(xiàn)整個存

6、儲系統(tǒng)的虛擬化的統(tǒng)一管理，實現(xiàn)上層服務(wù)（視頻錄像、回放、查詢、智能分析數(shù)據(jù)請求等）的響應(yīng)。4) 接口層應(yīng)用接口層是云存儲最靈活多變的部分，接口層面向用戶應(yīng)用提供完善以及統(tǒng)一的訪問接口，接口類型可分為Web Service接口、API接口、Mibs接口，可以根據(jù)實際業(yè)務(wù)類型，開發(fā)不同的應(yīng)用服務(wù)接口，提供不同的應(yīng)用服務(wù)。實現(xiàn)和行業(yè)專屬平臺、運維平臺的對接；實現(xiàn)和智能分析處理系統(tǒng)之間的對接；實現(xiàn)視頻數(shù)據(jù)的存儲、檢索、回放、瀏覽轉(zhuǎn)發(fā)等操作；實現(xiàn)關(guān)鍵視頻數(shù)據(jù)的遠程容災(zāi)；實現(xiàn)設(shè)備以及服務(wù)的監(jiān)控和運維等。5) 應(yīng)用層從邏輯上劃分，除了應(yīng)用層外，剩下的四層都屬于通常云存儲的范疇，但是在海康威視視頻云存儲系統(tǒng)中

7、，為了與視頻監(jiān)控系統(tǒng)的建設(shè)和應(yīng)用更加緊密的結(jié)合，更加符合用戶的業(yè)務(wù)需求，將應(yīng)用層納入了整個系統(tǒng)架構(gòu)中，從根本上提高海康威視視頻云存儲系統(tǒng)的針對性。可將行業(yè)視頻監(jiān)管平臺、運維平臺、智能分析平臺等通過相應(yīng)的接口與云存儲系統(tǒng)對接，實現(xiàn)與云存儲系統(tǒng)之間的數(shù)據(jù)以及信令的交互。行業(yè)視頻監(jiān)控平臺可與云存儲系統(tǒng)進行配置錄像計劃、配置存儲策略、檢索視頻資源、重要錄像的備份存儲等指令的交互，輔助流數(shù)據(jù)、視頻數(shù)據(jù)、圖片數(shù)據(jù)的存取。運維平臺采用標準的SNMP協(xié)議實現(xiàn)并提供Mibs 接口，對云存儲系統(tǒng)以及服務(wù)進行監(jiān)控管理，及時將產(chǎn)生的告警傳遞給用戶。將智能分析平臺可與云存儲系統(tǒng)進行對接，實現(xiàn)基礎(chǔ)數(shù)據(jù)的讀取，以及經(jīng)過存儲

8、的二次分析后的片段信息，文本信息寫入和檢索。(三) 物理組成視頻云存儲系統(tǒng)主要由管理節(jié)點和存儲節(jié)點（物理存儲設(shè)備）兩部分組成。系統(tǒng)內(nèi)部需要配置的元數(shù)據(jù)信息由管理服務(wù)器統(tǒng)一管理，管理節(jié)點還需要負責(zé)集群內(nèi)部的負載均衡，失敗替換等管理職能；視頻云存儲系統(tǒng)可以組建海量的存儲資源池，容量分配不受物理硬盤數(shù)量的限制；并且存儲容量可進行線性在線擴容，性能和容量的擴展都可以通過在線擴展完成。視頻云存儲管理節(jié)點（CVMN）：部署管理服務(wù)器，是視頻云存儲系統(tǒng)的核心節(jié)點，作為云存儲系統(tǒng)的調(diào)度中心負責(zé)云存儲系統(tǒng)資源管理、索引管理、計劃管理、策略調(diào)度等。根據(jù)項目對存儲容量需求、前端支撐數(shù)目、性能要求、可靠性要求，存儲管

9、理節(jié)點可以按照兩種方式部署：雙機部署、集群部署。視頻云存儲節(jié)點（CVSN）：作為云存儲系統(tǒng)業(yè)務(wù)的具體執(zhí)行者負責(zé)視頻數(shù)據(jù)存儲、讀取、存儲設(shè)備管理、存儲空間管理等。三、系統(tǒng)特點1) 高效靈活的空間管理Ø 對存儲資源進行虛擬化整合，提高用戶管理效率；Ø 支持存儲資源的在線擴展，實現(xiàn)容量與性能的線性增長；Ø 虛擬空間可靈活調(diào)整，不但能擴大，同樣能縮??；2) 海量數(shù)據(jù)的快速檢索Ø 采用一體化索引設(shè)計，大大提高了查找速度；Ø 深化視頻、圖片的應(yīng)用設(shè)計，支持I幀信息快速讀?。?) 持續(xù)可靠的數(shù)據(jù)服務(wù)Ø 提供7X24小時不間斷高效可持續(xù)的數(shù)據(jù)服務(wù)，充

10、分保護數(shù)據(jù)安全和可靠性；Ø 采用全集群化設(shè)計，性能全面提升，設(shè)備壓力負載均衡，單/多點故障，錄像業(yè)務(wù)不中斷；Ø 數(shù)據(jù)存儲采用離散存儲算法，提供系統(tǒng)級高效、穩(wěn)定存取服務(wù)；4) 高可擴展的應(yīng)用支撐Ø 系統(tǒng)的高性能設(shè)計，能夠并發(fā)服務(wù)以滿足視頻數(shù)據(jù)的高速讀取需求。Ø 采用流式數(shù)據(jù)結(jié)構(gòu)，面向視頻、圖片數(shù)據(jù)而設(shè)計，滿足視頻數(shù)據(jù)的持續(xù)寫入；Ø 深入開發(fā)視頻錄像的專業(yè)化應(yīng)用設(shè)計，優(yōu)化了應(yīng)用的服務(wù)質(zhì)量；5) 開放透明的兼容系統(tǒng)Ø 統(tǒng)一開放的應(yīng)用功能接口，由上層業(yè)務(wù)平臺直接調(diào)用；Ø 采用的是標準設(shè)備兼容模式，支持標準IP SAN、FC SAN存

11、儲設(shè)備的接入；四、系統(tǒng)功能視頻云存儲系統(tǒng)主要實現(xiàn)功能如下表所示：功能項功能說明系統(tǒng)功能集群化管理1、 負責(zé)CVMN集群的創(chuàng)建和維護工作。2、 負責(zé)集群內(nèi)各節(jié)點的添加、刪除、修改和運行狀態(tài)監(jiān)控工作。3、 負責(zé)業(yè)務(wù)響應(yīng)、處理的集群內(nèi)的負載均衡工作，動態(tài)調(diào)配集群處理資源，提高系統(tǒng)運行效率和響應(yīng)速度。4、 維護集群運行高可靠性，單/多點故障時業(yè)務(wù)壓力自動調(diào)整保證業(yè)務(wù)處理不中斷。虛擬化管理1、 將系統(tǒng)內(nèi)存儲節(jié)點內(nèi)數(shù)據(jù)塊通過虛擬化統(tǒng)一整合成為資源池，實現(xiàn)用戶對資源池的透明管理管理。2、 資源池靈活劃分錄像池，通過錄像池負載視頻/圖片數(shù)據(jù)的存儲工作。3、 錄像池靈活調(diào)整，支持錄像池創(chuàng)建后的擴大和縮小。離散存

12、儲管理1、 對某路或多路數(shù)據(jù)流進行切片后按照內(nèi)置離散算法自動分散到不同存儲設(shè)備的數(shù)據(jù)塊中進行存儲。2、 對某路或多路數(shù)據(jù)流進行切片后按照內(nèi)置離散算法分散到指定的部分存儲設(shè)備的數(shù)據(jù)塊總進行存儲。3、 提供數(shù)據(jù)讀取并發(fā)響應(yīng)功能，提高系統(tǒng)數(shù)據(jù)吞吐量和響應(yīng)效率。錄像管理功能錄像計劃執(zhí)行1、根據(jù)配置要求確定通道和存儲地址，負責(zé)將視頻流數(shù)據(jù)向錄像池的寫入操作。存儲應(yīng)用功能視頻錄像1、 按照用戶制定的計劃保存前端設(shè)備采集的錄像數(shù)據(jù)，錄像類型、錄像頭。2、 支持補錄，即斷網(wǎng)等條件下，前端設(shè)備能夠?qū)⒈镜乇４娴臄?shù)據(jù)補錄到系統(tǒng)中。3、 支持動態(tài)修改錄像類型，即采集視頻數(shù)據(jù)過程中可以按報警類型修改錄像的類型并即時保存

13、到系統(tǒng)中。視頻回放1、 支持根據(jù)編碼器名稱以及時間段、錄像類型對錄像數(shù)據(jù)進行回放。2、 支持根據(jù)編碼器名稱以及時間段對錄像數(shù)據(jù)進行回放時間定位。3、 支持快放、慢放、倒序回放和手動停止回放。4、 支持I 幀回放視頻標注1、 對錄像、圖片等數(shù)據(jù)信息所對應(yīng)的標簽進行打標、存儲、備份等操作。2、 對錄像、圖片等數(shù)據(jù)信息的標簽信息進行查詢、檢索、篩選工作。3、 對錄像、圖片等數(shù)據(jù)信息所對應(yīng)的標簽進行修改、刪除等操作。圖片存儲1、 支持按照用戶制定的計劃保存前端設(shè)備采集的圖片數(shù)據(jù)。圖片下載1、 支持按時間段下載圖片。2、 支持瀏覽器http 的URL方式下載圖片。圖片壓縮1、 支持圖片大小壓縮和尺寸縮放

14、。運維功能周期覆蓋1、 按策略支持按周期、容量進行圖片數(shù)據(jù)的周期覆蓋式存儲。五、系統(tǒng)參考清單(一) 管理節(jié)點雙機部署當(dāng)項目中前端通道和車道數(shù)量總和不足千路時，云存儲管理節(jié)點采用2臺服務(wù)器做HA雙機部署模式。管理節(jié)點雙機部署是一種可靠性較高的部署方式，此種方式是采用兩臺服務(wù)器安裝相應(yīng)的視頻云存儲管理軟件并運行雙機熱備模式，形成熱備視頻云存儲管理雙節(jié)點。此種雙機熱備模式，可實現(xiàn)應(yīng)用服務(wù)的故障切換，提高了視頻云存儲管理節(jié)點的可靠性和穩(wěn)定性，工作性能也得到了保證。(二) 管理節(jié)點集群部署當(dāng)項目中的前端通道和車道數(shù)量總和超過1千路時可采用管理服務(wù)器集群模式。 管理節(jié)點集群部署是一種高可靠性、高穩(wěn)定性的部

15、署方式，此種方式是采用三臺或三臺以上奇數(shù)臺服務(wù)器組成，安裝視頻云存儲管理軟件并運行集群工作模式，形成視頻云存儲管理集群。此種集群工作模式，可實現(xiàn)單臺或多臺服務(wù)器應(yīng)用的故障切換和負載均衡，提高了視頻云存儲管理節(jié)點的可靠性和穩(wěn)定性，系統(tǒng)性能也得到了很大的提高，是大型視頻監(jiān)控項目首選的部署方式。(三) 存儲容量計算存儲數(shù)據(jù)主要是視頻錄像數(shù)據(jù)和卡口車輛圖片數(shù)據(jù)，其中視頻錄像數(shù)據(jù)主要包括監(jiān)控攝像機視頻錄像和卡口全景攝像機視頻錄像。具體存儲容量需求根據(jù)項目的實際情況來詳細計算，核算出所需要的硬件存儲設(shè)備數(shù)量。(四) 系統(tǒng)軟硬件清單通過計算后得出了云存儲系統(tǒng)的管理服務(wù)器和存儲設(shè)備的硬件數(shù)量。在云存儲系統(tǒng)中軟

16、件的數(shù)量與硬件數(shù)量是相關(guān)的，其中包括云存儲管理軟件、云存儲存儲軟件和云存儲接入軟件。云存儲管理軟件集成在管理服務(wù)器硬件中，因此管理軟件的數(shù)量等于管理服務(wù)器的數(shù)量。云存儲的存儲軟件和接入軟件集成在存儲設(shè)備中，因此這兩款軟件的數(shù)量等于存儲設(shè)備的數(shù)量。設(shè)備清單如下表：視頻云存儲系統(tǒng)配置清單1、視頻云存儲系統(tǒng)硬件設(shè)備清單硬件項目數(shù)量單位參數(shù)說明備注視頻云存儲管理服務(wù)器N臺雙機模式：2臺；集群模式：>=3 ,奇數(shù)；視頻云存儲主機M臺2、視頻云存儲系統(tǒng)軟件清單軟件項目數(shù)量單位參數(shù)說明備注視頻云存儲管理軟件N套CVM視頻云存儲接入軟件M套CVA視頻云存儲存儲軟件M套CVS六、主要產(chǎn)品介紹（一）存儲管理

17、服務(wù)器存儲管理服務(wù)器是基于Intel最新的Romley平臺開發(fā)的一款高性能雙路服務(wù)器，該服務(wù)器采用了全新的架構(gòu)設(shè)計：在CPU內(nèi)集成了PCI-E，為CPU互聯(lián)提供更多的QPI總線，更多的CPU內(nèi)核數(shù)量等都直接帶來了性能的大幅提升，相比上一代性能提升最高可達80%。存儲服務(wù)器最大可以支持內(nèi)存容量 512GB，集成高性能SAS控制器，支持最多達8塊熱插拔3.5寸SAS/SATA硬盤或2.5寸SAS/SATA硬盤，內(nèi)部橫插卡的設(shè)計可以滿足全高擴展卡的需求，如此強大的擴展性足以支撐關(guān)鍵任務(wù)的運行，滿足資源密集型應(yīng)用的需要。更多的PCI-E插槽、更高速率的PCI-E總線讓用戶輕松實現(xiàn)擴展。存儲管理服務(wù)器非

18、常適用于對服務(wù)器性能、擴展性及可靠性要求苛刻的數(shù)據(jù)中心環(huán)境。產(chǎn)品特點：Ø 全新處理器架構(gòu)帶來性能飚升；Ø 真正企業(yè)級的可靠和可用性；Ø IO超強擴展；Ø 橫插卡設(shè)計支持全高擴展卡；Ø 模塊化設(shè)計，免工具拆卸。（二）存儲主機存儲主機是?？低曖槍Ω咝阅?、高可靠性需求而推出的千兆網(wǎng)絡(luò)存儲系統(tǒng)。提供4-8Gbps的傳輸帶寬和單模塊高達144TB的海量存儲空間，且支持擴展。采用強大的64位四核處理器、穩(wěn)定的體系架構(gòu)、RAID 6技術(shù)、熱插拔硬盤、多千兆網(wǎng)口及冗余熱備電源、智能控制風(fēng)扇，既滿足了高性能的要求又徹底保護了用戶的數(shù)據(jù)安全。產(chǎn)品特點：Ø 1-2個6