視頻云存儲系統(tǒng)設(shè)計

1、 .2海康威視視頻云存儲系統(tǒng)由存儲管理服務(wù)器(存儲管理節(jié)點(diǎn)CVMN)、存儲設(shè)備(存儲節(jié)點(diǎn)CVSN)及異構(gòu)服務(wù)器(第三方存儲服務(wù)節(jié)點(diǎn)ASSN)組成。1)視頻云存儲管理節(jié)點(diǎn)CVMN視頻云存儲管理節(jié)點(diǎn)：CVMN(CloudVideoManageNode)在云存儲標(biāo)配服務(wù)器上集成安裝視頻云管理軟件CVM(CloudVideoManger)，其主要功能包括視頻云存儲系統(tǒng)內(nèi)資源管理、存儲節(jié)點(diǎn)管理、集群管理、策略調(diào)度、運(yùn)維監(jiān)控等。根據(jù)視頻云存儲系統(tǒng)的規(guī)模情況和可靠性要求管理節(jié)點(diǎn)部署可分為：HA部署和集群部署兩種模式。其中HA部署模式適用于1024路以內(nèi)監(jiān)控前端視頻讀寫規(guī)模，通過兩臺服務(wù)器做雙機(jī)熱備；集群部署

2、模式適用于較大型的視頻云存儲系統(tǒng)，可以進(jìn)行三臺或三臺以上配備，集群部署的服務(wù)器臺數(shù)必須是奇數(shù)增加。集群部署的優(yōu)勢在于通過視頻云存儲管理節(jié)點(diǎn)內(nèi)部集群功能將協(xié)調(diào)各節(jié)點(diǎn)設(shè)備資源，將用戶配置、數(shù)據(jù)庫信息、策略計劃進(jìn)行統(tǒng)一進(jìn)行調(diào)度，整體性能呈現(xiàn)線性增長。同時也增加了系統(tǒng)的可靠性，多臺設(shè)備的故障不會影響到系統(tǒng)的運(yùn)行。無論是HA部署模式還是集群部署模式，視頻云存儲都使用唯一的虛擬IP地址對外提供服務(wù)。視頻云存儲節(jié)點(diǎn)CVSN視頻云存儲節(jié)點(diǎn)：CVSN(CloudVideoStorageNode)在存儲設(shè)備上集成安裝視頻云存儲軟件CVS(CloudVideoStorage)和視頻云接入軟件CVA(CloudVid

3、eoAccess)作為存儲節(jié)點(diǎn)。主要是響應(yīng)視頻云存儲管理節(jié)點(diǎn)(CVMN)和應(yīng)用層的錄像、查詢、下載等操作申請，以及管理物理存儲設(shè)備和空間，視頻云存儲節(jié)點(diǎn)模塊具有以下功能：負(fù)責(zé)根據(jù)接收云存儲管理節(jié)點(diǎn)下發(fā)的錄像計劃，并根據(jù)錄像計劃向?qū)?yīng)的前端攝像頭進(jìn)行取流操作。負(fù)責(zé)將接收到的錄像數(shù)據(jù)寫入到存儲底層或從存儲底層讀取數(shù)據(jù)，通過協(xié)議接口主要向API提供錄像、查詢、回放及下載服務(wù)。提供存儲設(shè)備的狀態(tài)檢測和信息上報功能。存儲底層：使用Raid技術(shù)來保證數(shù)據(jù)安全，支持節(jié)能的磁盤休眠功能。3)第三方存儲服務(wù)節(jié)點(diǎn)ASSN第三方存儲服務(wù)節(jié)點(diǎn)：ASSN(AsynchronousStorageServiceNode)在

4、服務(wù)器上集成安裝異構(gòu)存儲軟件ASS(AsynchronousStorageService)視頻云存儲軟件CVS(CloudVideoStorage)、視頻云接入軟件CVA(CloudVideoAccess)的接入第三方存儲服務(wù)節(jié)點(diǎn)。其主要功能是通過安裝異構(gòu)軟件(ASS)完成對第三方iSCSI/FC標(biāo)準(zhǔn)存儲設(shè)備的接入，實(shí)現(xiàn)對項目已有資源的兼容性利用。使得第三方存儲設(shè)備通過ASSN的整合后，具備與CVSN同樣的功能。海康威視視頻云存儲系統(tǒng)面向視頻、圖片應(yīng)用定制化開發(fā)，提供了豐富的功能接口供上層視頻監(jiān)控平臺調(diào)用，主要功能如下圖所示：視頻云存儲系統(tǒng)具有以下幾個方面的功能：視頻云存儲系統(tǒng)功能設(shè)計表功能項

5、功能說明集群管理索引集群管理視頻錄像索引采用集群方式，無單點(diǎn)故障，保證索引數(shù)據(jù)的安全性。集群采用一級索引管理，能根據(jù)用戶的各種查詢條件(錄像類型、鎖定類型、報警類型、時間段等)進(jìn)行快速定位。負(fù)載均衡管理集群前端采用虛擬技術(shù)，對外提供統(tǒng)一的入口形式，將集群的訪問在集群中根據(jù)各種算法進(jìn)行分?jǐn)?，降低單個節(jié)點(diǎn)的訪問壓力。后端存儲節(jié)點(diǎn)壓力進(jìn)行實(shí)時監(jiān)控，當(dāng)單臺存儲節(jié)點(diǎn)壓力過大時能根據(jù)智能算法將業(yè)務(wù)平滑遷移至其他存儲節(jié)點(diǎn)，達(dá)到整個集群間負(fù)載均衡目的。虛擬化管理支持將整個存儲端統(tǒng)一管理，虛擬化為資源池，且將虛擬資源劃分為塊進(jìn)行管理。對用戶重要數(shù)據(jù)，通過虛擬塊之間的相互復(fù)制技術(shù)，達(dá)到多份備份目的。使用戶數(shù)據(jù)處于

6、長期在線狀態(tài)自動精簡管理集群內(nèi)部將不同類型存儲設(shè)備接入，對外提供統(tǒng)一接口控制。分散存儲管理將前端數(shù)據(jù)通過特定算法，平滑分散至各個存儲幾點(diǎn)，從而降低大量回放對單臺存儲節(jié)點(diǎn)的壓力。分布式數(shù)據(jù)庫索引服務(wù)器采用分布式數(shù)據(jù)庫，保證索引數(shù)據(jù)的安全性。視頻功能視頻錄像系統(tǒng)可以按照用戶制定的計劃保存前端設(shè)備采集的錄像數(shù)據(jù)，錄像類型、錄像頭由用戶指定，存儲開啟相關(guān)的資源。補(bǔ)錄：斷網(wǎng)等條件下，前端設(shè)備能夠?qū)⒈镜乇４娴臄?shù)據(jù)補(bǔ)錄到系統(tǒng)中。動態(tài)修訂錄像類型：前端采集視頻數(shù)據(jù)過程中，按報警類型可以修改錄像的類型修改后采集的視頻數(shù)據(jù)即時保存到系統(tǒng)中，并在數(shù)據(jù)保存類型上得到反映。周期覆蓋：系統(tǒng)保存的歷史錄像數(shù)據(jù)可以按照指定的

7、循環(huán)覆蓋策略進(jìn)行刪除。視頻檢索用戶可以按監(jiān)控點(diǎn)編號、錄像類型、時間組合、鎖定、標(biāo)注等條件查詢錄像數(shù)據(jù)。視頻回放支持根據(jù)編碼器名稱以及時間段、錄像類型對錄像數(shù)據(jù)進(jìn)行回放。支持根據(jù)編碼器名稱以及時間段對錄像數(shù)據(jù)進(jìn)行回放時間定位。支持快放、慢放。支持倒序回放。支持I幀回放。支持手動停止回放。視頻下載支持根據(jù)編碼器名稱以及時間段對錄像數(shù)據(jù)進(jìn)行下載。支持?jǐn)帱c(diǎn)續(xù)傳。視頻鎖定支持指定的錄像片段進(jìn)行鎖定，鎖定后的數(shù)據(jù)不被循環(huán)覆蓋掉。支持已鎖定的錄像片段鎖定時長到期自動解鎖。視頻刪除支持根據(jù)監(jiān)控點(diǎn)編號、錄像時間、錄像類型刪除視頻錄像。周期存儲按策略支持按周期、容量進(jìn)行錄像數(shù)據(jù)的周期覆蓋式存儲。圖片功能圖片寫入支

8、持按照用戶制定的計劃保存前端設(shè)備采集的圖片數(shù)據(jù)圖片下載支持按時間段下載圖片。支持http的URL方式下載圖片。圖片壓縮支持圖片大小壓縮和尺寸縮放。圖片鎖定支持指定的錄像片段進(jìn)行鎖定，鎖定后的數(shù)據(jù)不被循環(huán)覆蓋掉。支持已鎖定的錄像片段鎖定時長到期自動解鎖。圖片刪除支持單張圖片URL方式刪除。支持按照時間段刪除圖片。周期覆蓋按策略支持按周期、容量進(jìn)行圖片數(shù)據(jù)的周期覆蓋式存儲。http訪問支持用戶使用瀏覽器直接查看圖片。運(yùn)維管理系統(tǒng)信息獲取支持系統(tǒng)信息：版本、CPU、內(nèi)存、網(wǎng)卡、磁盤等信息的獲取。系統(tǒng)故障告警支持系統(tǒng)故障（CPU、內(nèi)存等超過閾值）主動告警到運(yùn)維平臺。存儲設(shè)備告警支持設(shè)備故障、掉線主動告

9、警到運(yùn)維平臺。標(biāo)準(zhǔn)協(xié)議對接支持標(biāo)準(zhǔn)的SNMP協(xié)議對接，采用Mibs文件。接口功能云認(rèn)證接口視頻云存儲對外提供登陸、認(rèn)證接口，保證系統(tǒng)安全性。視頻存儲接口提供統(tǒng)一的視頻存儲相關(guān)的接口：視頻寫入、視頻檢、索視頻下載、視頻回放等。視頻管理接口提供統(tǒng)一的視頻管理相關(guān)的接口：視頻鎖定、解鎖、刪除等。圖片存儲接口提供統(tǒng)一的圖片存儲相關(guān)的接口：圖片寫入、圖片下載等。圖片管理接口提供統(tǒng)一的圖片管理相關(guān)的接口：視頻鎖定、解鎖、刪除等。存儲空間管理提供統(tǒng)一的圖片管理相關(guān)的接口：創(chuàng)建/刪除/修訂資源池。系統(tǒng)功能遠(yuǎn)程配置通過web管理界面，用戶可完成節(jié)點(diǎn)的初始化配置?？煽啃韵到y(tǒng)可以提供7*24小時不間斷的服務(wù)，不會因

10、系統(tǒng)內(nèi)部分服務(wù)器宕機(jī)，造成系統(tǒng)服務(wù)中斷。管理服務(wù)器采用集群方案保證系統(tǒng)的穩(wěn)定性。單節(jié)點(diǎn)故障不影響系統(tǒng)業(yè)務(wù)的持續(xù)性?？捎眯詺v史視頻圖像的點(diǎn)擊回放的延遲時間小于1s，圖像無卡頓現(xiàn)象，播放清晰、流暢。視頻數(shù)據(jù)檢索秒級響應(yīng)。安全性云存儲子系統(tǒng)管理采用權(quán)限、密碼驗(yàn)證機(jī)制可維護(hù)性系統(tǒng)支持在線擴(kuò)容，云存儲集群規(guī)模調(diào)整支持不中斷業(yè)務(wù)模式下進(jìn)行系統(tǒng)升級存儲業(yè)務(wù)流程.1視頻存儲業(yè)務(wù)流程1)視頻存儲流程視頻數(shù)據(jù)存儲由視頻監(jiān)控平臺向視頻云存儲子系統(tǒng)的管理服務(wù)器下發(fā)視頻錄像計劃，管理服務(wù)器根據(jù)各存儲的負(fù)載狀況，給存儲服務(wù)器的接入服務(wù)軟件下發(fā)錄像計劃。接入服務(wù)軟件獲取錄像計劃后，直連監(jiān)控點(diǎn)IPC，獲取視頻數(shù)據(jù)后調(diào)用數(shù)據(jù)管

11、理軟件將數(shù)據(jù)寫入存儲服務(wù)器中。當(dāng)監(jiān)控點(diǎn)錄像計劃發(fā)生變更時需及時通知管理服務(wù)器；由管理服務(wù)器統(tǒng)一控制并分發(fā)給接入服務(wù)軟件。接入服務(wù)軟件定期向管理服務(wù)器獲取錄像計劃并上報自身狀態(tài)。視頻云存儲子系統(tǒng)：數(shù)據(jù)存儲流程圖如上圖所示，視頻存儲流程為:1、平臺向管理服務(wù)器下發(fā)計劃；2、管理服務(wù)器向存儲服務(wù)器同步錄像計劃；3、存儲服務(wù)器向前端取流；4、存儲服務(wù)器向管理服務(wù)器同步取流信息。2）視頻檢索流程視頻監(jiān)控平臺檢索視頻錄像信息時向視頻云存儲子系統(tǒng)管理服務(wù)器發(fā)送檢索指令，管理服務(wù)器查詢本地數(shù)據(jù)庫后直接將檢索信息發(fā)送到視頻監(jiān)控平臺，整個流程采用一級檢索方案完成。Z管理服務(wù)器向平臺返回檢索信息管疫服務(wù)器HA集群管

12、理服務(wù)器口管理鹿多器存儲腿務(wù)器集群存儲節(jié)M存儲節(jié)在行儲很多林存儲節(jié)d卜Z管理服務(wù)器向平臺返回檢索信息管疫服務(wù)器HA集群管理服務(wù)器口管理鹿多器存儲腿務(wù)器集群存儲節(jié)M存儲節(jié)在行儲很多林存儲節(jié)d卜5則滑謁存儲節(jié)點(diǎn)存儲眠務(wù)翳格與I戒宰視頻云存儲子系統(tǒng)：數(shù)據(jù)檢索流程圖如上圖所示，視頻檢索流程為：1、平臺向管理服務(wù)器下發(fā)檢索指令；2、管理服務(wù)器向平臺返回檢索信息。3）視頻獲取流程用戶通過視頻監(jiān)控平臺查看監(jiān)控點(diǎn)視頻數(shù)據(jù)時視頻監(jiān)控平臺向視頻云存儲子系統(tǒng)發(fā)送獲取數(shù)據(jù)請求，管理服務(wù)器轉(zhuǎn)發(fā)請求到存儲節(jié)點(diǎn)，由存儲節(jié)點(diǎn)的數(shù)據(jù)管理服務(wù)軟件將視頻數(shù)據(jù)發(fā)送到用戶。I存儲服務(wù)雅集群I存儲服勢器向平臺發(fā)送錄像數(shù)據(jù)0I管理服務(wù)器2

13、I存儲服務(wù)雅集群I存儲服勢器向平臺發(fā)送錄像數(shù)據(jù)0I管理服務(wù)器2、管理服務(wù)器向存儲服務(wù)器同作讀取錄像指令1平臺向管理服務(wù)器1視麻髓校T：fi下發(fā)讀取錄像指令I(lǐng)管理服務(wù)器HA集群IIIIII喑聲信*-A1IIII采陽-I打儲節(jié)點(diǎn)什儲節(jié)小存植節(jié)點(diǎn)行林節(jié)點(diǎn)仃儲節(jié)點(diǎn)行情節(jié)點(diǎn)視頻云存儲子系統(tǒng)：數(shù)據(jù)獲取流程圖如上圖所示，視頻檢索流程為：1、平臺向管理服務(wù)器下發(fā)檢索指令;2、管理服務(wù)器向平臺返回檢索信息。.21）圖片存儲流程圖片存儲流程由卡口抓拍設(shè)備發(fā)起，抓拍機(jī)抓取圖片后主動寫入云存儲中。寫入完成后將云存儲返回的URL地址上傳至平臺的接入服務(wù)器，由接入服務(wù)器寫入數(shù)據(jù)庫中保存。存儲節(jié)點(diǎn)設(shè)備之間能夠自動進(jìn)行均衡負(fù)

14、載，保證在故障時做到自動切換，不間斷的提供圖片數(shù)據(jù)的存儲業(yè)務(wù)。詳細(xì)的圖片存儲流程如下圖所示：平臺w,-業(yè)務(wù)羯苑客戶地有fill節(jié)點(diǎn)存點(diǎn)im屜戲著露運(yùn)仔簿盤時面L!叫3平晝址由IE*坪窗叫tiRLam平臺w,-業(yè)務(wù)羯苑客戶地有fill節(jié)點(diǎn)存點(diǎn)im屜戲著露運(yùn)仔簿盤時面L!叫3平晝址由IE*坪窗叫tiRLam圖片直存流程%字臺擢人笈舞博事麗身flttuAi2EX酬哥得節(jié)甫存諸節(jié)京存時節(jié)點(diǎn)仔片董小存歸節(jié)點(diǎn)畫_,-.國XIKIR-lflHUI流程優(yōu)點(diǎn)：1、圖片數(shù)據(jù)由前端抓拍機(jī)直寫入云存儲，節(jié)省了大量接入服務(wù)器。2、圖片數(shù)據(jù)的存儲方案提供前端較高的兼容性能，能夠支持多廠商前端的圖片寫入。3、圖片數(shù)據(jù)是分散

15、存儲，將接入服務(wù)器推送的圖片按照算法分散到不同的存儲服務(wù)器上，提高數(shù)據(jù)寫的速度，在可靠性和安全性上得到了加強(qiáng)。2）圖片檢索流程圖片數(shù)據(jù)的索引數(shù)據(jù)是存儲在平臺自身的數(shù)據(jù)庫中，包含云存儲URL地址、過車信息等。因此圖片檢索流程由平臺完成。3）圖片下載流程圖片數(shù)據(jù)下載：用戶通過視頻監(jiān)控平臺下載監(jiān)控點(diǎn)圖片時，視頻監(jiān)控平臺向視頻云存儲系統(tǒng)發(fā)送下載數(shù)據(jù)的請求，存儲管理服務(wù)器轉(zhuǎn)發(fā)請求到存儲節(jié)點(diǎn)，數(shù)據(jù)從存儲節(jié)點(diǎn)由數(shù)據(jù)管理服務(wù)軟件直接（或轉(zhuǎn)發(fā)）送至視頻監(jiān)控平臺。詳細(xì)的圖片下載流程如下圖所示：|-nnK,圖松口一一俏令A(yù)數(shù)據(jù)湎L工靖三回3一營搟i微街r圖片下載流程流程優(yōu)點(diǎn)：圖片數(shù)據(jù)是分散存儲的，便于數(shù)據(jù)的快速提取

16、及分析，提高了數(shù)據(jù)讀取的速度，在可靠性和安全性上得到了加強(qiáng)。存儲容量估算.1視頻圖像存儲容量估算系統(tǒng)支持高清200萬及更高像素圖像的實(shí)時存儲和管理，新建視頻監(jiān)控系統(tǒng)存儲容量按照1920*1080(1080P)，4Mbps碼流;1280*720(720P)，2Mbps碼流；如采用H.265標(biāo)準(zhǔn)進(jìn)行編碼的，按照1920*1080(1080P)，2Mbps碼流;1280*720(720P)，1.5Mbps碼流計算。存儲空間計算公式：單路實(shí)時視頻的存儲容量(GB)=【視頻碼流大小(Mb)X60秒X60分X24小時X存儲天數(shù)/8】/1024；以一路視頻圖像在7天、15天、30天所需要的占用空間為例:存儲

17、天數(shù)視頻規(guī)格7天15天30天H.264：295.3GB632.8GB1265.6GB1920*1080(1080P),4Mb碼流H.264：1280*720(720P),2Mb碼流147.65GB316.4GB632.8GBH.265：1920*1080(1080P),2Mb碼流147.65GB316.4GB632.8GBH.265：1280*720(720P),1.5Mb碼流110.74GB237.3GB474.6GB.2過車圖片存儲容量估算車輛圖片信息采用JPEG編碼格式，符合ISO/IEC1544:2000要求，壓縮因子不高于70,300萬高清攝像機(jī)輸出照片文件平均大小為400K，按單車

18、道日均2000輛流量估算，每條車道的圖片信息按不同存儲時間的容量計算公式如下：2000輛X0.4MBX1車道X30天/月XN個月/1024=*GB單個車道按不同保存時間的數(shù)據(jù)存儲容量計算如下：車道數(shù)3個月6個月1年2年3年1個車道70.32GB140.64GB281.28GB562.56GB843.84GB1.1.2圖片信息結(jié)構(gòu)化系統(tǒng)視頻云結(jié)構(gòu)化服務(wù)器（代號“刀鋒”）系列產(chǎn)品是?？低晫ｉT針對卡口場景,推出的專業(yè)卡口圖片智能結(jié)構(gòu)化分析設(shè)備。“刀鋒”系列產(chǎn)品可實(shí)現(xiàn)卡口車輛圖片信息的二次識別和車輛以圖搜圖建模等功能,車輛檢測信息全面豐富,精確度高。該系列產(chǎn)品主要定位于中心智能結(jié)構(gòu)化處理,充分滿足海

19、量圖片結(jié)構(gòu)化分析處理的需求。通過對車輛圖片的智能結(jié)構(gòu)化分析處理,深度挖掘卡口車輛圖片中的關(guān)鍵有效信息,為后期的應(yīng)用分析提供數(shù)據(jù)依據(jù)。圖片存儲服務(wù)器卡口前端圖片存儲服務(wù)器本應(yīng)用架構(gòu)系統(tǒng)主要包括“刀鋒”、視圖庫、行業(yè)平臺軟件、圖片存儲服務(wù)器等設(shè)備。刀鋒通過對前端卡口圖片做二次結(jié)構(gòu)化識別，并從圖片中提取出車輛的結(jié)構(gòu)化屬性，為上層業(yè)務(wù)平臺或大數(shù)據(jù)應(yīng)用系統(tǒng)提供基礎(chǔ)數(shù)據(jù)。1）刀鋒“刀鋒”系列產(chǎn)品定位于后端中心智能結(jié)構(gòu)化處理，主要實(shí)現(xiàn)卡口車輛圖片的結(jié)構(gòu)化分析。根據(jù)卡口系統(tǒng)提供的圖片做二次深度分析，從卡口過車圖片中充分挖掘出過車車輛的關(guān)鍵信息，完成卡口車輛圖片數(shù)據(jù)的結(jié)構(gòu)化提取，滿足海量圖片結(jié)構(gòu)化分析處理的需求。“刀鋒”具備較強(qiáng)的兼容性，支持對第三方廠家卡口系統(tǒng)的過車圖片做智能分析。從系統(tǒng)的應(yīng)用角度考慮，“刀鋒”必須與行業(yè)平臺軟件、視圖庫等設(shè)備一起配合使用，“刀鋒”從卡口前端、平臺軟件或圖片存儲服務(wù)器上獲取卡口系統(tǒng)的過車圖片，并對獲取到的圖片做智能結(jié)構(gòu)化處理，結(jié)構(gòu)化后的文本信息存儲在視圖庫中。通過平臺軟件的查詢檢索界面，可實(shí)現(xiàn)車輛目標(biāo)的快速檢索及相關(guān)業(yè)