cVideo云視頻系統(tǒng)技術(shù)白皮書(shū)

7/7cVideo云視頻系統(tǒng)技術(shù)白皮書(shū)

cVideo云視頻監(jiān)控系統(tǒng)

技術(shù)白皮書(shū)

目錄

1．背景描述(1)

2．cVideo云視頻介紹(2)

2.1cVideo系統(tǒng)簡(jiǎn)介(2)

2.2系統(tǒng)架構(gòu)(2)

2.3產(chǎn)品優(yōu)勢(shì)(4)

3．cVideo產(chǎn)品技術(shù)架構(gòu)(7)

3.1總體描述(7)

3.1.1各個(gè)模塊的作用：(8)

3.1.2系統(tǒng)工作流程：(9)

3.2子系統(tǒng)描述(10)

3.2.1處理服務(wù)器描述(11)

3.2.2存儲(chǔ)服務(wù)器描述(11)

3.3.3系統(tǒng)數(shù)據(jù)流描述(13)

4．關(guān)鍵技術(shù)(15)

4.1cVideo智能識(shí)別(15)

4.1.1簡(jiǎn)介(15)

4.1.2應(yīng)用案例(15)

4.2cVideo云端轉(zhuǎn)碼(18)

4.2.1視頻轉(zhuǎn)碼簡(jiǎn)介(18)

4.2.2云轉(zhuǎn)碼(18)

4.3JobKeeper云調(diào)度(19)

4.3.1簡(jiǎn)介(19)

4.3.2JobKeeper主要優(yōu)勢(shì)(20)

4.3.3JobKeeper架構(gòu)(20)

4.4cProc云處理(24)

4.4.1cProc簡(jiǎn)介(24)

4.4.2cProc主要優(yōu)勢(shì)(24)

4.4.3cProc系統(tǒng)架構(gòu)(25)

4.5cStor云存儲(chǔ)(27)

4.5.1cStor簡(jiǎn)介(27)

4.5.2cStor主要優(yōu)勢(shì)(27)

4.5.3cStor系統(tǒng)構(gòu)架(28)

4.6技術(shù)創(chuàng)新(30)

5cVideo系統(tǒng)部署解決方案(32)

5.1一級(jí)云視頻監(jiān)控系統(tǒng)部署方案(32)

5.2多級(jí)系統(tǒng)部署方案(33)

5.3云轉(zhuǎn)碼系統(tǒng)部署解決方案(35)

1．背景描述

隨著城市的現(xiàn)代化建設(shè)和經(jīng)濟(jì)的快速發(fā)展，構(gòu)建和諧社會(huì)的必要性與日俱增，每個(gè)城市都為打造“平安城市”而努力。其中，安防監(jiān)控系統(tǒng)作為保障城市居民人生財(cái)產(chǎn)安全的有力措施，也理所當(dāng)然地成為了平安城市中的一項(xiàng)重要指標(biāo)。

視頻監(jiān)控技術(shù)正在不斷地發(fā)展，視頻監(jiān)控技術(shù)按照主流設(shè)備發(fā)展過(guò)程，可以分為3個(gè)大的階段，即20世紀(jì)70年代開(kāi)始的模擬視頻監(jiān)控階段、20世紀(jì)90年代開(kāi)始的數(shù)字視頻階段及近幾年興起的智能網(wǎng)絡(luò)視頻監(jiān)控階段。模擬監(jiān)控階段的核心設(shè)備是視頻切換矩陣，數(shù)字視頻階段的核心設(shè)備是硬盤錄像機(jī)(DVR)，智能網(wǎng)絡(luò)視頻監(jiān)控時(shí)代沒(méi)有核心硬件設(shè)備，系統(tǒng)變得開(kāi)放而分散，主要由網(wǎng)絡(luò)攝像機(jī)、視頻編碼器、高清攝像機(jī)、網(wǎng)絡(luò)錄像機(jī)、海量存儲(chǔ)系統(tǒng)及視頻內(nèi)容分析技術(shù)（VideoContentAnalysis,VCA）構(gòu)成，可以實(shí)現(xiàn)視頻網(wǎng)絡(luò)傳輸、遠(yuǎn)程播放、存儲(chǔ)、視頻分發(fā)、遠(yuǎn)程控制、視頻內(nèi)容分析與自動(dòng)報(bào)警等多種功能。

目前視頻監(jiān)控系統(tǒng)正朝著智能化、高清化的方向發(fā)展，用戶對(duì)于視頻監(jiān)控產(chǎn)品的要求也在不斷提高，用戶希望的產(chǎn)品要有著更高的清晰度，更完善的功能，更穩(wěn)定的性能，更豐富的終端等等。要實(shí)現(xiàn)大規(guī)模高清監(jiān)控，就必須從視頻源的采集、視頻信號(hào)的編解碼、視頻信號(hào)的傳輸、視頻實(shí)時(shí)監(jiān)控與記錄、錄像文件的回放等環(huán)節(jié)全面支持大規(guī)模網(wǎng)絡(luò)高清。這樣就給高清監(jiān)控系統(tǒng)帶來(lái)了一系列現(xiàn)實(shí)的問(wèn)題：網(wǎng)絡(luò)帶寬緊張、存儲(chǔ)空間龐大、對(duì)性能的要求成倍增長(zhǎng)、投資與維護(hù)成本高昂、系統(tǒng)擴(kuò)容升級(jí)壓力等等。

因此，云視頻監(jiān)控的模式應(yīng)運(yùn)而生，充分利用“云”的計(jì)算能力和存儲(chǔ)能力，從而保障了海量高清視頻監(jiān)控的可行性和可靠性。

2．cVideo云視頻介紹

2.1cVideo系統(tǒng)簡(jiǎn)介

cVideo云視頻監(jiān)控系統(tǒng)是南京云創(chuàng)存儲(chǔ)公司自行研發(fā)和設(shè)計(jì)的大規(guī)模高清視頻監(jiān)控解決方案。依托本公司的cStor云存儲(chǔ)平臺(tái)，以及cProc云處理平臺(tái)，使得cVideo構(gòu)架下的綜合調(diào)度和云端轉(zhuǎn)碼可以完美地滿足超大規(guī)模視頻監(jiān)控、海量數(shù)據(jù)存儲(chǔ)、以及遠(yuǎn)距離監(jiān)控的要求。同時(shí)，cVideo研發(fā)了國(guó)際領(lǐng)先的智能圖像識(shí)別算法，采用大規(guī)模分布式云處理，使得計(jì)算機(jī)對(duì)視頻數(shù)據(jù)達(dá)到了空前的識(shí)別和認(rèn)知水平。

2.2系統(tǒng)架構(gòu)

cVideo云視頻監(jiān)控系統(tǒng)利用cStor云存儲(chǔ)和cProc云處理技術(shù)實(shí)現(xiàn)高清視頻監(jiān)控，是在服務(wù)器集群上部署一整套基于云架構(gòu)的視頻處理軟件，下圖為簡(jiǎn)化的cVideo云平臺(tái)框圖，其核心內(nèi)容是對(duì)接入視頻的實(shí)時(shí)處理分析。

圖2-1cVideo系統(tǒng)架構(gòu)圖

基于云計(jì)算的模式，采取海量分布式JobKeeper云調(diào)度架構(gòu)，以集群的形式

共同對(duì)外服務(wù)。以實(shí)現(xiàn)諸如視頻內(nèi)容識(shí)別、云端轉(zhuǎn)碼、智能分析等實(shí)時(shí)數(shù)據(jù)、動(dòng)態(tài)伸縮等需求。最后將處理好的圖像信息以流媒體的形式輸出，并提供給上層各類應(yīng)用對(duì)應(yīng)的接口。

●資源層：包括攝像頭、卡口等前端數(shù)據(jù)采集設(shè)備所采集到的原始視頻圖像數(shù)

據(jù)，以及響應(yīng)業(yè)務(wù)信息，如：人力、車輛、區(qū)域分布等資源信息。

●接入層：整合數(shù)據(jù)資源、業(yè)務(wù)資源、存儲(chǔ)資源，使其符合系統(tǒng)標(biāo)準(zhǔn)，實(shí)現(xiàn)不

同資源的接入。

●數(shù)據(jù)存儲(chǔ)層：即cStor云存儲(chǔ)系統(tǒng)，提供海量的存儲(chǔ)空間，以備歷史數(shù)據(jù)的

回看與處理。

數(shù)據(jù)處理層：即cProc云處理系統(tǒng)，提供高效的視頻轉(zhuǎn)碼、內(nèi)容識(shí)別等大規(guī)模數(shù)據(jù)處理能力。

●數(shù)據(jù)分發(fā)：以流媒體服務(wù)器的形式提供標(biāo)準(zhǔn)的RTSP流媒體輸出，可以支持

高并發(fā)訪問(wèn)。

●API層：提供API接口，實(shí)現(xiàn)上層應(yīng)用對(duì)底層資源的透明操作，提供業(yè)務(wù)應(yīng)

用的開(kāi)發(fā)支持。

●調(diào)度控制層：實(shí)現(xiàn)對(duì)以上各層的綜合調(diào)度與控制，以實(shí)現(xiàn)整套系統(tǒng)機(jī)制。

●應(yīng)用層：主要包括實(shí)時(shí)監(jiān)控、調(diào)閱查詢、內(nèi)容識(shí)別等視頻相關(guān)應(yīng)用，為用戶

提供友善的界面、人性化的操作方式，能夠讓用戶簡(jiǎn)單高效的監(jiān)控多個(gè)視頻源。功能如下：

1.信息采集設(shè)備的管理，監(jiān)控控制端對(duì)視頻中心服務(wù)器中的設(shè)備數(shù)據(jù)庫(kù)進(jìn)行

操作，實(shí)現(xiàn)添加和刪除系統(tǒng)中的卡口和攝像頭。

2.用戶管理，監(jiān)控控制端對(duì)視頻中心服務(wù)器中的用戶數(shù)據(jù)庫(kù)進(jìn)行操作，實(shí)現(xiàn)

用戶注冊(cè)、注銷以及權(quán)限設(shè)置。

3.按時(shí)間檢索歷史記錄，提供按時(shí)間檢索記錄的窗口，向視頻中心服

務(wù)器發(fā)送檢索命令，獲取歷史記錄的相關(guān)信息。

4.歷史記錄回放，根據(jù)歷史記錄的相關(guān)信息，播放cStor中的歷史記錄。

5.錄像，監(jiān)控控制端通過(guò)中心服務(wù)器向存儲(chǔ)管理端發(fā)送錄像命令，存儲(chǔ)管理

端控制設(shè)備進(jìn)行錄像，獲取的數(shù)據(jù)直接存儲(chǔ)到cStor中。

圖2-2cVideo客戶端監(jiān)控界面

2.3產(chǎn)品優(yōu)勢(shì)

高性價(jià)比和動(dòng)態(tài)伸縮性

cVideo構(gòu)建于cStor云存儲(chǔ)、cProc云計(jì)算平臺(tái)之上，有著低廉、高可靠性的海量存儲(chǔ)能力、數(shù)據(jù)處理能力和無(wú)限可擴(kuò)展能力，當(dāng)用戶存儲(chǔ)需求增長(zhǎng)時(shí)，也僅需添加存儲(chǔ)節(jié)點(diǎn)即可，并且支持熱插拔、服務(wù)不停動(dòng)態(tài)升級(jí)等功能，這將大幅降低用戶的投資及升級(jí)維護(hù)費(fèi)用。

海量視頻數(shù)據(jù)實(shí)時(shí)處理

高清視頻監(jiān)控中的主要問(wèn)題是如何處理龐大的高清視頻數(shù)據(jù)。如果采用1080P的高清視頻監(jiān)控，使用能獲得最高壓縮比的H.264圖像壓縮技術(shù)處理收集的高清視頻，則壓縮輸出碼率最高可達(dá)到6Mbps，也就是每臺(tái)攝像機(jī)每天將大約產(chǎn)生50GB左右的數(shù)據(jù)量，這對(duì)于存儲(chǔ)、處理的壓力是十分巨大的。

cVideo系統(tǒng)基于分布式的架構(gòu)，以集群的形式共同對(duì)外提供服務(wù)，將海量實(shí)時(shí)視頻數(shù)據(jù)的壓力均勻分散到每個(gè)處理節(jié)點(diǎn)上，實(shí)現(xiàn)負(fù)載均衡，保證每個(gè)節(jié)點(diǎn)都

處于高效的運(yùn)轉(zhuǎn)狀態(tài)。根據(jù)實(shí)時(shí)性的要求，我們將數(shù)據(jù)接入、處理、轉(zhuǎn)發(fā)等模塊做了優(yōu)化，盡量做到數(shù)據(jù)在集群內(nèi)不遷移，減少IO和傳輸操作，進(jìn)一步確保實(shí)時(shí)性的要求。

基于應(yīng)用層的HTTP協(xié)議交互

為了應(yīng)對(duì)跨平臺(tái)使用以及第三方應(yīng)用開(kāi)發(fā)的需求，cVideo對(duì)外的接口使用標(biāo)準(zhǔn)的HTTP協(xié)議。cVideo省去了繁雜的SDK，而是在系統(tǒng)內(nèi)部搭建RPC服務(wù)器，以響應(yīng)WebServer服務(wù)器收到的請(qǐng)求，提供遠(yuǎn)程請(qǐng)求方法調(diào)用的形式，只需要以HTTP協(xié)議發(fā)送請(qǐng)求（即相應(yīng)的URL地址），系統(tǒng)就會(huì)將結(jié)果返回，使得操作十分簡(jiǎn)便。

云端轉(zhuǎn)碼技術(shù)

為了盡可能優(yōu)化系統(tǒng)性能，cVideo將根據(jù)用戶客戶端的監(jiān)控需求瞬時(shí)動(dòng)態(tài)地調(diào)整視頻分辨率，從而在滿足用戶需求的同時(shí)降低對(duì)網(wǎng)絡(luò)帶寬的消耗，因而支持更高的系統(tǒng)規(guī)模。

對(duì)于攝像頭采集的高清視頻信號(hào)，cVideo將在cProc云計(jì)算平臺(tái)上采用高效實(shí)時(shí)轉(zhuǎn)碼技術(shù)，將采集到的各路高清視頻信號(hào)轉(zhuǎn)換為符合監(jiān)控客戶端需求的信號(hào)，并實(shí)時(shí)轉(zhuǎn)發(fā)，這樣可以有效地減小監(jiān)控端處的解碼壓力，使得監(jiān)控更為流暢，并能有效地支持諸如手機(jī)等移動(dòng)終端的監(jiān)控需求。

智能內(nèi)容識(shí)別

cVideo的智能圖像檢索采用先進(jìn)的圖像處理技術(shù)并結(jié)合模式識(shí)別對(duì)已有的海量視頻進(jìn)行事件檢索，實(shí)現(xiàn)了對(duì)事件發(fā)生視頻的切片回放、運(yùn)動(dòng)幀提取和對(duì)象跟蹤。目前cVideo可以對(duì)煙、火、運(yùn)動(dòng)物體、遺留物、車輛統(tǒng)計(jì)和特定行為等情況下的識(shí)別達(dá)到很高的識(shí)別度，錯(cuò)檢率和誤檢率幾乎為零。

cVideo的智能圖像處理構(gòu)架于JobKeeper云調(diào)度和cProc云處理架構(gòu)之上，使許多傳統(tǒng)模式下難以處理的識(shí)別應(yīng)用得以實(shí)現(xiàn)。諸如在犯罪嫌疑人識(shí)別問(wèn)題中，cVideo研發(fā)了國(guó)際領(lǐng)先的運(yùn)動(dòng)目標(biāo)DNA算法，首先分析監(jiān)控視頻中目標(biāo)人

物的運(yùn)動(dòng)模式，建立運(yùn)動(dòng)DNA序列，為后續(xù)分析處理提供基礎(chǔ)。后續(xù)分析包括運(yùn)動(dòng)目標(biāo)優(yōu)化、運(yùn)動(dòng)軌跡分析、運(yùn)動(dòng)特征提取、步態(tài)建模等等。

◆快速的反應(yīng)時(shí)間：毫秒級(jí)的報(bào)警觸發(fā)反應(yīng)時(shí)間。

◆更有效地監(jiān)視：安保操作人員只需要注意相關(guān)信息。

◆強(qiáng)大的數(shù)據(jù)檢索和分析功能：能提供快速的反應(yīng)時(shí)間和調(diào)查時(shí)間。

◆帶寬及存儲(chǔ)資源的節(jié)約：系統(tǒng)可以按照智能分析技術(shù)的報(bào)警來(lái)傳輸或錄像。

3．cVideo產(chǎn)品技術(shù)架構(gòu)

3.1總體描述

cVideo云視頻平臺(tái)主要由五個(gè)模塊組成：

前端設(shè)備、存儲(chǔ)/處理服務(wù)器集群、流媒體服務(wù)器、中心服務(wù)器和客戶端。

圖3-1cVideo總體描述圖

cVideo云視頻監(jiān)控系統(tǒng)是南京云創(chuàng)存儲(chǔ)公司自行研發(fā)和設(shè)計(jì)的大規(guī)模高清視頻監(jiān)控解決方案。依托本公司的cStor云存儲(chǔ)平臺(tái)，以及cProc云處理平臺(tái)，使得cVideo構(gòu)架下的綜合調(diào)度和云端轉(zhuǎn)碼可以完美地滿足超大規(guī)模視頻監(jiān)控、海量數(shù)據(jù)存儲(chǔ)、以及遠(yuǎn)距離監(jiān)控的要求。同時(shí)，cVideo研發(fā)了國(guó)際領(lǐng)先的智能圖像識(shí)別算法，采用大規(guī)模分布式云處理，使得計(jì)算機(jī)對(duì)視頻數(shù)據(jù)達(dá)到了空前的識(shí)別和認(rèn)知水平。

3.1.1各個(gè)模塊的作用：

前端設(shè)備：

前端設(shè)備在中心服務(wù)器的調(diào)度下進(jìn)行信息采集，以RTSP和SDK的形式傳輸給存儲(chǔ)/處理服務(wù)器集群。(前端設(shè)備包括：模擬攝像機(jī)、網(wǎng)絡(luò)攝像機(jī)、卡口設(shè)備、第三方平臺(tái)等。)

中心服務(wù)器

a）用戶管理功能：根據(jù)用戶信息表，管理用戶登錄、用戶的權(quán)限，可以管理用戶信息、增刪用戶等。

b）前端信息采集設(shè)備管理功能：根據(jù)攝像機(jī)和用戶的權(quán)限，管理當(dāng)前用戶所能涉及的前端設(shè)備狀態(tài)、節(jié)點(diǎn)運(yùn)行狀態(tài)，并進(jìn)行實(shí)時(shí)的更新。

c）與用戶和前端設(shè)備的信息交互功能：更新前端信息，并根據(jù)客戶需求進(jìn)行對(duì)前端設(shè)備調(diào)度，以及對(duì)JobKeeper的任務(wù)分發(fā)。同時(shí)，進(jìn)行信息數(shù)據(jù)

的處理，以完成整個(gè)平臺(tái)的調(diào)度工作。

JobKeeper云調(diào)度

a）對(duì)服務(wù)器集群進(jìn)行統(tǒng)一的調(diào)度管理，獲取每臺(tái)機(jī)器的運(yùn)行狀態(tài)。根據(jù)機(jī)器的運(yùn)行狀態(tài)進(jìn)行自動(dòng)調(diào)度和部署，負(fù)載均衡，提高機(jī)器的使用率，進(jìn)

而提高服務(wù)器的梳理效率。

b）解決服務(wù)器集群信息處理的冗余狀態(tài)，查錯(cuò)排錯(cuò)，保證系統(tǒng)的無(wú)人值守、自動(dòng)生長(zhǎng)的高效性。

存儲(chǔ)服務(wù)器集群：

提供海量的存儲(chǔ)空間，以備歷史數(shù)據(jù)的回看與處理。

處理服務(wù)器集群：

提供高效的視頻轉(zhuǎn)碼、智能識(shí)別等大規(guī)模數(shù)據(jù)處理。

流媒體服務(wù)器：

以流媒體服務(wù)器的形式對(duì)外提供標(biāo)準(zhǔn)的RTSP流媒體服務(wù)，用戶根據(jù)相應(yīng)的流媒體RTSP地址，即可實(shí)時(shí)地獲取系統(tǒng)處理完后的實(shí)時(shí)視頻數(shù)據(jù)，以供監(jiān)控和遠(yuǎn)程訪問(wèn)。

客戶端：

視頻矩陣、電視墻、PC客戶端、移動(dòng)終端等等。

3.1.2系統(tǒng)工作流程：

1)客戶端發(fā)送命令：

客戶端向中心服務(wù)器發(fā)送命令，中心服務(wù)器根據(jù)客戶端信息進(jìn)行分析判斷，得知用戶的客戶端類型、網(wǎng)絡(luò)狀態(tài)、信息要求等，從而根據(jù)需求對(duì)前端設(shè)備、JobKeeper等進(jìn)行調(diào)度控制。

2)中心服務(wù)器調(diào)度：

中心服務(wù)器響應(yīng)客戶端命令，對(duì)前端設(shè)備進(jìn)行調(diào)度控制。根據(jù)用戶的指令，把客戶需求的信息進(jìn)行實(shí)時(shí)采集，同時(shí)使用JobKeeper進(jìn)行對(duì)集群的任務(wù)分發(fā)，完成對(duì)應(yīng)的存儲(chǔ)、處理或監(jiān)控等請(qǐng)求。

3)中心服務(wù)器調(diào)度存儲(chǔ)/處理集群：

a)存儲(chǔ)服務(wù)器集群接收命令工作

中心服務(wù)器響應(yīng)客戶端命令，向JobKeeper發(fā)送命令。JobKeeper根據(jù)存儲(chǔ)服務(wù)器集群的工作狀態(tài)，選擇負(fù)載較小的服務(wù)器進(jìn)行高清存儲(chǔ)。

b)處理服務(wù)器集群接收命令工作

中心服務(wù)器響應(yīng)客戶端命令，向JobKeeper發(fā)送命令。JobKeeper根據(jù)處

理服務(wù)器集群的工作狀態(tài)，選擇負(fù)載較小的處理節(jié)點(diǎn)進(jìn)行實(shí)時(shí)處理、識(shí)別轉(zhuǎn)碼，并根據(jù)用戶的網(wǎng)絡(luò)狀態(tài)分發(fā)到對(duì)應(yīng)的流媒體服務(wù)器。進(jìn)而，流媒體服務(wù)器將客戶所需的處理過(guò)后的實(shí)時(shí)監(jiān)控視頻傳遞給客戶端。

3.2子系統(tǒng)描述

圖3-2存儲(chǔ)/處理模