智慧城市建設(shè)方案(平安城市建設(shè)方案)

1項(xiàng)目背景與必要性分析 01.1城市安防與云計(jì)算 01.2安防現(xiàn)狀分析 01.3項(xiàng)目必要性 11.3.1從信息孤島到全局統(tǒng)籌的轉(zhuǎn)變 11.3.2從人工監(jiān)控到智能安防的轉(zhuǎn)變 21.3.3從事后分析到事中追蹤的轉(zhuǎn)變 21.3.4從獨(dú)立應(yīng)用到綜合聯(lián)動(dòng)的轉(zhuǎn)變 32平臺(tái)架構(gòu)設(shè)計(jì) 4 42.1.1網(wǎng)絡(luò)拓?fù)?42.1.2社會(huì)資源接入的安全機(jī)制 62.2軟件架構(gòu) 82.2.1平臺(tái)架構(gòu)圖 82.2.2前端設(shè)備 92.2.3接入服務(wù)器 9 2.2.5存儲(chǔ)服務(wù)器集群 2.2.6處理服務(wù)器集群 2.2.7流媒體服務(wù)器 2.2.8客戶端 2.3平臺(tái)聯(lián)動(dòng)調(diào)度 2.5與科達(dá)一期平臺(tái)的關(guān)系 3.1IaaS層cStor云存儲(chǔ) 3.1.1cStor云存儲(chǔ)系統(tǒng) 3.1.2cStor系統(tǒng)構(gòu)架 3.1.3cStor架構(gòu)描述 3.1.4cStor部署示意圖 3.1.5cStor掛載接口 3.1.6cStor讀寫數(shù)據(jù)工作原理 3.1.7minicloud簡(jiǎn)介 3.1.8minicloud產(chǎn)品優(yōu)勢(shì) 3.1.9minicloud技術(shù)規(guī)格 253.1.10cStor存儲(chǔ)性能 3.2PaaS層cProc云處理 3.2.1JobKeeper云調(diào)度 3.2.2cProc數(shù)據(jù)立方 3.2.3cProc數(shù)據(jù)立方關(guān)鍵技術(shù) 3.2.4cProc數(shù)據(jù)立方性能指標(biāo) 393.2.5與同類技術(shù)/產(chǎn)品對(duì)比分析 3.3SaaS層cVideo云視頻 3.3.1cVideo系統(tǒng)邏框圖 3.3.2cVideo子系統(tǒng)描述 3.3.3cVideo接口描述 3.3.4cVideo總體性能 663.3.5cVideo智能識(shí)別 4.1圖像資源庫建設(shè)內(nèi)容 4.2圖像資源庫架構(gòu) 4.3關(guān)鍵技術(shù) 4.3.1圖像增強(qiáng)技術(shù) 4.3.2目標(biāo)識(shí)別技術(shù) 744.3.3顏色特征提取技術(shù) 4.3.4紋理特征提取技術(shù) 4.3.5形狀特征提取技術(shù) 4.3.6大規(guī)模圖像數(shù)據(jù)管理技術(shù) 4.3.7人臉識(shí)別技術(shù) 4.4圖像數(shù)據(jù)庫優(yōu)勢(shì)分析 4.4.1圖像優(yōu)化可用性高 4.4.2特征提取方便檢閱 4.4.3辦案視頻同步上傳 4.4.4高速索引秒級(jí)處理 4.5案件審訊庫 5應(yīng)用實(shí)例 5.1道路狀況檢測(cè) 5.2車輛軌跡跟蹤 5.3GIS聯(lián)動(dòng) 5.4重點(diǎn)區(qū)域智能監(jiān)控 5.5套牌車檢索 5.6移動(dòng)終端監(jiān)控 1.1城市安防與云計(jì)算1.2安防現(xiàn)狀分析海量視頻需要存儲(chǔ)，但現(xiàn)有存儲(chǔ)空間嚴(yán)重不足；監(jiān)控還未達(dá)到智能化程度，時(shí)效性不強(qiáng)，多用于事后回調(diào)；1.3項(xiàng)目必要性1.3.1從信息孤島到全局統(tǒng)籌的轉(zhuǎn)變 1.3.2從人工監(jiān)控到智能安防的轉(zhuǎn)變像和線索。因此，用機(jī)器代替人工(機(jī)器結(jié)合人工),是必然的趨勢(shì)，通過智能1.3.3從事后分析到事中追蹤的轉(zhuǎn)變件的事后取證所需要的時(shí)間，提高了取證效率，而且對(duì)于各種突發(fā)事件的預(yù)防、響應(yīng)都起到了積極有效的作用。在現(xiàn)有的條件下，視頻監(jiān)控大多數(shù)時(shí)間是以一個(gè)單獨(dú)的應(yīng)用呈現(xiàn)，或是通過大屏進(jìn)行實(shí)時(shí)監(jiān)控，也可能是通過電腦終端進(jìn)行監(jiān)控管理。然而隨著信息化程度的不斷提升，單一的監(jiān)控已然無法滿足用戶的需求，具有聯(lián)動(dòng)功能的綜合型平臺(tái)愈發(fā)成為轉(zhuǎn)變的方向。因此，需要實(shí)現(xiàn)將警務(wù)綜合平臺(tái)與視頻結(jié)合應(yīng)用相互結(jié)合，整合成一共公共的基礎(chǔ)平臺(tái)，以更好地提供各類上層應(yīng)用系統(tǒng)的使用。同時(shí)，從視頻、聲音、圖像到信息提取、資料匯聚再到上層應(yīng)用，無一不有大數(shù)據(jù)穿插其中，如何應(yīng)對(duì)如此海量的信息和數(shù)據(jù)，如何將這些數(shù)據(jù)變成可以有效利用的寶貴資源也成為了日漸熱議的話題。2平臺(tái)架構(gòu)設(shè)計(jì)根據(jù)省廳已有建設(shè)情況和對(duì)實(shí)際需求的深入分析，本方案利用cStor云存儲(chǔ)和JobKeeper云調(diào)度技術(shù)構(gòu)建統(tǒng)一的cVideo云視頻監(jiān)控管理平臺(tái)軟件，部署在標(biāo)準(zhǔn)X86服務(wù)器集群上，通過對(duì)已有監(jiān)控資源的整合，實(shí)現(xiàn)海量高清視頻監(jiān)控的數(shù)據(jù)存儲(chǔ)和智能處理。針對(duì)實(shí)際情況，多級(jí)cVideo云視頻監(jiān)控系統(tǒng)采用分布式架構(gòu)，分級(jí)管理和部署。以街道派出所為單位，初期擬定每個(gè)所部署一臺(tái)"minicloud"("minicloud"迷你云微型數(shù)據(jù)倉庫將在下面的章節(jié)中進(jìn)行詳細(xì)描述),用于視頻數(shù)據(jù)的保存，從區(qū)級(jí)到市級(jí)再到省級(jí)分別部署cVideo系統(tǒng)，cVideo系統(tǒng)的架構(gòu)會(huì)在2.2中進(jìn)整個(gè)“平臺(tái)”構(gòu)建于公安網(wǎng)之上，其中，省級(jí)中心處于核心地位，部署元數(shù)據(jù)服務(wù)器，用以統(tǒng)一管理元數(shù)據(jù)信息，各派出所則使用“minicloud”中的三個(gè)互為冗余的節(jié)點(diǎn)擔(dān)當(dāng)存儲(chǔ)節(jié)點(diǎn)的角色?！捌脚_(tái)"遵循“就近接入、本地存儲(chǔ)、中心統(tǒng)籌、權(quán)限管理”的方針，隨著存儲(chǔ)容量需求的增加，只需在容量不足的派出所增加存儲(chǔ)節(jié)點(diǎn)(服務(wù)器)即可，十分方便。而區(qū)縣級(jí)和市級(jí)主要負(fù)責(zé)對(duì)區(qū)域視頻的匯聚和處理，部署cVideo系統(tǒng)，并將處理后得到的信息提供給各上層應(yīng)用服cVideo云視頻監(jiān)控平臺(tái)針對(duì)省級(jí)的建設(shè)方案采用多級(jí)部署的方式，大致拓?fù)涑醪筋A(yù)計(jì)每個(gè)派出所需要存儲(chǔ)的監(jiān)控?cái)z像機(jī)按100路左右，平均碼流按2Mbps計(jì)算，則存放半個(gè)月需要的存儲(chǔ)容量約為："minicloud"是由三臺(tái)服務(wù)器所組成的小型云平臺(tái)，能夠存儲(chǔ)的總?cè)萘繛椋簽榱吮ＷC數(shù)據(jù)的可靠性，對(duì)數(shù)據(jù)進(jìn)行1:1備份后，可用容量為：40.5TB,可以滿足初期的需求。隨著使用和前端設(shè)備的增設(shè)，容量需求會(huì)愈發(fā)增加，這時(shí)我們同樣提供了機(jī)架式的擴(kuò)展方案，當(dāng)存儲(chǔ)容量不足時(shí)，只需在“minicloud”下新增存儲(chǔ)節(jié)點(diǎn)(服務(wù)器),系統(tǒng)容量會(huì)自動(dòng)增加，實(shí)現(xiàn)擴(kuò)容十分方便。前端監(jiān)控設(shè)備所采集到的視頻數(shù)據(jù)保存在所屬的“minicloud”中，或經(jīng)過接入服務(wù)器，接入所屬區(qū)級(jí)的cVideo監(jiān)控平臺(tái)中進(jìn)行管理和處理，各級(jí)客戶端訪問相應(yīng)中心服務(wù)器，按需操作和調(diào)控。云處理服務(wù)器提供空前的數(shù)據(jù)處理能力，提供諸如視頻轉(zhuǎn)碼、內(nèi)容識(shí)別等海量數(shù)據(jù)的處理支持。查看歷史視頻時(shí)，接入云存儲(chǔ)遵守分區(qū)接入、分局接入和就近接入原則，考慮到突發(fā)事件會(huì)致使查看視頻記錄的人員增多，分布式部署可以很好地緩解接入壓力?？紤]到今后肯定要逐步將全省110萬路攝像機(jī)都接入到“平臺(tái)”進(jìn)行統(tǒng)一的調(diào)度管理，這就必須要考慮公安網(wǎng)和社會(huì)公網(wǎng)之間安全性和保密性的問題，cVideo監(jiān)控平臺(tái)在實(shí)際布設(shè)過程中，建議遵循跨網(wǎng)絡(luò)必須經(jīng)過網(wǎng)閘和緩沖資源池的規(guī)則，示意圖如下：緩沖資源池(存儲(chǔ)、篩選)本次建設(shè)的“平臺(tái)”將作為二期平臺(tái)，構(gòu)建于公安網(wǎng)之上，在與一期平臺(tái)平穩(wěn)過度對(duì)接的同時(shí)，確保高度的安全性及視頻的實(shí)時(shí)性。對(duì)于今后社會(huì)資源公網(wǎng)中的監(jiān)控前端設(shè)備，納入“平臺(tái)”管理，需要考慮到安全因素和流量等多方面的問題，不建議通過網(wǎng)閘直接將社會(huì)資源接入公安網(wǎng)，最主要的原因有兩個(gè)：一是只經(jīng)過了一層網(wǎng)閘，雖然在一定程度上保證了安全性，但是級(jí)別不是很充分；二是社會(huì)資源攝像頭的數(shù)量驚人，而網(wǎng)閘在保證安全性的同時(shí)卻犧牲了性能，通過網(wǎng)閘的帶寬受到了嚴(yán)重限制，無法實(shí)現(xiàn)利用網(wǎng)閘將社會(huì)資源全部納入公安網(wǎng)中。因此，我們提出了緩沖資源池的建議，對(duì)安全性和傳輸帶寬進(jìn)行了雙重保障，其大致架構(gòu)如下圖所示：存儲(chǔ)網(wǎng)(172xxx)公安網(wǎng)(10xxx)監(jiān)控網(wǎng)(192.168xx)工存儲(chǔ)網(wǎng)使用云存儲(chǔ)的結(jié)構(gòu)模型，與傳統(tǒng)的存儲(chǔ)設(shè)備相比，云存儲(chǔ)不僅僅是一個(gè)硬件，面是一個(gè)網(wǎng)絡(luò)設(shè)備，存儲(chǔ)設(shè)備、服務(wù)器、應(yīng)用軟件，公用訪同接口、接入同、和客戶端程序等多個(gè)部分組成的復(fù)雜系統(tǒng)。各部分以存儲(chǔ)設(shè)備為核心，通過應(yīng)用軟件來對(duì)外提供數(shù)公安網(wǎng)內(nèi)的%eb服務(wù)器要可以單向調(diào)用存估網(wǎng)內(nèi)圖片存儲(chǔ)服務(wù)器上的車輛監(jiān)控圖片或視監(jiān)控網(wǎng)內(nèi)工控機(jī)對(duì)監(jiān)控?fù)p像頭實(shí)時(shí)采集的數(shù)據(jù)進(jìn)行初步處理，把相關(guān)車輛信息及及實(shí)時(shí)車輛黑片信息到存錯(cuò)網(wǎng)進(jìn)行存。192.168.x.x→>交換機(jī)→172.x.X.X->防火墻→外網(wǎng)交換→網(wǎng)閘→→內(nèi)網(wǎng)交換>10.XX×假設(shè)途中192.168.x.x網(wǎng)段為社會(huì)資源網(wǎng)，10.x.x.x網(wǎng)段為公安網(wǎng)，在中間加入緩沖資源池(172.x.x.x網(wǎng)段),該部分可租用電信運(yùn)營商的機(jī)房和帶寬，作為過渡層，一方面對(duì)社會(huì)資源進(jìn)行收集匯總、存儲(chǔ)分析，另一方面利用軟件防火墻和運(yùn)營商的安全機(jī)制進(jìn)行了第一次的安全保障。之后再通過交換機(jī)和網(wǎng)閘轉(zhuǎn)接如公安網(wǎng)，期間網(wǎng)閘提供了第二次安全保障。其次，對(duì)于公安網(wǎng)用戶來說，社會(huì)資源的接入完全是按需的，只有當(dāng)有需求時(shí)，才會(huì)通過網(wǎng)閘將社會(huì)資源中的實(shí)時(shí)視頻流或者歷史存儲(chǔ)資料調(diào)取到公安網(wǎng)中，而在絕大多數(shù)情況下，數(shù)據(jù)僅僅是停留在了緩沖資源池中，不會(huì)對(duì)網(wǎng)閘造成很大的壓力。但另一方面，一旦進(jìn)行了網(wǎng)閘設(shè)置，勢(shì)必會(huì)對(duì)帶寬有所限制，因此為了保證網(wǎng)絡(luò)互聯(lián)互通的同時(shí)，保證系統(tǒng)的安全性需對(duì)視頻數(shù)據(jù)進(jìn)行云轉(zhuǎn)碼傳輸。由于視頻轉(zhuǎn)碼計(jì)算量很大，單一的計(jì)算機(jī)不可能實(shí)現(xiàn)整個(gè)監(jiān)控系統(tǒng)內(nèi)的攝像頭實(shí)時(shí)視頻數(shù)據(jù)的轉(zhuǎn)碼。cVideo研發(fā)了云端轉(zhuǎn)碼技術(shù)，將視頻轉(zhuǎn)碼計(jì)算放到云端(即緩沖資源池),實(shí)現(xiàn)整個(gè)系統(tǒng)內(nèi)的實(shí)時(shí)視頻轉(zhuǎn)碼，以滿足用戶對(duì)不同分辨率，不同碼流，不同終端的使用需求。圖2-4轉(zhuǎn)碼前后視頻對(duì)比圖像解碼編碼分析數(shù)據(jù)分發(fā)編碼封裝圖像轉(zhuǎn)碼圖2-5云轉(zhuǎn)碼流程2.2.1平臺(tái)架構(gòu)圖綜合視頻監(jiān)控云平臺(tái)數(shù)據(jù)流前端攝像機(jī)SDKe控制流前端設(shè)備在中心服務(wù)器的調(diào)度下進(jìn)行信息采集，以RTSP的形式傳輸給存儲(chǔ)/處理服務(wù)器集群，或者以SDK的形式傳輸給接入服務(wù)器。(前端設(shè)備包括：模擬攝像機(jī)、網(wǎng)絡(luò)攝像機(jī)、卡口設(shè)備、第三方平臺(tái)等)整合各種前端設(shè)備，將不同廠家不同平臺(tái)的前端設(shè)備通過RTSP標(biāo)準(zhǔn)流媒體協(xié)議或者SDK私有協(xié)議的方式接入本系統(tǒng)，以實(shí)現(xiàn)對(duì)多種前端攝像機(jī)和已有平臺(tái)的統(tǒng)一接入，供本平臺(tái)內(nèi)其他模塊統(tǒng)一調(diào)用，并以輪詢的方式監(jiān)聽前端設(shè)備，如有異常則產(chǎn)生報(bào)警信號(hào)。平臺(tái)的核心控制部分，實(shí)現(xiàn)了與客戶端的信令交互、通過JobKeeper云調(diào)度系統(tǒng)來調(diào)度云集群節(jié)點(diǎn)處理各項(xiàng)任務(wù)、并實(shí)現(xiàn)對(duì)整個(gè)平臺(tái)的統(tǒng)一管理和監(jiān)控。a)用戶管理功能：根據(jù)用戶信息表，管理用戶登錄、用戶的權(quán)限，可以管理用戶信息、增刪用戶等。b)前端信息采集設(shè)備管理功能：根據(jù)攝像機(jī)和用戶的權(quán)限，管理當(dāng)前用戶所能涉及的前端設(shè)備狀態(tài)、節(jié)點(diǎn)運(yùn)行狀態(tài)，并進(jìn)行實(shí)時(shí)的更新。c)與用戶和前端設(shè)備的信息交互功能：更新前端信息，并根據(jù)客戶需求進(jìn)行對(duì)前端設(shè)備調(diào)度，以及對(duì)JobKeeper的任務(wù)分發(fā)。同時(shí)，進(jìn)行信息數(shù)據(jù)的處理，以完成整個(gè)平臺(tái)的調(diào)度工作。d)對(duì)服務(wù)器集群進(jìn)行統(tǒng)一的調(diào)度管理，獲取每臺(tái)機(jī)器的運(yùn)行狀態(tài)。根據(jù)機(jī)器的運(yùn)行狀態(tài)進(jìn)行自動(dòng)調(diào)度和部署，負(fù)載均衡，提高機(jī)器的使用率，進(jìn)而提高服務(wù)器的梳理效率。e)解決服務(wù)器集群信息處理的冗余狀態(tài)，查錯(cuò)排錯(cuò)，保證系統(tǒng)的無人值守、自動(dòng)生長(zhǎng)的高效性。使用cStor云存儲(chǔ)系統(tǒng)，提供統(tǒng)一的存儲(chǔ)資源池，用以存儲(chǔ)關(guān)鍵數(shù)據(jù)，提供歷史視頻的回看以及相關(guān)數(shù)據(jù)的下載服務(wù)。同時(shí)，支持網(wǎng)絡(luò)掛載盤符的模式，以滿足整個(gè)平臺(tái)中其他模塊的存儲(chǔ)需求。大致可以分為接入分析、數(shù)據(jù)處理和結(jié)果分發(fā)三個(gè)子模塊，主要負(fù)責(zé)對(duì)完成對(duì)接入視頻的各項(xiàng)處理任務(wù)，諸如：內(nèi)容識(shí)別、實(shí)時(shí)轉(zhuǎn)碼、錄像存儲(chǔ)等，再將處理好的結(jié)果發(fā)送至流媒體服務(wù)器和存儲(chǔ)服務(wù)器。按2.2節(jié)中所說的架構(gòu)，在實(shí)際應(yīng)用中，經(jīng)常會(huì)出現(xiàn)跨級(jí)的聯(lián)動(dòng)調(diào)度問題，上級(jí)中心總平臺(tái)的接入服務(wù)器和下級(jí)子平臺(tái)的中心服務(wù)器信令交互，上級(jí)平上下級(jí)平臺(tái)的設(shè)備管理、用戶管理、日志管理等功能相互獨(dú)立，下級(jí)平臺(tái)和控設(shè)備資源(可以知道設(shè)備是屬于哪個(gè)平臺(tái)、哪個(gè)部門的，但不能直接登陸到下級(jí)平臺(tái)或第三方平臺(tái))。在“平臺(tái)”用戶視角，相當(dāng)于所有下級(jí)平臺(tái)和云計(jì)算與智慧城市(集群系統(tǒng))應(yīng)用服務(wù)器如上圖所示，如果是上級(jí)中心總平臺(tái)用戶想查看某前端攝像機(jī)的實(shí)時(shí)視頻，那么，該用戶首先通過客戶端或?yàn)g覽器登陸平臺(tái)，隨后發(fā)出對(duì)某路視頻的監(jiān)控請(qǐng)求，中心調(diào)度系統(tǒng)會(huì)根據(jù)數(shù)據(jù)庫里的攝像機(jī)設(shè)備信息將任務(wù)經(jīng)由接入服務(wù)器發(fā)送給政務(wù)專網(wǎng)的中心調(diào)度系統(tǒng)，由其調(diào)度相應(yīng)接入、處理服務(wù)器進(jìn)行進(jìn)入和轉(zhuǎn)發(fā)處理。該視頻流經(jīng)過子平臺(tái)流媒體服務(wù)器轉(zhuǎn)發(fā)至總平臺(tái)，客戶端得到該地址即可播放出實(shí)時(shí)視頻流。如果此時(shí)子平臺(tái)的用戶也想監(jiān)控上述該路的實(shí)時(shí)視頻，在請(qǐng)求該路監(jiān)控時(shí)，子平臺(tái)的中心服務(wù)器會(huì)自動(dòng)發(fā)現(xiàn)該監(jiān)控任務(wù)已由總平臺(tái)用戶發(fā)起過，只要經(jīng)過總平臺(tái)中心控制的許可，便可立即將流媒體服務(wù)器推送地址反饋給客戶端，子平臺(tái)用戶的客戶端則直接可以播放出該路實(shí)時(shí)視頻流。如下圖所示：云計(jì)算與智慧城市平臺(tái)針對(duì)實(shí)際情況，在之前的規(guī)劃和管理過程中，部分區(qū)域已經(jīng)實(shí)現(xiàn)了按區(qū)縣為單位對(duì)現(xiàn)有視頻做了集中管理和存儲(chǔ)，而另一些則是完完全全的“信息孤島”狀態(tài)。在“平臺(tái)”的實(shí)施部署過程中，需要充分考慮到這些因素，以“不重建、多對(duì)于區(qū)縣沒有集中處理的視頻，“平臺(tái)”會(huì)按照2.1章節(jié)中的部署規(guī)則，給每個(gè)派出所部署一套minicloud,用其本地化保存視頻數(shù)據(jù)，并接受省廳中心的直接管理，同時(shí)提供給上層應(yīng)用和服務(wù)的支撐。對(duì)于區(qū)縣已經(jīng)集中管理過的視頻，“平臺(tái)”則不會(huì)對(duì)該區(qū)域及其下屬派出所新建設(shè)備，而是與該系統(tǒng)交互，通過其SDK進(jìn)行對(duì)接和信息交互，獲取需要的管理信息及視頻流。從用戶的角度而言，呈現(xiàn)在面前的只是單純的一個(gè)個(gè)獨(dú)立的攝像機(jī)，用戶不必關(guān)心前端的攝像機(jī)具體是從我們部署的minicloud中傳輸過來的，亦或是從已有區(qū)縣系統(tǒng)中傳輸過來的，“平臺(tái)”已經(jīng)將中間過程透明化，以更貼近用戶的使用習(xí)慣。根據(jù)架構(gòu)的描述，可以看出，對(duì)于本“平臺(tái)”,科達(dá)承建的一期平臺(tái)相當(dāng)于一個(gè)子平臺(tái)，本“平臺(tái)”通過接入服務(wù)器與其通信對(duì)接，通過其提供的SDK或平臺(tái)對(duì)接方式進(jìn)行取流和控制的交互。因?yàn)榕c柯達(dá)平臺(tái)均屬于公安網(wǎng)，因此不需要考慮跨網(wǎng)段的問題。方案采用信令流和數(shù)據(jù)流分離的方式，在標(biāo)準(zhǔn)X86(X64)服務(wù)器集群上部署存儲(chǔ)、處理、調(diào)度等軟件系統(tǒng)，形成一個(gè)整體的云視頻監(jiān)控解決方案，實(shí)現(xiàn)對(duì)現(xiàn)有視頻監(jiān)控資源的整合。采用云調(diào)度和云存儲(chǔ)技術(shù)，有較高的擴(kuò)展性和容錯(cuò)能力，解決服務(wù)器單點(diǎn)故障問題，降低升級(jí)和維護(hù)成本。cStor云存儲(chǔ)系統(tǒng)是9年來不斷積累研發(fā)的高科技產(chǎn)品，是國內(nèi)最早實(shí)現(xiàn)并保持領(lǐng)先的云存儲(chǔ)系統(tǒng)，整套系統(tǒng)包括軟件與硬件，是一個(gè)海量的云存儲(chǔ)平臺(tái)。與傳統(tǒng)的大規(guī)模存儲(chǔ)系統(tǒng)相比，它具有構(gòu)建成本低、性能高效可靠、使用簡(jiǎn)單方便的特點(diǎn)。在需要存儲(chǔ)大量數(shù)據(jù)(如視頻數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)等)的應(yīng)用場(chǎng)合，可以大幅提高存儲(chǔ)系統(tǒng)性價(jià)比。與目前國際上知名的云存儲(chǔ)廠商相比，具有更高的性價(jià)比、更低的能耗、更加通用和更方便的使用模式。系統(tǒng)中采用廉價(jià)的大容量存儲(chǔ)服務(wù)節(jié)點(diǎn)，通過cStor系統(tǒng)軟件實(shí)現(xiàn)統(tǒng)一管理和容錯(cuò)，提供高效、穩(wěn)定服務(wù)。與使用專用服務(wù)器相比，可以將系統(tǒng)構(gòu)建成本節(jié)省5-10倍以上，且規(guī)模越大，優(yōu)勢(shì)越明顯。在降低系統(tǒng)的構(gòu)建成本的同時(shí)，系統(tǒng)的可靠性不僅沒有收到影響，相反，通過一系列的可靠性保障機(jī)制，使得cStor系統(tǒng)具有高可靠性的特性。在cStor云存儲(chǔ)系統(tǒng)中，數(shù)據(jù)具有多個(gè)副本(默認(rèn)情況下是2份，可以根據(jù)需要設(shè)置),任意節(jié)點(diǎn)出現(xiàn)故障，系統(tǒng)將會(huì)自動(dòng)復(fù)制數(shù)據(jù)副本到新的節(jié)點(diǎn)上，不會(huì)丟失數(shù)據(jù)。這樣，在節(jié)點(diǎn)發(fā)生故障的情況下，也可以實(shí)現(xiàn)數(shù)據(jù)的無間斷服務(wù)。同時(shí)，元數(shù)據(jù)管理節(jié)點(diǎn)采用雙機(jī)鏡像模式容錯(cuò)，如果有一節(jié)點(diǎn)出現(xiàn)故障，另一節(jié)點(diǎn)自動(dòng)接替。cStor采用控制流與數(shù)據(jù)流分離的技術(shù)，數(shù)據(jù)的存儲(chǔ)或讀取實(shí)際上是與各個(gè)存儲(chǔ)節(jié)點(diǎn)上并行讀寫；這樣隨著存儲(chǔ)節(jié)點(diǎn)數(shù)目的增多，整個(gè)系統(tǒng)的吞吐量和10性能將呈線性增長(zhǎng)。同時(shí)，cStor采用負(fù)載均衡技術(shù)，自動(dòng)均衡各服務(wù)器負(fù)載，使得各存儲(chǔ)節(jié)點(diǎn)cStor云存儲(chǔ)系統(tǒng)擴(kuò)容非常方便，支持不停止服務(wù)的情況下，動(dòng)態(tài)加入新的存儲(chǔ)節(jié)點(diǎn)，無需任何操作，即實(shí)現(xiàn)擴(kuò)容；同時(shí)，無需人為干預(yù)，也可以摘下任意節(jié)點(diǎn)，系統(tǒng)自動(dòng)縮小規(guī)模而不丟失數(shù)據(jù)，存儲(chǔ)在此節(jié)點(diǎn)上的數(shù)據(jù)將會(huì)重新備份到cStor云存儲(chǔ)系統(tǒng)提供標(biāo)準(zhǔn)POSIX接口，無論是哪種操作系統(tǒng)下的應(yīng)用程序，都可以不經(jīng)修改將云存儲(chǔ)當(dāng)成自己的海量磁盤來使用。如：同時(shí)，cStor也提供專用的API接口，供開發(fā)人員調(diào)用。提供基于WEB的管理平臺(tái)，所有的管理工作均由cStor管理模塊自動(dòng)完成，使用人員無需任何專業(yè)知識(shí)便可以輕松管理整個(gè)系統(tǒng)。通過管理平臺(tái)，可以對(duì)cStor中的所有節(jié)點(diǎn)實(shí)行無間斷監(jiān)控，用戶通過監(jiān)控界面可以清楚地了解到每一個(gè)節(jié)點(diǎn)和磁盤的運(yùn)行情況。cStor采用中心服務(wù)器模式來管理整個(gè)云存儲(chǔ)文件系統(tǒng)，所有元數(shù)據(jù)均保存在MasterServer上，文件則劃分為多個(gè)chunk存儲(chǔ)在不同的ChunkServer上。MasterServer維護(hù)了一個(gè)統(tǒng)一的命名空間，同時(shí)掌握整個(gè)系統(tǒng)內(nèi)ChunkServer的使用情況，當(dāng)客戶端向元數(shù)據(jù)服務(wù)器發(fā)送數(shù)據(jù)讀寫的請(qǐng)求時(shí)，元數(shù)據(jù)服務(wù)器根據(jù)ChunkServer的磁盤使用情況、網(wǎng)絡(luò)負(fù)擔(dān)等情況，選擇負(fù)擔(dān)最輕的ChunkServer對(duì)外提供服務(wù)，自動(dòng)均衡負(fù)載負(fù)擔(dān)。另外，當(dāng)某有一個(gè)ChunkServer因?yàn)闄C(jī)器故障或者其他原因造成離線時(shí)，同時(shí)存儲(chǔ)在此ChunkServer上的數(shù)據(jù)也會(huì)自動(dòng)的備份到其他可用的ChunkServer高速并發(fā)訪問技術(shù)客戶端在訪問cStor時(shí)，首先訪問MasterServer節(jié)點(diǎn)，獲取將要與之進(jìn)行交云計(jì)算與智慧城市高可靠性保證技術(shù)儲(chǔ)副本(默認(rèn)為兩個(gè)),分布存儲(chǔ)在不同的ChunkServer上。副本的分布策略考同時(shí)，系統(tǒng)除了支持傳統(tǒng)的1:1、1:2的冗余備份技術(shù)外，也支持高效的碼技術(shù)，將其編碼后增加了M個(gè)數(shù)據(jù)塊，數(shù)據(jù)總量變成了N+M個(gè)數(shù)據(jù)塊。從中用戶掛載客戶端卷管理節(jié)占用戶掛載客戶端卷管理節(jié)占元數(shù)據(jù)管理節(jié)點(diǎn)塊數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)配置中心監(jiān)控中心客戶端1客戶端2客戶端3客戶端4客戶端N數(shù)據(jù)節(jié)點(diǎn)1數(shù)據(jù)節(jié)點(diǎn)2數(shù)據(jù)節(jié)點(diǎn)3數(shù)據(jù)節(jié)點(diǎn)N數(shù)據(jù)節(jié)點(diǎn)1數(shù)據(jù)節(jié)點(diǎn)2數(shù)據(jù)節(jié)點(diǎn)3數(shù)據(jù)節(jié)點(diǎn)N主元數(shù)據(jù)管理節(jié)點(diǎn)3備元數(shù)據(jù)管理節(jié)點(diǎn)3數(shù)據(jù)節(jié)點(diǎn)1數(shù)據(jù)節(jié)點(diǎn)2數(shù)據(jù)節(jié)點(diǎn)3數(shù)據(jù)節(jié)點(diǎn)NQos管理圖3-2cStor云存儲(chǔ)系統(tǒng)架構(gòu)云計(jì)算與智慧城市云計(jì)算與智慧城市用戶層應(yīng)用服務(wù)層數(shù)據(jù)存儲(chǔ)層用戶層應(yīng)用服務(wù)層數(shù)據(jù)存儲(chǔ)層交換機(jī)儲(chǔ)節(jié)點(diǎn)/MacOS、FreeBSD等客戶端),對(duì)于此磁盤或者目錄的讀寫操作，即可實(shí)現(xiàn)云存儲(chǔ)客戶端收到成功信號(hào)后，即完成數(shù)據(jù)的存儲(chǔ)。下圖為cStor客戶端讀數(shù)據(jù)流程圖如下所示：數(shù)據(jù)流數(shù)據(jù)服務(wù)的負(fù)擔(dān)，使得其處理能力更強(qiáng)，另一方面將數(shù)據(jù)讀寫的負(fù)擔(dān)分擔(dān)到各存儲(chǔ)節(jié)點(diǎn)，使得系統(tǒng)的整體性能得到了提高，與節(jié)點(diǎn)數(shù)目成正相關(guān)。云計(jì)算的飛速發(fā)展，使云存儲(chǔ)領(lǐng)域涉及的范圍越來越廣，隨著企業(yè)辦公人員對(duì)數(shù)據(jù)存儲(chǔ)安全性和可靠性的要求越來越高，使用傳統(tǒng)的存儲(chǔ)模式，如移動(dòng)硬盤、U盤、刻錄光盤等方式，都存在著使用不方便、管理麻煩等諸多問題，特別軟硬件故障可能導(dǎo)致本地存儲(chǔ)信息的大量丟失或損壞。因此如何安全可靠的存儲(chǔ)企業(yè)運(yùn)營數(shù)據(jù)，成為了現(xiàn)在企業(yè)辦公的重中之重。因此，云創(chuàng)存儲(chǔ)推出minicloud微型云計(jì)算數(shù)據(jù)中心，用最少的成本為企業(yè)部署云存儲(chǔ)以及企業(yè)辦公應(yīng)用軟件，為辦公室配置一朵迷你的云，滿足企業(yè)的辦公需求，大幅度降低了企業(yè)IT建設(shè)云計(jì)算與智慧城市超安全的私有云計(jì)算數(shù)據(jù)中心minicloud采用可靠的分布式云存儲(chǔ)，最大支撐三個(gè)27TB的存儲(chǔ)節(jié)點(diǎn)，采用重要數(shù)據(jù)提供安全可靠的存儲(chǔ)，重要數(shù)據(jù)包括企業(yè)設(shè)計(jì)文檔、設(shè)計(jì)圖紙、經(jīng)營數(shù)海量存儲(chǔ)空間支持靈活使用裸容量高達(dá)81TB,采用1:1容錯(cuò)，可用空間最大達(dá)40.5TB,既可作為應(yīng)用軟件(如郵箱、視頻監(jiān)控等)的海量存儲(chǔ)空間，又可以作為員工的私密存儲(chǔ)空間，還可以作為數(shù)據(jù)共享空間。為了保障數(shù)據(jù)安全，辦公室內(nèi)部共享數(shù)據(jù)與通過互聯(lián)網(wǎng)共享數(shù)據(jù)采用完全隔離的兩套系統(tǒng)。>簡(jiǎn)易的部署方式隨著中小型企業(yè)、學(xué)校等單位的迅速發(fā)展壯大，擁有自己的服務(wù)器是必不可少的。但是傳統(tǒng)的服務(wù)器的部署不僅占用空間，而且可能還需要有專門的機(jī)房，對(duì)于辦公場(chǎng)所面積有限制的企業(yè)、單位來說部署一套傳統(tǒng)的服務(wù)器是相當(dāng)不易的。而minicloud具有節(jié)省空間的得天獨(dú)厚優(yōu)勢(shì)，441mm×550mm×350mm的大小集三個(gè)服務(wù)器于一身，完全消除企業(yè)單位應(yīng)對(duì)部署服務(wù)器的困難。不需要專業(yè)人員就能在自己的辦公場(chǎng)所部署一套集成多應(yīng)用的服務(wù)器?？煞奖愕貙?duì)minicloud進(jìn)行監(jiān)控，完成對(duì)系統(tǒng)的實(shí)時(shí)監(jiān)控，包括云存儲(chǔ)容量的監(jiān)控、磁盤的監(jiān)控、CPU的監(jiān)控以及內(nèi)存的監(jiān)控，界面效果如下圖所示?？煽康钠髽I(yè)應(yīng)用企業(yè)應(yīng)用程序包括郵件服務(wù)器程序、數(shù)據(jù)庫、云存儲(chǔ)管理節(jié)點(diǎn)等均采用雙機(jī)熱備，為企業(yè)提供安全可靠的應(yīng)用，保證應(yīng)用程序可持續(xù)的運(yùn)行；同時(shí)minicloud提供配置接口，通過配置可實(shí)現(xiàn)第三方應(yīng)用程序的雙機(jī)熱備。各個(gè)客戶端中文件夾自動(dòng)同步，服務(wù)器文件自動(dòng)保持一致，多客戶端文件自多平臺(tái)隨時(shí)訪問便攜共享，協(xié)同辦公minicloud支持多人共享同步文件夾，提供了更加便捷的協(xié)同辦公的方式。“minicloud”產(chǎn)品根據(jù)不同應(yīng)用對(duì)象的應(yīng)用需求以及對(duì)系統(tǒng)配置的要求分成三種技術(shù)規(guī)格，詳細(xì)說明如下。經(jīng)濟(jì)型標(biāo)準(zhǔn)型增強(qiáng)型550mm(長(zhǎng)度)×441mm(寬度)x350mm(高度)第1年提供免費(fèi)質(zhì)保服務(wù)，第2-3年提供成本價(jià)維修服務(wù)333Intel芯片組主板單路四核，2GHz以上雙路四核，2GHz以上雙路四核，2GHz以上板載千兆網(wǎng)口，支持負(fù)載均衡和失敗替換480W(1+1)冗余電源minicloud說明書、保修卡、電源線、網(wǎng)線cStor云存儲(chǔ)系統(tǒng)存儲(chǔ)容量最高可達(dá)81TB,采用1:1副本容錯(cuò)網(wǎng)盤系統(tǒng)在云存儲(chǔ)系統(tǒng)基礎(chǔ)上構(gòu)建的領(lǐng)先的私有網(wǎng)盤系統(tǒng)，支持Windows、Android、iOS、Web等多種訪問方式。郵箱系統(tǒng)企業(yè)私有郵箱系統(tǒng)，采用云架構(gòu)，數(shù)據(jù)更可靠更安全。minicloud管理平臺(tái)可便捷的對(duì)minicloud進(jìn)行管理，包括用戶的管理、存儲(chǔ)的功能說明主備雙機(jī)能夠在主元數(shù)據(jù)服務(wù)器故障情況下自動(dòng)切換至備用元數(shù)據(jù)服務(wù)器，對(duì)外服務(wù)不停止空間掛載(接口開放性)運(yùn)行Windows客戶端程序，在Windows系統(tǒng)上顯示為一本地海量磁盤Linux/Unix/FreeBS/MacOS掛載運(yùn)行Linux/Unix/FreeBS/MacOS掛載程序，在系統(tǒng)上對(duì)應(yīng)為一本地目錄元數(shù)據(jù)日志元數(shù)據(jù)日志本地持久化，可根據(jù)元數(shù)據(jù)日志恢復(fù)元數(shù)據(jù)元數(shù)據(jù)日志備份支持元數(shù)據(jù)日志異機(jī)備份，可根據(jù)備份日志恢復(fù)元數(shù)據(jù)系統(tǒng)N+M編解碼配置下，磁盤有效容量=N/(N+M)×裸容量，如8+2編碼情況下，磁盤利用率為80%。若采用傳統(tǒng)副本方式1:N容錯(cuò)，則磁盤有效容量為1/(1+N)×裸容量。吞吐量系統(tǒng)整體吞吐量隨系統(tǒng)規(guī)模增加呈線性增長(zhǎng)寫性能單客戶端寫性能高于100MB/s讀性能單客戶端讀性能高于80MB/s展能夠在不停止服務(wù)的情況下進(jìn)行擴(kuò)容或收縮規(guī)模，在線增加和減少存儲(chǔ)節(jié)點(diǎn)支持POSIX規(guī)范支持掛載為L(zhǎng)inux/Unix本地文件目錄或Windows磁盤，用戶使用和操作與本地文件系統(tǒng)相同支持FTP訪問支持FTP訪問方式支持NFS訪問支持NFS訪問方式支持CIFS訪問支持CIFS訪問方式作服務(wù)節(jié)點(diǎn)存儲(chǔ)節(jié)點(diǎn)可兼作服務(wù)節(jié)點(diǎn)存儲(chǔ)節(jié)點(diǎn)可兼作服務(wù)節(jié)點(diǎn)，對(duì)外提供數(shù)據(jù)訪問負(fù)載自動(dòng)均衡根據(jù)空間利用情況進(jìn)行負(fù)載均衡并發(fā)訪問時(shí)流量自動(dòng)分擔(dān)并發(fā)訪問時(shí)流量自動(dòng)分擔(dān)至不同的存儲(chǔ)節(jié)點(diǎn)身份標(biāo)識(shí)和鑒別系統(tǒng)的管理監(jiān)控中心具有身份標(biāo)識(shí)和鑒別功能正常訪問控制系統(tǒng)具有對(duì)系統(tǒng)正常訪問的控制能力屏蔽非法操作系統(tǒng)具有對(duì)未預(yù)期的非法操作的控制能力數(shù)據(jù)備份和恢復(fù)系統(tǒng)可以配置備份因子，設(shè)置數(shù)據(jù)存儲(chǔ)的份數(shù)日志管理系統(tǒng)元數(shù)據(jù)服務(wù)器具有日志功能設(shè)備監(jiān)控監(jiān)控設(shè)備的運(yùn)行狀態(tài)監(jiān)控設(shè)備的磁盤狀態(tài)空間監(jiān)控監(jiān)控系統(tǒng)的空間使用狀態(tài)文件監(jiān)控監(jiān)控和統(tǒng)計(jì)系統(tǒng)的文件狀態(tài)監(jiān)控系統(tǒng)的數(shù)據(jù)塊狀態(tài)、壞塊統(tǒng)計(jì)和定位如何保證在云計(jì)算平臺(tái)中部分硬件或軟件發(fā)生故障的情況下仍不影響系統(tǒng)Node1Node2Node4Node2Node3Node4Node2Node3Node4數(shù)據(jù)處理層存儲(chǔ)層Node3上圖中對(duì)Jobkeeper進(jìn)行了分層，對(duì)每層進(jìn)行具體闡述虛擬化資源層：將機(jī)器進(jìn)行虛擬化，形成更大范圍的服務(wù)集群。存儲(chǔ)層：存儲(chǔ)數(shù)據(jù)的處理結(jié)果集或其他中間結(jié)果集的單元。數(shù)據(jù)處理層：獨(dú)立的數(shù)據(jù)處理程序，是對(duì)不同需求數(shù)據(jù)的統(tǒng)一處理方案，由JobKeeper調(diào)度平臺(tái)進(jìn)行統(tǒng)一的配置管理。業(yè)務(wù)層：對(duì)于應(yīng)用層的相關(guān)功能的業(yè)務(wù)化，數(shù)字化處理，用于將應(yīng)用層的需求任務(wù)進(jìn)行規(guī)則化劃分，形成統(tǒng)一的處理化模式。應(yīng)用層：一組用于管理和結(jié)果反饋的顯示組件。是整個(gè)系統(tǒng)面向用戶和開發(fā)人員的基礎(chǔ)承載。當(dāng)用戶在應(yīng)用層下發(fā)任務(wù)給管理節(jié)點(diǎn)，管理節(jié)點(diǎn)調(diào)度機(jī)器處理任務(wù)，將任務(wù)扔給具體的處理節(jié)點(diǎn)，處理節(jié)點(diǎn)將結(jié)果返回給管理節(jié)點(diǎn)，管理節(jié)點(diǎn)整理結(jié)果，而后返回給應(yīng)用層。JobKeeper的任務(wù)分發(fā)流程如下圖所示：列表和入口參數(shù)處理的任務(wù)并對(duì)標(biāo)記任務(wù)進(jìn)行調(diào)度圖3-9JobKeeper任務(wù)分發(fā)流程圖蹤和保存，對(duì)應(yīng)的信息鏡像存儲(chǔ)在基于cStor或者NFS服務(wù)低依賴性：采用模塊化設(shè)計(jì)思想，通過統(tǒng)一化配置和API接口的方式向用低干預(yù)性：采用基于事件化的統(tǒng)一管理模式。在系統(tǒng)無人值守的情況下自云計(jì)算與智慧城市2012年11月，南京云創(chuàng)存儲(chǔ)科技有限公司推出了獨(dú)立開發(fā)的數(shù)據(jù)立方大數(shù)據(jù)處理系統(tǒng)，該系統(tǒng)是南京云創(chuàng)存儲(chǔ)的專有技術(shù)，屬于當(dāng)前流行的大數(shù)據(jù)處理技大數(shù)據(jù)是指無法在一定時(shí)間內(nèi)用常規(guī)軟件工具對(duì)其內(nèi)容進(jìn)行抓取、管理和處理的數(shù)據(jù)集合。大數(shù)據(jù)來自方方面面，從搜集天氣情況的感測(cè)器，接入社交媒體網(wǎng)站的指令，數(shù)碼圖片，在線的視頻資料，到網(wǎng)絡(luò)購物的交易記錄，手機(jī)的全球定位系統(tǒng)信號(hào)等等。隨著數(shù)據(jù)規(guī)模的急劇膨脹，各行業(yè)累積的數(shù)據(jù)量越來越巨大，數(shù)據(jù)類型也越來越多、越來越復(fù)雜，已經(jīng)超越了傳統(tǒng)數(shù)據(jù)管理系統(tǒng)、處理模式的能力范圍，于是“大數(shù)據(jù)”這樣一個(gè)在含義上趨近于“無窮大”的概念才會(huì)應(yīng)運(yùn)是類型多，包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)等多種類型，其中視頻數(shù)據(jù)在目前占到了90%以上的總額；第三要求速度快，需要以秒級(jí)為目標(biāo)進(jìn)行實(shí)時(shí)動(dòng)態(tài)處理。最后在于價(jià)值密度，由于大量有用和可能沒用的數(shù)據(jù)并存，遍地是金子，又遍地是沙子",所以大數(shù)據(jù)的目的就在于從龐大的數(shù)據(jù)集合中找尋有價(jià)值的數(shù)據(jù)和知識(shí)，通過分析挖掘?yàn)楦餍袠I(yè)提供真正的智慧。大數(shù)據(jù)給我們帶來了很多現(xiàn)實(shí)中的難題，為了解決這些難題我們需要新的技術(shù)變革，需要新一代的數(shù)據(jù)庫技術(shù)，此被稱之為大數(shù)據(jù)處理技術(shù)。大數(shù)據(jù)處理技術(shù)被設(shè)計(jì)用于在成本可承受的條件下，通過非?？焖俚牟杉l(fā)現(xiàn)和分析，從大量化、多類別的數(shù)據(jù)中提取價(jià)值，將是IT領(lǐng)域新一代的技術(shù)簡(jiǎn)單一點(diǎn)講，大數(shù)據(jù)處理技術(shù)其實(shí)是一系列技術(shù)的集合，大致可以分為負(fù)責(zé)數(shù)據(jù)存儲(chǔ)與管理的下一代數(shù)據(jù)庫技術(shù)，負(fù)責(zé)數(shù)據(jù)搜素、處理的下一代搜索引擎，以及基于該搜索引擎的下一代數(shù)據(jù)分析產(chǎn)品。主要特征數(shù)據(jù)立方通用云數(shù)據(jù)庫是搭建在云存儲(chǔ)系統(tǒng)上，對(duì)業(yè)務(wù)層直接提供對(duì)外開發(fā)接口和數(shù)據(jù)傳輸接口的分布式數(shù)據(jù)處理平臺(tái)。數(shù)據(jù)立方通用云數(shù)據(jù)庫包括一種處理海量數(shù)據(jù)的并行編程模型和計(jì)算框架，用于對(duì)大規(guī)模數(shù)據(jù)集的并行計(jì)算。下圖為其系統(tǒng)架構(gòu)：應(yīng)用層業(yè)務(wù)層監(jiān)控協(xié)調(diào)層虛擬資源層圖3-11數(shù)據(jù)立方邏輯圖云存儲(chǔ)層包括公司自主研發(fā)的云儲(chǔ)存系統(tǒng)cStor和apache開源云儲(chǔ)存系統(tǒng)HDFS;而在數(shù)據(jù)管理層中，包含數(shù)據(jù)立方、Hbase;數(shù)據(jù)處理層包含JobKeeper和MapReduce;最后的監(jiān)控協(xié)調(diào)層則包括zookeeper和Chukwa來實(shí)現(xiàn)對(duì)整個(gè)系統(tǒng)的實(shí)時(shí)監(jiān)控和數(shù)據(jù)管理。cProc云計(jì)算平臺(tái)通過把對(duì)數(shù)據(jù)集的大規(guī)模操作分發(fā)給網(wǎng)絡(luò)上的每個(gè)節(jié)點(diǎn)實(shí)現(xiàn)數(shù)據(jù)處理，每個(gè)節(jié)點(diǎn)會(huì)周期性的把完成的工作和狀態(tài)的更新報(bào)告回來。隨著節(jié)點(diǎn)的增多，cProc云計(jì)算平臺(tái)的處理能力將成倍數(shù)增長(zhǎng)。cProc支持100GBps以上量級(jí)的數(shù)據(jù)流實(shí)時(shí)索引，1秒內(nèi)響應(yīng)客戶請(qǐng)求，秒級(jí)完成數(shù)據(jù)處理、查詢和分析工作。數(shù)據(jù)立方的主要特征有：>實(shí)時(shí)性平臺(tái)在高效率并行分布式軟件的支撐下，可以實(shí)時(shí)完成數(shù)據(jù)處理和分析工作，云計(jì)算與智慧城市響應(yīng)速度快速創(chuàng)新點(diǎn)海量數(shù)據(jù)實(shí)時(shí)索引分布式處理框架支持對(duì)復(fù)雜混合結(jié)構(gòu)數(shù)據(jù)的高效處理3.2.3cProc數(shù)據(jù)立方關(guān)鍵技術(shù)高效分布式數(shù)據(jù)管理機(jī)制表3-3分布式數(shù)據(jù)存儲(chǔ)系統(tǒng)的關(guān)鍵技術(shù)和應(yīng)對(duì)措施應(yīng)對(duì)措施CRC校驗(yàn)和保證數(shù)據(jù)完整性，客戶端寫一個(gè)塊之前會(huì)計(jì)算其對(duì)應(yīng)的校驗(yàn)和。校驗(yàn)和文件和數(shù)據(jù)塊存儲(chǔ)在datanode的相同目校驗(yàn)失敗則嘗試其他副本。數(shù)據(jù)塊副本之間的一致性簡(jiǎn)單一致性模型即一個(gè)文件一旦創(chuàng)建、寫入、關(guān)閉之后就不需要修改了。體系架構(gòu)采用主從結(jié)構(gòu)的體系，一個(gè)集群是由一個(gè)名字節(jié)點(diǎn)管理元數(shù)據(jù)的命名空間，和多個(gè)數(shù)據(jù)節(jié)點(diǎn)來管理數(shù)據(jù)塊的存儲(chǔ)。數(shù)據(jù)塊存儲(chǔ)將一個(gè)文件分割成一個(gè)或多個(gè)的數(shù)據(jù)塊，這些數(shù)據(jù)塊存儲(chǔ)在一組數(shù)據(jù)節(jié)點(diǎn)中。元數(shù)據(jù)節(jié)點(diǎn)操作文件命名空間的文件或目錄操作，如打開，關(guān)閉，重命名，等等。它同時(shí)確定塊與數(shù)據(jù)節(jié)點(diǎn)的映射。數(shù)據(jù)節(jié)點(diǎn)來負(fù)責(zé)來自文件系統(tǒng)客戶的讀寫請(qǐng)數(shù)據(jù)副本放置位置在數(shù)據(jù)塊復(fù)制數(shù)為3的情況下，放置方式是將第一個(gè)放在本地?cái)?shù)據(jù)節(jié)點(diǎn)，將第二個(gè)復(fù)制放到本地機(jī)架上的另外一個(gè)數(shù)據(jù)節(jié)點(diǎn)而將第三個(gè)復(fù)制放到不同機(jī)架上的數(shù)據(jù)節(jié)點(diǎn)。這種方式減少了機(jī)架內(nèi)的寫流量，提高了寫的性能。機(jī)架失效的機(jī)會(huì)遠(yuǎn)小于機(jī)器實(shí)效的。這種方式?jīng)]有影響數(shù)據(jù)的可靠性和可用性的保證。但是它減少了讀操作的網(wǎng)絡(luò)聚合帶寬。對(duì)一個(gè)讀操作來說應(yīng)該讀取離它最近的數(shù)據(jù)塊副本。如果在讀節(jié)點(diǎn)的同一個(gè)機(jī)架上就有這個(gè)復(fù)制，就直接讀這個(gè)，如果物理集群是跨越多個(gè)數(shù)據(jù)中心，那么本地?cái)?shù)據(jù)中心的復(fù)制是優(yōu)先于遠(yuǎn)程的復(fù)制。警務(wù)云計(jì)算平臺(tái)的原始視頻信息根據(jù)智能分析系統(tǒng)的分析處理后所產(chǎn)生的分析記錄信息將存儲(chǔ)在cProc數(shù)據(jù)立方中，由數(shù)據(jù)立方高效分布式數(shù)據(jù)管理機(jī)制進(jìn)行管理，可有效的保證數(shù)據(jù)的完整性、可靠性，以及提高處理時(shí)的運(yùn)算效率。高性能的分布式索引機(jī)制cProc數(shù)據(jù)立方以B+樹的結(jié)構(gòu)建立了字段的索引，每個(gè)B+樹結(jié)構(gòu)的字段索引相當(dāng)于一個(gè)數(shù)據(jù)平面，這樣一個(gè)全局?jǐn)?shù)據(jù)表與其多個(gè)重要字段的索引就組成了一個(gè)類似于立方體的數(shù)據(jù)組織結(jié)構(gòu)。如下圖所示：字段3索引字段2索引記錄x:數(shù)據(jù)文件在HDFS上的絕對(duì)路徑+文件中的偏移量數(shù)26錄錄字段x基于B+樹的索引據(jù)全局?jǐn)?shù)據(jù)表圖3-12數(shù)據(jù)立方B+樹結(jié)構(gòu)數(shù)據(jù)立方索引機(jī)制是凌駕于數(shù)據(jù)存儲(chǔ)層和數(shù)據(jù)庫系統(tǒng)之上的，原始視頻分析記錄信息通過數(shù)據(jù)立方索引機(jī)制解析后，可以大大增加數(shù)據(jù)查詢和檢索等業(yè)務(wù)，可以讓系統(tǒng)平臺(tái)具備數(shù)據(jù)實(shí)時(shí)入庫、實(shí)時(shí)查詢、查詢結(jié)果實(shí)時(shí)傳輸?shù)葍?yōu)勢(shì)。高性能的關(guān)聯(lián)查詢需要根據(jù)不同的模式采用不同關(guān)聯(lián)算法，在基于代價(jià)的優(yōu)Hashjoin的主要資源消耗在于CPU(在內(nèi)存中創(chuàng)建臨時(shí)的hash表，并進(jìn)行 (集的勢(shì)高)時(shí)。這樣可以并行掃描內(nèi)表。Hashjoin效率最高，因?yàn)橹灰獙?duì)兩張Hashjoin一般用于一張小表和一張大表進(jìn)行join時(shí)。Hashjoin的過程大致如下(在并行情況下):(1)一張小表被hash在內(nèi)存中。因?yàn)閿?shù)據(jù)量小，所以這張小表的大多數(shù)數(shù)據(jù)已經(jīng)駐入在內(nèi)存中，剩下的少量數(shù)據(jù)被放置在臨時(shí)表空間中；(2)每讀取一條大表的記錄，和內(nèi)存中小表的數(shù)據(jù)比較，如果符合先做join,而不直接輸出，直到整張大表數(shù)據(jù)讀取完畢。如果內(nèi)存足夠，Join好的數(shù)據(jù)就保存在內(nèi)存中。否則，就保存在臨時(shí)表空間中。(3)當(dāng)大表的所有數(shù)據(jù)都讀取完畢，將臨時(shí)表空間中的數(shù)據(jù)以其輸出。如果小表的數(shù)據(jù)量足夠小，那所有數(shù)據(jù)就都在內(nèi)存中了，可以避免對(duì)臨時(shí)表空間基于規(guī)則的優(yōu)化方式下，經(jīng)常采用Sort-MergeJoin(SMI)連接和Nested-LoopNestedLoopJoin(嵌套循環(huán)聯(lián)結(jié))對(duì)于主表的每條記錄將其與從表的每條記錄在JOIN條件的字段上直接比較并篩選出符合條件的元組。被聯(lián)結(jié)的表所處內(nèi)層或外層的順序?qū)Υ疟PI/0開銷有著非常重要的影響，而CPU開銷相對(duì)來說影響NestedLoop一般在兩個(gè)集合都很大的情況下效率就相當(dāng)差了，而Sort-Merge在這種情況下就比它要高效不少，尤其是當(dāng)兩個(gè)集合的JOIN字段上都有聚集索基本算法主要有兩個(gè)步驟：(2)對(duì)兩組已排序集合進(jìn)行合并排序，從來源端各自取得數(shù)據(jù)列后加以比較(需有兩個(gè)因素左右Sort-Merge的開銷：JOIN字段是否已排序以及JOIN字段上的重復(fù)值有多少。最好情況下(兩列都已排序且至少有一列沒有重復(fù)值):0(n+m)只需要對(duì)兩個(gè)集合各掃描一遍。>最差情況下(兩列都未排序且兩列上的所有值都相同):0(n*logn+m*logm+n*m)兩次排序以及一次全部元組間的笛卡爾乘積?；跀?shù)據(jù)立方的分布式SQL解析SQL解析器、執(zhí)行器完成DataCube優(yōu)化以及查詢計(jì)劃的生成。SQL解析器接收從數(shù)據(jù)查詢API和SHELL傳來的SQL語句，同時(shí)對(duì)SQL進(jìn)行詞法分析、語法分析、編譯、優(yōu)化以及生成查詢作業(yè)，接著分析所要處理數(shù)據(jù)的所在位置，根據(jù)數(shù)據(jù)位置切分查詢作業(yè)形成子任務(wù)，然后將子任務(wù)發(fā)送給數(shù)據(jù)所在節(jié)點(diǎn)的執(zhí)行器。云計(jì)算與智慧城市管理器SQI解析器設(shè)備名稱內(nèi)存硬盤1主控服務(wù)器12處理節(jié)點(diǎn)3換機(jī)1內(nèi)容云計(jì)算與智慧城市可管理的數(shù)據(jù)總量可高效管理超過萬億條的記錄。每個(gè)節(jié)點(diǎn)可以管理12TB數(shù)據(jù)，一個(gè)機(jī)架可以管理120TB數(shù)據(jù)，假設(shè)一條記錄平均0.1KB,則系統(tǒng)一共可以管理1.2萬億條記錄。實(shí)時(shí)數(shù)據(jù)入庫流量數(shù)據(jù)入庫速度平均可達(dá)600MB/s。任意關(guān)鍵字段實(shí)時(shí)創(chuàng)建索引根據(jù)提供的表結(jié)構(gòu)解析元數(shù)據(jù)，并根據(jù)提供的任意關(guān)鍵字段實(shí)時(shí)創(chuàng)建索引可移植性Java語言實(shí)現(xiàn)，具有跨平臺(tái)性，任意操作系統(tǒng)都可運(yùn)行。查詢效率百億條記錄復(fù)雜查詢秒級(jí)響應(yīng)，同時(shí)可支持對(duì)萬億條記錄進(jìn)行實(shí)時(shí)支持SQL組合查采用高效的SQL解析器，可支持各種類型的SQL語句。不僅支持查詢、統(tǒng)計(jì)、分析業(yè)務(wù)，還可支持深度數(shù)據(jù)挖掘和商業(yè)智能分析業(yè)務(wù)。負(fù)載均衡性根據(jù)機(jī)器負(fù)載自動(dòng)進(jìn)行負(fù)載均衡。拔掉或增加一臺(tái)節(jié)點(diǎn)后，仍能均勻地向各處理節(jié)點(diǎn)分發(fā)數(shù)據(jù)。支持并發(fā)查詢支持并發(fā)查詢，查詢請(qǐng)求都能正常下發(fā)執(zhí)行、且都能正常返回結(jié)果，當(dāng)前每個(gè)節(jié)點(diǎn)最高支持200個(gè)SQL并發(fā)查詢。數(shù)據(jù)準(zhǔn)確性查詢條件相同情況下，每次查詢結(jié)果相同。穩(wěn)定性當(dāng)前系統(tǒng)在江蘇移動(dòng)機(jī)房穩(wěn)定連續(xù)運(yùn)行近10個(gè)月，無任何故障，所有周期任務(wù)均正常執(zhí)行，且執(zhí)行結(jié)果正確?？煽啃詻]有單點(diǎn)故障，任意節(jié)點(diǎn)宕機(jī)，系統(tǒng)工作正常，式系統(tǒng)運(yùn)行和查詢結(jié)果的準(zhǔn)確性。云計(jì)算與智慧城市擴(kuò)展性既可以在很小規(guī)模機(jī)器上跑，也可以在成千上萬臺(tái)的機(jī)器上運(yùn)行，而且經(jīng)過很簡(jiǎn)單的操作就可以把規(guī)模擴(kuò)展到成千上萬臺(tái)服務(wù)器上，而且可靠性隨著加入節(jié)點(diǎn)的增加成線性上升。分布式計(jì)算能力集群能增加節(jié)點(diǎn)、并且能正常執(zhí)行查詢?nèi)蝿?wù)，在流量沒變、資源增加的情況下，增加機(jī)器前后，查詢?nèi)蝿?wù)耗時(shí)按比例降低。支持對(duì)外接口提供專用API、Web訪問和WebServices接口進(jìn)行對(duì)外數(shù)據(jù)交互。監(jiān)控功能提供web界面對(duì)分布式文件進(jìn)行監(jiān)控，支持查看、下載索引文件和元數(shù)據(jù)文件。3.2.5與同類技術(shù)/產(chǎn)品對(duì)比分析當(dāng)前與數(shù)據(jù)立方類似的產(chǎn)品有分布式數(shù)據(jù)庫和數(shù)據(jù)倉庫，如：EMC的對(duì)于簡(jiǎn)單的單表查詢來說，數(shù)據(jù)量較小時(shí)，GreenPlum和Exdata的查詢速度都是比較快的，但在大數(shù)據(jù)量下，數(shù)據(jù)立方的高效分布式查詢更有優(yōu)勢(shì)，而HIVE的底層是基于MapReduce,所以速度較慢。測(cè)試結(jié)果如下圖所示：數(shù)據(jù)量在多表查詢方面，在小表與小表、大表與小表之間的關(guān)聯(lián)查詢，數(shù)據(jù)立方、GreenPlum和Exdata都是較快的，但在大表與大表之間做關(guān)聯(lián)查詢時(shí)，數(shù)據(jù)立方相對(duì)于GreenPlum和Exdata更快，而HIVE是最慢的。測(cè)試結(jié)果如下圖所示：數(shù)據(jù)立方的每個(gè)節(jié)點(diǎn)支持200個(gè)并發(fā)查詢，同時(shí)每個(gè)查詢均是秒級(jí)響應(yīng)，GreenPlum和Exdata是很難達(dá)到的，HIVE的任務(wù)并發(fā)數(shù)取決于MapReduce的并發(fā)任務(wù)數(shù)，所以會(huì)更低。測(cè)試結(jié)果如下圖所示：測(cè)試結(jié)果如下圖所示：并發(fā)數(shù)數(shù)據(jù)立方、GreenPlum、Exdata和HIVE均支持線性擴(kuò)展，而數(shù)據(jù)立方的擴(kuò)展效率更高，即對(duì)系統(tǒng)的軟硬件做100%的擴(kuò)展后，性能增長(zhǎng)也能夠達(dá)到100%,這是其他系統(tǒng)難以達(dá)到的。擴(kuò)展數(shù)(節(jié)點(diǎn))應(yīng)用層應(yīng)用層信令流控制資源層數(shù)據(jù)處理層數(shù)據(jù)存儲(chǔ)系統(tǒng)基于云計(jì)算的模式，采取海量分布式JobKeeper云調(diào)度架構(gòu)，以集群的形式共同對(duì)外服務(wù)。以實(shí)現(xiàn)諸如視頻內(nèi)容識(shí)別、云端轉(zhuǎn)碼、智能分析等實(shí)時(shí)數(shù)據(jù)、動(dòng)態(tài)伸縮等需求。最后將處理好的圖像信息以流媒體的形式輸出，并提供給上層各類應(yīng)用對(duì)應(yīng)的接口。資源層：包括攝像頭、卡口等前端數(shù)據(jù)采集設(shè)備所采集到的原始視頻圖像數(shù)據(jù)，以及響應(yīng)業(yè)務(wù)信息，如：人力、車輛、區(qū)域分布等資源信息。接入層：整合數(shù)據(jù)資源、業(yè)務(wù)資源、存儲(chǔ)資源，使其符合系統(tǒng)標(biāo)準(zhǔn)，實(shí)現(xiàn)不同資源的接入。數(shù)據(jù)存儲(chǔ)層：即cStor云存儲(chǔ)系統(tǒng)，提供海量的存儲(chǔ)空間，以備歷史數(shù)據(jù)的回看與處理。數(shù)據(jù)處理層：即cProc云處理系統(tǒng)，提供高效的視頻轉(zhuǎn)碼、內(nèi)容識(shí)別等大規(guī)模數(shù)據(jù)處理能力。數(shù)據(jù)分發(fā)：以流媒體服務(wù)器的形式提供標(biāo)準(zhǔn)的RTSP流媒體輸出，可以支持高并發(fā)訪問。API層：提供API接口，實(shí)現(xiàn)上層應(yīng)用對(duì)底層資源的透明操作，提供業(yè)務(wù)應(yīng)用的開發(fā)支持。調(diào)度控制層：實(shí)現(xiàn)對(duì)以上各層的綜合調(diào)度與控制，以實(shí)現(xiàn)整套系統(tǒng)機(jī)制。應(yīng)用層：主要包括實(shí)時(shí)監(jiān)控、調(diào)閱查詢、內(nèi)容識(shí)別等視頻相關(guān)應(yīng)用，為用戶提供友善的界面、人性化的操作方式，能夠讓用戶簡(jiǎn)單高效的監(jiān)控多個(gè)視頻源。功能如下：●信息采集設(shè)備的管理，監(jiān)控控制端對(duì)視頻中心服務(wù)器中的設(shè)備數(shù)據(jù)庫進(jìn)行操作，實(shí)現(xiàn)添加和刪除系統(tǒng)中的卡口和攝像頭?！裼脩艄芾?，監(jiān)控控制端對(duì)視頻中心服務(wù)器中的用戶數(shù)據(jù)庫進(jìn)行操作，實(shí)現(xiàn)用戶注冊(cè)、注銷以及權(quán)限設(shè)置。●按時(shí)間檢索歷史記錄，提供按時(shí)間檢索記錄的窗口，向視頻中心服務(wù)器發(fā)送檢索命令，獲取歷史記錄的相關(guān)信息?！駳v史記錄回放，根據(jù)歷史記錄的相關(guān)信息，播放cStor中的歷史記錄。錄像，監(jiān)控控制端通過中心服務(wù)器向存儲(chǔ)管理端發(fā)送錄像命令，存儲(chǔ)管理端控制設(shè)備進(jìn)行錄像，獲取的數(shù)據(jù)直接存儲(chǔ)到cStor中。接入子系統(tǒng)主要是完成對(duì)各種前端設(shè)備的接入，對(duì)上層提供統(tǒng)一的接口。前端設(shè)備主要包括：模擬攝像機(jī)、網(wǎng)絡(luò)攝像機(jī)、第三方平臺(tái)等。根據(jù)完成的功能不同，可以將接入服務(wù)器系統(tǒng)中交互的內(nèi)容分為數(shù)據(jù)流和信令流。中心服務(wù)器中心服務(wù)器處理服務(wù)器接入服務(wù)器圖3-20接入系統(tǒng)示意圖數(shù)據(jù)流主要是完成視頻數(shù)據(jù)的發(fā)送，視頻流接入到平臺(tái)后，再發(fā)送到流媒體服務(wù)器，從而實(shí)現(xiàn)了不同的客戶對(duì)同一路流的訪問，并且減輕了前端攝像機(jī)的壓力。根據(jù)前端設(shè)備不同包括三部分：(1)支持標(biāo)準(zhǔn)RTSP的攝像機(jī)對(duì)于支持標(biāo)準(zhǔn)RTSP協(xié)議的攝像機(jī)可以按廠家規(guī)定的url格式訪問，直接將視頻流傳輸給處理服務(wù)器集群。(2)不支持RTSP的攝像機(jī)對(duì)于不支持RTSP的攝像機(jī)則通過集成監(jiān)控設(shè)備商的SDK以支持其私有協(xié)議(如：?？低曉缙诘腄VR),再將視頻數(shù)據(jù)重新編碼成標(biāo)準(zhǔn)RTSP流發(fā)(3)第三方平臺(tái)中的攝像機(jī)接入的第三方平臺(tái)包括交管局監(jiān)控平臺(tái)、320道路圖像監(jiān)控平臺(tái)等。第三方平臺(tái)中的攝像機(jī)可以經(jīng)平臺(tái)SDK獲取攝像機(jī)的url,使用該視頻流地址獲取數(shù)據(jù)流。如果平臺(tái)提供的數(shù)據(jù)流不支持標(biāo)準(zhǔn)rtsp協(xié)議，則需要通過平臺(tái)的流媒體SDK獲取到每幀數(shù)據(jù)，再重新編碼成標(biāo)準(zhǔn)RTSP流發(fā)送出去。接RTSP網(wǎng)絡(luò)攝像機(jī)入系統(tǒng)圖3-21數(shù)據(jù)流3種情況(1)云臺(tái)控制信令(2)與第三方平臺(tái)交互信令(3)設(shè)備狀態(tài)監(jiān)控信令令流)。并根據(jù)請(qǐng)求，可從所有的監(jiān)控設(shè)備中動(dòng)態(tài)選出滿足請(qǐng)求的監(jiān)控路數(shù)其碼流(數(shù)據(jù)流)接入平臺(tái)。加進(jìn)"平臺(tái)"。當(dāng)用戶選擇某路攝像機(jī)進(jìn)觀看監(jiān)控畫面時(shí)，上層調(diào)度平臺(tái)發(fā)送相云計(jì)算與智慧城市圖3-22存儲(chǔ)系統(tǒng)示意圖流媒體存儲(chǔ)客戶端提供了將標(biāo)準(zhǔn)rtsp流保存為文件的功能，并按30分鐘打過JobKeeper統(tǒng)一調(diào)度資源，根據(jù)存儲(chǔ)服務(wù)器集群的工作狀態(tài)，選擇負(fù)載較包成視頻文件，保存下來的視頻文件存放在云存儲(chǔ)cStor圖3-23歷史錄像查詢中心服務(wù)器獲取到用戶錄像指令，將對(duì)應(yīng)任務(wù)通過JobKeeper進(jìn)行任務(wù)的調(diào)度和分發(fā)。Jobkeeper挑選合理的存儲(chǔ)服務(wù)器運(yùn)行存儲(chǔ)客戶端軟件，獲取取到相應(yīng)流媒體服務(wù)器輸出的視頻流，并將其存放于cStor云存儲(chǔ)集群上。錄像視頻按每半小時(shí)生成一個(gè)視頻文件，便于索引和定位。在存儲(chǔ)系統(tǒng)中，錄像工作流程可大體如下圖所示。cStor存------→信令流圖3-24錄像存儲(chǔ)工作流程示意圖對(duì)于存放在cStor云存儲(chǔ)中的錄像文件，可以在“平臺(tái)”的Web客戶端進(jìn)行回看，回看的工作流程如下圖所示：rtsprtsp流圖3-25錄像回看工作流程示意圖中心服務(wù)器獲取到用戶錄像回看指令，將對(duì)應(yīng)任務(wù)通過JobKeeper進(jìn)行任務(wù)的調(diào)度和分發(fā)。JobKeeper挑選合理的流媒體服務(wù)器運(yùn)行流媒體軟件，將存放于cStor云存儲(chǔ)中的相應(yīng)錄像文件流化輸出，并推送給用戶。處理子系統(tǒng)存儲(chǔ)/處理模塊處理節(jié)點(diǎn)分布式計(jì)算架構(gòu)處理節(jié)點(diǎn)分布式計(jì)算架構(gòu)接入服務(wù)器圖3-26存儲(chǔ)/處理模塊圖上圖描述了存儲(chǔ)/處理模塊的工作流程與各個(gè)分模塊之間的關(guān)系。前端設(shè)備采集信息接入服務(wù)器，Jobkeeper與存儲(chǔ)服務(wù)器和處理節(jié)點(diǎn)進(jìn)行交互。處理服務(wù)器集群根據(jù)客戶需求對(duì)采集到的信息進(jìn)行實(shí)時(shí)處理，在Jobkeeper的綜合調(diào)度控制下，處理節(jié)點(diǎn)進(jìn)行分布式計(jì)算，完成內(nèi)容識(shí)別、云端轉(zhuǎn)碼、數(shù)據(jù)分析等任務(wù)。存儲(chǔ)服務(wù)器集群和處理服務(wù)器并行處理采集到的信息，存儲(chǔ)客戶端軟件將采集到的信息實(shí)時(shí)存儲(chǔ)到cStor云存儲(chǔ)集群中。處理節(jié)點(diǎn)組通過RPC的遠(yuǎn)程調(diào)用獲取各自節(jié)點(diǎn)的任務(wù)處理目標(biāo)，并實(shí)時(shí)的和處理節(jié)點(diǎn)上的任務(wù)處理目標(biāo)進(jìn)行對(duì)比，控制程序的執(zhí)行和結(jié)束。處理節(jié)點(diǎn)組會(huì)在一個(gè)設(shè)定的心跳間隔內(nèi)主動(dòng)的和管理節(jié)點(diǎn)組聯(lián)系一次，報(bào)告節(jié)點(diǎn)存活狀態(tài)。如果在若干個(gè)心跳間隔后管理節(jié)點(diǎn)組仍然沒有獲取到處理節(jié)點(diǎn)心跳報(bào)告，那么該處理節(jié)點(diǎn)將會(huì)被踢出處理節(jié)點(diǎn)組，同時(shí)該節(jié)點(diǎn)處理的所有處理任務(wù)也會(huì)被重新調(diào)度。隨著集群處理數(shù)據(jù)量的不斷增大，處理節(jié)點(diǎn)組提供了簡(jiǎn)單高效的自動(dòng)化部署方案，當(dāng)新機(jī)器加入處理集群后，會(huì)主動(dòng)的與管理節(jié)點(diǎn)組同步心跳信息，從同一配置服務(wù)器ZooKeeper上獲取相關(guān)配置信息，通過WebServer服務(wù)獲取任務(wù)列表，開始執(zhí)行數(shù)據(jù)處理工作。由于視頻轉(zhuǎn)碼計(jì)算量很大，單一的計(jì)算機(jī)不可能實(shí)現(xiàn)整個(gè)監(jiān)控系統(tǒng)內(nèi)的攝像頭實(shí)時(shí)視頻數(shù)據(jù)的轉(zhuǎn)碼。cVideo研發(fā)了云端轉(zhuǎn)碼技術(shù)，將視頻轉(zhuǎn)碼計(jì)算放大云端，實(shí)現(xiàn)整個(gè)系統(tǒng)內(nèi)的實(shí)時(shí)視頻轉(zhuǎn)碼，以滿足用戶對(duì)不同分辨率，不同碼流，不同終端的使用需求。視頻接入模塊首先將不同廠家的前端設(shè)備接入進(jìn)來，對(duì)于支持RTSP的采集設(shè)備，我們利用標(biāo)準(zhǔn)的流媒體協(xié)議接口實(shí)現(xiàn)視頻和音頻數(shù)據(jù)的傳輸。對(duì)于不支持RTSP的采集設(shè)備，我們利用設(shè)備廠商提供的SDK進(jìn)行接入。然后在cProc云計(jì)算平臺(tái)上利用高效的轉(zhuǎn)碼技術(shù)，將采集到的高清視頻信號(hào)解碼后，采用H.264、H.263、MPEG2、MPEG4等常用標(biāo)準(zhǔn)視頻編碼方式和AAC、MP3、WMA、MPEG2等常用標(biāo)準(zhǔn)音頻編碼方式，對(duì)視頻重新編碼，在滿足用戶需求的同時(shí)降低對(duì)網(wǎng)絡(luò)帶寬的消耗。同時(shí)，將轉(zhuǎn)碼后的視頻流推送給流媒體服務(wù)器分發(fā)出去。這樣可以提供給終端不同分辨率需求的視頻流，支持常用的音視頻編碼格式，支持標(biāo)準(zhǔn)解碼器解碼，從而支持常用播放器的播放(如支持網(wǎng)絡(luò)功能的MPlayer、VLC等)。數(shù)據(jù)分發(fā)數(shù)據(jù)分發(fā)編碼封裝圖像轉(zhuǎn)碼圖像解碼編碼分析圖3-27云轉(zhuǎn)碼流程在cProc云平臺(tái)基礎(chǔ)上可以實(shí)現(xiàn)動(dòng)態(tài)轉(zhuǎn)碼過程，保障無線視頻數(shù)據(jù)的穩(wěn)定接入，系統(tǒng)可根據(jù)實(shí)時(shí)的網(wǎng)絡(luò)狀態(tài)，自適應(yīng)轉(zhuǎn)碼，調(diào)整合適的分辨率和碼率，也可根據(jù)用戶設(shè)置的流暢度優(yōu)先或者清晰度優(yōu)先，合理控制實(shí)時(shí)數(shù)據(jù)的流量，以保障在無線數(shù)據(jù)傳輸?shù)沫h(huán)境下，視頻信號(hào)正常傳輸，不受到影響。>智能識(shí)別前端設(shè)備將采集到的視頻等信息將數(shù)據(jù)存儲(chǔ)至云處理集群并進(jìn)行相應(yīng)的云存儲(chǔ)處理。當(dāng)客戶端需要視頻轉(zhuǎn)碼或者智能識(shí)別時(shí)，通過JobKeeper調(diào)度云處理自主專利的智能圖像檢索采用先進(jìn)的圖像處理技術(shù)并結(jié)合模式識(shí)別對(duì)已有中心調(diào)度子系統(tǒng)智能識(shí)別設(shè)備其他平臺(tái)接口大屏監(jiān)控圖3-28中心調(diào)度管理系統(tǒng)架構(gòu)圖例如：用戶使用實(shí)時(shí)監(jiān)控功能，前臺(tái)操作后，后臺(tái)通過調(diào)用JK任務(wù)調(diào)度服務(wù)器去執(zhí)行視頻轉(zhuǎn)碼任務(wù)，任務(wù)結(jié)束后中心服務(wù)器把得到的視頻流的地址返回給前端播放器，播放器播放對(duì)應(yīng)的視頻。根據(jù)圖3-29系統(tǒng)架構(gòu)圖所示，中心調(diào)度管理系統(tǒng)是系統(tǒng)的一個(gè)重要的部分，它是系統(tǒng)的樞紐，用來聯(lián)系系統(tǒng)的其他不同模塊，把他們有機(jī)的聯(lián)接在一起。中心調(diào)度管理系統(tǒng)設(shè)備主要包括：數(shù)據(jù)庫服務(wù)器集群、Web服務(wù)器集群、為了保證服務(wù)的高可用和高性能以及處理大數(shù)據(jù)量的能力。應(yīng)用層訪問數(shù)據(jù)庫服務(wù)的時(shí)候能夠讀寫分離，并排除讀和寫服務(wù)器的單點(diǎn)故障，平臺(tái)采用數(shù)據(jù)庫SQLNodesmysqgldsysgldmysqldndbngnd2)數(shù)據(jù)結(jié)點(diǎn)(Datanode-ndbd):集群共享數(shù)據(jù)(內(nèi)存中)。3)管理服務(wù)器(ManagementServer-ndbmgmd):集群管理SQLnode,Data本集群的結(jié)構(gòu)為一個(gè)主服務(wù)器(Master)服務(wù)器與另一個(gè)或多個(gè)從屬服務(wù)器(Slave)建立復(fù)制(replication)連接，主服務(wù)器與從屬服務(wù)器實(shí)現(xiàn)一定程度上的部署開發(fā)應(yīng)用系統(tǒng)時(shí)，對(duì)數(shù)據(jù)庫操作代碼進(jìn)行優(yōu)化，將寫操作(如UPDATE、INSERT)云計(jì)算與智慧城市定向到主服務(wù)器，把大量的查詢操作(SELECT)定向到從屬服務(wù)器，實(shí)現(xiàn)集群的負(fù)如果主服務(wù)器發(fā)生故障，從屬服務(wù)器將轉(zhuǎn)換角色成為主服務(wù)器，使應(yīng)用系統(tǒng)為終端用戶提供不間斷的網(wǎng)絡(luò)服務(wù)；主服務(wù)器恢復(fù)運(yùn)行后，將其轉(zhuǎn)換為從屬服務(wù)器，存儲(chǔ)數(shù)據(jù)庫副本，繼續(xù)對(duì)終端用戶提供數(shù)據(jù)查詢檢索服務(wù)。Web服務(wù)器集群Cluster/HA),負(fù)載均衡集群(LoadBalanceCluster),高性能計(jì)算集群(High(1)高可用集群(HighAvailabilityCluster/HA):一般是指當(dāng)集群中有某個(gè)節(jié)點(diǎn)失效的情況下，其上的任務(wù)會(huì)自動(dòng)轉(zhuǎn)移到其他正常的節(jié)點(diǎn)上。還指可以將集群中的某節(jié)點(diǎn)進(jìn)行離線維護(hù)再上線，該過程并不影響整個(gè)集群的運(yùn)行。常見的就是2個(gè)節(jié)點(diǎn)做成的HA集群，有很多通俗的不科學(xué)的名稱，比如"雙機(jī)熱備","雙機(jī)互備","雙機(jī)",高可用集群解決的是保障用戶的應(yīng)用程序持續(xù)對(duì)外提供服(2)負(fù)載均衡集群(LoadBalanceCluster):負(fù)載均衡集群運(yùn)行時(shí)一般通過一個(gè)或者多個(gè)前端負(fù)載均衡器將工作負(fù)載分發(fā)到后端的一組服務(wù)器上，從而達(dá)到將工作負(fù)載分發(fā)。這樣的計(jì)算機(jī)集群有時(shí)也被稱為服務(wù)器群(ServerFarm)。一般web服務(wù)器集群、數(shù)據(jù)庫集群和應(yīng)用服務(wù)器集群都屬于這種類型。這種集群可以在接到請(qǐng)求時(shí)，檢查接受請(qǐng)求較少，不繁忙的服務(wù)器，并把請(qǐng)求轉(zhuǎn)到這些服務(wù)器上。從檢查其他服務(wù)器狀態(tài)這一點(diǎn)上看，負(fù)載均衡和容錯(cuò)集群很接近，不同之處是數(shù)量上更多。(3)高性能計(jì)算集群(HighPerformanceComputingCluster/HPC):高性能計(jì)算集群采用將計(jì)算任務(wù)分配到集群的不同計(jì)算節(jié)點(diǎn)而提高計(jì)算能力，因而主要應(yīng)用在科學(xué)計(jì)算領(lǐng)域。這類集群致力于提供單個(gè)計(jì)算機(jī)所不能提供的強(qiáng)大的計(jì)算能通常Tomcat集群有三種方式：使用DNS輪詢，使用apacher-proxy代理方故，便無法訪問服務(wù)，必須等到DNS解析更新，或者這臺(tái)服務(wù)器重新啟動(dòng)。還有就是必須把集群中的所有服務(wù)端口暴露給外界，沒有用apache做前置代理的方式安全，并且占用大量公網(wǎng)IP地址，而且tomcat還要負(fù)責(zé)處理靜態(tài)網(wǎng)頁資源，影響效率。優(yōu)點(diǎn)是集群配置最簡(jiǎn)單，DNS設(shè)置也非常簡(jiǎn)單。請(qǐng)求過去，導(dǎo)致502網(wǎng)關(guān)錯(cuò)誤。但是只要服務(wù)器再啟動(dòng)就不存在這個(gè)問題。(3)modjk方式的優(yōu)點(diǎn)：Apache會(huì)自動(dòng)檢測(cè)到停止掉的tomcat,然后不再發(fā)請(qǐng)求過去。缺點(diǎn)就是，當(dāng)停止掉的tomcat服務(wù)器再次啟動(dòng)的時(shí)候，Apache檢測(cè)不到，仍然不會(huì)轉(zhuǎn)發(fā)請(qǐng)求過去。R-proxy和modjk的共同優(yōu)點(diǎn)是.可以只將Apache置于公網(wǎng)，節(jié)省公網(wǎng)IP地址資源?？梢酝ㄟ^設(shè)置來實(shí)現(xiàn)Apache專門負(fù)責(zé)處理靜態(tài)網(wǎng)頁，讓Tomcat專門負(fù)責(zé)處理jsp和servlet等動(dòng)態(tài)請(qǐng)求。共同缺點(diǎn)是：如果前置Apache代理服務(wù)器停止運(yùn)行，所有集群服務(wù)將無法對(duì)外提供。R-proxy和modjk對(duì)靜態(tài)頁面請(qǐng)求的處理，都可以通設(shè)置來選取一個(gè)盡可能優(yōu)化的效果。這三種方式對(duì)實(shí)現(xiàn)最佳負(fù)載均衡都有一定不足，modjk相對(duì)好些，可以通過設(shè)置1bfactor參數(shù)來分配請(qǐng)求任務(wù)。ModJK(請(qǐng)求調(diào)度器)?原理：前端發(fā)起請(qǐng)求，請(qǐng)求提交到webserver端，先經(jīng)過ModJK請(qǐng)求調(diào)度器，分別將不同的處理交給相應(yīng)的webserver處理，輪詢交替處理，同時(shí)webserver之間為了保障信息的一致性，自動(dòng)進(jìn)行session的復(fù)制，使得webserver之間session同步，保證訪問任意一個(gè)節(jié)點(diǎn)都是等價(jià)的，這樣通過調(diào)度器，輕松地將壓力分?jǐn)?，如果一個(gè)節(jié)點(diǎn)出現(xiàn)故障，不會(huì)出現(xiàn)無法訪問的情況，其他節(jié)點(diǎn)照舊輪詢處理，從而提高了系統(tǒng)的穩(wěn)定性。流媒體服務(wù)器作為流媒體應(yīng)用的核心系統(tǒng)，是視頻監(jiān)控系統(tǒng)向用戶提供視頻服務(wù)的關(guān)鍵平臺(tái)。其主要功能是提供RTSP/HTTP流媒體服務(wù)，其中RTSP提供實(shí)時(shí)視頻流及錄像回調(diào)視頻流，HTTP則只提供錄像回調(diào)視頻流?！褙?fù)載均衡、高并發(fā)訪問：通過負(fù)載均衡各節(jié)點(diǎn)運(yùn)行狀態(tài)，提高系統(tǒng)工作效率，滿足系統(tǒng)的高并發(fā)訪問需求?！癖O(jiān)控視頻流實(shí)時(shí)轉(zhuǎn)發(fā)：前端視頻數(shù)據(jù)經(jīng)處理系統(tǒng)處理后，流媒體服務(wù)器將處理后的監(jiān)控視頻流進(jìn)行實(shí)時(shí)轉(zhuǎn)發(fā)給用戶，滿足各種客戶端需求?！駳v史視頻數(shù)據(jù)流化推送，提供錄像調(diào)回的視頻流推送服務(wù)?！穹?wù)器狀態(tài)(負(fù)載、鏈接數(shù))等信息獲取。流媒體服務(wù)器實(shí)現(xiàn)把前端經(jīng)處理服務(wù)器處理后的視頻流通過網(wǎng)絡(luò)轉(zhuǎn)發(fā)給Web客戶端、i0S客戶端、Android客戶端和cStor集中存儲(chǔ)服務(wù)器等端應(yīng)用設(shè)備。流媒體轉(zhuǎn)發(fā)服務(wù)器采用了先進(jìn)RTP/RTSP流媒體網(wǎng)絡(luò)傳輸技術(shù)，解決了有限的帶寬下多個(gè)用戶并發(fā)訪問同一個(gè)監(jiān)控點(diǎn)問題。解決了網(wǎng)絡(luò)帶寬瓶頸問題，可實(shí)現(xiàn)分布式集群部署，達(dá)到在低帶寬網(wǎng)絡(luò)中高效流暢的傳輸實(shí)時(shí)視頻流功能。由于嵌入式DVR、視頻編碼器、IPC等設(shè)備，無法以自己的網(wǎng)絡(luò)和I0處理能力，提供多個(gè)用戶的網(wǎng)絡(luò)訪問，而出現(xiàn)宕機(jī)和故障的現(xiàn)象。通過處理服務(wù)器可以將某一路視頻流推送給流媒體服務(wù)器，對(duì)于多個(gè)用戶的訪問需求，可以復(fù)制分發(fā)給各個(gè)用戶。流媒體服務(wù)器可以提供對(duì)歷史視頻數(shù)據(jù)的推送。存儲(chǔ)系統(tǒng)將歷史視頻數(shù)據(jù)保存在cStor存儲(chǔ)集群上，將cStor掛載到流媒體服務(wù)器上，流媒體服務(wù)器就可以像訪問本地文件一樣訪問到cStor上的歷史視頻數(shù)據(jù)。當(dāng)用戶需要查看歷史錄像時(shí)，流媒體服務(wù)器可以將這些視頻文件流化，通過rtsp或者h(yuǎn)ttp協(xié)議推送給用戶，實(shí)現(xiàn)用戶查看遠(yuǎn)程歷史錄像的需求。以集群的形式對(duì)外提供負(fù)載均衡的標(biāo)準(zhǔn)RTSP流媒體并發(fā)推流服務(wù)，用戶根據(jù)相應(yīng)的流媒體RTSP地址，即可實(shí)時(shí)地獲取系統(tǒng)處理完后的實(shí)時(shí)視頻數(shù)據(jù)和存儲(chǔ)的歷史視頻數(shù)據(jù)，以供監(jiān)控和遠(yuǎn)程訪問。本系統(tǒng)輸出為標(biāo)準(zhǔn)RTSP視頻流，通過構(gòu)建流媒體服務(wù)器集群和負(fù)載均衡機(jī)制，使得多臺(tái)流媒體服務(wù)器可以共同對(duì)外提供服務(wù)，支持高并發(fā)訪問。流媒體分發(fā)系允圖3-32流媒體輸出子系統(tǒng)描述針對(duì)PC機(jī)和解碼上墻，此類需求一般為高清碼流，因此布設(shè)在對(duì)應(yīng)專網(wǎng)之內(nèi)，走局域網(wǎng)保證清晰度和實(shí)時(shí)性。針對(duì)移動(dòng)終端，由于其會(huì)經(jīng)過公網(wǎng)，因此采用APN方式連接，APN的英文全稱是AccessPointName,中文全稱叫接入點(diǎn)，是移動(dòng)終端上網(wǎng)時(shí)必須配置的一個(gè)參數(shù)，它決定了移動(dòng)終端通過哪種接入方式來訪問網(wǎng)絡(luò)。如：使用聯(lián)通的3G網(wǎng)絡(luò)(WCDMA),使用APN接入方式并于其鑒定協(xié)議，就可根據(jù)用戶名判定，生成虛通路連接進(jìn)入該專網(wǎng)，從而通過流媒體服務(wù)器獲得視頻流。中心服務(wù)模塊存儲(chǔ)模塊處理模塊終端設(shè)備圖3-33流媒體服務(wù)器集群系統(tǒng)構(gòu)架圖流媒體服務(wù)器集群采用LVS負(fù)載均衡來進(jìn)行管理，對(duì)外提供虛擬網(wǎng)絡(luò)服務(wù)。在服務(wù)器中設(shè)置一臺(tái)負(fù)載均衡服務(wù)器，使用一個(gè)虛擬IP地址連接所有節(jié)點(diǎn)服務(wù)器，所有應(yīng)用程序都使用該虛擬IP地址作為服務(wù)器集群地址。用戶通過虛擬IP地址(VirtualIPAddress)訪問服務(wù)時(shí)，訪問請(qǐng)求的報(bào)文會(huì)到達(dá)負(fù)載調(diào)度器，由它進(jìn)行負(fù)載均衡調(diào)度，從一組真實(shí)服務(wù)器選出一個(gè)，將報(bào)文的目標(biāo)地址VirtualIPAddress改寫成選定服務(wù)器的地址，報(bào)文的目標(biāo)端口改寫成選定服務(wù)器的相應(yīng)端口，最后將報(bào)文發(fā)送給選定的服務(wù)器。真實(shí)服務(wù)器的回應(yīng)報(bào)文經(jīng)過負(fù)載調(diào)度器時(shí)，將報(bào)文的源地址和源端口改為VirtualIPAddress和相應(yīng)的端口，再把報(bào)文發(fā)給用云計(jì)算與智慧城市為解決負(fù)載均衡服務(wù)器發(fā)生故障后整個(gè)集群癱瘓問題，我們配置了兩個(gè)負(fù)載均衡節(jié)點(diǎn)，它們以“主/從”模式配合工作，平時(shí)只有主負(fù)載均衡服務(wù)器在工作，從負(fù)載均衡服務(wù)器在待命；一旦主負(fù)載均衡服務(wù)器宕機(jī)，從負(fù)載均衡服務(wù)器馬上進(jìn)入工作狀態(tài)。DirectorDaemon)可以對(duì)服務(wù)和物理服務(wù)器進(jìn)行監(jiān)測(cè)，被廣泛地用于http和httpsheartbeat可以通過以太網(wǎng)(或者串行接口)來監(jiān)控節(jié)點(diǎn)的健康狀況。如果有多個(gè)heartbeat節(jié)點(diǎn)(heartbeat2.0及后續(xù)版本已經(jīng)能夠支持兩個(gè)以上節(jié)點(diǎn)),我們既可以使用串行線又可以使用以太網(wǎng)連接它們，這樣將大大提高系統(tǒng)的可用流媒體服務(wù)器可以對(duì)接入的同一路視頻流進(jìn)行多路的分發(fā)，當(dāng)不同客戶對(duì)同一路流發(fā)出請(qǐng)求時(shí)，流媒體服務(wù)器可以對(duì)視頻流進(jìn)行復(fù)制，并根據(jù)不同客戶端的處理能力推送符合客戶端需求的視頻流，降低接入側(cè)傳輸帶寬的占用?？蛻舳俗酉到y(tǒng)客戶端包括PC終端(支持Linux、Windows、MacOS等主流操作系統(tǒng))、平板電腦終端(支持iOS、Android、Windows等操作系統(tǒng))、智能手持終端(支持iOS、Android等操作系統(tǒng))和大屏終端。主要功能有顯示視頻設(shè)備列表、播放視頻流、與用戶交互云臺(tái)控制、多路視頻播放等?？蛻舳酥饕獙?shí)現(xiàn)用戶登錄，獲取設(shè)備群組及設(shè)備信息列表，向中心服務(wù)器請(qǐng)求實(shí)時(shí)視頻流地址，以及解碼并顯示視頻流等功能。其中移動(dòng)終端客戶端的系統(tǒng)示意圖如下圖所示：登錄首頁列表及播放中心服務(wù)器視頻解碼請(qǐng)求機(jī)源流移動(dòng)客戶端圖3-35移動(dòng)終端系統(tǒng)示意圖客戶端與中心服務(wù)器通過JSON協(xié)議進(jìn)行交互，用戶登錄后服務(wù)端返回一個(gè)UserID,以后各次請(qǐng)求數(shù)據(jù)將以這個(gè)UserID作為識(shí)別依據(jù)。同時(shí)進(jìn)入主頁之后，客戶端向服務(wù)端請(qǐng)求設(shè)備群組及設(shè)備信息列表，客戶端通過樹形結(jié)構(gòu)、多級(jí)管理的方式來顯示群組和設(shè)備列表。的實(shí)時(shí)視頻流地址，而后中心服務(wù)器JobKeeper集群請(qǐng)求實(shí)時(shí)視頻流，而后進(jìn)行RTSP解碼，轉(zhuǎn)化成可以顯示的圖片，通過圖3-36PC客戶端多畫面中心服務(wù)器通過jobkeeper調(diào)度啟動(dòng)一個(gè)任務(wù)，從流媒體服務(wù)器上獲取監(jiān)控點(diǎn)的碼器被動(dòng)解碼還原出模擬信號(hào)，由VGA輸出給大屏的某一個(gè)通圖3-37監(jiān)控大屏配置界面視頻監(jiān)控平臺(tái)為了實(shí)現(xiàn)與上層調(diào)度平臺(tái)的對(duì)接，對(duì)調(diào)度平臺(tái)提供了SDK息，為GIS地圖應(yīng)該提供攝像頭點(diǎn)位信息，以及在地圖上開窗服務(wù)。上層調(diào)度平臺(tái)可以通過標(biāo)準(zhǔn)的協(xié)議來調(diào)用平臺(tái)資到設(shè)備列表，用戶請(qǐng)求看某路視頻時(shí)，再從平臺(tái)獲取到對(duì)應(yīng)的視頻流地址，通過該地址訪問視頻流，解碼播放。其中其中視頻的數(shù)據(jù)流支持標(biāo)準(zhǔn)的RTSP協(xié)議，凡是支持RTSP/RTP標(biāo)準(zhǔn)流協(xié)議的播放器均可解碼播放，同時(shí)，我方也提供播放器插件協(xié)助上層應(yīng)用開發(fā)。歷史錄像回看實(shí)時(shí)視頻監(jiān)控獲取設(shè)備狀態(tài)遠(yuǎn)程參數(shù)配置云臺(tái)控制錄像抓圖首先提供用戶名、密碼登錄到平臺(tái)中心服務(wù)器，然后獲取平臺(tái)中所以的分組，選擇某一分組后，再調(diào)用接口獲取該分組下所有的設(shè)備列表，選擇某一路攝像頭后，再獲取該路攝像頭的動(dòng)態(tài)url地址，然后使用該地址通過ocx控件播放視頻，視頻成功打開后可以進(jìn)行相關(guān)的云臺(tái)操作，最后退出平臺(tái)。平臺(tái)與GIS地圖的對(duì)接可以通過本平臺(tái)提供的SDK接口來獲取監(jiān)控平臺(tái)里的所有監(jiān)控點(diǎn)信息。每一個(gè)監(jiān)控點(diǎn)都提供了經(jīng)緯度信息，上層平臺(tái)可以通過這些點(diǎn)位信息在GIS地圖上顯示監(jiān)控點(diǎn)，雙擊該監(jiān)控點(diǎn)后調(diào)用我們提供的控件，使用獲超過1秒。視頻高效存儲(chǔ)性能 優(yōu)異的可擴(kuò)展性設(shè)備或平臺(tái)，并對(duì)平臺(tái)提供統(tǒng)一的接口。并且，可以在不停止服務(wù)的情況下，動(dòng)態(tài)加入新的存儲(chǔ)/處理服務(wù)器節(jié)點(diǎn)，無需任何操作，即實(shí)現(xiàn)系統(tǒng)容量/處理性能的自動(dòng)增長(zhǎng)；也可以摘下任意節(jié)點(diǎn)，數(shù)據(jù)/任務(wù)會(huì)自動(dòng)備份/分配到其他節(jié)點(diǎn)上，系統(tǒng)容量/處理性能會(huì)自動(dòng)縮小而數(shù)據(jù)不會(huì)丟失。隨著對(duì)I/0能力需求的不斷增加，只需要增加服務(wù)器數(shù)量即可將壓力化解。平臺(tái)采用了cStor存儲(chǔ)系統(tǒng)和JobKeeper中心云調(diào)度系統(tǒng)，確保在任意數(shù)量平臺(tái)或設(shè)備的SDK開發(fā)包和RTSP視頻流接入的情況下保證系統(tǒng)穩(wěn)定運(yùn)行。同時(shí)，平臺(tái)使用集群部署方式，工作的服務(wù)器為多臺(tái)，且所有的主節(jié)點(diǎn)均至少有2臺(tái)服務(wù)器互為主備，并通過虛擬IP技術(shù)對(duì)外提供統(tǒng)一的訪問地址。因此，在任意節(jié)點(diǎn)(包括主節(jié)點(diǎn))發(fā)生故障的情況下，均有可自動(dòng)替換的副本，使得整個(gè)系統(tǒng)仍然能夠穩(wěn)定處理數(shù)據(jù)，保證系統(tǒng)不宕機(jī)，服務(wù)不中斷?！捌脚_(tái)”作為“智慧南京”綜合平臺(tái)中的視頻部分，與上層調(diào)度平臺(tái)實(shí)現(xiàn)內(nèi)部的系統(tǒng)對(duì)接。同時(shí)，“平臺(tái)”還封裝了標(biāo)準(zhǔn)些協(xié)議的對(duì)外接口，以供其他第三方平臺(tái)的對(duì)接。其中，“平臺(tái)”的視頻流和控制流分開，視頻以標(biāo)準(zhǔn)的RTSP流媒體協(xié)議封裝，控制流以HTTP協(xié)議、JSON方式封裝。上層第三方平臺(tái)需要進(jìn)行二次開發(fā)時(shí)，只需按照標(biāo)準(zhǔn)的HTTP協(xié)議方式發(fā)送控制、監(jiān)控請(qǐng)求，即可根據(jù)獲得的反饋消息，得知操作結(jié)果，并通過返回的RTSP地址獲取標(biāo)準(zhǔn)的視頻流?！捌脚_(tái)”基于云計(jì)算架構(gòu)，所有節(jié)點(diǎn)均互為冗余，任意節(jié)點(diǎn)損壞或者丟失(包括主節(jié)點(diǎn)),均不影響系統(tǒng)的正常運(yùn)行。JobKeeper云調(diào)度主節(jié)點(diǎn)部署了3臺(tái)，互為冗余，任意丟失2臺(tái)不會(huì)影響系統(tǒng)運(yùn)行，處理和存儲(chǔ)節(jié)點(diǎn)或硬盤損壞，數(shù)據(jù)自動(dòng)遷移，任務(wù)自動(dòng)重新分配，實(shí)現(xiàn)故障轉(zhuǎn)移，“平臺(tái)”可以滿足提供7*24小時(shí)不為了應(yīng)對(duì)用戶對(duì)不同終端的視頻監(jiān)控需求，cVideo云轉(zhuǎn)碼技術(shù)以X86標(biāo)準(zhǔn)服務(wù)器加軟件的方式呈現(xiàn)，避免了冗雜繁多的固件，具有非常好的靈活性，如前端視頻流轉(zhuǎn)碼可支持對(duì)分辨率碼率的動(dòng)態(tài)調(diào)整，即可適應(yīng)網(wǎng)絡(luò)狀況，也可由用戶指定；今后隨著系統(tǒng)規(guī)模的擴(kuò)大，需要級(jí)聯(lián)或者量級(jí)增加，只需動(dòng)態(tài)增加標(biāo)準(zhǔn)的X86服務(wù)器即可，無需添置其他設(shè)備；“平臺(tái)”內(nèi)部交互均通過網(wǎng)絡(luò)，因此布線只需要考慮無線網(wǎng)、有線網(wǎng)以及電源線；一些新功能模塊的添加也僅需要對(duì)軟件進(jìn)行升級(jí)，不需要更換硬件設(shè)備?！捌脚_(tái)”構(gòu)建于cVideo云視頻監(jiān)控系統(tǒng)之上，通過jobKeeper云調(diào)度系統(tǒng)的控制，充分調(diào)度云內(nèi)計(jì)算和存儲(chǔ)資源，可以最大限度地使用系統(tǒng)資源，使用戶發(fā)出的請(qǐng)求得以迅速的執(zhí)行，響應(yīng)時(shí)長(zhǎng)不超過1秒。同時(shí)平臺(tái)提供標(biāo)準(zhǔn)接口與GIS地圖進(jìn)行對(duì)接，確保信息更新時(shí)間間隔不超過1秒。智能監(jiān)控視頻分析是計(jì)算機(jī)視覺領(lǐng)域的一個(gè)新興應(yīng)用方向和備受關(guān)注的前沿課題，結(jié)合了計(jì)算機(jī)科學(xué)、機(jī)器視覺、圖像處理、模式識(shí)別、人工智能等多個(gè)學(xué)科。智能視頻分析在不需要人為干預(yù)的情況下，利用計(jì)算機(jī)視覺和智能視頻分目標(biāo)跟蹤以及對(duì)監(jiān)控場(chǎng)景中目標(biāo)行為的理解和描述，得出對(duì)圖像內(nèi)容含義的理解以及對(duì)客觀場(chǎng)景的解釋，從而指導(dǎo)和規(guī)劃行動(dòng)。云計(jì)算與智慧城市機(jī)構(gòu)都致力于這項(xiàng)技術(shù)的研究開發(fā)，該領(lǐng)域在國際上的研究現(xiàn)狀參見圖2~7:圖3-42性別檢測(cè)圖3-43運(yùn)動(dòng)過程中局部部位分析圖3-44運(yùn)動(dòng)過程建模圖3-45動(dòng)作在時(shí)間空間上的特征分析圖像資源庫是一個(gè)圖像和視頻的海量數(shù)據(jù)庫，它也正逐步成為公安系統(tǒng)中的提供可視化的人口圖像信息，做到“一人一檔”、“一案一檔”,利于串并案件的分析。其次，對(duì)刑偵審訊的全程同步音頻、視頻，確保執(zhí)法過程公開公正公平。同時(shí)，對(duì)海量的歷史圖像信息統(tǒng)一管理，結(jié)合云計(jì)算分布式處理能力，建立高效索引機(jī)制，使得龐大的歷史數(shù)據(jù)在事后取證回調(diào)時(shí)可以秒級(jí)處理。在警務(wù)云計(jì)算平臺(tái)的基礎(chǔ)上，構(gòu)建圖像資源平臺(tái)，可以有效地提升辦案效率，實(shí)現(xiàn)執(zhí)法過程錄象同步、串案并案事件檢索、智能識(shí)別特征提取等功能。當(dāng)然，構(gòu)建圖像資源庫也需要許多進(jìn)一步的工作。首先，基于警務(wù)云計(jì)算平臺(tái)，獲取到相關(guān)視頻、圖像信息，其次需要對(duì)這些圖像進(jìn)行一些優(yōu)化和識(shí)別計(jì)算，提取關(guān)鍵特征，形成文本化信息，之后放入“數(shù)據(jù)立方”中統(tǒng)一管理和索引，以供各類上總的來說，圖像資源庫建設(shè)內(nèi)容包括以下幾個(gè)方面：利用集群機(jī)器的分布式計(jì)算優(yōu)勢(shì)，合理分配任務(wù)，提升系統(tǒng)的并發(fā)能力，加快任務(wù)處理速度；將圖像和其語義信息相關(guān)聯(lián)，方便檢索和查閱；對(duì)特定視頻進(jìn)行特定運(yùn)動(dòng)目標(biāo)建模，并實(shí)現(xiàn)跟蹤，作為圖像的標(biāo)簽；提供視頻拼接、合并、標(biāo)注等編輯功能工具。其中，拼接算法可以克服圖像旋轉(zhuǎn)、平移、透視變化的影響。提供對(duì)視頻、圖片的清晰化處理工具，對(duì)視頻、圖片進(jìn)行銳化、去噪、增強(qiáng)、抑制等操作，能夠提高圖像的清晰度和明亮度，使模糊圖像清晰化，有利于智能識(shí)別后的數(shù)據(jù)實(shí)時(shí)入庫，數(shù)據(jù)立方統(tǒng)一管理并建立高效索引。比對(duì)歷史信息，提供特征檢索、人臉分析等應(yīng)用。>“一人一檔”、"一案一檔",關(guān)聯(lián)事件信息和情報(bào)線索，進(jìn)行串并案分析。結(jié)合自主、可控、安全的軟件和硬件環(huán)境，基于云計(jì)算的分布式處理能力和海量數(shù)據(jù)存儲(chǔ)能力，構(gòu)建統(tǒng)一的圖像資源庫平臺(tái)(圖像數(shù)據(jù)庫),并進(jìn)行已有的圖像內(nèi)容標(biāo)注技術(shù)和圖像檢索技術(shù)的適配整合和接口標(biāo)準(zhǔn)化工作，其架構(gòu)圖如下Joqkeeper云調(diào)度系統(tǒng)Joqkeeper云調(diào)度系統(tǒng)客戶終端圖像檢索客戶終端客戶終端圖像內(nèi)容標(biāo)注客戶終端客戶終端海量圖像數(shù)據(jù)管理客戶終端云安全體系在自主可控安全的圖像數(shù)據(jù)庫平臺(tái)的基礎(chǔ)之上，實(shí)現(xiàn)圖像內(nèi)容標(biāo)注技術(shù)的整合，包括基于顏色、紋理和形狀的特征標(biāo)注，以及智能交通參數(shù)統(tǒng)計(jì)技術(shù)、周界闖入偵測(cè)檢索、重要場(chǎng)所監(jiān)控技術(shù)、人臉檢索技術(shù)、視頻