視頻結(jié)構(gòu)化技術(shù)方案

1、2、技術(shù)效勞方案建設(shè)內(nèi)容本次工程的主要建設(shè)內(nèi)容：視頻結(jié)構(gòu)化,同時(shí)對(duì)接整合縣局建設(shè)的監(jiān)控視頻前端等系統(tǒng),通過后端建設(shè)平臺(tái)實(shí)現(xiàn)視頻分析、實(shí)戰(zhàn)、案件研判、案件偵辦等功能.系統(tǒng)結(jié)構(gòu)本次工程設(shè)計(jì)的平臺(tái)系統(tǒng),采用先進(jìn)的架構(gòu)體系,實(shí)現(xiàn)智能監(jiān)控,社會(huì)資源,案件偵查、研判等功能,同時(shí)與警用地理信息系統(tǒng),警綜系統(tǒng)等資源對(duì)接,實(shí)現(xiàn)地圖展現(xiàn),視頻聯(lián)動(dòng)、案件偵查等功能.系統(tǒng)建設(shè)在公安信息網(wǎng)和視頻專網(wǎng)上,系統(tǒng)總體架構(gòu)如下圖：視頻結(jié)構(gòu)化簡(jiǎn)單來講,視頻結(jié)構(gòu)化技術(shù)是一種將視頻內(nèi)容人、車、物、活動(dòng)目標(biāo)特征屬性自動(dòng)提取技術(shù),對(duì)視頻內(nèi)容根據(jù)語義關(guān)系,采用目標(biāo)分割、時(shí)序分析、對(duì)象識(shí)別、深度學(xué)習(xí)等處理手段,分析和識(shí)別目標(biāo)信息,組織成可供

2、計(jì)算機(jī)和人理解的文本信息的技術(shù).從數(shù)據(jù)處理的流程看,視頻結(jié)構(gòu)化描述技術(shù)能夠?qū)⒈O(jiān)控視頻轉(zhuǎn)化為人和機(jī)器可理解的信息如下列圖,并進(jìn)一步轉(zhuǎn)化為公安實(shí)戰(zhàn)所用的情報(bào),實(shí)現(xiàn)視頻數(shù)據(jù)向信息、情報(bào)的轉(zhuǎn)化.在視頻結(jié)構(gòu)化描述的內(nèi)容方面,公共平安關(guān)注的視頻信息主要是：人員、車輛、行為.人員結(jié)構(gòu)化在視頻中除了包括人員的面部精確定位、面部特征提取、面部特征比對(duì),人員的性別、年齡等特征范圍外,還可對(duì)人的衣著、運(yùn)動(dòng)方向,新增是否戴帽子、是否戴眼鏡、是否背包、拎包、打傘、是否騎車等信息進(jìn)行結(jié)構(gòu)化描述.車輛結(jié)構(gòu)化隨著智能交通高清電警、卡口、虛擬卡口、停車場(chǎng)的廣泛建設(shè)和應(yīng)用、借助智能識(shí)別算法將電警、卡口、停車場(chǎng)出入口等場(chǎng)所的車輛相

3、關(guān)結(jié)構(gòu)化信息存入車輛主題庫(kù),包括車牌、車型、車牌顏色、車輛品牌、車輛類型、車身顏色、車標(biāo)及遮陽(yáng)板、是否系平安帶、打、車輛年檢標(biāo)、擺件掛件、司乘人員的人臉.基于這些車輛關(guān)鍵特征信息,形成上億條過車記錄數(shù)據(jù),從而推動(dòng)了后臺(tái)大數(shù)據(jù)分析效勞的開展應(yīng)用和行業(yè)數(shù)據(jù)挖掘,形成隱匿車輛挖掘、套牌車輛篩選、初次入城、一車多牌、一牌多車、頻繁過車、相似車輛串并、高危車輛積分模型、車輛行駛軌跡分析、時(shí)空碰撞等實(shí)戰(zhàn)技戰(zhàn)法的應(yīng)用.在此根底上對(duì)車輛特征數(shù)據(jù)的大數(shù)據(jù)搜索,即可迅速找到所有符合條件的車輛信息,包括行駛時(shí)間與方向、行駛速度、車標(biāo)、車牌、年款等,還可結(jié)合以圖搜圖的檢索方法,在實(shí)戰(zhàn)平臺(tái)上調(diào)取相關(guān)視頻和圖像文件,快速

4、查詢到有關(guān)嫌疑車輛信息,復(fù)原車輛行駛的軌跡歷史信息,實(shí)現(xiàn)嫌疑車輛在整個(gè)城市的全程運(yùn)行軌跡查詢或結(jié)合視頻監(jiān)控信息,實(shí)現(xiàn)車輛全程化的可視化軌跡回放,以及對(duì)涉事車輛的精準(zhǔn)布控和查詢,也可以聯(lián)合公安車輛治理信息庫(kù),實(shí)現(xiàn)車人關(guān)聯(lián)行為結(jié)構(gòu)化行為結(jié)構(gòu)化即在人員結(jié)構(gòu)化根底上進(jìn)行檢索查詢,包含人體行為如越界、區(qū)域、徘徊、遺留、聚集等多種行為特征描述.它可以解決快速目標(biāo)查找問題,如將嫌疑人的截圖輸入至偵查系統(tǒng)中,利用人形檢索的功能,系統(tǒng)會(huì)根據(jù)目標(biāo)嫌疑人的衣著、顏色分布、體態(tài)特征快速地在案發(fā)點(diǎn)附近的多路攝像頭中進(jìn)行全局搜索,查找出相似的目標(biāo),并將結(jié)果以快照的形式輸出,結(jié)合GIS地圖進(jìn)行時(shí)空研判分析,刻畫出嫌疑人的行

5、動(dòng)軌跡.經(jīng)過視頻結(jié)構(gòu)化處理后,可以到達(dá)如下目的：首先：是視頻查找速度得到極大的提升.視頻結(jié)構(gòu)化之后,從百萬級(jí)的目標(biāo)庫(kù)中對(duì)應(yīng)數(shù)百到一千小時(shí)的高清視頻查找某張截圖上的行人嫌疑目標(biāo),數(shù)秒即可完成；千萬級(jí)目標(biāo)的庫(kù)中查找,幾分鐘即可完成如果實(shí)現(xiàn)云化,速度會(huì)更快.在結(jié)構(gòu)化根底上進(jìn)行檢索查詢,可以解決快速目標(biāo)查找問題；其次是存儲(chǔ)容量極大的降低.經(jīng)過結(jié)構(gòu)化后的視頻,存儲(chǔ)人的結(jié)構(gòu)化檢索信息和目標(biāo)數(shù)據(jù)不到視頻數(shù)據(jù)量的2%對(duì)于車車ffl,不到1%對(duì)于行為降得更多.存儲(chǔ)容量極大地降低,可以解決視頻長(zhǎng)期存儲(chǔ)的問題.最后,視頻結(jié)構(gòu)化可以盤活視頻數(shù)據(jù),可作為數(shù)據(jù)挖掘根底.視頻經(jīng)過結(jié)構(gòu)化處理后,存入相應(yīng)的結(jié)構(gòu)化數(shù)據(jù)倉(cāng)庫(kù),對(duì)各

6、類的數(shù)據(jù)倉(cāng)庫(kù)可以進(jìn)行深度的數(shù)據(jù)挖掘,充分發(fā)揮大數(shù)據(jù)作用,提升視頻數(shù)據(jù)的應(yīng)用價(jià)值,提升視頻數(shù)據(jù)的分析和預(yù)測(cè)功能.視頻結(jié)構(gòu)化面臨的問題作為一項(xiàng)視頻處理的核心技術(shù),算法對(duì)環(huán)境比擬敏感,受環(huán)境干擾大,光線、雜物、惡劣天氣、晃動(dòng)都會(huì)影響實(shí)際效果,實(shí)現(xiàn)高效精準(zhǔn)的視頻結(jié)構(gòu)化描述技術(shù)成為今后一段時(shí)間各公司/算法研究機(jī)構(gòu)努力的方向.隨著計(jì)算機(jī)視覺前沿技術(shù)的日益成熟,深度學(xué)習(xí)、高性能計(jì)算、海量練習(xí)數(shù)據(jù)、多維信息結(jié)合、大數(shù)據(jù)挖掘分析、目標(biāo)跟蹤、現(xiàn)有算法的優(yōu)化都將有力快速推動(dòng)視頻結(jié)構(gòu)化分析技術(shù)、算法效果的逐步提升.對(duì)接效勞外部接口效勞根據(jù)需求,為實(shí)現(xiàn)公安對(duì)偵查數(shù)據(jù)進(jìn)行共享整合,我司視頻結(jié)構(gòu)化平臺(tái)支持與原有建設(shè)的視頻偵

7、查分析系統(tǒng)的數(shù)據(jù)對(duì)接水平,并提供相關(guān)技術(shù)方案描述數(shù)據(jù)對(duì)接實(shí)現(xiàn)方式,對(duì)接方案包含數(shù)據(jù)字典、功能分類、結(jié)構(gòu)定義和交互流程等技術(shù)要求.對(duì)接方式系統(tǒng)與外部系統(tǒng)的對(duì)接方式以webservice方式進(jìn)行.系統(tǒng)接口標(biāo)準(zhǔn)：本系統(tǒng)采用SO琳系架構(gòu),通過效勞總線技術(shù)實(shí)現(xiàn)數(shù)據(jù)交換以及實(shí)現(xiàn)各業(yè)務(wù)子系統(tǒng)問、外部業(yè)務(wù)系統(tǒng)之間的信息共享和集成,因此SO琳系標(biāo)準(zhǔn)就是我們采用的接口核心標(biāo)準(zhǔn).主要包括：效勞目錄標(biāo)準(zhǔn)：效勞目錄API接口格式參考國(guó)家以及關(guān)于效勞目錄的元數(shù)據(jù)指導(dǎo)標(biāo)準(zhǔn),對(duì)于W3CUDDIv2AP站構(gòu)標(biāo)準(zhǔn),采取UDDIv2的API的模型,定義UDDI的查詢和發(fā)布效勞接口,定制基于Java和SOAP勺訪問接口.除了基于的W

8、ebService接口方式,對(duì)于基于消息的接口采用JMS者M(jìn)Q勺方式.交換標(biāo)準(zhǔn)：基于效勞的交換,采用HTTP/HTTP酰為傳輸協(xié)議,而其消息體存放基于協(xié)議的SOAFffi息格式.SOAP勺消息體包括效勞數(shù)據(jù)以及效勞操作,服務(wù)數(shù)據(jù)和效勞操作采用WSD進(jìn)行描述.Wet®務(wù)標(biāo)準(zhǔn)：用WSD描述業(yè)務(wù)效勞,將WSD發(fā)布到UDDI用以設(shè)計(jì)/創(chuàng)立月艮務(wù),SOAP/HTTP艮務(wù)遵循WS-IBasicProfile,禾用J2EESessionEJBs實(shí)現(xiàn)新的業(yè)務(wù)效勞,根據(jù)需求提供SOAP/HTTPorJMSandRMI/IIOP接口.業(yè)務(wù)流程標(biāo)準(zhǔn)：使用沒有擴(kuò)展的標(biāo)準(zhǔn)的BPEL4WS對(duì)于業(yè)務(wù)流程以SOAP

9、1務(wù)形式進(jìn)行訪問,業(yè)務(wù)流程之間的調(diào)用通過SOAP數(shù)據(jù)交換平安：與外部系統(tǒng)對(duì)接需考慮外部訪問的平安性,通過IP白名單、SSL認(rèn)證等方式保證集成互訪的合法性與平安性.數(shù)據(jù)交換標(biāo)準(zhǔn)：制定適合雙方系統(tǒng)統(tǒng)一的數(shù)據(jù)交換數(shù)據(jù)標(biāo)準(zhǔn),支持對(duì)增量的數(shù)據(jù)自動(dòng)進(jìn)行數(shù)據(jù)同步,防止人工重復(fù)錄入的工作.數(shù)據(jù)庫(kù)設(shè)計(jì)1、設(shè)計(jì)依據(jù)說明數(shù)據(jù)被訪問的頻度和流量,最大數(shù)據(jù)存儲(chǔ)量,數(shù)據(jù)增長(zhǎng)量,存儲(chǔ)時(shí)間等數(shù)據(jù)庫(kù)設(shè)計(jì)依據(jù).2、數(shù)據(jù)庫(kù)選型對(duì)數(shù)據(jù)庫(kù)選型進(jìn)行確認(rèn).3、數(shù)據(jù)庫(kù)種類及特點(diǎn)說明系統(tǒng)內(nèi)應(yīng)用的數(shù)據(jù)庫(kù)種類、各自的特點(diǎn)、數(shù)量及如何實(shí)現(xiàn)互聯(lián),數(shù)據(jù)如何傳遞.4、數(shù)據(jù)庫(kù)邏輯結(jié)構(gòu)說明數(shù)據(jù)庫(kù)概念模式向邏輯模式轉(zhuǎn)換所采用的方法論及工具,完成數(shù)據(jù)庫(kù)概念模式向

10、邏輯模式的轉(zhuǎn)換.詳細(xì)列出所使用的數(shù)據(jù)結(jié)構(gòu)中每個(gè)數(shù)據(jù)項(xiàng)、記錄和文件的標(biāo)識(shí)、定義、長(zhǎng)度及它們之間的相互關(guān)系.此節(jié)內(nèi)容為數(shù)據(jù)庫(kù)設(shè)計(jì)的主要部分.5、物理結(jié)構(gòu)設(shè)計(jì)列出所使用的數(shù)據(jù)結(jié)構(gòu)中每個(gè)數(shù)據(jù)項(xiàng)的存儲(chǔ)要求、訪問方法、存取單位和存取物理關(guān)系等.建立系統(tǒng)程序員視圖,包括：數(shù)據(jù)在內(nèi)存中的安排,包括對(duì)索引區(qū)、緩沖區(qū)的設(shè)計(jì)；所使用的外存設(shè)備及外存空間的組織,包括索引區(qū)、數(shù)據(jù)塊的組織與劃分；訪問數(shù)據(jù)的方式方法.6、數(shù)據(jù)庫(kù)平安說明數(shù)據(jù)的共享方式,如何保證數(shù)據(jù)的平安性及保密性.7、數(shù)據(jù)字典編寫詳細(xì)的數(shù)據(jù)字典.對(duì)數(shù)據(jù)庫(kù)設(shè)計(jì)中涉及到的各種工程,如數(shù)據(jù)項(xiàng)、記錄、系、文卷模式、子模式等一般要建立起數(shù)據(jù)字典,以說明它們的標(biāo)識(shí)符、

11、同義名及有關(guān)信息.交互流程1、發(fā)現(xiàn)用戶需要,建立明確需求在用戶反應(yīng)里收集到許多用戶提出的想法,他們希望我們能提供幫助解決問題的產(chǎn)品；我們也可以主動(dòng)去觀察一些生活中的信息,為靈感的迸發(fā)做儲(chǔ)藏.2、提出設(shè)計(jì)方案通過調(diào)研,我們得到了大量數(shù)據(jù)信息,并建立了明確的需求,下一步就是開始提設(shè)計(jì)方案.3、制作原型考慮到做交互是一個(gè)迭代過程,為設(shè)計(jì)的產(chǎn)品做一份交互更新日志,記錄下交互更新時(shí)間、版本名稱、更新類型、更新內(nèi)容、參考需求文檔與交互負(fù)責(zé)人.4、制作交互說明在交互原型上注釋,在圖上寫說明.5、用戶測(cè)試與評(píng)估產(chǎn)品根本功能實(shí)現(xiàn)后,我們會(huì)做用戶測(cè)試,設(shè)計(jì)是很主觀的,并且會(huì)受各種因素影響,所以我們的產(chǎn)品難免會(huì)存在

12、一些意料之外的問題,通過招募用戶來使用我們的產(chǎn)品,我們能收集到一些使用場(chǎng)景中發(fā)現(xiàn)問題的反應(yīng),并把這些整理成優(yōu)化點(diǎn),完善我們的產(chǎn)品.接口雙方責(zé)任1、消息發(fā)送方遵循本接口標(biāo)準(zhǔn)中規(guī)定的驗(yàn)證規(guī)那么,對(duì)接口數(shù)據(jù)提供相關(guān)的驗(yàn)證功能,保證數(shù)據(jù)的完整性、準(zhǔn)確性；消息發(fā)起的平臺(tái)支持超時(shí)重發(fā)機(jī)制,重發(fā)次數(shù)和重發(fā)間隔可配置.提供接口元數(shù)據(jù)信息,包括接口數(shù)據(jù)結(jié)構(gòu)、實(shí)體間依賴關(guān)系、計(jì)算關(guān)系、關(guān)聯(lián)關(guān)系及接口數(shù)據(jù)傳輸過程中的各類治理規(guī)那么等信息；提供對(duì)敏感數(shù)據(jù)的加密功能；及時(shí)解決接口數(shù)據(jù)提供過程中數(shù)據(jù)提供方一側(cè)出現(xiàn)的問題；2、消息響應(yīng)方遵循本接口標(biāo)準(zhǔn)中規(guī)定的驗(yàn)證規(guī)那么,對(duì)接收的數(shù)據(jù)進(jìn)行驗(yàn)證,保證數(shù)據(jù)的完整性、準(zhǔn)確性.及時(shí)根

13、據(jù)消息發(fā)送方提供的變更說明進(jìn)行本系統(tǒng)的相關(guān)改造.及時(shí)響應(yīng)并解決接口數(shù)據(jù)接收過程中出現(xiàn)的問題.3、異常處理對(duì)接口流程調(diào)用過程中發(fā)生的異常情況,如流程異常、數(shù)據(jù)異常、會(huì)話傳輸異常、重發(fā)異常等,進(jìn)行相應(yīng)的異常處理,包括：對(duì)產(chǎn)生異常的記錄生成異常記錄文件.針對(duì)可以回收處理的異常記錄,進(jìn)行自動(dòng)或者人工的回收處理.記錄有關(guān)異常事件的日志,包含異常類別、發(fā)生時(shí)間、異常描述等信息.當(dāng)接口調(diào)用異常時(shí),根據(jù)預(yù)先配置的規(guī)那么進(jìn)行相關(guān)異常處理,并進(jìn)行自動(dòng)生煞呂.第三方平臺(tái)對(duì)接整合車輛、人臉數(shù)據(jù),通過與的臉系統(tǒng)、車輛系統(tǒng)以單點(diǎn)登錄的方式實(shí)現(xiàn)一站式的登錄體驗(yàn).單點(diǎn)登錄的定義是在多個(gè)應(yīng)用系統(tǒng)中,用戶只需要登錄一次,就可以通過免登陸的方式訪問所有相互信任的應(yīng)用系統(tǒng).(1)與根底監(jiān)控平臺(tái)對(duì)接主要以國(guó)標(biāo)28181或廠商提供SDK的方式對(duì)接天網(wǎng)監(jiān)控平