基于視頻結(jié)構(gòu)化圖偵系統(tǒng)的應(yīng)用

./基于視頻結(jié)構(gòu)化圖偵系統(tǒng)的應(yīng)用目前,視頻監(jiān)控系統(tǒng)已經(jīng)成為治安防控、偵查破案的重要手段。但是,面對(duì)海量的視頻信息、非結(jié)構(gòu)化的數(shù)據(jù)形式和內(nèi)容的多義性,在案發(fā)后人工調(diào)閱方式耗時(shí)耗力,大量視頻未經(jīng)梳理而流失,嚴(yán)重影響了監(jiān)控系統(tǒng)的建設(shè)成效。目前在安全防范領(lǐng)域中,有效分析、組織和管理視頻數(shù)據(jù),研究基于內(nèi)容的視頻應(yīng)用系統(tǒng)取代人工方式,已經(jīng)成為警務(wù)信息化應(yīng)用的研究重點(diǎn)。本文分析研究了視頻數(shù)據(jù)的規(guī)范化采集、結(jié)構(gòu)化存儲(chǔ)和全局性共享等問(wèn)題,提出基于視頻內(nèi)容結(jié)構(gòu)化分析技術(shù),按照"一個(gè)證據(jù)中心,兩個(gè)核心應(yīng)用"方式來(lái)構(gòu)建圖偵系統(tǒng)的技術(shù)方案和應(yīng)用模式。主要工作包括：〔1分析了當(dāng)前公安圖偵工作的困難和制約,研究了視頻圖像從采集、研判,到管理、應(yīng)用的一體化工作模式,基于視頻內(nèi)容結(jié)構(gòu)化分析技術(shù),提出了"視頻證據(jù)中心、視頻圖像取證、視頻研判分析"為框架的網(wǎng)偵系統(tǒng)研發(fā)思路?！?從警務(wù)一體化的角度,以視頻采集、證據(jù)管理、研判應(yīng)用為業(yè)務(wù)主線,研究了基于視頻結(jié)構(gòu)化圖偵系統(tǒng)建設(shè)的總體技術(shù)方案、基本功能點(diǎn),設(shè)計(jì)了系統(tǒng)研發(fā)的體系架構(gòu)、邏輯架構(gòu)、數(shù)據(jù)架構(gòu),以及與外部系統(tǒng)之間的關(guān)系?！?分析了視頻結(jié)構(gòu)化建庫(kù)的主要任務(wù)和核心問(wèn)題,從視頻人、車、物基本要素入手,進(jìn)行了視頻證據(jù)中心的模型設(shè)計(jì),包括證據(jù)中心的體系結(jié)構(gòu)、視頻對(duì)象結(jié)構(gòu)化定義、對(duì)外數(shù)據(jù)交互視圖,以及證據(jù)中心實(shí)體-關(guān)系圖〔ERD。〔4從工作模式和核心應(yīng)用出發(fā),分析了圖偵業(yè)務(wù)的主要角色和主要環(huán)節(jié),設(shè)計(jì)了圖偵工作的業(yè)務(wù)流程、關(guān)鍵業(yè)務(wù)交互順序、摘要索引業(yè)務(wù)流程和基本功能點(diǎn),整合運(yùn)用視頻結(jié)構(gòu)化、視頻摘要、視頻索引等先進(jìn)技術(shù),進(jìn)行了軟件的設(shè)計(jì)和實(shí)現(xiàn)。使用結(jié)果表明,基于視頻內(nèi)容結(jié)構(gòu)化開(kāi)發(fā)的圖偵系統(tǒng),能夠?qū)崿F(xiàn)視頻監(jiān)控信息的全程篩選,防止有用信息的流失,再造了視頻監(jiān)控及研判應(yīng)用的信息流及業(yè)務(wù)流,能夠有效支撐了圖偵工作機(jī)制的轉(zhuǎn)型發(fā)展。第一章緒論1.1.研究的背景和意義隨著國(guó)家經(jīng)濟(jì)、社會(huì)的快速發(fā)展,人民群眾的安全防范意識(shí)不斷提高。特別是2005年以來(lái),公安部大力推動(dòng)"3111"工程和城市報(bào)警服務(wù)與監(jiān)控系統(tǒng)建設(shè),以"天網(wǎng)工程"、"平安城市"項(xiàng)目為引領(lǐng)的社會(huì)治安視頻監(jiān)控系統(tǒng)建設(shè)迅猛發(fā)展,保守估計(jì)全國(guó)各級(jí)公安機(jī)關(guān)可直接調(diào)控的視頻監(jiān)控?cái)z像機(jī)已超百萬(wàn)支[1]；各行各業(yè)、各重點(diǎn)企事業(yè)單位社會(huì)也廣泛開(kāi)展視頻監(jiān)控系統(tǒng)建設(shè),加強(qiáng)對(duì)重點(diǎn)部位、重要場(chǎng)所的實(shí)時(shí)監(jiān)控。視頻監(jiān)控系統(tǒng)已經(jīng)成為維護(hù)社會(huì)穩(wěn)定、治安安定和創(chuàng)新社會(huì)管理的重要手段,在指揮決策、治安防控、偵查破案和執(zhí)法監(jiān)督等方面發(fā)揮著積極的作用。當(dāng)前,視頻監(jiān)控系統(tǒng)已經(jīng)成為治安防控、偵查破案的重要手段。但是,由于視頻數(shù)據(jù)量龐大且格式復(fù)雜,存儲(chǔ)代價(jià)昂貴且難以管理,面對(duì)海量的視頻信息、非結(jié)構(gòu)化的數(shù)據(jù)形式和內(nèi)容的多義性,在案發(fā)后人工調(diào)閱方式耗時(shí)耗力,大量視頻未經(jīng)梳理而流失,嚴(yán)重影響了監(jiān)控系統(tǒng)的建設(shè)成效。2012年2月公安部下發(fā)《全國(guó)公安機(jī)關(guān)視頻圖像信息整合與共享工作任務(wù)書》,要求充分利用先進(jìn)的視頻監(jiān)控、圖像處理技術(shù),深入開(kāi)展視頻圖像信息共享應(yīng)用平臺(tái)建設(shè)。目前在安全防范領(lǐng)域中,有效分析、組織和管理視頻數(shù)據(jù),研究基于內(nèi)容的視頻應(yīng)用系統(tǒng)取代人工方式,提升監(jiān)控系統(tǒng)建設(shè)成效,已經(jīng)成為警務(wù)信息化工作的研究重點(diǎn)。為此,必須充分運(yùn)用先進(jìn)的圖像處理技術(shù),突破視頻監(jiān)控系統(tǒng)聯(lián)網(wǎng)、整合與共享工作中存在的發(fā)展瓶頸。原有監(jiān)控工作模式的不足,主要表現(xiàn)在"視頻圖像采集"、"視頻圖像檢索"和"視頻要素建庫(kù)"這三個(gè)環(huán)節(jié)?！?視頻圖像采集不規(guī)范按照公安機(jī)關(guān)對(duì)視頻監(jiān)控系統(tǒng)建設(shè)的相關(guān)規(guī)定,一般要求視頻監(jiān)控系統(tǒng)具備至少30天連續(xù)視頻圖像存儲(chǔ)能力,并能自動(dòng)循環(huán)覆蓋存儲(chǔ)。在實(shí)際工作中,由于視頻圖像采集速度慢且過(guò)程繁瑣,原始視頻數(shù)據(jù)量龐大且格式復(fù)雜,備份海量視頻需要海量存儲(chǔ)空間等原因,難以建立起一套有效的視頻圖像信息采集機(jī)制,只有在查處大要案事件時(shí),辦案部門才會(huì)調(diào)閱視頻監(jiān)控資源,查找嫌疑人或可疑物品,并隨案保存相應(yīng)視頻資料,99%以上的視頻圖像被自動(dòng)循環(huán)覆蓋而沒(méi)有經(jīng)過(guò)圖像信息的梳理采集并保存使用,存在有價(jià)值的視頻圖像信息被覆蓋、被流失、被放棄等問(wèn)題,嚴(yán)重降低了視頻監(jiān)控系統(tǒng)的建設(shè)成效。在傳統(tǒng)的視頻監(jiān)控系統(tǒng),即使建設(shè)了大量的攝像鏡頭,但是缺乏對(duì)數(shù)據(jù)的有效分析和利用,大量的有價(jià)信息被丟棄或湮沒(méi)于數(shù)據(jù)海洋中,成為數(shù)據(jù)垃圾,投資大、成效低。圖1-1描繪了原有視頻監(jiān)控圖像信息的完整生命周期,僅有不到1%的視頻信息經(jīng)過(guò)梳理研判,絕大部分的視頻監(jiān)控信息沒(méi)有經(jīng)篩選而直接流失。因此,充分運(yùn)用先進(jìn)的圖像處理技術(shù),特別是視頻信息的結(jié)構(gòu)化分析技術(shù),建立成熟、規(guī)范的視頻圖像信息采集、管理和研判、應(yīng)用機(jī)制已經(jīng)十分緊迫。圖1-1傳統(tǒng)視頻監(jiān)控圖像信息的完整生命周期分析在日常網(wǎng)上監(jiān)控巡邏工作中,由于缺乏一個(gè)可操作性的工作平臺(tái),也沒(méi)有建立健全視頻圖像信息的采集、管理機(jī)制,視頻監(jiān)控有"巡"無(wú)"查",監(jiān)控操作人員缺乏有效的可操作性工作指標(biāo)。因此,構(gòu)建規(guī)范化的視頻圖像采集機(jī)制對(duì)于提升視頻監(jiān)控系統(tǒng)運(yùn)用價(jià)值具有積極意義?！?視頻圖像檢索困難當(dāng)前,視頻監(jiān)控系統(tǒng)深度運(yùn)用的另一個(gè)瓶頸是視頻調(diào)閱耗時(shí)耗力,以人工方式進(jìn)行檢索,效率低下。主要表現(xiàn)在：在案發(fā)后對(duì)海量涉案視頻信息的調(diào)閱過(guò)程耗時(shí)嚴(yán)重,所需人員投入量巨大并隨著案情的復(fù)雜程度遞增；原始涉案視頻質(zhì)量參差不齊,有時(shí)還需要另外工具和受過(guò)專業(yè)圖像處理訓(xùn)練的人員。因此,對(duì)海量涉案視頻的調(diào)閱,對(duì)人的體能和精力都是極大的考驗(yàn),從而直接導(dǎo)致檢索效率下降,無(wú)法有效地快速瀏覽視頻、定位目標(biāo)。運(yùn)用視頻圖像轉(zhuǎn)碼技術(shù),可以將非標(biāo)格式圖像轉(zhuǎn)換成標(biāo)準(zhǔn)格式,便于開(kāi)展統(tǒng)一視頻圖像信息采集和建庫(kù)管理；基于視頻摘要技術(shù)處理后,整合形成的摘要視頻遠(yuǎn)遠(yuǎn)短于原始視頻,從而縮短了人工調(diào)閱的時(shí)間,便于快速鎖定目標(biāo),快速提取線索信息,截取可疑目標(biāo)出現(xiàn)和消失的視頻片段,并與警務(wù)數(shù)據(jù)庫(kù)進(jìn)行圖片或視頻的關(guān)聯(lián)標(biāo)注保存。這樣當(dāng)有案件需要檢索線索時(shí)可直接查看標(biāo)注圖片或截取視頻,提高了檢索線索的效率。〔3視頻對(duì)網(wǎng)絡(luò)帶寬的瓶頸制約隨著視頻監(jiān)控的聯(lián)網(wǎng)發(fā)展,警務(wù)人員在需要倒查錄像的時(shí)候,都會(huì)采用聯(lián)網(wǎng)下載的方式,這樣雖然提升了辦案的效率,但也帶來(lái)了一些弊端,例如對(duì)網(wǎng)絡(luò)帶寬的依賴,在倒查錄像的時(shí)候需要對(duì)錄像進(jìn)行下載或者以流媒體的方式進(jìn)行查看,無(wú)論采用何種方式,都會(huì)占用非常巨大的網(wǎng)絡(luò)帶寬資源,如果網(wǎng)絡(luò)無(wú)法正常工作或者出現(xiàn)網(wǎng)絡(luò)堵塞等情況,錄像文件往往還有可能出現(xiàn)數(shù)據(jù)丟失的情況,如何擺脫或者降低對(duì)網(wǎng)絡(luò)的依賴以成為了當(dāng)前視頻監(jiān)控市場(chǎng)一個(gè)迫切需要解決的難題?！?視頻結(jié)構(gòu)化建庫(kù)不足目前,各地都在積極探索建立視頻信息庫(kù),對(duì)各部門、警種關(guān)注的視頻圖像信息進(jìn)行整理、分類存儲(chǔ)。但是,在實(shí)際工作中,由于視頻信息的非結(jié)構(gòu)化、多語(yǔ)義性,所建的視頻信息庫(kù),只能對(duì)案件進(jìn)行簡(jiǎn)單標(biāo)注,各地仍然以人工查看為主。近年來(lái),視頻特征提取、視頻結(jié)構(gòu)化分析、視頻索引、視頻檢索等技術(shù)已經(jīng)取得了明顯的進(jìn)步,但在整合應(yīng)用上還有距離,還沒(méi)有形成一個(gè)成熟的工作平臺(tái)和應(yīng)用體系。因此,充分利用視頻結(jié)構(gòu)化分析、視頻摘要等圖像處理技術(shù),從案事件證據(jù)的角度,建立案事件視頻證據(jù)庫(kù),用來(lái)存儲(chǔ)從視頻監(jiān)控系統(tǒng)中提取的視頻片段和圖像特征信息,構(gòu)建以視頻圖像共享應(yīng)用為核心的工作平臺(tái),對(duì)強(qiáng)化公安機(jī)關(guān)視頻圖像信息資源的綜合開(kāi)發(fā)利用,提升公安機(jī)關(guān)的核心戰(zhàn)斗力具有積極的現(xiàn)實(shí)意義。圖偵系統(tǒng)是吳江市"1+X"視頻監(jiān)控系統(tǒng)項(xiàng)目建設(shè)的核心系統(tǒng),系統(tǒng)建設(shè)的部分成果,例如視頻摘要子系統(tǒng)、視頻檢測(cè)子系統(tǒng)等,已經(jīng)在吳江市公安局進(jìn)行試用,效果滿足公安實(shí)戰(zhàn)需要,有關(guān)基層公安機(jī)關(guān)視頻巡邏、視頻取證、視頻研判、新機(jī)制也在逐步推進(jìn)之中。1.2.項(xiàng)目研究的目的本文將整合運(yùn)用視頻結(jié)構(gòu)化、視頻摘要和數(shù)據(jù)挖掘等先進(jìn)技術(shù),研究構(gòu)建視頻圖像信息共享偵查應(yīng)用系統(tǒng)〔以下簡(jiǎn)稱"圖偵系統(tǒng)",提供覆蓋視頻業(yè)務(wù)從"采集"、"研判"到"保存"、"管理"、"應(yīng)用"的全局能力支撐,使視頻圖像成為重要的案件偵破手段和情報(bào)來(lái)源,前瞻性地推進(jìn)視頻監(jiān)控系統(tǒng)建設(shè)由"信息"到"情報(bào)"的演進(jìn),并將最終為基層公安民警提供一個(gè)"貼近實(shí)戰(zhàn)、研判高效、管理有序"全局性的視頻研判作業(yè)環(huán)境。主要目標(biāo)如下：1、對(duì)接視頻監(jiān)控聯(lián)網(wǎng)系統(tǒng),實(shí)現(xiàn)對(duì)聯(lián)網(wǎng)監(jiān)控視頻圖像的統(tǒng)一采集、調(diào)取,進(jìn)行案事件視頻處理、研判、統(tǒng)一管理、圖像要素布控等提供技術(shù)手段。2、滿足案事件現(xiàn)場(chǎng)移動(dòng)視頻圖像采集,實(shí)現(xiàn)案事件現(xiàn)場(chǎng)視頻圖像處理、現(xiàn)場(chǎng)研判；能夠快速對(duì)現(xiàn)場(chǎng)周邊圖像進(jìn)行采集、視頻轉(zhuǎn)碼播放、視頻屬性編輯等。3、能夠?qū)崿F(xiàn)視頻的結(jié)構(gòu)化分析,具有視頻摘要、視頻索引、視頻檢索、視頻編輯、圖片處理等多種視頻圖像處理手段,提高視頻自動(dòng)分析能力。4、實(shí)現(xiàn)基于PGIS系統(tǒng)資源,實(shí)現(xiàn)案事件視頻圖像軌跡標(biāo)注、作案路線推演。同時(shí)通過(guò)電子地圖,快速調(diào)取需要關(guān)注的監(jiān)控點(diǎn)、監(jiān)控區(qū)域圖像以及警務(wù)資源。5、對(duì)接警務(wù)綜合信息系統(tǒng),建立視頻圖像信息證據(jù)數(shù)據(jù)庫(kù),為全警日常警務(wù)工作中收集到的可疑或涉案圖像資源提供統(tǒng)一的資源管理及存儲(chǔ)空間。為重要信息的收集與查詢、關(guān)聯(lián)資源的碰撞、串并案分析研判提供基礎(chǔ)環(huán)境?？傊?通過(guò)構(gòu)建和部署應(yīng)用圖偵系統(tǒng),要求能夠：〔1快速鎖定突發(fā)事件的嫌疑目標(biāo)；〔2快速標(biāo)定嫌疑目標(biāo)的運(yùn)動(dòng)軌跡；〔3發(fā)現(xiàn)潛在破案線索—可以有更多的機(jī)會(huì)審視更長(zhǎng)的錄像文件,發(fā)現(xiàn)更多的破案信息。從而,使公安機(jī)關(guān)能夠：〔1縮短破案時(shí)間,節(jié)省辦案人員；〔2降低警員勞動(dòng)強(qiáng)度,降低辦案成本；〔3極大提升辦案效率。1.3.國(guó)內(nèi)外應(yīng)用研究現(xiàn)狀在形式上,視頻數(shù)據(jù)具有非結(jié)構(gòu)化、內(nèi)容多義性和流媒體傳播的特征。因此,視頻數(shù)據(jù)不同于傳統(tǒng)數(shù)據(jù)庫(kù)所處理的數(shù)據(jù)類型,它不是一種簡(jiǎn)單的數(shù)值或字符型數(shù)據(jù),傳統(tǒng)數(shù)據(jù)庫(kù)中對(duì)字符或數(shù)值型數(shù)據(jù)的處理方法己經(jīng)完全不能適應(yīng)對(duì)視頻數(shù)據(jù)的處理要求。長(zhǎng)期以來(lái),人們只能以流媒體的方式按時(shí)間段來(lái)存儲(chǔ)視頻數(shù)據(jù)。同時(shí),由于數(shù)據(jù)量龐大、非結(jié)構(gòu)化形式,視頻數(shù)據(jù)存儲(chǔ)代價(jià)昂貴難以長(zhǎng)期保存,也不具備傳統(tǒng)數(shù)據(jù)庫(kù)的結(jié)構(gòu)化管理能力,嚴(yán)重阻礙了用戶的交互操作使用。為此,隨著視頻監(jiān)控系統(tǒng)在社會(huì)治安防控體系中應(yīng)用的日益廣泛,視頻監(jiān)控系統(tǒng)的深度應(yīng)用研究越來(lái)越成為人們的關(guān)注和研究的熱點(diǎn),國(guó)內(nèi)外許多研究機(jī)構(gòu)和單位開(kāi)展相應(yīng)的研究。1.3.1國(guó)外應(yīng)用研究現(xiàn)狀在國(guó)外,對(duì)視頻結(jié)構(gòu)化分析、摘要技術(shù)的研究起步稍早一點(diǎn),1994年,卡內(nèi)基梅隆大學(xué)就己經(jīng)開(kāi)始研發(fā)視頻數(shù)據(jù)庫(kù)系統(tǒng),該系統(tǒng)在視頻摘要方面有非常系統(tǒng)而深入的研究。它更注重縮略視頻的生成,即怎樣從一段長(zhǎng)視頻中抽取出視音頻信息生成能夠表達(dá)原視頻語(yǔ)義內(nèi)容的精簡(jiǎn)視頻。特別地,它運(yùn)用了熟知的TF-IDF方法從腳本中抽取文字。之后,Mannheim大學(xué)也做了與hiformed系統(tǒng)類似的研究。他們研究出的系統(tǒng)MOCA主要針對(duì)的是電影,能生成電影的精彩場(chǎng)景亦或是預(yù)告片[2]。近年來(lái),國(guó)際上有許多研究機(jī)構(gòu)開(kāi)展了深入的研究,有微軟研究院<張宏江、馬宇飛和YongRui等人>、IBM研究院<JohnR.Smith等人>、北卡州立大學(xué)<JianpingFan等人>、南洋理工大學(xué)<Yap-PengTan等人>等,并產(chǎn)生了一些"基于內(nèi)容"原型系統(tǒng)。例如,IBMAlmaden研究中心研究開(kāi)發(fā)的QBIC系統(tǒng)[3],是"基于內(nèi)容"檢索系統(tǒng)的典型代表。QBIC系統(tǒng)允許使用例子圖像、用戶構(gòu)建的草圖和圖畫及其選擇的顏色和紋理模式、鏡頭和目標(biāo)運(yùn)動(dòng)等圖形信息,對(duì)大型圖像和視頻數(shù)據(jù)庫(kù)進(jìn)行查詢。QBIC技術(shù)集成語(yǔ)音識(shí)別的成果,形成CueVidco系統(tǒng)。WebSeek系統(tǒng)[4]是美國(guó)哥倫比亞大學(xué)研究開(kāi)發(fā)的一種基于內(nèi)容的多媒體搜索引擎的原型系統(tǒng),它通過(guò)提取圖像/視頻的顏色、紋理以及文本等特征實(shí)現(xiàn)了運(yùn)行于網(wǎng)絡(luò)環(huán)境下的基于內(nèi)容的圖像/視頻檢索[5]。目前,國(guó)外視頻內(nèi)容結(jié)構(gòu)化技術(shù)在警務(wù)工作中普及應(yīng)用、成熟應(yīng)用的案例仍鮮見(jiàn)報(bào)道。1.3.2國(guó)內(nèi)應(yīng)用研究現(xiàn)狀對(duì)于國(guó)內(nèi)來(lái)說(shuō),關(guān)于基于內(nèi)容的視頻結(jié)構(gòu)化技術(shù)的研究起步比較晚,從20世紀(jì)90年代后期開(kāi)始,才逐漸受到多媒體研究領(lǐng)域的關(guān)注,因此,相應(yīng)的技術(shù)水平較國(guó)外有一定的差距。近年來(lái),為滿足案件偵查、治安管理工作的需要,國(guó)內(nèi)一些公安機(jī)關(guān)還專門組建了視頻偵查部門,探索建立視頻數(shù)據(jù)庫(kù),對(duì)視頻圖像信息進(jìn)行整理、分類存儲(chǔ)。但是,目前由于視頻的非結(jié)構(gòu)化、多語(yǔ)義性和大數(shù)據(jù)量,加上案事件偵查對(duì)智能化手段應(yīng)用的嚴(yán)密性、成熟度要求高,在實(shí)際工作中仍然以人工調(diào)閱為主,在視頻信息的結(jié)構(gòu)化、體系化共享、整合應(yīng)用上還在探索、實(shí)踐階段,相關(guān)的產(chǎn)品和案例不多,還沒(méi)有形成統(tǒng)一的平臺(tái)應(yīng)用模式。具體表現(xiàn)在：〔1在視頻數(shù)據(jù)采集上,大量的視頻數(shù)據(jù)主要在案事件發(fā)生以后,根據(jù)案件進(jìn)行事后視頻調(diào)閱、查看采集為主,而在線實(shí)時(shí)采集主要運(yùn)用于道路通行車輛的車牌抓拍識(shí)別,對(duì)其他方面的識(shí)別運(yùn)用較少?！?在視頻數(shù)據(jù)庫(kù)建設(shè)上,目前各地所建的視頻數(shù)據(jù)庫(kù)主要是對(duì)截取的視頻片段進(jìn)行簡(jiǎn)單的案件關(guān)聯(lián)標(biāo)注,以原始視頻媒體的方式存儲(chǔ),只能通過(guò)案件進(jìn)行關(guān)聯(lián)查詢,視頻檢索仍然靠人工查看方式?！?在軟硬件產(chǎn)品上,受制于圖像識(shí)別、成像環(huán)境等的復(fù)雜性,目前國(guó)內(nèi)基于視頻圖像系統(tǒng)的設(shè)備大都以圖像傳輸為主的,用于視頻摘要、證據(jù)提取上的產(chǎn)品較少。目前,主要有XX省公安廳研發(fā)的VCS視頻圖像采集摘要比對(duì)器[1]、北京能通公司的S80視頻取證終端、XX索貝科技公司的i3DSP視頻偵查器等產(chǎn)品?！?在應(yīng)用平臺(tái)建設(shè)上,目前各地都在積極整合運(yùn)用先進(jìn)的視頻特征提取、結(jié)構(gòu)化分析、視頻摘要等技術(shù),結(jié)合警務(wù)工作,探索建立規(guī)范化、系統(tǒng)性視頻信息共享工作平臺(tái)。例如,XXXX、XX等地公安機(jī)關(guān)已經(jīng)在探索建立圖偵系統(tǒng),XX吳江市公安局研發(fā)的視頻圖像智能分析系統(tǒng),能夠?qū)?小時(shí)普通視頻錄像,經(jīng)處理形成不到5分鐘的摘要視頻,且不會(huì)丟失有效運(yùn)動(dòng)對(duì)象,便于快速定位嫌疑目標(biāo)。2000年以來(lái),國(guó)內(nèi)大學(xué)、研究機(jī)構(gòu)積極開(kāi)展視頻內(nèi)容結(jié)構(gòu)化領(lǐng)域的理論與實(shí)踐研究,取得了一些積極成果。比較典型的視頻檢索系統(tǒng)有:國(guó)防科技大學(xué)研制開(kāi)發(fā)的NewVidcoCAR和MIRC系統(tǒng)[6],主要用于對(duì)對(duì)新聞節(jié)目和多媒體數(shù)據(jù)庫(kù)進(jìn)行查詢和檢索多媒體信息；由清華大學(xué)研發(fā)的TV-FI系統(tǒng)[7],是一個(gè)視頻節(jié)目綜合管理系統(tǒng),提供瀏覽、查詢等多種模式的視頻數(shù)據(jù)訪問(wèn)方式；中科院計(jì)算技術(shù)研究所開(kāi)發(fā)的MIRES<MultimediaInformationRetrievalSystern>系統(tǒng)[8],是一個(gè)基于特征的多媒體信息檢索系統(tǒng),該系統(tǒng)實(shí)現(xiàn)了基于內(nèi)容的圖像檢索及文本檢索,同時(shí)還可以應(yīng)用于視頻檢索等相關(guān)應(yīng)用領(lǐng)域。目前,國(guó)內(nèi)"基于內(nèi)容"視頻數(shù)據(jù)檢索方面,已經(jīng)形成了由視頻特征提取、結(jié)構(gòu)化分析、視頻摘要,以及視頻檢索和瀏覽等五項(xiàng)關(guān)鍵技術(shù)組成的視頻數(shù)據(jù)檢索系統(tǒng),其處理流程如圖1-2所示。圖1-2基于內(nèi)容的視頻數(shù)據(jù)檢索系統(tǒng)處理流程1.4.主要工作本文對(duì)視頻信息的規(guī)范化采集、結(jié)構(gòu)化存儲(chǔ)和全局性共享等問(wèn)題進(jìn)行了研究與分析,提出基于視頻內(nèi)容結(jié)構(gòu)化分析理論,整合先進(jìn)的視頻特征提取、視頻結(jié)構(gòu)化、視頻摘要、視頻索引等圖像處理技術(shù),按照"一個(gè)證據(jù)中心,兩個(gè)核心應(yīng)用"方式來(lái)構(gòu)建圖偵系統(tǒng)的技術(shù)方案和應(yīng)用模式,使圖像處理技術(shù)成為案事件的偵破手段和情報(bào)來(lái)源,推進(jìn)視頻圖像監(jiān)控系統(tǒng)建設(shè)由"信息"到"情報(bào)"的演進(jìn)。主要工作包括：〔1分析了當(dāng)前公安圖偵工作的困難和制約,研究了視頻圖像從采集、研判、管理的一體化應(yīng)用工作模式,基于視頻內(nèi)容結(jié)構(gòu)化分析技術(shù),提出了"視頻證據(jù)中心、視頻圖像取證、視頻研判分析"為框架網(wǎng)偵系統(tǒng)研發(fā)思路?！?針對(duì)當(dāng)前圖偵工作信息化的迫切需求,結(jié)合警務(wù)實(shí)際,以視頻采集、證據(jù)管理、研判應(yīng)用為業(yè)務(wù)主線,從各個(gè)層面研究圖偵系統(tǒng)建設(shè)的總體技術(shù)方案,設(shè)計(jì)了系統(tǒng)研發(fā)的體系架構(gòu)、邏輯架構(gòu)、數(shù)據(jù)架構(gòu)、基本功能,以及與外部系統(tǒng)之間的關(guān)系?！?針對(duì)非結(jié)構(gòu)化視頻建庫(kù)的不足,從警務(wù)一體化的角度和人、車、物基本要素入手,研究并設(shè)計(jì)了視頻結(jié)構(gòu)化證據(jù)庫(kù)的建庫(kù)模型,包括證據(jù)庫(kù)的體系結(jié)構(gòu)、視頻數(shù)據(jù)結(jié)構(gòu)化定義、對(duì)外數(shù)據(jù)交互方式,以及證據(jù)庫(kù)管理的基本功能?！?為提升圖偵手段的應(yīng)用水平,研究分析了圖偵工作的關(guān)鍵業(yè)務(wù)角色、業(yè)務(wù)環(huán)節(jié)和主要業(yè)務(wù)流程,明確了視頻取證、情報(bào)研判對(duì)圖偵系統(tǒng)的基本功能需求,整合運(yùn)用視頻結(jié)構(gòu)化、視頻摘要、視頻索引等先進(jìn)技術(shù),進(jìn)行了應(yīng)用軟件的設(shè)計(jì)和實(shí)現(xiàn)。使用結(jié)果表明,基于視頻結(jié)構(gòu)化開(kāi)發(fā)的圖偵系統(tǒng),能夠?qū)崿F(xiàn)視頻監(jiān)控信息的全程篩選,防止有用信息的流失,再造了視頻監(jiān)控及研判應(yīng)用的信息流及業(yè)務(wù)流,有效地支撐了圖偵工作機(jī)制的轉(zhuǎn)型發(fā)展。第二章基礎(chǔ)技術(shù)概述2.1.視頻結(jié)構(gòu)化理論綜述視頻數(shù)據(jù)在形式上是一種完全沒(méi)有結(jié)構(gòu)性的數(shù)據(jù),但是在內(nèi)容上它又有著很強(qiáng)的邏輯結(jié)構(gòu)。一般來(lái)說(shuō),一段視頻由一些描述獨(dú)立故事單元的場(chǎng)景<也稱作故事單元>構(gòu)成：一個(gè)場(chǎng)景由一些語(yǔ)義相關(guān)的鏡頭組成,它們一般發(fā)生在相同的時(shí)間和地點(diǎn),出現(xiàn)相同的人物或事件；一個(gè)鏡頭是由一些連續(xù)的視頻幀構(gòu)成,它由攝像機(jī)一次攝像的開(kāi)始和結(jié)束所決定。視頻結(jié)構(gòu)化分析是指將視頻序列按照其語(yǔ)義內(nèi)容分割為鏡頭、鏡頭類、場(chǎng)景等語(yǔ)義單元,從而實(shí)現(xiàn)視頻序列的層次化組織,使之便于隨機(jī)訪問(wèn)。根據(jù)內(nèi)容粒度的大小,視頻數(shù)據(jù)一般被結(jié)構(gòu)化為從大到小的4個(gè)層次：視頻、場(chǎng)景、鏡頭和圖像幀,如圖2-1所示。圖2-1視頻內(nèi)容的層次組織結(jié)構(gòu)在層次組織的結(jié)構(gòu)化視頻中,各層次的含義和屬性分為為：<1>視頻幀<Frame>：視頻流中的一幅靜態(tài)圖像。幀是視頻數(shù)據(jù)的最小視覺(jué)單位,時(shí)間上連續(xù)的幀合成動(dòng)態(tài)圖像序列。幀的屬性有：直方圖、輪廓圖、DC和AC分量圖等。<2>鏡頭<Shot>：攝像機(jī)在一次從打開(kāi)到關(guān)閉的操作過(guò)程中記錄的一組連續(xù)圖像幀。鏡頭是視頻數(shù)據(jù)的基本單位。鏡頭屬性有：持續(xù)時(shí)間、開(kāi)始幀號(hào)、結(jié)束幀號(hào)、代表幀集合、特征空間等。<3>場(chǎng)景<scene>：在時(shí)間和空間上連續(xù)的視頻背景,由多個(gè)連續(xù)的鏡頭組成,描述一段具體的語(yǔ)義內(nèi)容。場(chǎng)景也稱為故事單元<StoryUnit>。場(chǎng)景的屬性有：標(biāo)題、持續(xù)時(shí)間、鏡頭數(shù)目、開(kāi)始鏡頭和結(jié)束鏡頭等。<4>視頻<Video>：原始的視頻數(shù)據(jù)?？梢园粋€(gè)或多個(gè)場(chǎng)景。視頻流的屬性有：場(chǎng)景個(gè)數(shù)和持續(xù)時(shí)間等。從時(shí)間軸上看,視頻是由一系列連續(xù)的圖像幀和相應(yīng)音頻構(gòu)成的集合,集合中的基本元素是圖像幀。視頻數(shù)據(jù)的結(jié)構(gòu)化就是對(duì)視頻在時(shí)間上的層次分割,完成原始的非結(jié)構(gòu)化的視頻流到結(jié)構(gòu)化的視頻實(shí)體的轉(zhuǎn)換。結(jié)構(gòu)化將視頻基本元素圖像幀劃分為多個(gè)子集,成為不同層次上的結(jié)構(gòu)實(shí)體。其中,視頻文件和幀是視頻數(shù)據(jù)本身所擁有的物理層次,而場(chǎng)景和鏡頭則是概念上的層次。劃分的基本問(wèn)題是鏡頭邊界和場(chǎng)景邊界檢測(cè)問(wèn)題<scene-change-Detection,SCD>,鏡頭檢測(cè)使用顏色直方圖、邊緣、運(yùn)動(dòng)以及統(tǒng)計(jì)信息的方法來(lái)識(shí)別攝像機(jī)的運(yùn)動(dòng)；場(chǎng)景識(shí)別可以通過(guò)鏡頭背景相似度和音頻特性的內(nèi)容來(lái)識(shí)別。越是高級(jí)層次的劃分越是困難,例如：故事單元的劃分,其物理特征的區(qū)別并不明顯,需要一些高級(jí)語(yǔ)義的輔助,其劃分的有效性依賴于知識(shí)庫(kù)以及基于知識(shí)的判斷等人工智能技術(shù)的發(fā)展。視頻的組織過(guò)程是從最底層的圖像幀開(kāi)始,借助于鏡頭檢測(cè),將圖像幀組合聚合為鏡頭；通過(guò)背景、音頻等特性將一系列語(yǔ)義相關(guān)、時(shí)間相鄰的鏡頭組合為場(chǎng)景；再通過(guò)一些高層的語(yǔ)義知識(shí)將場(chǎng)景結(jié)合為故事。可見(jiàn),視頻數(shù)據(jù)的組織劃分過(guò)程就是視頻流的不斷抽象的過(guò)程。2.1.1基于鏡頭的結(jié)構(gòu)化分析1993年Zhang[12]首次提出了鏡頭邊界檢測(cè)的思想,奠定了鏡頭邊界檢測(cè)的基礎(chǔ)。基本可以概括為三個(gè)步驟:視頻幀的特征提取,幀間差的計(jì)算,選取準(zhǔn)則確定這些差異并判定鏡頭邊界,包括選取適當(dāng)?shù)拈y值。直方圖特征的提取是應(yīng)用最為廣泛的特征,在多種顏色空間中,例如RGB,YUV或是HSV,把每一維的信息量化為N個(gè)槽<bin>,然后統(tǒng)計(jì)屬于每個(gè)槽內(nèi)的像素個(gè)數(shù),然后進(jìn)行歸一化便得到幀的顏色直方圖特征。由于直方圖特征的統(tǒng)計(jì)特性,對(duì)顏色分布的很好描述,所以幀間差的計(jì)算方法多大依靠直方圖特征。一般情況下,當(dāng)差值超過(guò)某一閾值時(shí),認(rèn)為存在一個(gè)鏡頭邊界。顏色直方圖的比較有如下比較方式,如式<2-1>,式<2-2>和式<2-3>所示。2.1.2基于關(guān)鍵幀的結(jié)構(gòu)化分析關(guān)鍵幀具有代表性,利用關(guān)鍵幀來(lái)描述鏡頭、場(chǎng)景或是整段視頻,以作為結(jié)構(gòu)化分析的基礎(chǔ)。這樣能保留視頻內(nèi)容的主要信息,可以減少冗余信息的計(jì)算。Taniguchi[16]采用等間隔采樣的方法,按照一定的時(shí)間段抽取關(guān)鍵幀。這種做法的優(yōu)點(diǎn)是計(jì)算簡(jiǎn)單、速度快,但是造成選取的關(guān)鍵幀過(guò)多,且不具有代表性的缺點(diǎn)。后來(lái),他[17]又直接選取每個(gè)鏡頭的第一幀或是最后一幀作為鏡頭的關(guān)鍵幀。Yeung[18]等人提出在一個(gè)鏡頭中先將第一幀作為關(guān)鍵幀,隨后的幀與當(dāng)前的關(guān)鍵幀進(jìn)行顏色特征的比較,超過(guò)某一閾值的,則再選取一個(gè)關(guān)鍵幀,重復(fù)上面的比較,就可完成鏡頭內(nèi)的關(guān)鍵幀的抽取。2.1.3基于場(chǎng)景聚類的結(jié)構(gòu)化分析場(chǎng)景就是具有相同語(yǔ)義特性的鏡頭組,許多研究者利用比較鏡頭相似度的方法,把相關(guān)的鏡頭聚類成場(chǎng)景[19],來(lái)進(jìn)行場(chǎng)景分割。時(shí)間固定的鏡頭聚類算法[20]和時(shí)間自適應(yīng)分組法[21],也是場(chǎng)景分割算法的代表性工作。前者在一個(gè)特定時(shí)間窗口內(nèi),利用里邊的視頻幀來(lái)計(jì)算鏡頭的相似性,而窗口外的鏡頭的相似性則不予考慮,聚類效果由于時(shí)間的限制具有不完全的確定。后者提出了時(shí)間自適應(yīng)分組法,克服了固定時(shí)間聚類算法的不足,把兩個(gè)鏡頭之間的時(shí)間距離也作為鏡頭相似度的考慮因素,距離越大,相似度越小。另外,AlanHanjalic和WallapakTavanapong采用了圖像分塊的方法來(lái)計(jì)算鏡頭相似性度量,從而聚類算法來(lái)構(gòu)造場(chǎng)景,因?yàn)閳D像的每個(gè)區(qū)域都從不同角度體現(xiàn)視頻場(chǎng)景的特征。Hanjalic對(duì)鏡頭的關(guān)鍵幀圖像合并,得到新的一幅圖像,并對(duì)其進(jìn)行分塊,以塊為最小單元,這樣代表兩個(gè)鏡頭的兩幅新圖像,求出他們中距離相似度最大的N個(gè)塊的距離值,平均后作為鏡頭之間的相似度,鏡頭聚類是基于重疊鏈接的算法<OverlappingLinksConnectingSimilarShots>。他還介紹了一種用于自動(dòng)提取視頻摘要的聚類方法。類似的,WallapakTavanapong則直接把靜態(tài)幀圖像分成幾個(gè)區(qū)域,然后通過(guò)依次比較對(duì)應(yīng)區(qū)域之間的相似度來(lái)確定鏡頭的相似度,也利用鏡頭鏈算法提取場(chǎng)景。Chong-wahNgo等[26]使用張量直方圖提取運(yùn)動(dòng)特征,再利用K-means算法來(lái)對(duì)體育視頻進(jìn)行了聚類和檢索。Vailaya等提出了基于類別的視頻塊檢索方法。胡曉峰等[28]提出了基于HSV顏色直方圖特征提取的自校正鏡頭聚類算法。目前,國(guó)內(nèi)外學(xué)者對(duì)基于場(chǎng)景聚類的結(jié)構(gòu)化分析方法,如顏色、紋理、形狀、動(dòng)態(tài)、頻度等視頻圖像特征,已經(jīng)進(jìn)行了廣泛而深入的研究,取得了重大進(jìn)展,為視頻內(nèi)容的結(jié)構(gòu)化分析技術(shù)的廣泛應(yīng)用奠定的強(qiáng)有力理論及技術(shù)基礎(chǔ)。2.2.視頻摘要技術(shù)綜述所謂"視頻摘要技術(shù)",簡(jiǎn)單地說(shuō),就是通過(guò)計(jì)算機(jī)自動(dòng)處理技術(shù),對(duì)視頻的內(nèi)容和結(jié)構(gòu)進(jìn)行分析,并從原視頻內(nèi)容中提取出用戶需要的信息,通過(guò)再整合后形成摘要視頻。摘要視頻遠(yuǎn)遠(yuǎn)短于原始視頻,如果一個(gè)視頻摘要能夠做到盡量準(zhǔn)確和充分,那么就能夠讓用戶在最短時(shí)間內(nèi)獲得最關(guān)鍵的信息,極大地提高效率。這樣,當(dāng)發(fā)生重特大案事件時(shí),需要調(diào)取大量監(jiān)控?cái)z像頭的視頻錄像,按照原來(lái)人工的方式,需要安排數(shù)十上百民警不分晝夜連續(xù)觀看成千上萬(wàn)小時(shí)的視頻錄像,以期發(fā)現(xiàn)短短幾秒的視頻線索,工作強(qiáng)度和壓力是巨大。近年來(lái),國(guó)內(nèi)外在視頻摘要技術(shù)等方面的研究取得了快速進(jìn)展,許多新技術(shù)應(yīng)用日益成熟。例如,顧諍、智敏、劉彩云等分別提出了一種新穎的基于近鄰傳播聚類和頻繁鏡頭、基于場(chǎng)景、對(duì)象的視頻摘要生成方法。依托先進(jìn)的視頻摘要技術(shù),可以大大縮短視頻查看時(shí)間,可以快速提取線索、鎖定可疑目標(biāo)。聯(lián)想在自然語(yǔ)言處理<NLP,NaturalLanguageProcessing>研究領(lǐng)域,"主題"是表示文本內(nèi)容的重要方式,文本的主題抽取在NLP中是的基礎(chǔ)性的工作,即從文本中抽取出特征詞組成若干主題句,用以概括文本的主要內(nèi)容。在視頻處理領(lǐng)域與文本的主題抽取類似,視頻摘要<VideoSynopsis>,又稱視頻主題抽取<VideoAbstraction,VideoSummarization>,即用一段很短的視頻對(duì)原始視頻中的內(nèi)容進(jìn)行高度概括,通過(guò)觀看這段短視頻,就能知道整個(gè)視頻的大概內(nèi)容。根據(jù)摘要信息表現(xiàn)形式的不同,可以把視頻摘要技術(shù)分為靜態(tài)圖像摘要<VideoSummary>和動(dòng)態(tài)圖像摘要<VideoSkim>兩種基本類型[32]。經(jīng)過(guò)摘要以后的縮略視頻由于含有豐富的時(shí)間以及音頻信息,因而更加符合用戶的感知。2.2.1靜態(tài)視頻摘要形式靜態(tài)視頻摘要是從原始視頻中剪取或生成的一小部分靜止圖像的集合,這些代表了原始視頻的圖像稱為關(guān)鍵幀<KeyFrame>。<1>標(biāo)題<Titles>：是對(duì)視頻內(nèi)容的一段簡(jiǎn)短的文字描述,這種文本方式的視頻摘要是最簡(jiǎn)潔的形式,便于理解和建立索引,也是一種高度抽象的表達(dá)形式。標(biāo)題形式的視頻摘要往往需要人工來(lái)完成,計(jì)算機(jī)不能自動(dòng)生產(chǎn)能夠準(zhǔn)確概括視頻片斷內(nèi)容的文字描述。通常也可以通過(guò)計(jì)算機(jī)自動(dòng)字幕識(shí)別和視頻伴隨語(yǔ)音識(shí)別,來(lái)進(jìn)一步分析生成摘要文字。<2>關(guān)鍵幀<KeyFrame>．是指從原視頻中抽取或生成一幅或幾幅靜態(tài)圖像,能夠部分地表達(dá)視頻的語(yǔ)義信息?；陉P(guān)鍵幀的摘要比標(biāo)題形式的摘要更能從視覺(jué)的角度為用戶提供更加直觀的可視信息。但這種方式只能反映某一時(shí)刻視頻的靜態(tài)內(nèi)容,不能展示視頻的時(shí)間和動(dòng)態(tài)特性。因此,它一般適合于表現(xiàn)景物內(nèi)容相似的鏡頭和場(chǎng)景的視覺(jué)特征。另外,關(guān)鍵幀形式的摘要對(duì)其他形式的靜態(tài)視頻摘要以及動(dòng)態(tài)的縮略視頻的生成也有很大的參考價(jià)值,因此,多年來(lái)一直受到研究人員的關(guān)注。<3>故事板<StoryBoard>：將多幀從視頻片段中抽取出的圖像及標(biāo)題按時(shí)間順序排列起來(lái)就形成了故事板。它可以向用戶提供視頻的總體描述,在瀏覽過(guò)程中也可以方便地定位到視頻中感興趣的部分。故事板不僅能表達(dá)視頻視覺(jué)上的信息,同時(shí)還能反映視頻的時(shí)間信息,更能體現(xiàn)視頻的豐富內(nèi)容。在實(shí)際應(yīng)用中故事本通常與文本標(biāo)題相結(jié)合,更利于瀏覽和檢索。<4>場(chǎng)景轉(zhuǎn)移圖<STG>。場(chǎng)景轉(zhuǎn)移圖反映了視頻內(nèi)容的場(chǎng)景轉(zhuǎn)移,它用一種簡(jiǎn)潔可視的方式來(lái)表現(xiàn)視頻數(shù)據(jù),可以對(duì)視頻進(jìn)行層次化的非線性瀏覽。場(chǎng)景轉(zhuǎn)移圖是一個(gè)有向圖,節(jié)點(diǎn)代表含有相似鏡頭的聚類,兩個(gè)鏡頭之間的關(guān)系用邊來(lái)描述,表示鏡頭的先后順序。節(jié)點(diǎn)與邊共同構(gòu)成了場(chǎng)景圖,反映視頻內(nèi)容的場(chǎng)景轉(zhuǎn)移。場(chǎng)景轉(zhuǎn)移圖僅僅對(duì)視頻內(nèi)容進(jìn)行了有效的靜態(tài)描述。<5>幻燈片<SlideShow>：音頻對(duì)于用戶理解視頻的內(nèi)容有著非常重要的作用,幻燈片是伴隨音頻的時(shí)間序列幀,它們是關(guān)鍵幀集合的子集?；脽羝峁┝艘环N相對(duì)動(dòng)態(tài)的摘要機(jī)制,相對(duì)其他動(dòng)態(tài)視頻摘要,比較適合在低帶寬的網(wǎng)絡(luò)環(huán)境下使用。2.2.2動(dòng)態(tài)視頻摘要形式動(dòng)態(tài)視頻摘要是由一些圖像序列以及對(duì)應(yīng)的音頻組成,它本身就是一個(gè)視頻片段,同時(shí)比原始視頻短的多。<1>縮略視頻<VideoSkim>：是對(duì)原視頻內(nèi)容的剪輯。它本身也是一段視頻,由原視頻中的一些片段拼接而成?？s略視頻保留了原視頻的基本風(fēng)格,具有更好的動(dòng)態(tài)性和連貫性?？s略視頻是動(dòng)態(tài)視頻摘要的主要形式,一般包含了原視頻中主要人物、主要事件片斷,故事的開(kāi)頭和結(jié)尾和精彩片段,也會(huì)包含關(guān)鍵的字幕內(nèi)容。縮略視頻廣泛應(yīng)用于影視預(yù)告片、網(wǎng)絡(luò)視頻點(diǎn)播、交互電視和新聞節(jié)目制作等領(lǐng)域。<2>多媒體影片摘要<MultimediaFilmsSummary>：是在縮略視頻摘要的基礎(chǔ)上加入了文字、鏡頭圖像等其他信息,是一種由多種媒體形式組成的影片內(nèi)容表現(xiàn)方式。例如,在一個(gè)電影的主題網(wǎng)頁(yè)中,可能包含文字形式的簡(jiǎn)介、聲音形式的精彩對(duì)白、視頻形式的精彩片段等。這種形式提供了更加豐富的影片內(nèi)容表現(xiàn),同時(shí)也為用戶提供了多種瀏覽和檢索影片的方式。2.2.3視頻摘要的生成過(guò)程盡管視頻摘要的形式有多種多樣,采用的算法也不相同,但視頻摘要的生成通常都經(jīng)過(guò)這樣幾個(gè)步驟：<1>視頻數(shù)據(jù)的結(jié)構(gòu)化分析：將原始的視頻流劃分為合理的結(jié)構(gòu)單位,形成視頻內(nèi)容的層次模型,并得到視頻內(nèi)容對(duì)象的相關(guān)描述。比如視頻數(shù)據(jù)采用不同的邊界檢測(cè)算法被分割為鏡頭、場(chǎng)景等。<2>視頻內(nèi)容的提?。阂曨l中包含了許多能夠?yàn)槿祟惛泄僦苯诱J(rèn)知但不能被計(jì)算機(jī)直接識(shí)別的內(nèi)容,例如字幕、語(yǔ)音、人臉等等。還有一些是需要借助人類的高級(jí)思維才能被認(rèn)知的信息,例如情感、氣氛等等,對(duì)這些信息,計(jì)算機(jī)更是無(wú)能為力。視內(nèi)容的抽取,就是采用模式識(shí)別或視頻結(jié)構(gòu)探測(cè)的方法,獲取能夠被計(jì)算機(jī)直接處理,或能夠被人的感觀直接感覺(jué)到的信息,是獲得視頻摘要的基本條件。目前,視頻內(nèi)容抽取技術(shù)主要包括自動(dòng)語(yǔ)音識(shí)別技術(shù)、人臉探測(cè)與人物識(shí)別技術(shù)、字幕探側(cè)與識(shí)別技術(shù)、鏡頭運(yùn)動(dòng)探測(cè)技術(shù)、徽標(biāo)探測(cè)與識(shí)別技術(shù)等。經(jīng)過(guò)多年的研究,這些領(lǐng)域均取得了一定的進(jìn)展。例如,自動(dòng)語(yǔ)音識(shí)別技術(shù)的一些產(chǎn)品比如Microsoft的speechSDK等,對(duì)于干擾較少、發(fā)音標(biāo)準(zhǔn)的語(yǔ)音已經(jīng)有了比較高的識(shí)別率;人臉探測(cè)、跟蹤與識(shí)別的研究更是開(kāi)展得十分廣泛,技術(shù)也趨于成熟。<3>視頻內(nèi)容對(duì)象重要度的評(píng)判：以自動(dòng)或人工提取的視頻內(nèi)容為基礎(chǔ),通過(guò)建立一定的重要度評(píng)判標(biāo)準(zhǔn)或評(píng)判模型,對(duì)視頻對(duì)象重要程度進(jìn)行分級(jí)評(píng)判。根據(jù)不同需求,視頻內(nèi)容重要度的判定也有所不同。一般在生成視頻摘要的過(guò)程中,往往先對(duì)視頻進(jìn)行結(jié)構(gòu)化分析,形成關(guān)于視頻內(nèi)容的層次模型,并得到關(guān)于一些對(duì)象的描述,然后根據(jù)具體的需求結(jié)合我們某些領(lǐng)域知識(shí),對(duì)視頻內(nèi)容對(duì)象的重要程度進(jìn)行判定,選取某些相關(guān)度高,概括性強(qiáng)而又重要程度高的視頻內(nèi)容形成縮略視頻。重要度的判定是一個(gè)比較主觀的過(guò)程,很難用一種定量的方法來(lái)描述摘要效果的好壞。目前研究的原型系統(tǒng)中,大多采用了用戶評(píng)估的方法。這種方法費(fèi)時(shí)費(fèi)力,能否找到一種合理的定量的視頻摘要評(píng)價(jià)標(biāo)準(zhǔn),是一個(gè)值得研究的問(wèn)題。<4>視頻摘要合成和表現(xiàn)：將選擇的重要視頻內(nèi)容對(duì)象以一定的方式組合起來(lái),形成某種形式的視頻摘要,并以可視化的形式將摘要展現(xiàn)出來(lái)。以上四條就是視頻摘要的基本步驟,有關(guān)視頻摘要的研究都是圍繞著這幾個(gè)步驟展開(kāi)的。例如,在視頻分割當(dāng)中包含鏡頭探測(cè)、場(chǎng)景聚類、故事單元探測(cè)等技術(shù);在視頻內(nèi)容提取當(dāng)中包含字幕識(shí)別,人臉識(shí)別等技術(shù)。它們?yōu)楹罄m(xù)的摘要工作提供鋪墊。它們涉及了自然語(yǔ)言處理、人工智能甚至心理學(xué)領(lǐng)域的知識(shí),所用技術(shù)也相對(duì)比較復(fù)雜。2.3.視頻檢索技術(shù)綜述所謂"視頻檢索技術(shù)",就是通過(guò)對(duì)視頻內(nèi)容的分析、表示,提取視頻特征信息,建立視頻結(jié)構(gòu)化數(shù)據(jù)庫(kù)和特征索引,利用被檢索的圖像特征值與數(shù)據(jù)庫(kù)中圖像的特征值進(jìn)行特征的相似性匹配,從而達(dá)到對(duì)圖像檢索的目的。因此,基于內(nèi)容的視頻圖像檢索技術(shù)首先要解決的問(wèn)題就是視頻中圖像內(nèi)容的分析和表示[34]。視頻中圖像內(nèi)容的分析和表示指的是首先提取視頻段中的關(guān)鍵幀,關(guān)鍵幀是這一段視頻中能反映視頻段主要信息的圖像,通過(guò)對(duì)這張圖像像素的顏色、紋理、形狀信息以及像素的相互關(guān)聯(lián)進(jìn)行分析,從而可以得到一系列數(shù)字特征或者描述特征,通過(guò)這些特征可以在一定程度上對(duì)圖像本身的內(nèi)容進(jìn)行描述。然后,利用這些特征值可以對(duì)圖像建立索引,利用被檢索的圖像特征值與數(shù)據(jù)庫(kù)中圖像的特征值進(jìn)行特征的相似性匹配,從而達(dá)到對(duì)圖像檢索的目的。因此,圖像內(nèi)容的描述問(wèn)題實(shí)質(zhì)上是一個(gè)圖像特征值的提取問(wèn)題。2.3.1視頻特征的提取從廣義上來(lái)說(shuō),圖像的特征信息包括文本<比如關(guān)鍵字、注釋>和視覺(jué)特征。圖像的視覺(jué)特征可分為兩類,一類為通用的視覺(jué)特征,另一類為和領(lǐng)域相關(guān)的視覺(jué)特征。第一類用于表示所有圖像共有的特征,與具體的圖像類型或內(nèi)容無(wú)關(guān),主要包括圖像的低級(jí)特征如顏色、紋理、形狀以及圖像的高級(jí)特征如圖像中的字幕等信息；另一類主要建立在對(duì)所表示圖像內(nèi)容的一些先驗(yàn)知識(shí)的基礎(chǔ)上,與實(shí)際應(yīng)用緊密相關(guān),比如,人的指紋特征與面部特征等。從這個(gè)意義上來(lái)說(shuō),基于內(nèi)容的視頻檢索實(shí)質(zhì)上是基于視頻圖像特征檢索的過(guò)程。本文需要采用的是圖像中行人與車輛視覺(jué)特征的提取與匹配技術(shù),主要涉及到圖像的低級(jí)特征。通過(guò)對(duì)視頻進(jìn)行結(jié)構(gòu)化分析,我們通常可以得到四種級(jí)別的視頻單元：場(chǎng)景、鏡頭、事故單元和關(guān)鍵幀。針對(duì)不同的級(jí)別單元,提取單元特征的方法也不完全相同。如果提取的視頻單元為場(chǎng)景,就要提取場(chǎng)景的故事情節(jié)；而對(duì)于鏡頭,就需要對(duì)運(yùn)動(dòng)對(duì)象的特定信息和視頻的運(yùn)動(dòng)信息進(jìn)行提??；在對(duì)關(guān)鍵幀這一層進(jìn)行處理時(shí),一般需要對(duì)圖像提取一些低級(jí)特征,例如顏色、紋理、形狀等。因?yàn)槭鹿蕟卧梢杂梢粋€(gè)或多個(gè)關(guān)鍵幀來(lái)表示,因此在事故單元級(jí)別上的特征提取事實(shí)上也屬于關(guān)鍵幀特征提取的范疇。要在關(guān)鍵幀層次上提取這些低級(jí)特征,相對(duì)比較簡(jiǎn)單,一般可以自動(dòng)提取。而要在場(chǎng)景、鏡頭層次上提取那些屬于視頻高級(jí)語(yǔ)義的圖像特征,就目前的技術(shù)發(fā)展來(lái)看它的提取難度相對(duì)較大,即使可以提取出來(lái),不僅需要大量的人工交互,提取結(jié)果也與關(guān)鍵幀本身的特征信息存在一定誤差。也就是說(shuō)就目前而言,基于鏡頭或場(chǎng)景層次上的提取還不能實(shí)現(xiàn)完全的自動(dòng)提取。2.3.2視頻數(shù)據(jù)庫(kù)技術(shù)在基于內(nèi)容的視頻檢索中,首先要解決的是視頻數(shù)據(jù)存儲(chǔ)與管理這個(gè)最基礎(chǔ)的問(wèn)題,因?yàn)樵诨趦?nèi)容的視頻檢索中需要對(duì)大量的視頻圖像數(shù)據(jù)及圖像的特征描述信息進(jìn)行存儲(chǔ),而這就需要能夠?qū)@些數(shù)據(jù)特征信息支持的數(shù)據(jù)庫(kù)——視頻數(shù)據(jù)庫(kù)<VDB>來(lái)實(shí)現(xiàn)。視頻數(shù)據(jù)庫(kù)與傳統(tǒng)數(shù)據(jù)庫(kù)最主要的區(qū)別在于所處理的數(shù)據(jù)不同。傳統(tǒng)的數(shù)據(jù)庫(kù)一般處理的是一些文本和數(shù)字,因此對(duì)存儲(chǔ)空間的要求不高,并且處理的數(shù)據(jù)都是結(jié)構(gòu)化的。而視頻數(shù)據(jù)庫(kù)一般處理的對(duì)象為視頻、圖片以及特征值等,它們對(duì)存儲(chǔ)空間有較高的要求,并且對(duì)數(shù)據(jù)庫(kù)的抽象與描述能力也有較高要求,因此視頻數(shù)據(jù)庫(kù)技術(shù)是視頻數(shù)據(jù)庫(kù)系統(tǒng)研究的重點(diǎn)。本文將結(jié)合公安圖偵工作需要,分析進(jìn)行視頻圖像數(shù)據(jù)描述與存儲(chǔ)的視頻數(shù)據(jù)庫(kù)模型和數(shù)據(jù)庫(kù)體系結(jié)構(gòu)。根據(jù)視頻數(shù)據(jù)的特性,視頻數(shù)據(jù)庫(kù)系統(tǒng)應(yīng)該具有以下特點(diǎn)：<1>擴(kuò)展性。視頻數(shù)據(jù)庫(kù)系統(tǒng)<VDB>體系結(jié)構(gòu)應(yīng)該是易于擴(kuò)展的、靈活的,以便于支持對(duì)媒體對(duì)象或特征信息進(jìn)行檢索。為了滿足視頻數(shù)據(jù)庫(kù)的這些特殊需求,通常VDB系統(tǒng)應(yīng)該包括大量的數(shù)據(jù)管理模塊和功能實(shí)現(xiàn)模塊,同時(shí)還要具備對(duì)系統(tǒng)進(jìn)行更新或擴(kuò)展時(shí)增加新管理模塊的要求。<2>分布性。因?yàn)橐曨l數(shù)據(jù)庫(kù)中存儲(chǔ)的信息量較大,而且不同的媒體對(duì)信息的使用和檢索方式也可能不同,所以要求VDB一般采用分布式的存儲(chǔ)方式。視頻與圖像的網(wǎng)絡(luò)通信對(duì)于視頻數(shù)據(jù)的分布式訪問(wèn)和存儲(chǔ)具有重要作用。<3>查詢的多解性。傳統(tǒng)性數(shù)據(jù)庫(kù)查詢一般只對(duì)精確的數(shù)據(jù)進(jìn)行查詢。但在視頻數(shù)據(jù)庫(kù)系統(tǒng)中不能只要求精確地?cái)?shù)據(jù)查詢,同時(shí)相似性檢索和非精確性的匹配將占相當(dāng)大甚至多于精確性的比重,尤其是在基于相似度的檢索中。<4>系統(tǒng)的長(zhǎng)事務(wù)處理要求。傳統(tǒng)數(shù)據(jù)庫(kù)中處理的事務(wù)一般都是短小而且精悍的,而在視頻數(shù)據(jù)庫(kù)系統(tǒng)中,僅僅只有短事務(wù)已經(jīng)不能滿足視頻檢索的要求,尤其是在處理視頻圖像數(shù)據(jù)時(shí),比如要對(duì)一段數(shù)小時(shí)長(zhǎng)的視頻查詢結(jié)果進(jìn)行播放,這就要對(duì)數(shù)據(jù)庫(kù)系統(tǒng)對(duì)處理長(zhǎng)事務(wù)的能力有所要求。<5>系統(tǒng)用戶接口的支持。為了體現(xiàn)數(shù)據(jù)庫(kù)查詢的能力,就要求數(shù)據(jù)庫(kù)中面向用戶的接口能夠很好的描述和表示每一種媒體的性質(zhì)。視頻信息檢索的模糊性,就要求能夠提供給用戶方便檢索的描述接口。2.3.3網(wǎng)絡(luò)視頻訪問(wèn)技術(shù)作為視頻數(shù)據(jù)管理和處理的技術(shù)手段,視頻圖像的存儲(chǔ)、傳輸和訪問(wèn)技術(shù)在網(wǎng)絡(luò)環(huán)境下的應(yīng)用是實(shí)現(xiàn)視頻數(shù)據(jù)信息網(wǎng)絡(luò)化應(yīng)用的重要手段。本文闡述了視頻網(wǎng)絡(luò)應(yīng)用系統(tǒng)的三層結(jié)構(gòu)、視頻數(shù)據(jù)庫(kù)的網(wǎng)絡(luò)訪問(wèn)方式以及如何利用流媒體技術(shù)實(shí)現(xiàn)視頻的網(wǎng)絡(luò)訪問(wèn)、存儲(chǔ)和傳輸。如果從系統(tǒng)應(yīng)用的角度來(lái)看,要滿足處于不同地點(diǎn)和不同時(shí)間的用戶對(duì)同一數(shù)據(jù)庫(kù)進(jìn)行檢索和訪問(wèn)這一需求,視頻數(shù)據(jù)庫(kù)系統(tǒng)必須是存在于網(wǎng)絡(luò)環(huán)境下的分布式檢索系統(tǒng)。當(dāng)前網(wǎng)絡(luò)數(shù)據(jù)庫(kù)系統(tǒng)的結(jié)構(gòu)主要有C/S<客戶/服務(wù)器>結(jié)構(gòu)和B/S<瀏覽器/服務(wù)器>結(jié)構(gòu)[40,41]。這些體系架構(gòu)都是為了解決網(wǎng)絡(luò)環(huán)境下分布式數(shù)據(jù)的存儲(chǔ)與訪問(wèn)而提出的。B/S模式的三層或多層體系結(jié)構(gòu)在某種意義上彌補(bǔ)了傳統(tǒng)的C/S結(jié)構(gòu)開(kāi)發(fā)周期長(zhǎng),可維護(hù)性和擴(kuò)充性差等方面的不足之處。因此,基于Internet/Intranet的三層體系結(jié)構(gòu)是一種瀏覽器服務(wù)器<B/S>結(jié)構(gòu),它具有C/S結(jié)構(gòu)的所有優(yōu)點(diǎn),但它又對(duì)C/S結(jié)構(gòu)進(jìn)行了擴(kuò)充,因此他們之間又存在一定的區(qū)別。B/S結(jié)構(gòu)中用戶可以直接通過(guò)瀏覽器工具向分布在網(wǎng)絡(luò)上的各個(gè)服務(wù)器發(fā)出請(qǐng)求,因此在客戶端機(jī)器上只需要安裝極少量的工具軟件,而其他更多的工作都留給服務(wù)器來(lái)?yè)?dān)負(fù),這樣就簡(jiǎn)化了客戶端的管理任務(wù)。B/S結(jié)構(gòu)的體系結(jié)構(gòu)在客戶機(jī)端只執(zhí)行顯示服務(wù),而應(yīng)用系統(tǒng)的執(zhí)行和數(shù)據(jù)庫(kù)的訪問(wèn)將在服務(wù)器端上完成。2.4.視頻處理技術(shù)應(yīng)用綜述充分利用先進(jìn)的視頻內(nèi)容結(jié)構(gòu)化分析、視頻摘要、視頻檢索等圖像處理技術(shù),可實(shí)現(xiàn)對(duì)活動(dòng)目標(biāo)進(jìn)行提取,快速截圖原始視頻畫面或截取視頻片段,進(jìn)行標(biāo)注后保存至數(shù)據(jù)庫(kù)。主要應(yīng)用的基本功能點(diǎn)有：〔1視頻目標(biāo)運(yùn)動(dòng)軌跡提取和數(shù)據(jù)庫(kù)存儲(chǔ)。對(duì)實(shí)時(shí)、已有始視頻圖像中的活動(dòng)目標(biāo)進(jìn)行摘要分析并提取活動(dòng)目標(biāo)、時(shí)間標(biāo)記等相關(guān)信息,能夠?qū)μ崛〉陌甘录畔⑦M(jìn)行圖片編輯、標(biāo)注,并保存至案事件證據(jù)管理中心數(shù)據(jù)庫(kù)?！?視頻目標(biāo)快速自動(dòng)提取及概要回放。可以配置任務(wù)對(duì)視頻目標(biāo)進(jìn)行自動(dòng)處理,也可以通過(guò)手動(dòng)上傳視頻方式進(jìn)行視頻摘要處理,并保存在數(shù)據(jù)庫(kù)中,能夠回溯摘要視頻的原始視頻,實(shí)現(xiàn)對(duì)視頻文件中運(yùn)動(dòng)物體及其運(yùn)行軌跡的環(huán)境剝離和存儲(chǔ),實(shí)現(xiàn)將不同時(shí)空內(nèi)目標(biāo)對(duì)象的集中展示。〔3視頻信息自動(dòng)分類及數(shù)據(jù)統(tǒng)計(jì)分析。支持人工設(shè)置或者從從視頻文件名解析出起始時(shí)間,對(duì)視頻文件時(shí)鐘校對(duì)；支持摘要后處理的視頻半結(jié)構(gòu)化數(shù)據(jù)以人、車、物的結(jié)構(gòu)化內(nèi)容加以描述,并保存到數(shù)據(jù)庫(kù)中,實(shí)現(xiàn)以時(shí)間、案件類型、區(qū)域、目標(biāo)的描述元素等分類統(tǒng)計(jì)?！?海量視頻自動(dòng)快速處理。一是海量視頻按用戶需求設(shè)定規(guī)則進(jìn)行按任務(wù)方式處理,提供篩選出用戶關(guān)心的部分,以截圖、摘要視頻或者是視頻片段形式保存；二是對(duì)海量視頻處理進(jìn)行智能化分配,優(yōu)化處理功能,同時(shí)顯示處理視頻的狀態(tài)和任務(wù)分配情況；三是可以控制處理視頻的優(yōu)先級(jí)和排隊(duì)順序。2.5.本章小結(jié)本章綜述了圖偵系統(tǒng)研發(fā)所涉及的視頻結(jié)構(gòu)化理論、視頻摘要及視頻檢索技術(shù)的相關(guān)知識(shí)。視頻內(nèi)容結(jié)構(gòu)化理論主要闡述了視頻內(nèi)容結(jié)構(gòu)化概念、結(jié)構(gòu)化層次架構(gòu),以及三種視頻內(nèi)容結(jié)構(gòu)化分析方法。在視頻摘要技術(shù)方面,闡述了視頻摘要技術(shù)的基本概念、研究的必要性,以及靜態(tài)視頻摘要和動(dòng)態(tài)視頻摘要兩種視頻摘要形式,闡述了視頻摘要的一般生成過(guò)程。在視頻檢索技術(shù)方面,闡述了視頻檢索的基本概念,著重闡述了視頻特征的提取、視頻數(shù)據(jù)庫(kù)和網(wǎng)絡(luò)視頻訪問(wèn)等關(guān)鍵技術(shù)內(nèi)容。最后,綜述了視頻圖像處理技術(shù)的主要應(yīng)用功能點(diǎn)。第三章總體技術(shù)方案設(shè)計(jì)3.1.設(shè)計(jì)思路研發(fā)圖偵系統(tǒng)應(yīng)充分考慮公安機(jī)關(guān)實(shí)戰(zhàn)業(yè)務(wù)需求,充分運(yùn)用國(guó)內(nèi)外先進(jìn)的視頻分析最新算法—視頻結(jié)構(gòu)化、視頻摘要、視頻檢索和圖偵工作經(jīng)驗(yàn),以"圍繞實(shí)戰(zhàn)、緊貼實(shí)戰(zhàn)、服務(wù)實(shí)戰(zhàn)"為著力點(diǎn),以采集、研判、管理、應(yīng)用為業(yè)務(wù)主線,注重技術(shù)融合和業(yè)務(wù)整合,構(gòu)建一套"支撐全程,服務(wù)一線"的圖偵工作應(yīng)用系統(tǒng)。同時(shí),要遵循標(biāo)準(zhǔn)和開(kāi)放的原則,可隨圖偵業(yè)務(wù)和技術(shù)的進(jìn)步而可持續(xù)發(fā)展。圖偵系統(tǒng)將利用本地已建的視頻圖像信息和業(yè)務(wù)數(shù)據(jù),充分考慮各警種圖偵業(yè)務(wù)工作經(jīng)驗(yàn),整合運(yùn)用視頻結(jié)構(gòu)化、視頻摘要以及數(shù)據(jù)挖掘技術(shù),提供了覆蓋圖像偵查業(yè)務(wù)從"采集"、"研判"直至"保存發(fā)布"、"管理"、"應(yīng)用"的全局能力支撐,解決和彌補(bǔ)實(shí)戰(zhàn)中的各項(xiàng)問(wèn)題和不足,規(guī)范、創(chuàng)新圖偵業(yè)務(wù)流程。圖偵系統(tǒng)將使視頻圖像處理技術(shù)成為重要的案件偵破手段和情報(bào)信息來(lái)源,提高案件偵破率。圖偵系統(tǒng)的應(yīng)用將前瞻性地推進(jìn)視頻監(jiān)控系統(tǒng)建設(shè)由"信息"到"情報(bào)"的演進(jìn),提升視頻監(jiān)控系統(tǒng)的建設(shè)成效。通過(guò)圖偵系統(tǒng)的研發(fā)和運(yùn)行,將進(jìn)一步創(chuàng)新公安圖偵業(yè)務(wù)機(jī)制,提升圖偵工作效能,推動(dòng)基層公安機(jī)關(guān)"視頻應(yīng)用"建設(shè)跨上一個(gè)新的發(fā)展臺(tái)階。3.2.體系架構(gòu)基于視頻結(jié)構(gòu)化的圖偵系統(tǒng)采用模塊化的體系結(jié)構(gòu),其技術(shù)體系架構(gòu)設(shè)計(jì)如圖3-1所示,分為接入層、處理層、業(yè)務(wù)層、表現(xiàn)層四層。其中,圖3-1基于視頻結(jié)構(gòu)化圖偵系統(tǒng)的體系架構(gòu)接入層,實(shí)現(xiàn)視頻圖像的獲取以及警務(wù)數(shù)據(jù)的同步數(shù)據(jù)交互,它可看作是與外部系統(tǒng)的接口層,包括視頻聯(lián)網(wǎng)系統(tǒng)、編解碼設(shè)備、IPC等視頻資源系統(tǒng)或設(shè)備,大情報(bào)系統(tǒng)、警綜平臺(tái)等業(yè)務(wù)系統(tǒng)。處理層,搭載視頻圖像研判的核心處理引擎,采用視頻摘要在線分析、離線處理、視頻特征分析、圖像增強(qiáng)等視頻應(yīng)用技術(shù)。業(yè)務(wù)層,提供業(yè)務(wù)數(shù)據(jù)交互接口,以及流程控制和業(yè)務(wù)數(shù)據(jù)分析引擎。它可實(shí)現(xiàn)證據(jù)提取、統(tǒng)計(jì)分析、案情研判等業(yè)務(wù)服務(wù)和數(shù)據(jù)流轉(zhuǎn)、信令轉(zhuǎn)發(fā)等過(guò)程控制能力。表現(xiàn)層,呈現(xiàn)面向用戶的人機(jī)交互界面和集成的軟件作業(yè)環(huán)境,包括了在線的圖像偵查應(yīng)用客戶端和離線的移動(dòng)處理終端設(shè)備。3.3.邏輯架構(gòu)在邏輯架構(gòu)上,該圖偵系統(tǒng)可分為案事件視頻管理中心、視頻圖像取證和視頻研判分析三個(gè)邏輯單元,各單元之間相互耦合協(xié)調(diào),共同構(gòu)成一個(gè)"適應(yīng)各種研判環(huán)境,同步外部系統(tǒng),支撐總體流程"的圖偵應(yīng)用系統(tǒng)。如圖3-2所示。圖3-2基于視頻結(jié)構(gòu)化圖偵系統(tǒng)的邏輯架構(gòu)案事件視頻證據(jù)管理中心是一個(gè)綜合型的視頻圖像證據(jù)信息存儲(chǔ)、管理、分析以及應(yīng)用系統(tǒng)。它可實(shí)現(xiàn)視頻證據(jù)的集中存儲(chǔ)管理,并在此基礎(chǔ)上實(shí)現(xiàn)深度的數(shù)據(jù)挖掘分析為案件研判服務(wù)。案事件視頻證據(jù)管理中心提供標(biāo)準(zhǔn)證據(jù)傳輸接口,接收用戶上傳的視頻證據(jù),并可為視頻研判應(yīng)用系統(tǒng)提供數(shù)據(jù)檢索下載、統(tǒng)計(jì)查詢和研判分析服務(wù)。同時(shí),它能實(shí)現(xiàn)與警綜平臺(tái)、大情報(bào)系統(tǒng)、PGIS等業(yè)務(wù)系統(tǒng)對(duì)接,同步數(shù)據(jù)交換。視頻研判分析單元提供公安網(wǎng)內(nèi)在線的圖像偵查作業(yè)環(huán)境,依托各類聯(lián)網(wǎng)數(shù)據(jù)和計(jì)算資源,可實(shí)現(xiàn)強(qiáng)大的圖像處理、智能研判分析能力,能夠處理視頻聯(lián)網(wǎng)系統(tǒng)的實(shí)時(shí)視頻數(shù)據(jù),在線獲取案事件視頻管理中心的數(shù)據(jù)服務(wù)。視頻圖像取證單元提供視頻監(jiān)控專網(wǎng)或者案事件現(xiàn)場(chǎng)作業(yè)環(huán)境,重點(diǎn)滿足基層監(jiān)控中心視頻證據(jù)、圖像信息采集的日常工作需求,也可獨(dú)立完成初級(jí)視頻研判分析等各項(xiàng)視頻圖像信息偵查業(yè)務(wù)。3.4.數(shù)據(jù)架構(gòu)圖偵系統(tǒng)的數(shù)據(jù)架構(gòu)主要包括數(shù)據(jù)源層、數(shù)據(jù)處理層、數(shù)據(jù)應(yīng)用層等三個(gè)部分組成。如圖3-3所示：圖3-3基于視頻結(jié)構(gòu)化圖偵系統(tǒng)的數(shù)據(jù)架構(gòu)源數(shù)據(jù)層主要包括社會(huì)面監(jiān)控資源、社會(huì)專網(wǎng)監(jiān)控資源、公安自有監(jiān)控資源等；數(shù)據(jù)處理層主要處理來(lái)自視頻監(jiān)控整合平臺(tái)中的原始視頻圖像,經(jīng)過(guò)實(shí)時(shí)的視頻智能分析處理以及事后的視頻摘要處理,將處理后的結(jié)果數(shù)據(jù)保存至數(shù)據(jù)庫(kù)中；數(shù)據(jù)應(yīng)用層實(shí)現(xiàn)數(shù)據(jù)處理層處理后的結(jié)果展示,通過(guò)應(yīng)用功能點(diǎn),調(diào)取數(shù)據(jù)庫(kù)中的元數(shù)據(jù)。3.5.與外部系統(tǒng)之間關(guān)系圖偵系統(tǒng)與外部系統(tǒng)的業(yè)務(wù)關(guān)系如圖3-4所示。其中,〔1建立與警綜平臺(tái)、大情報(bào)系統(tǒng)、警務(wù)基礎(chǔ)平臺(tái)等公安業(yè)務(wù)系統(tǒng)的接口,實(shí)現(xiàn)警情、案事件、圖像等信息的數(shù)據(jù)交互。〔2建立與PGIS系統(tǒng)的接口,通過(guò)PGIS系統(tǒng)提供的接口工具訪問(wèn)地圖數(shù)據(jù),為實(shí)現(xiàn)圖偵系統(tǒng)的視頻數(shù)據(jù)檢索和軌跡分析和提供數(shù)據(jù)支撐。〔3通過(guò)與視頻監(jiān)控聯(lián)網(wǎng)系統(tǒng)的接口,實(shí)現(xiàn)視頻數(shù)據(jù)的檢索、獲取。3.6.基本功能從公安圖偵工作業(yè)務(wù)聯(lián)系分析,所建圖偵系統(tǒng)的基本功能參見(jiàn)表3-1。表3-1基于視頻結(jié)構(gòu)化圖偵系統(tǒng)的基本功能點(diǎn)3.7.本章小結(jié)本章立足于創(chuàng)建基于視頻內(nèi)容結(jié)構(gòu)化的全局性的圖偵信息化工作環(huán)境,以視頻采集、證據(jù)管理、研判應(yīng)用為主線,從各個(gè)層面進(jìn)行分析研究,設(shè)計(jì)了圖偵系統(tǒng)建設(shè)的總體技術(shù)方案。其中,從接入層、處理層、業(yè)務(wù)層、表現(xiàn)層四個(gè)層面研究分析了系統(tǒng)的體系架構(gòu),從視頻證據(jù)管理中心、視頻圖像取證、視頻研判分析及與外部系統(tǒng)關(guān)系分析了系統(tǒng)的邏輯架構(gòu),從源數(shù)據(jù)、數(shù)據(jù)處理、數(shù)據(jù)應(yīng)用三個(gè)層面分析了系統(tǒng)的數(shù)據(jù)架構(gòu),分析了圖偵系統(tǒng)與警綜平臺(tái)、大情報(bào)系統(tǒng)、監(jiān)控聯(lián)網(wǎng)系統(tǒng)、PGIS系統(tǒng)等外部系統(tǒng)之間的整合關(guān)系,研究確定了圖偵系統(tǒng)的視頻證據(jù)管理中心、圖像取證單元、研判分析單元三個(gè)基本功能單元。第四章案事件視頻證據(jù)管理中心設(shè)計(jì)4.1.設(shè)計(jì)概要案事件視頻證據(jù)管理中心是對(duì)視頻圖像取證、研判分析單元上傳發(fā)布的案事件圖像證據(jù)信息進(jìn)行處理匯集、存儲(chǔ)、處理和管理的基本單元。該單元的核心是視頻圖像數(shù)據(jù)庫(kù)體系結(jié)構(gòu)及視頻情報(bào)的結(jié)構(gòu)化定義,并在此基礎(chǔ)上實(shí)施視頻圖像數(shù)據(jù)庫(kù)的管理,提供視頻圖像信息的共享服務(wù)。涉案視頻結(jié)構(gòu)化存儲(chǔ)的主要包含以下數(shù)據(jù)：〔1原始視頻文件；〔2視頻剪輯片段；〔3圖片；〔4結(jié)構(gòu)化圖像描述信息〔人、車、物；〔5案件基礎(chǔ)信息〔案件名稱、編號(hào)、案發(fā)描述等。視頻證據(jù)管理中心單元軟件采用B/S架構(gòu),支持通過(guò)瀏覽器直接訪問(wèn),負(fù)責(zé)對(duì)案事件證據(jù)的審批、統(tǒng)計(jì)分析、空間管理等處理,提供給用戶對(duì)案事件視頻圖像證據(jù)的查詢和調(diào)閱,并對(duì)大量的案事件視頻圖像證據(jù)進(jìn)行比對(duì)碰撞,通過(guò)圖像信息的信息度進(jìn)行串并關(guān)聯(lián),建立卷宗關(guān)聯(lián)。4.2.視頻證據(jù)中心體系結(jié)構(gòu)案事件視頻圖像證據(jù)庫(kù)主要匯集、存儲(chǔ)從視頻圖像數(shù)據(jù)中提取的視頻片段和圖像特征信息,并為各部門實(shí)戰(zhàn)業(yè)務(wù)提供特征識(shí)別、智能分析、智能檢索、交換共享等服務(wù)的支撐平臺(tái)。在功能上分為：數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)、應(yīng)用服務(wù)和數(shù)據(jù)管理四部分,如圖4-1案事件視頻證據(jù)中心體系架構(gòu)所示。圖4-1案事件視頻證據(jù)中心體系架構(gòu)1、數(shù)據(jù)采集通過(guò)多種渠道、多種方式,從社會(huì)單位、公安自建等視頻監(jiān)控系統(tǒng),收集視頻、圖像、文檔、其它等視頻源數(shù)據(jù),并對(duì)實(shí)時(shí)或者事后的視頻源數(shù)據(jù)進(jìn)行智能檢測(cè)及視頻摘要等技術(shù)處理,從中抽取圖像特征,再經(jīng)過(guò)對(duì)數(shù)據(jù)過(guò)濾、數(shù)據(jù)清洗、數(shù)據(jù)整合之后,保存到案事件視頻管理子系統(tǒng)中。2、數(shù)據(jù)存儲(chǔ)從數(shù)據(jù)采集接口導(dǎo)入視頻圖像信息,按照人、事、地、物和組織五要素進(jìn)行邏輯規(guī)劃,并在五要素上歸納出具有某種特殊意義或者是在邏輯上有關(guān)聯(lián)關(guān)系的專業(yè)庫(kù),如：車牌庫(kù)、特征庫(kù)、人像庫(kù)、指紋庫(kù)等,統(tǒng)一保存到云存儲(chǔ)中。3、數(shù)據(jù)服務(wù)案事件視頻證據(jù)庫(kù)分為基本功能、視頻處理、智能分析、智能檢索、共享交換五個(gè)模塊,對(duì)視頻圖像信息數(shù)據(jù)進(jìn)行分解和處理,為視頻分析和視頻檢索提供示例特征,并結(jié)合案事件信息提供智能查詢接口和通用數(shù)據(jù)服務(wù)接口。4、系統(tǒng)管理系統(tǒng)管理是對(duì)案事件視頻管理子系統(tǒng)的軟硬件環(huán)境運(yùn)行狀態(tài)進(jìn)行監(jiān)控,能夠盡早發(fā)現(xiàn)有可能發(fā)生故障點(diǎn),并采用相關(guān)的預(yù)防措施；系統(tǒng)的生命周期是采集、入庫(kù)、版本、檢索、刪除統(tǒng)一數(shù)據(jù)流程,再每一個(gè)環(huán)節(jié)上增加權(quán)限認(rèn)證和日志的記錄,可以方便追述數(shù)據(jù)處理流程,主要體現(xiàn)在安全管理、日志管理、生命周期管理、運(yùn)行狀態(tài)管理等。4.3.視頻情報(bào)結(jié)構(gòu)化定義基于視頻結(jié)構(gòu)化技術(shù),針對(duì)視頻分析產(chǎn)生的涉案圖片或視頻段落,進(jìn)行視頻信息的結(jié)構(gòu)化定義和視頻結(jié)構(gòu)化信息的提取,既是視頻情報(bào)應(yīng)用的重要工作,更是實(shí)現(xiàn)視頻監(jiān)控系統(tǒng)由"信息"到"情報(bào)"演進(jìn)的必然選擇,也是實(shí)現(xiàn)視頻證據(jù)數(shù)據(jù)庫(kù)管理的基石。4.3.1數(shù)據(jù)字典定義從案事件出發(fā),描述視頻結(jié)構(gòu)化語(yǔ)義的主要對(duì)象為：人、車、物。如圖4-2所示。圖4-2視頻證據(jù)中心數(shù)據(jù)字典視頻結(jié)構(gòu)化語(yǔ)義1、案件字典定義,如表4-1所示：注:每一種案件類型,可根據(jù)案件作案手段或情節(jié),在設(shè)計(jì)系統(tǒng)時(shí)可以自定義子分類<如殺人案,可分為持刀殺人案,持槍殺人案…>。2、涉案信息字典定義〔1人物信息語(yǔ)義定義,如表4-2所示。表4-2視頻證據(jù)中心人物情報(bào)語(yǔ)義定義表〔2車輛信息語(yǔ)義定義,如表4-3所示。表4-3視頻證據(jù)中心車輛情報(bào)語(yǔ)義定義表〔3物品信息語(yǔ)義定義,如表4-4所示。4.3.2視頻結(jié)構(gòu)化信息表1、視頻信息,如表4-5所示：表4-5視頻證據(jù)中心視頻信息定義表2、幀信息,如表4-6所示：表4-6視頻證據(jù)中心幀信息定義表3、對(duì)象信息,如表4-7所示：表4-7視頻證據(jù)中心對(duì)象信息定義4、片段信息,如表4-8所示：表4-8視頻證據(jù)中心片段信息定義表4.3.3證據(jù)中心數(shù)據(jù)建模從案事件與視頻信息的關(guān)聯(lián)出發(fā),設(shè)計(jì)了數(shù)據(jù)庫(kù)之間的實(shí)體－關(guān)系圖,定義了證據(jù)中心的數(shù)據(jù)對(duì)象、基數(shù)與形態(tài)的關(guān)系,如圖4-3所示?！?案事件信息表；〔2視頻圖像資源信息表；〔3視頻資源案事件相關(guān)事物〔物品信息表；〔4視頻資源相關(guān)車輛信息表；〔5視頻資源相關(guān)人員信息表。此外,還可以建立針對(duì)視頻資源的評(píng)論表。作為結(jié)構(gòu)化視頻證據(jù)庫(kù),通過(guò)編寫數(shù)據(jù)庫(kù)字段,可以按自定的字段名稱,方便地建立視頻證據(jù)庫(kù)索引。圖4-2視頻證據(jù)中心實(shí)體-關(guān)系圖示例4.4.對(duì)外數(shù)據(jù)交互設(shè)計(jì)4.4.1對(duì)外數(shù)據(jù)交互關(guān)系案事件視頻證據(jù)中心需要整合多個(gè)業(yè)務(wù)部位和多個(gè)應(yīng)用系統(tǒng)的視頻、圖片、音頻、文件、結(jié)構(gòu)化數(shù)據(jù)等信息,涉及到與多個(gè)異構(gòu)數(shù)據(jù)庫(kù)、多種文件的數(shù)據(jù)交換。因此,應(yīng)根據(jù)業(yè)務(wù)需求制定相關(guān)數(shù)據(jù)交換標(biāo)準(zhǔn),以確保數(shù)據(jù)交換的一致性。視頻證據(jù)管理中心與外部系統(tǒng)及各業(yè)務(wù)單位的數(shù)據(jù)交換關(guān)系,如圖4-3所示。圖4-3視頻證據(jù)管理中心對(duì)外數(shù)據(jù)交互關(guān)系1>建立與警綜系統(tǒng)的接口,實(shí)現(xiàn)警情、案事件、圖像等信息的數(shù)據(jù)交互。2>建立與PGIS系統(tǒng)的接口,通過(guò)PGIS系統(tǒng)提供的接口工具訪問(wèn)地圖數(shù)據(jù),為實(shí)現(xiàn)圖偵系統(tǒng)的視頻資源檢索和軌跡分析和提供數(shù)據(jù)支撐。3>通過(guò)與視頻聯(lián)網(wǎng)系統(tǒng)的接口,實(shí)現(xiàn)視頻信息的檢索、獲取。4.4.2數(shù)據(jù)交互接口1、接口實(shí)現(xiàn)方式〔1采用數(shù)據(jù)庫(kù)接口,將外部系統(tǒng)的數(shù)據(jù)庫(kù)訪問(wèn)接口開(kāi)放給本系統(tǒng),視頻證據(jù)中心根據(jù)數(shù)據(jù)庫(kù)結(jié)構(gòu)獲取相關(guān)數(shù)據(jù),實(shí)現(xiàn)證據(jù)中心與外部系統(tǒng)之間的數(shù)據(jù)共享；〔2采用組件開(kāi)發(fā)接口的方式,需要外部系統(tǒng)提供相應(yīng)的數(shù)據(jù)調(diào)用、數(shù)據(jù)查詢的二次開(kāi)發(fā)組件,證據(jù)中心將直接調(diào)用該組件實(shí)現(xiàn)對(duì)接。2、通用接口要求〔1異構(gòu)數(shù)據(jù)庫(kù)服務(wù)接口：規(guī)定和描述訪問(wèn)異構(gòu)數(shù)據(jù)庫(kù)的一組服務(wù),服務(wù)包括服務(wù)自描述、數(shù)據(jù)類型描述、服務(wù)操作及服務(wù)數(shù)據(jù)元素。〔2數(shù)據(jù)訪問(wèn)接口：根據(jù)數(shù)據(jù)庫(kù)的異構(gòu)特征,將上層服務(wù)轉(zhuǎn)換為信息訪問(wèn)與調(diào)用服務(wù)的各種訪問(wèn)驅(qū)動(dòng)及服務(wù)接口映射實(shí)現(xiàn)。〔3數(shù)據(jù)庫(kù)：包括關(guān)系型數(shù)據(jù)庫(kù)、文件數(shù)據(jù)庫(kù),數(shù)據(jù)庫(kù)可以是集中的,也可以是分散的?！?提供開(kāi)發(fā)套件,支持視頻證據(jù)管理中心整合和第三方系統(tǒng)的調(diào)用和嵌入。4.5.主要功能案事件視頻證據(jù)管理中心的基本功能,包括：案件證據(jù)審批、案件證據(jù)展示、案件同步關(guān)聯(lián)、個(gè)人證據(jù)管理、數(shù)據(jù)統(tǒng)計(jì)分析、信息時(shí)間設(shè)定與空間管理等業(yè)務(wù)功能。該單元的主要功能模塊,參見(jiàn)表4-9。表4-9案事件視頻證據(jù)管理中心的主要功能模塊4.6.本章小結(jié)本章從視頻證據(jù)庫(kù)的體系結(jié)構(gòu)、視頻情報(bào)的結(jié)構(gòu)化定義、對(duì)外數(shù)據(jù)交互和基本功能等方面,對(duì)案事件視頻證據(jù)管理中心進(jìn)行了設(shè)計(jì)。其中,視頻證據(jù)中心體系結(jié)構(gòu),主要由數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)服務(wù)和數(shù)據(jù)管理四個(gè)部分構(gòu)成；從案事件出發(fā),定義了視頻結(jié)構(gòu)化語(yǔ)義的主要對(duì)象：人、車、物,以及視頻結(jié)構(gòu)化信息的一般數(shù)據(jù)屬性；設(shè)計(jì)了視頻證據(jù)管理中心與警綜系統(tǒng)、視頻聯(lián)網(wǎng)系統(tǒng),以及業(yè)務(wù)單位之間的數(shù)據(jù)交換關(guān)系和標(biāo)準(zhǔn)。最后,分析了視頻證據(jù)中心的主要功能點(diǎn)。第五章視頻圖像偵查系統(tǒng)應(yīng)用設(shè)計(jì)5.1.設(shè)計(jì)概要視頻圖像偵查系統(tǒng)應(yīng)用設(shè)計(jì)目的在于讓公安機(jī)關(guān)有效利用圖像進(jìn)行深度研判,協(xié)助案件偵破。在現(xiàn)今公安機(jī)關(guān)的圖像使用當(dāng)中,運(yùn)用到了很多圖像智能分析處理的技術(shù),比如視頻摘要、圖像清晰化、車牌識(shí)別、人臉比對(duì)等等,但是大多數(shù)都是在獨(dú)立的進(jìn)行應(yīng)用,沒(méi)有與日常公安業(yè)務(wù)進(jìn)行一體化融合,特別是圖偵業(yè)務(wù)發(fā)揮實(shí)戰(zhàn)效用,所以先建立一套貼近公安的圖偵應(yīng)用流程,在此基礎(chǔ)上設(shè)計(jì)圖偵系統(tǒng),才能達(dá)到物盡其用的效果。1、從應(yīng)用模式角度,圖偵系統(tǒng)應(yīng)用設(shè)計(jì)包含在線和離線兩種應(yīng)用模式,在線式可以作為一套完整系統(tǒng)部署在公安專網(wǎng)或者公安視頻監(jiān)控專網(wǎng)內(nèi),還可以搭載在便攜式計(jì)算機(jī)設(shè)備上作為獨(dú)立系統(tǒng)在案事件現(xiàn)場(chǎng)進(jìn)行離線應(yīng)用。作為在線式的圖像研判分析工作單元,它具備與視頻證據(jù)管理中心、視頻監(jiān)控聯(lián)網(wǎng)系統(tǒng)、警綜系統(tǒng),以及大情報(bào)系統(tǒng)等的通信接口,可實(shí)現(xiàn)涉案視頻的聯(lián)網(wǎng)視頻采集、視頻證據(jù)在線分析研判、案件業(yè)務(wù)數(shù)據(jù)的同步更新以及證據(jù)數(shù)據(jù)的實(shí)時(shí)管理,支撐圖偵業(yè)務(wù)的主要工作流程,提供完整的視頻圖像偵查業(yè)務(wù)的在線應(yīng)用環(huán)境。作為離線式的圖像研判分析工作單元,它具備將現(xiàn)場(chǎng)采集的視頻圖像信息進(jìn)行快速的分析,從而獲取案事件的重要線索,并建立簡(jiǎn)易的案事件證據(jù)庫(kù),獨(dú)立支撐一線的偵查破案。2、從功能邏輯角度,圖偵系統(tǒng)應(yīng)用設(shè)計(jì)包括視頻圖像取證模塊和視頻研判分析兩大基本單元,前者主要負(fù)責(zé)初級(jí)視頻情報(bào)的采集、取證和保存；后者主要從事專業(yè)視頻研判工作。視頻圖像取證單元重點(diǎn)圍繞視頻證據(jù)管理中心的數(shù)據(jù)采集需求,從監(jiān)控聯(lián)網(wǎng)系統(tǒng)或者通過(guò)離線方式獲取原始視頻圖像,利用圖像處理技術(shù),從原始視頻圖像中提取結(jié)構(gòu)化、半結(jié)構(gòu)化的初級(jí)視頻情報(bào)信息,上傳到視頻證據(jù)管理中心數(shù)據(jù)庫(kù)中,提供共享應(yīng)用服務(wù)。視頻取證模塊具有視頻證據(jù)采集、視頻格式標(biāo)準(zhǔn)化轉(zhuǎn)換、視頻證據(jù)搜索、視頻結(jié)構(gòu)化存儲(chǔ)等主要功能。視頻研判分析單元作為一個(gè)視頻偵查、情報(bào)研判人員日常工作使用的模塊,既具有視頻圖像取證單元中除預(yù)警檢測(cè)外的主要功能,同時(shí)還具有視頻特征分析、視頻證據(jù)分析、案事件軌跡分析,以及同步警綜系統(tǒng)等更多的情報(bào)研判功能。因此,如果說(shuō),視頻證據(jù)管理中心側(cè)重于創(chuàng)建和采集存儲(chǔ)結(jié)構(gòu)化的視頻證據(jù)共享數(shù)據(jù)庫(kù),那么,視頻圖像偵查應(yīng)用系統(tǒng)重點(diǎn)在于研判運(yùn)用視頻證據(jù),發(fā)揮偵查破案、事件處置的實(shí)戰(zhàn)效能。顯然,前者是為后者提供服務(wù)和支撐,后者才是圖偵系統(tǒng)建設(shè)的根本。3、用戶使用圖偵系統(tǒng)從監(jiān)控聯(lián)網(wǎng)系統(tǒng)或者本地資源中導(dǎo)入原始視頻圖像,對(duì)取得的視頻圖像進(jìn)行格式標(biāo)準(zhǔn)化轉(zhuǎn)換、視頻摘要分析、編輯和加注標(biāo)簽,與案事件視頻證據(jù)管理中心進(jìn)行數(shù)據(jù)交互,實(shí)現(xiàn)對(duì)結(jié)構(gòu)化視頻圖像信息的上傳、查看、瀏覽、下載和刪除,以及查看日志、證據(jù)檢索等操作。圖偵系統(tǒng)的主要功能模塊,如表5-1所示：表5-1基于視頻結(jié)構(gòu)化圖偵系統(tǒng)的主要功能模塊5.2.圖偵業(yè)務(wù)流程設(shè)計(jì)在整個(gè)圖偵系統(tǒng)的應(yīng)用當(dāng)中,需要明確業(yè)務(wù)角色和業(yè)務(wù)環(huán)節(jié)。首先在業(yè)務(wù)角色上,圖偵系統(tǒng)針對(duì)不同使用層級(jí)的公安用戶定義了初級(jí)視頻研判人員和高級(jí)視頻研判人員兩種等級(jí)應(yīng)用環(huán)境。初級(jí)視頻研判人員主要是派出所、交巡警中隊(duì)等基層視頻監(jiān)控中心的監(jiān)控操作人員。高級(jí)視頻研判人員主要是公安機(jī)關(guān)從事視頻圖像偵查和情報(bào)信息研判工作的專業(yè)民警、職能民警。其次在業(yè)務(wù)環(huán)節(jié)上,圖偵可以分成以下幾個(gè)階段,每個(gè)階段都可以通過(guò)相應(yīng)的偵查措施方法以及圖像的智能工具來(lái)實(shí)現(xiàn)偵查研判的目的,如圖5-1所示。1、確定案事件偵查范圍。通過(guò)從接處警了解到的信息當(dāng)中確認(rèn)事發(fā)地點(diǎn),再通過(guò)圖偵系統(tǒng)在PGIS地圖上進(jìn)行搜索,列出相應(yīng)事發(fā)地點(diǎn)附近的監(jiān)控資源,可以通過(guò)地圖界定范圍確定案事件初步偵查區(qū)域。后期可以通過(guò)了解到的新信息,不斷修正劃定新的偵查區(qū)域。2、收集案事件信息。收集方式可以分為兩種,一是可以通過(guò)監(jiān)控聯(lián)網(wǎng)系統(tǒng)直接下載案事件相關(guān)的錄像資源；二是組織專業(yè)人員前往現(xiàn)場(chǎng)獲取相關(guān)圖像資源,在有條件的情況下配備獨(dú)立的便攜式離線圖偵系統(tǒng)單元進(jìn)行工作。3、通過(guò)收集到的信息確定嫌疑人員、車輛。通過(guò)對(duì)視頻圖像信息的智能化分析處理得到進(jìn)一步的線索,主要有以下幾種手段：〔1通過(guò)物體移動(dòng)檢測(cè)來(lái)定位錄像中物體被移動(dòng)的時(shí)間。〔2通過(guò)警戒線來(lái)定位錄像中區(qū)域被人員、車輛進(jìn)入的時(shí)間。〔3通過(guò)車牌分析識(shí)別自動(dòng)檢測(cè)記錄錄像中出現(xiàn)的所有車輛車牌。〔4通過(guò)人臉定位分析來(lái)檢測(cè)記錄錄像中出現(xiàn)的所有人員正面的面部特征照片。〔5通過(guò)視頻摘要將視頻中的背景和移動(dòng)中的人員車輛等物體進(jìn)行分離,對(duì)整段的錄像進(jìn)行濃縮,實(shí)現(xiàn)在相當(dāng)短的時(shí)間內(nèi)迅速瀏覽大段視頻,并快速定位嫌疑人員和車輛。對(duì)移動(dòng)物體形成信息摘要,并可以判定其行進(jìn)方向?！?通過(guò)人臉比對(duì),實(shí)現(xiàn)圖像資源中截取的人臉和公安相關(guān)信息數(shù)據(jù)庫(kù)中存儲(chǔ)的人臉圖像進(jìn)行比對(duì),快速定位嫌疑人員身份。4、通過(guò)已有線索查尋人車信息。通過(guò)上述線索進(jìn)一步查找嫌疑人車的活動(dòng)范圍。5、人車行為、軌跡研判。對(duì)收集到的視頻圖像信息進(jìn)行剪輯合并,在連續(xù)時(shí)間軸上分析出人、車的行為。根據(jù)收集到的案事件信息對(duì)人、車的軌跡在PGIS地圖上進(jìn)行時(shí)空分析,串聯(lián)所有線索。6、通過(guò)案事件數(shù)據(jù)庫(kù)進(jìn)行串并案分析。7、得出案事件研判分析報(bào)告。圖5-1視頻圖像偵查工作的業(yè)務(wù)流程圖5.3.關(guān)鍵業(yè)務(wù)交互視圖按照上述業(yè)務(wù)流程,圖偵系統(tǒng)的關(guān)鍵業(yè)務(wù)實(shí)體角色分為：圖偵人員、證據(jù)管理人員,研判客戶端、視頻聯(lián)網(wǎng)系統(tǒng)、視頻證據(jù)管理中心。圖偵人員在研判客戶端完成案事件的信息獲取和創(chuàng)建,并利用客戶端從監(jiān)控聯(lián)網(wǎng)系統(tǒng)完成案事件視頻的采集。研判客戶端為研判人員提供摘要分析、圖像增強(qiáng)處理、目標(biāo)情報(bào)數(shù)據(jù)搜索等研判工具和能力,并生成研判結(jié)果,上傳至證據(jù)管理中心。管理人員登錄視頻證據(jù)管理中心,完成對(duì)所有視頻證據(jù)的發(fā)布審核,管理應(yīng)用權(quán)限和頁(yè)面模塊展現(xiàn)組合。定期開(kāi)展全局圖偵業(yè)務(wù)工作的績(jī)效考核以及數(shù)據(jù)綜合分析,并在網(wǎng)站發(fā)布結(jié)果。圖偵系統(tǒng)的關(guān)鍵業(yè)務(wù)交互順序圖,如圖5-2所示。圖5-2圖偵系統(tǒng)關(guān)鍵業(yè)務(wù)交互順序圖5.4.與外部系統(tǒng)交互視圖圖偵系統(tǒng)與外部系統(tǒng)之間的業(yè)務(wù)交互順序圖,如圖5-3所示?！?圖偵系統(tǒng)在研判過(guò)程開(kāi)始,將從警綜系統(tǒng)獲取案事件基本信息,在對(duì)圖像目標(biāo)的研判過(guò)程中對(duì)發(fā)現(xiàn)的線索,利用警綜系統(tǒng)、大情報(bào)系統(tǒng)提供的目標(biāo)情報(bào)數(shù)據(jù)進(jìn)行綜合研判分析,驗(yàn)證線索、情報(bào)?！?研判人員在圖偵系統(tǒng)直接進(jìn)行視頻資源的查詢、下載。圖偵系統(tǒng)與視頻監(jiān)控聯(lián)網(wǎng)系統(tǒng)具備錄像的查詢、傳輸接口。圖5-3圖偵系統(tǒng)與外部系統(tǒng)交互順序圖5.5.摘要索引流程設(shè)計(jì)視頻摘要及檢索主要提供信息摘要、圖像壓縮和特征搜索等功能。當(dāng)將視頻資源添加到視頻摘要工具后,依據(jù)摘要智能算法,通過(guò)人工設(shè)置顏色、人、車、物等摘要條件,建立.XML索引文件；同時(shí)通過(guò)對(duì)動(dòng)態(tài)人、車、物等關(guān)鍵摘要內(nèi)容靜態(tài)圖片提取、固定的背景圖片提取,進(jìn)而對(duì)用戶所關(guān)心的圖像提取、冗余圖像剝離進(jìn)行有效壓縮。鑒于,壓縮后視頻文件的大小一般視場(chǎng)景的復(fù)雜度而定,復(fù)雜度低和變化少的圖像壓縮比例更高。目前平均大小為原始視頻的20%。經(jīng)過(guò)視頻摘要處理后,可以基于圖像中活動(dòng)對(duì)象的顏色、尺寸、運(yùn)動(dòng)方向和活動(dòng)范圍等特征,進(jìn)行過(guò)濾搜索?？梢造o態(tài)圖片的形式展示,夠顯示嫌疑人或嫌疑車輛出現(xiàn)的時(shí)間,便于定位。如圖5-4所示。圖5-4視頻摘要索引業(yè)務(wù)處理流程視頻摘要及檢索系統(tǒng)的關(guān)鍵技術(shù)主要有:關(guān)鍵幀提取、圖像特征提取、圖像特征的相似性度量、查詢方式、以及視頻片段匹配等方法。1、關(guān)鍵幀提?。宏P(guān)鍵幀是用于描述一個(gè)鏡頭的關(guān)鍵圖像幀,它反映一個(gè)鏡頭的主要內(nèi)容。關(guān)鍵幀的選取一方面必須能夠反映鏡頭中的主要事件,因而描述應(yīng)盡可能地準(zhǔn)確完全,另一方面要便于檢索。關(guān)鍵幀的選取方法很多,比較經(jīng)典的有幀平均法和直方圖平均法。2、圖像特征提取：特征提取可以針對(duì)圖像內(nèi)容的底層物理特征進(jìn)行提取,如顏色直方圖、圖像輪廓特征等。特征的表示方式有三種:數(shù)值信息、關(guān)系信息和文字信息。目前,多數(shù)系統(tǒng)采用的都是數(shù)值信息。3、相似性度量：在鏡頭檢索上,早期的工作主要是從鏡頭中提取關(guān)鍵幀,把鏡頭檢索轉(zhuǎn)化為圖像檢索。例如通常情況下,圖像的特征向量可看作是多維空間中的一點(diǎn),因此很自然的想法就是用特征空間中點(diǎn)與點(diǎn)之間的距離來(lái)代他們的匹配程度,距離度量是一個(gè)比較常用的方法,此外還有相關(guān)計(jì)算、關(guān)聯(lián)系數(shù)計(jì)算等。此外,目前研究的問(wèn)題還在于怎樣對(duì)視頻中的時(shí)間信息充分進(jìn)行利用。在片段檢索上,研究方法可以分為兩類：〔1把視頻片段分為片段、幀兩層考慮,片段的相似性利用組成它的幀的相似性來(lái)直接度量；〔2把視頻片段分為片段、鏡頭、幀3層考慮,片段的相似性通過(guò)組成它的鏡頭的相似性來(lái)度量,而鏡頭的相似性通過(guò)它的一個(gè)關(guān)鍵幀或所有幀的相似性來(lái)度量。方法〔1的缺點(diǎn)在于限制相似的片段必須遵守同樣的時(shí)間順序,同時(shí)這種基于每幀的比較,也使得檢索速度比較慢。方法〔2的思想比較合理,但這種方法在已有的研究中并沒(méi)有很好解決片段檢索的問(wèn)題。4、查詢方式:由于圖像特征本身的復(fù)雜性,對(duì)查詢條件的表達(dá)也具有多樣性,使用的特征不同,對(duì)查詢的表達(dá)方式也不一樣。目前查詢方式基本上可歸納為以下幾種:底層物理特征查詢、自定義特征查詢、局部圖像查詢和語(yǔ)義特征查詢。5、視頻片斷的匹配:由于同一鏡頭連續(xù)圖像幀的相似性,使得經(jīng)常出現(xiàn)同一樣本圖像的多個(gè)相似幀的出現(xiàn),因而需要在查詢到的一系列視頻圖像中,找出最佳的匹配圖像序列。已經(jīng)有研究提出了最優(yōu)匹配法、最大匹配法和動(dòng)態(tài)規(guī)劃算法等。5.6.視頻圖像取證單元設(shè)計(jì)5.6.1視頻檢測(cè)規(guī)則根據(jù)社會(huì)治安形勢(shì)的動(dòng)態(tài)變化,落實(shí)打防管控一體化運(yùn)作、警衛(wèi)安保任務(wù)、大型活動(dòng)案件等工作的需要,充分利用絆線報(bào)警、流量統(tǒng)計(jì)和智能識(shí)別等檢測(cè)技術(shù),在活動(dòng)現(xiàn)場(chǎng)及周邊、案事件現(xiàn)場(chǎng)及周邊、停車場(chǎng)等治安關(guān)鍵節(jié)點(diǎn),進(jìn)行視頻視頻監(jiān)控檢測(cè)的預(yù)警規(guī)則設(shè)定,保存到規(guī)則數(shù)據(jù)庫(kù),并通過(guò)后臺(tái)服務(wù)器對(duì)接入端口的視頻監(jiān)控畫面進(jìn)行實(shí)時(shí)智能檢測(cè)比對(duì)。目前,在公安工作中運(yùn)用得較為成熟的視頻檢測(cè)技術(shù)有：車輛行為檢測(cè)、人體行為檢測(cè)、運(yùn)動(dòng)路徑檢測(cè)、絆線檢測(cè)、禁區(qū)入侵檢測(cè)、車牌識(shí)別；其次有：車輛流量統(tǒng)計(jì)、人員流量統(tǒng)計(jì)、遺留物品檢測(cè)、物品消失或移動(dòng)檢測(cè)、攝像機(jī)信號(hào)檢測(cè)、人群聚集檢測(cè)等；在應(yīng)用探索中的有：人臉檢測(cè)/識(shí)別、速度異常檢測(cè)、車輛型號(hào)比對(duì)識(shí)別、車標(biāo)識(shí)別等。5.6.2預(yù)警事件處理視頻檢測(cè)及分析服務(wù)器,對(duì)前端攝像頭下的車輛、行人的行為按預(yù)先設(shè)定的智能規(guī)則進(jìn)行檢測(cè)、識(shí)別,發(fā)現(xiàn)異?，F(xiàn)象或者違規(guī)行為,即對(duì)現(xiàn)場(chǎng)圖片或視頻進(jìn)行保存、識(shí)別,形成結(jié)構(gòu)化視頻證據(jù)信息,并進(jìn)行報(bào)警提示。監(jiān)控值班人員進(jìn)行核查后,屬于報(bào)警案事件的,即輸入處警結(jié)構(gòu)信息并上傳保存到警綜系統(tǒng)接處警模塊,形成的視頻證據(jù)進(jìn)入視頻證據(jù)管理中心數(shù)據(jù)庫(kù)。如圖5-5所示。圖5-5視頻預(yù)警檢測(cè)數(shù)據(jù)采集處理示例5.6.3視頻圖像采集視頻圖像取證單元能夠在線獲取所需的視頻錄像文件,可從監(jiān)控聯(lián)網(wǎng)系統(tǒng)直接獲取鏡頭資源信息,并可以查詢和下載每個(gè)鏡頭的對(duì)應(yīng)錄像文件；也支持從PGIS地圖上直接選取鏡頭,選擇需要下載的時(shí)間段,并下載對(duì)應(yīng)的視頻文件。如圖5-6所示。根據(jù)案事件發(fā)生的地點(diǎn)、時(shí)間、嫌疑人特征,把視頻監(jiān)控聯(lián)網(wǎng)系統(tǒng)中或者本地的監(jiān)控信息,上傳到視頻圖像取證單元中,并可進(jìn)行關(guān)鍵字標(biāo)注。圖5-6在線視頻采集流程5.6.4視頻證據(jù)提取視頻取證單元對(duì)導(dǎo)入的視頻文件進(jìn)行摘要分析處理,形成結(jié)構(gòu)化的案事件索引機(jī)制,以便快速定位案件線索,提升視頻研判效率。對(duì)確定涉嫌的視頻文件中嫌疑人〔車、物出現(xiàn)的圖片或視頻短片進(jìn)行抓取、截取,生成新的證據(jù)文件。如圖5-7所示?！?證據(jù)圖片截取：支持從視頻中截取圖片作為證據(jù)；〔2證據(jù)圖片處理：支持對(duì)截取的圖片進(jìn)行繪圖和文字的批注；〔3視頻短片截取：能夠?qū)σ曨l中可做為證據(jù)線索的片段進(jìn)行截??；同時(shí),能夠?qū)?dǎo)入的視頻文件進(jìn)行查詢播放、記錄刪除、信息編輯和案件關(guān)聯(lián)等操作。為提高視頻研判效率,一般要求視頻取證單元支持2-4路視頻的同時(shí)摘要處理。圖5-7視頻摘要處理示意圖同時(shí),可以對(duì)證據(jù)圖像進(jìn)行批注或進(jìn)行亮度、色彩飽和度的調(diào)節(jié)和簡(jiǎn)單的清晰化處理,讓模糊的圖像更易于識(shí)別。5.6.5證據(jù)信息標(biāo)注獲取原始視頻圖像,或者進(jìn)行摘要處理以后,上傳到視頻證據(jù)管理中心數(shù)據(jù)庫(kù)之前,可針對(duì)摘要結(jié)果中某一案事件〔物件導(dǎo)出原始視頻片段,或剪輯、抓拍案件關(guān)聯(lián)的圖像,并進(jìn)行標(biāo)注和結(jié)構(gòu)化證據(jù)描述,支持對(duì)研判結(jié)果進(jìn)行編排,實(shí)現(xiàn)本地保存或上傳到證據(jù)管理中心。主要是針對(duì)截取出的證據(jù)元素進(jìn)行人、車、物的文字信息描述,描述錄入的信息包括：標(biāo)題、描述、涉人信息、涉車信息等,留下與案事件相關(guān)的視頻、圖片信息?！?人員信息錄入：支持對(duì)證據(jù)圖片或證據(jù)短片中的人員錄入文字描述信息,同一證據(jù)可以添加多個(gè)人物；〔2車輛信息錄入：支持對(duì)證據(jù)中涉及到的車輛錄入文字描述?！?物件信息錄入：支持對(duì)證據(jù)中涉及到的物品錄入文字描述?！?對(duì)圖片的標(biāo)注：可直接在圖片上標(biāo)注嫌疑的車輛或人員,上傳時(shí)必須將原始圖片與標(biāo)注后的圖片同時(shí)上傳。要注意不可在原始圖片上進(jìn)行編輯,因?yàn)檫@些圖片有可能作為證據(jù)來(lái)使用,上傳的圖片必須是原始的?！?對(duì)視頻的標(biāo)注：包括視頻的剪輯1小時(shí)的錄像,其中5分鐘是有用的,把這5分鐘剪輯出來(lái)、視頻的截圖、時(shí)間標(biāo)注等,標(biāo)注視頻在什么時(shí)間段出現(xiàn)了問(wèn)題,問(wèn)題的相關(guān)描述等?！?地圖軌跡標(biāo)注：一般需要與警用地理信息系統(tǒng)進(jìn)行聯(lián)網(wǎng)開(kāi)發(fā)后,才能使取證系統(tǒng)實(shí)現(xiàn)這一功能。5.6.6視頻格式標(biāo)準(zhǔn)化視頻取證單元集成了大部分主流廠家的視頻解碼器,對(duì)采集到的不同類型視頻文件能自動(dòng)判定其編碼格式,匹配相應(yīng)編碼器進(jìn)行播放。還可根據(jù)需要將導(dǎo)入的視頻數(shù)據(jù)轉(zhuǎn)碼成標(biāo)準(zhǔn)格式,進(jìn)行保存或存儲(chǔ)到視頻證據(jù)管理中心。如圖5-8所示：圖5-8視頻格式標(biāo)準(zhǔn)化處理示意圖視頻格式標(biāo)準(zhǔn)化的實(shí)現(xiàn)算法有五個(gè)步驟,如圖5-9所示。〔1原始視頻：各個(gè)廠商的原始視頻,各個(gè)廠商的私有格式,通用播放器不能播放?！?視頻分析模塊：分析各個(gè)廠商的原始視頻,是屬于哪個(gè)廠商,視頻格式是什么,此模塊根據(jù)各主流廠商的編碼特性,能快速的識(shí)別出主流廠商的碼流?！?窮舉分析模塊：對(duì)于視頻分析模塊分析不出來(lái)的碼流,則送入此模塊進(jìn)行分析,主要用于非主流廠商的碼流分析。把送入的碼流與各種標(biāo)準(zhǔn)格式進(jìn)行對(duì)比,從而分析出原始碼流的特性。〔4解碼模塊：通過(guò)前面的分析,把原始碼流送入到相應(yīng)的解碼模塊