基于視頻結(jié)構(gòu)化圖偵系統(tǒng)的應(yīng)用

基于視頻構(gòu)造化圖偵系統(tǒng)的應(yīng)用目前，視頻監(jiān)控系統(tǒng)已經(jīng)成為治安防控、偵查破案的重要手段。但是，面對海量的視頻信息、非構(gòu)造化的數(shù)據(jù)形式和內(nèi)容的多義性， 在案發(fā)后人工調(diào)閱方式耗時耗力，大量視頻未經(jīng)梳理而流失，嚴(yán)重影響了監(jiān)控系統(tǒng)的建設(shè)成效。 目前在安全防備領(lǐng)域中，有效分析、組織和管理視頻數(shù)據(jù)，研究基于內(nèi)容的視頻應(yīng)用系統(tǒng)取代人工方式，已經(jīng)成為警務(wù)信息化應(yīng)用的研究重點。本文分析研究了視頻數(shù)據(jù)的規(guī)范化采集、構(gòu)造化存儲和全局性共享等問題，提出基于視頻內(nèi)容構(gòu)造化分析技術(shù)，按照“一種證據(jù)中心，兩個核心應(yīng)用”方式來構(gòu)建圖偵系統(tǒng)的技術(shù)方案和應(yīng)用模式。重要工作涉及：（1）分析了目前公安圖偵工作的困難和制約，研究了視頻圖像從采集、研判，到管理、應(yīng)用的一體化工作模式，基于視頻內(nèi)容構(gòu)造化分析技術(shù)，提出了“視頻證據(jù)中心、視頻圖像取證、視頻研判分析”為框架的網(wǎng)偵系統(tǒng)研發(fā)思路。以視頻采集、證據(jù)管理、研判應(yīng)用為業(yè)務(wù)主線，研究了基于視頻構(gòu)造化圖偵系統(tǒng)建設(shè)的總體技術(shù)方案、 基本功能點，設(shè)計了系統(tǒng)研發(fā)的體系架構(gòu)、邏輯架構(gòu)、數(shù)據(jù)架構(gòu)，以及與外部系統(tǒng)之間的關(guān)系。（3）分析了視頻構(gòu)造化建庫的重要任務(wù)和核心問題，從視頻人、車、物基本要素入手，進(jìn)行了視頻證據(jù)中心的模型設(shè)計， 涉及證據(jù)中心的體系構(gòu)造、 視頻對象構(gòu)造化定義、對外數(shù)據(jù)交互視圖，以及證據(jù)中心實體 -關(guān)系圖（（4）從工作模式和核心應(yīng)用出發(fā)，分析了圖偵業(yè)務(wù)的重要角色和重要環(huán)節(jié)，設(shè)計了圖偵工作的業(yè)務(wù)流程、核心業(yè)務(wù)交互順序、摘要索引業(yè)務(wù)流程和基本功能點，整合運用視頻構(gòu)造化、視頻摘要、視頻索引等先進(jìn)技術(shù)，進(jìn)行了軟件的設(shè)計和實現(xiàn)。使用成果表白，基于視頻內(nèi)容構(gòu)造化開發(fā)的圖偵系統(tǒng)， 可以實現(xiàn)視頻監(jiān)控信息的全程篩選，避免有用信息的流失，再造了視頻監(jiān)控及研判應(yīng)用的信息流及業(yè)務(wù)流，可以有效支撐了圖偵工作機(jī)制的轉(zhuǎn)型發(fā)展。第一章 緒論1.1. 研究的背景和意義隨著國家經(jīng)濟(jì)、社會的迅速發(fā)展 ,人民群眾的安全防備意識不斷提高。特別是保守估計全國各級公安機(jī)關(guān)可直接調(diào)控的視頻監(jiān)控攝像機(jī)已超百萬支 [1]；各行各業(yè)、各重點企事業(yè)單位社會也廣泛開展視頻監(jiān)控系統(tǒng)建設(shè)，加強(qiáng)對重點部位、重要場合的實時監(jiān)控。視頻監(jiān)控系統(tǒng)已經(jīng)成為維護(hù)社會穩(wěn)定、 治安安定和創(chuàng)新社會管理的重要手段，在指揮決策、治安防控、偵查破案和執(zhí)法監(jiān)督等方面發(fā)揮著積極的作用。目前，視頻監(jiān)控系統(tǒng)已經(jīng)成為治安防控、偵查破案的重要手段。但是，由于視頻數(shù)據(jù)量龐大且格式復(fù)雜，存儲代價昂貴且難以管理，面對海量的視頻信息、非構(gòu)造化的數(shù)據(jù)形式和內(nèi)容的多義性， 在案發(fā)后人工調(diào)閱方式耗時耗力， 大量視頻未經(jīng)梳理而流失，嚴(yán)重影響了監(jiān)控系統(tǒng)的建設(shè)成效。 年2 月公安部下發(fā)《全國公安機(jī)關(guān)視頻圖像信息整合與共享工作任務(wù)書》 ，規(guī)定充足運用先進(jìn)的視頻監(jiān)控、圖像解決技術(shù)，進(jìn)一步開展視頻圖像信息共享應(yīng)用平臺建設(shè)。 目前在安全防備領(lǐng)域中，有效分析、組織和管理視頻數(shù)據(jù)，研究基于內(nèi)容的視頻應(yīng)用系統(tǒng)取代人工方式，提高監(jiān)控系統(tǒng)建設(shè)成效，已經(jīng)成為警務(wù)信息化工作的研究重點。為此，必須充足運用先進(jìn)的圖像解決技術(shù)，突破視頻監(jiān)控系統(tǒng)聯(lián)網(wǎng)、整合與共享工作中存在的發(fā)展瓶頸。原有監(jiān)控工作模式的局限性，重要表目前“視頻圖像采集”、“視頻圖像檢索”和“視頻要素建庫”這三個環(huán)節(jié)。（1）視頻圖像采集不規(guī)范按照公安機(jī)關(guān)對視頻監(jiān)控系統(tǒng)建設(shè)的有關(guān)規(guī)定， 一般規(guī)定視頻監(jiān)控系統(tǒng)具有至少30 天持續(xù)視頻圖像存儲能力，并能自動循環(huán)覆蓋存儲。在實際工作中，由于視頻圖像采集速度慢且過程繁瑣， 原始視頻數(shù)據(jù)量龐大且格式復(fù)雜， 備份海量視頻需要海量存儲空間等因素，難以建立起一套有效的視頻圖像信息采集機(jī)制，只有在查處大要案事件時，辦案部門才會調(diào)閱視頻監(jiān)控資源， 查找嫌疑人或可疑物品，并隨案保存相應(yīng)視頻資料， 過圖像信息的梳理采集并保存使用，存在有價值的視頻圖像信息被覆蓋、被流失、被放棄等問題，嚴(yán)重減少了視頻監(jiān)控系統(tǒng)的建設(shè)成效。在老式的視頻監(jiān)控系統(tǒng)，雖然建設(shè)了大量的攝像鏡頭，但是缺少對數(shù)據(jù)的有效分析和運用，大量的有價信息被丟棄或湮沒于數(shù)據(jù)海洋中， 成為數(shù)據(jù)垃圾，投資大、成效低。圖 1-1 描繪了原有視頻監(jiān)控圖像信息的完整生命周期，僅有不到1%的視頻信息通過梳理研判，絕大部分的視頻監(jiān)控信息沒有經(jīng)篩選而直接流失。因此，充足運用先進(jìn)的圖像解決技術(shù)，特別是視頻信息的構(gòu)造化分析技術(shù)，建立成熟、規(guī)范的視頻圖像信息采集、管理和研判、應(yīng)用機(jī)制已經(jīng)十分急切。圖1-1 老式視頻監(jiān)控圖像信息的完整生命周期分析在平常網(wǎng)上監(jiān)控巡邏工作中，由于缺少一種可操作性的工作平臺， 也沒有建立健全視頻圖像信息的采集、管理機(jī)制，視頻監(jiān)控有“巡”無“查” ，監(jiān)控操作人員缺少有效的可操作性工作指標(biāo)。 因此，構(gòu)建規(guī)范化的視頻圖像采集機(jī)制對于提高視頻監(jiān)控系統(tǒng)運用價值具有積極意義。（2）視頻圖像檢索困難目前，視頻監(jiān)控系統(tǒng)深度運用的另一種瓶頸是視頻調(diào)閱耗時耗力， 以人工方式進(jìn)行檢索，效率低下。重要表目前：在案發(fā)后對海量涉案視頻信息的調(diào)閱過程耗時嚴(yán)重，所需人員投入量巨大并隨著案情的復(fù)雜限度遞增； 原始涉案視頻質(zhì)量參差不齊，有時還需要此外工具和受過專業(yè)圖像解決訓(xùn)練的人員。 因此，對海量涉案視頻的調(diào)閱，對人的體能和精力都是極大的考驗， 從而直接導(dǎo)致檢索效率下降，無法有效地迅速瀏覽視頻、定位目的。運用視頻圖像轉(zhuǎn)碼技術(shù)，可以將非標(biāo)格式圖像轉(zhuǎn)換成原則格式，便于開展統(tǒng)一視頻圖像信息采集和建庫管理；基于視頻摘要技術(shù)解決后，整合形成的摘要視頻遠(yuǎn)遠(yuǎn)短于原始視頻，從而縮短了人工調(diào)閱的時間，便于迅速鎖定目的，迅速提取線索信息，截取可疑目的浮現(xiàn)和消失的視頻片段，并與警務(wù)數(shù)據(jù)庫進(jìn)行圖片或視頻的關(guān)聯(lián)標(biāo)注保存。這樣當(dāng)有案件需要檢索線索時可直接查看標(biāo)注圖片或截取視頻，提高了檢索線索的效率。（3）視頻對網(wǎng)絡(luò)帶寬的瓶頸制約隨著視頻監(jiān)控的聯(lián)網(wǎng)發(fā)展，警務(wù)人員在需要倒查錄像的時候， 都會采用聯(lián)網(wǎng)下載的方式，這樣雖然提高了辦案的效率， 但也帶來了某些弊端，例如對網(wǎng)絡(luò)帶寬的依賴，在倒查錄像的時候需要對錄像進(jìn)行下載或者以流媒體的方式進(jìn)行查看，無論采用何種方式，都會占用非常巨大的網(wǎng)絡(luò)帶寬資源， 如果網(wǎng)絡(luò)無法正常工作或者浮現(xiàn)網(wǎng)絡(luò)堵塞等狀況，錄像文獻(xiàn)往往尚有也許浮現(xiàn)數(shù)據(jù)丟失的狀況， 如何擺脫或者減少對網(wǎng)絡(luò)的依賴以成為了目前視頻監(jiān)控市場一種迫切需要解決的難題。（4）視頻構(gòu)造化建庫局限性目前，各地都在積極摸索建立視頻信息庫， 對各部門、警種關(guān)注的視頻圖像信息進(jìn)行整頓、分類存儲。但是，在實際工作中，由于視頻信息的非構(gòu)造化、多語義性，所建的視頻信息庫，只能對案件進(jìn)行簡樸標(biāo)注， 各地仍然以人工查看為主。近年來，視頻特性提取、視頻構(gòu)造化分析、視頻索引、視頻檢索等技術(shù)已經(jīng)獲得了明顯的進(jìn)步，但在整合應(yīng)用上尚有距離，還沒有形成一種成熟的工作平臺和應(yīng)用體系。因此，充足運用視頻構(gòu)造化分析、視頻摘要等圖像解決技術(shù)， 從案事件證據(jù)的角度，建備案事件視頻證據(jù)庫，用來存儲從視頻監(jiān)控系統(tǒng)中提取的視頻片段和圖像特性信息，構(gòu)建以視頻圖像共享應(yīng)用為核心的工作平臺， 對強(qiáng)化公安機(jī)關(guān)視頻圖像信息資源的綜合開發(fā)運用，提高公安機(jī)關(guān)的核心戰(zhàn)斗力具有積極的現(xiàn)實意義。圖偵系統(tǒng)是吳江市“部提成果，例如視頻摘要子系統(tǒng)、視頻檢測子系統(tǒng)等，已經(jīng)在吳江市公安局進(jìn)行試用，效果滿足公安實戰(zhàn)需要，有關(guān)基層公安機(jī)關(guān)視頻巡邏、視頻取證、視頻研判、新機(jī)制也在逐漸推動之中。1.2. 項目研究的目的本文將整合運用視頻構(gòu)造化、視頻摘要和數(shù)據(jù)挖掘等先進(jìn)技術(shù)， 研究構(gòu)建視頻圖像信息共享偵查應(yīng)用系統(tǒng)“采要的案件偵破手段和情報來源，前瞻性地推動視頻監(jiān)控系統(tǒng)建設(shè)由報”的演進(jìn)，并將最后為基層公安民警提供一種“貼近實戰(zhàn)、研判高效、管理有序”全局性的視頻研判作業(yè)環(huán)境。重要目的如下：1、對接視頻監(jiān)控聯(lián)網(wǎng)系統(tǒng)，實現(xiàn)對聯(lián)網(wǎng)監(jiān)控視頻圖像的統(tǒng)一采集、調(diào)取，進(jìn)行案事件視頻解決、研判、統(tǒng)一管理、圖像要素布控等提供技術(shù)手段。2、滿足案事件現(xiàn)場移動視頻圖像采集，實現(xiàn)案事件現(xiàn)場視頻圖像解決、現(xiàn)場研判；可以迅速對現(xiàn)場周邊圖像進(jìn)行采集、視頻轉(zhuǎn)碼播放、視頻屬性編輯等。3、可以實現(xiàn)視頻的構(gòu)造化分析，具有視頻摘要、視頻索引、視頻檢索、視頻編輯、圖片解決等多種視頻圖像解決手段，提高視頻自動分析能力。5、對接警務(wù)綜合信息系統(tǒng)，建立視頻圖像信息證據(jù)數(shù)據(jù)庫，為全警平常警務(wù)工作中收集到的可疑或涉案圖像資源提供統(tǒng)一的資源管理及存儲空間。 為重要信息的收集與查詢、關(guān)聯(lián)資源的碰撞、串并案分析研判提供基本環(huán)境。總之，通過構(gòu)建和部署應(yīng)用圖偵系統(tǒng)，規(guī)定可以：（1）迅速鎖定突發(fā)事件的（3）發(fā)現(xiàn)潛在破案線索—可以有更多的機(jī)會審視更長的錄像文獻(xiàn)，發(fā)現(xiàn)更多的破案信息。從而，使公安機(jī)關(guān)可以：（1）縮短破案時間，節(jié)省辦案人員；（勞動強(qiáng)度，減少辦案成本；（3）極大提高辦案效率。1.3. 國內(nèi)外應(yīng)用研究現(xiàn)狀內(nèi)容多義性和流媒體傳播的特性。因此，視頻數(shù)據(jù)不同于老式數(shù)據(jù)庫所解決的數(shù)據(jù)類型， 它不是一種簡樸的數(shù)值或字符型數(shù)據(jù)，老式數(shù)據(jù)庫中對字符或數(shù)值型數(shù)據(jù)的解決措施己經(jīng)完全不能適應(yīng)對視頻數(shù)據(jù)的解決規(guī)定。長期以來，人們只能以流媒體的方式準(zhǔn)時間段來存儲視頻數(shù)據(jù)。同步，由于數(shù)據(jù)量龐大、非構(gòu)造化形式，視頻數(shù)據(jù)存儲代價昂貴難以長期保存，也不具有老式數(shù)據(jù)庫的構(gòu)造化管理能力，嚴(yán)重阻礙了顧客的交互操作使用。 為此，隨著視頻監(jiān)控系統(tǒng)在社會治安防控體系中應(yīng)用的日益廣泛， 視頻監(jiān)控系統(tǒng)的深度應(yīng)用研究越來越成為人們的關(guān)注和研究的熱點， 國內(nèi)外許多研究機(jī)構(gòu)和單位開展相應(yīng)的研究。1.3.1 國外應(yīng)用研究現(xiàn)狀在國外, 對視頻構(gòu)造化分析、摘要技術(shù)的研究起步稍早一點， 1994年，卡內(nèi)基梅隆大學(xué)就己經(jīng)開始研發(fā)視頻數(shù)據(jù)庫系統(tǒng)， 該系統(tǒng)在視頻摘要方面有非常系統(tǒng)而進(jìn)一步的研究。它更注重縮略視頻的生成，即如何從一段長視頻中抽取出視音頻信息生成可以體現(xiàn)原視頻語義內(nèi)容的精簡視頻。特別地，它運用了熟知的TF-IDF 措施從腳本中抽取文字。之后，Mannheim大學(xué)也做了與hiformed 系統(tǒng)類似的研究。她們研究出的系統(tǒng)MOCA重要針對的是電影，能生成電影的精彩場景亦或是預(yù)告片 [2]。有微軟研究院(張宏江、馬宇飛和YongRui 等人)、IBM研究院(JohnR.Smith 等人)、北卡州立大學(xué)(Jianping Fan等人)(Yap-PengTan等人)“基于內(nèi)容”原型系統(tǒng)。例如，IBMAlmaden研究中心研究開發(fā)的 QBIC系統(tǒng)[3]，是“基于內(nèi)容”檢索系統(tǒng)的典型代表。QBIC系統(tǒng)容許使用例子圖像、顧客構(gòu)建的草圖和圖畫及其選擇的顏色和紋理模式、鏡頭和目的運動等圖形信息，對大型圖像和視頻數(shù)據(jù)庫進(jìn)行查詢。QBIC技術(shù)集成語音辨認(rèn)的成果，形成CueVidco 統(tǒng)[4]是美國哥倫比亞大學(xué)研究開發(fā)的一種基于內(nèi)容的多媒體搜索引擎的原型系統(tǒng),它通過提取圖像/視頻的顏色、紋理以及文本等特性實現(xiàn)了運營于網(wǎng)絡(luò)環(huán)境下的基于內(nèi)容的圖像/視頻檢索[5]普及應(yīng)用、成熟應(yīng)用的案例仍鮮見報道。1.3.2 國內(nèi)應(yīng)用研究現(xiàn)狀對于國內(nèi)來說,有關(guān)基于內(nèi)容的視頻構(gòu)造化技術(shù)的研究起步比較晚 ,從20世紀(jì)90 年代后期開始,才逐漸受到多媒體研究領(lǐng)域的關(guān)注 ,因此,相應(yīng)的技術(shù)水平較國外有一定的差距。近年來，為滿足案件偵查、治安管理工作的需要，國內(nèi)某些公安機(jī)關(guān)還專門組建了視頻偵查部門， 摸索建立視頻數(shù)據(jù)庫，對視頻圖像信息進(jìn)行整頓、分類存儲。但是，目前由于視頻的非構(gòu)造化、多語義性和大數(shù)據(jù)量，加上案事件偵核對智能化手段應(yīng)用的嚴(yán)密性、成熟度規(guī)定高，在實際工作中仍然以人工調(diào)閱為主，在視頻信息的構(gòu)造化、體系化共享、整合應(yīng)用上還在摸索、實踐階段，有關(guān)的產(chǎn)品和案例不多，還沒有形成統(tǒng)一的平臺應(yīng)用模式。具體表目前：（1）在視頻數(shù)據(jù)采集上，大量的視頻數(shù)據(jù)重要在案事件發(fā)生后來，根據(jù)案件進(jìn)行事后視頻調(diào)閱、查看采集為主，而在線實時采集重要運用于道路通行車輛的車牌抓拍辨認(rèn)，對其她方面的辨認(rèn)運用較少。（2）在視頻數(shù)據(jù)庫建設(shè)上，目前各地所建的視頻數(shù)據(jù)庫重要是對截取的視頻片段進(jìn)行簡樸的案件關(guān)聯(lián)標(biāo)注， 以原始視頻媒體的方式存儲，只能通過案件進(jìn)行關(guān)聯(lián)查詢，視頻檢索仍然靠人工查看方式。（3）在軟硬件產(chǎn)品上，受制于圖像辨認(rèn)、成像環(huán)境等的復(fù)雜性，目前國內(nèi)基于視頻圖像系統(tǒng)的設(shè)備大都以圖像傳播為主的， 用于視頻摘要、證據(jù)提取上的產(chǎn)品較少。目前，重要有廣東省公安廳研發(fā)的 VCS視頻圖像采集摘要比對器 [1]能通公司的S80視頻取證終端、成都索貝科技公司的 i3DSP 視頻偵查器等產(chǎn)品。目前各地都在積極整合運用先進(jìn)的視頻特性提取、構(gòu)造化分析、視頻摘要等技術(shù)，結(jié)合警務(wù)工作，摸索建立規(guī)范化、系統(tǒng)性視頻信江蘇吳江市公安局研發(fā)的視頻圖像智能分析系統(tǒng)， 可以對1 小時一般視頻錄像，經(jīng)解決形成不到 5 分鐘的摘要視頻，且不會丟失有效運動對象，便于迅速定位嫌疑目的。年以來，國內(nèi)大學(xué)、研究機(jī)構(gòu)積極開展視頻內(nèi)容構(gòu)造化領(lǐng)域的理論與比較典型的視頻檢索系統(tǒng)有 : 國防科技大學(xué) 研制開發(fā)的NewVidcoCAR和MIRC系統(tǒng)[6]，重要用于對對新聞節(jié)目和多媒體數(shù)據(jù)庫進(jìn)行查詢和檢索多媒體信息； 由清華大學(xué)研發(fā)的 TV-FI 系統(tǒng)[7]頻節(jié)目綜合管理系統(tǒng),提供瀏覽、查詢等多種模式的視頻數(shù)據(jù)訪問方式；中科院計算技術(shù)研究所開發(fā)的 MIRES(MultimediaInformationRetrievalSystern) 系統(tǒng)[8]，是一種基于特性的多媒體信息檢索系統(tǒng)，該系統(tǒng)實現(xiàn)了基于內(nèi)容的圖像檢索及文本檢索,同步還可以應(yīng)用于視頻檢索等有關(guān)應(yīng)用領(lǐng)域。目前，國內(nèi)“基于內(nèi)容”視頻數(shù)據(jù)檢索方面，已經(jīng)形成了由視頻特性提取、構(gòu)造化分析、視頻摘要，以及視頻檢索和瀏覽等五項核心技術(shù)構(gòu)成的視頻數(shù)據(jù)檢索系統(tǒng)，其解決流程如圖 1-2 所示。圖1-2 基于內(nèi)容的視頻數(shù)據(jù)檢索系統(tǒng)解決流程1.4. 重要工作本文對視頻信息的規(guī)范化采集、構(gòu)造化存儲和全局性共享等問題進(jìn)行了研究與分析，提出基于視頻內(nèi)容構(gòu)造化分析理論， 整合先進(jìn)的視頻特性提取、 視頻結(jié)構(gòu)化、視頻摘要、視頻索引等圖像解決技術(shù)，按照“一種證據(jù)中心，兩個核心應(yīng)用”方式來構(gòu)建圖偵系統(tǒng)的技術(shù)方案和應(yīng)用模式， 使圖像解決技術(shù)成為案事件的偵破手段和情報來源，推動視頻圖像監(jiān)控系統(tǒng)建設(shè)由重要工作涉及：（1）分析了目前公安圖偵工作的困難和制約，研究了視頻圖像從采集、研判、管理的一體化應(yīng)用工作模式，基于視頻內(nèi)容構(gòu)造化分析技術(shù)，提出了“視頻證據(jù)中心、視頻圖像取證、視頻研判分析”為框架網(wǎng)偵系統(tǒng)研發(fā)思路。（2）針對目前圖偵工作信息化的迫切需求，結(jié)合警務(wù)實際，以視頻采集、從各個層面研究圖偵系統(tǒng)建設(shè)的總體技術(shù)方案，設(shè)計了系統(tǒng)研發(fā)的體系架構(gòu)、邏輯架構(gòu)、數(shù)據(jù)架構(gòu)、基本功能，以及與外部系統(tǒng)之間的關(guān)系。（3）針對非構(gòu)造化視頻建庫的局限性，從警務(wù)一體化的角度和人、車、物基本要素入手，研究并設(shè)計了視頻構(gòu)造化證據(jù)庫的建庫模型， 涉及證據(jù)庫的體系結(jié)構(gòu)、視頻數(shù)據(jù)構(gòu)造化定義、對外數(shù)據(jù)交互方式，以及證據(jù)庫管理的基本功能。（4）為提高圖偵手段的應(yīng)用水平，研究分析了圖偵工作的核心業(yè)務(wù)角色、業(yè)務(wù)環(huán)節(jié)和重要業(yè)務(wù)流程，明確了視頻取證、情報研判對圖偵系統(tǒng)的基本功能需求，整合運用視頻構(gòu)造化、視頻摘要、視頻索引等先進(jìn)技術(shù)，進(jìn)行了應(yīng)用軟件的設(shè)計和實現(xiàn)。使用成果表白，基于視頻構(gòu)造化開發(fā)的圖偵系統(tǒng)，可以實現(xiàn)視頻監(jiān)控信息的再造了視頻監(jiān)控及研判應(yīng)用的信息流及業(yè)務(wù)流，有效地支撐了圖偵工作機(jī)制的轉(zhuǎn)型發(fā)展。第二章 基本技術(shù)概述2.1. 視頻構(gòu)造化理論綜述視頻數(shù)據(jù)在形式上是一種完全沒有構(gòu)造性的數(shù)據(jù)， 但是在內(nèi)容上它又有著很強(qiáng)的邏輯構(gòu)造。一般來說，一段視頻由某些描述獨立故事單元的場景 (也稱作故事單元)構(gòu)成：一種場景由某些語義有關(guān)的鏡頭構(gòu)成，它們一般發(fā)生在相似的時間和地點，浮現(xiàn)相似的人物或事件；一種鏡頭是由某些持續(xù)的視頻幀構(gòu)成， 它由攝像機(jī)一次攝像的開始和結(jié)束所決定。 視頻構(gòu)造化分析是指將視頻序列按照其語義內(nèi)容分割為鏡頭、鏡頭類、場景等語義單元，從而實現(xiàn)視頻序列的層次化組織 ,使之便于隨機(jī)訪問。根據(jù)內(nèi)容粒度的大小，視頻數(shù)據(jù)一般被構(gòu)造化為從大到小的 4 個層次：視頻、場景、鏡頭和圖像幀，如圖 2-1 所示。圖2-1 視頻內(nèi)容的層次組織構(gòu)造在層次組織的構(gòu)造化視頻中，各層次的含義和屬性分為為：(1)視頻幀(Frame)幀是視頻數(shù)據(jù)的最小視覺單位,時間上持續(xù)的幀合成動態(tài)圖像序列。 幀的屬性有：直方圖、輪廓圖、DC和AC分量圖等。(2)鏡頭(Shot)：攝像機(jī)在一次從打開到關(guān)閉的操作過程中記錄的一組持續(xù)圖像幀。鏡頭是視頻數(shù)據(jù)的基本單位。鏡頭屬性有：持續(xù)時間、開始幀號、結(jié)束幀號、代表幀集合、特性空間等。(3)場景(scene)：在時間和空間上持續(xù)的視頻背景,由多種持續(xù)的鏡頭構(gòu)成,描述一段具體的語義內(nèi)容。場景也稱為故事單元(StoryUnit)。場景的屬性有：標(biāo)題、持續(xù)時間、鏡頭數(shù)目、開始鏡頭和結(jié)束鏡頭等。(4)視頻(Video)：原始的視頻數(shù)據(jù)。可以涉及一種或多種場景。視頻流的屬性有：場景個數(shù)和持續(xù)時間等。從時間軸上看，視頻是由一系列持續(xù)的圖像幀和相應(yīng)音頻構(gòu)成的集合， 集合中的基本元素是圖像幀。視頻數(shù)據(jù)的構(gòu)造化就是對視頻在時間上的層次分割， 完成原始的非構(gòu)造化的視頻流到構(gòu)造化的視頻實體的轉(zhuǎn)換。 構(gòu)造化將視頻基本元素圖像幀劃分為多種子集，成為不同層次上的構(gòu)造實體。 其中，視頻文獻(xiàn)和幀是視頻數(shù)據(jù)自身所擁有的物理層次， 而場景和鏡頭則是概念上的層次。 劃分的基本問題是鏡頭邊界和場景邊界檢測問題 (scene-change-Detection 使用顏色直方圖、邊沿、運動以及記錄信息的措施來辨認(rèn)攝像機(jī)的運動； 場景識別可以通過鏡頭背景相似度和音頻特性的內(nèi)容來辨認(rèn)。 越是高檔層次的劃分越是困難，例如：故事單元的劃分，其物理特性的區(qū)別并不明顯，需要某些高檔語義的輔助，其劃分的有效性依賴于知識庫以及基于知識的判斷等人工智能技術(shù)的發(fā)展。視頻的組織過程是從最底層的圖像幀開始， 借助于鏡頭檢測，將圖像幀組合聚合為鏡頭；通過背景、音頻等特性將一系列語義有關(guān)、 時間相鄰的鏡頭組合為場景；再通過某些高層的語義知識將場景結(jié)合為故事。可見，視頻數(shù)據(jù)的組織劃分過程就是視頻流的不斷抽象的過程。2.1.1 基于鏡頭的構(gòu)造化分析1993年Zhang[12]初次提出了鏡頭邊界檢測的思想，奠定了鏡頭邊界檢測的基本。基本可以概括為三個環(huán)節(jié) :視頻幀的特性提取，幀間差的計算，選用準(zhǔn)則確定這些差別并鑒定鏡頭邊界，涉及選用合適的閥值。直方圖特性的提取是應(yīng)用最為廣泛的特性，在多種顏色空間中，例如 或是量化為N 個槽(bin) 然后進(jìn)行歸一化便得到幀的顏色直方圖特性。由于直方圖特性的記錄特性，對顏色分布的較好描述，因此幀間差的計算措施多大依托直方圖特性。 一般狀況下，當(dāng)差值超過某一閾值時，覺得存在一種鏡頭邊界。顏色直方圖的比較有如下比較方式，如式 (2-1)，式(2-2)和式(2-3)所示。2.1.2 基于核心幀的構(gòu)造化分析核心幀具有代表性，運用核心幀來描述鏡頭、場景或是整段視頻，以作為結(jié)構(gòu)化分析的基本。這樣能保存視頻內(nèi)容的重要信息，可以減少冗余信息的計算。Taniguchi[16] 采用等間隔采樣的措施，按照一定的時間段抽取核心幀。這種做法的長處是計算簡樸、速度快，但是導(dǎo)致選用的核心幀過多， 且不具有代表性的缺陷。后來，她 [17] 又直接選用每個鏡頭的第一幀或是最后一幀作為鏡頭的核心幀。Yeung[18]等人提出在一種鏡頭中先將第一幀作為核心幀，隨后的幀與目前的核心幀進(jìn)行顏色特性的比較，超過某一閾值的，則再選用一種核心幀，反復(fù)上面的比較，就可完畢鏡頭內(nèi)的核心幀的抽取。2.1.3 基于場景聚類的構(gòu)造化分析場景就是具有相似語義特性的鏡頭組，許多研究者運用比較鏡頭相似度的方法，把有關(guān)的鏡頭聚類成場景[19]時間固定的鏡頭聚類算法[20]和時間自適應(yīng)分組法[21]前者在一種特定期間窗口內(nèi)，運用里邊的視頻幀來計算鏡頭的相似性， 而窗口外的鏡頭的相似性則不予考慮，聚類效果由于時間的限制具有不完全的擬定。 后者提出了時間自適應(yīng)分組法，克服了固定期間聚類算法的局限性， 把兩個鏡頭之間的時間距離也作為鏡頭相似度的考慮因素，距離越大，相似度越小。此外， AlanHanjalic 和WallapakTavanapong采用了圖像分塊的措施來計算鏡頭相似性度量，從而聚類算法來構(gòu)造場景，由于圖像的每個區(qū)域都從不同角度體現(xiàn)視頻場景的特性。Hanjalic 對鏡頭的核心幀圖像合并，得到新的一幅圖像，并對其進(jìn)行分塊，以塊為最小單元，這樣代表兩個鏡頭的兩幅新圖像， 求出她們中距離相似度最大的N個塊的距離值，平均后作為鏡頭之間的相似度， 鏡頭聚類是基于重疊鏈接的算法(OverlappingLinksConnectingSimilarShots) 。她還簡介了一種用于自動提取視頻摘要的聚類措施。類似的， WallapakTavanapong則直接把靜態(tài)幀圖像提成幾種區(qū)域，然后通過依次比較相應(yīng)區(qū)域之間的相似度來擬定鏡頭的相似度，也運用鏡頭鏈算法提取場景。 Chong-wahNgo等[26]使用張量直方圖提取運動特性，再運用K-means算法來對體育視頻進(jìn)行了聚類和檢索。 Vailaya等提出了基于類別的視頻塊檢索措施。胡曉峰等 [28]提出了基于HSV顏色直方圖特性提取的自校正鏡頭聚類算法。 目前，國內(nèi)外學(xué)者對基于場景聚類的構(gòu)造化分析措施，如顏色、紋理、形狀、動態(tài)、頻度等視頻圖像特性，已經(jīng)進(jìn)行了廣泛而進(jìn)一步的研究，獲得了重大進(jìn)展，為視頻內(nèi)容的構(gòu)造化分析技術(shù)的廣泛應(yīng)用奠定的強(qiáng)有力理論及技術(shù)基本。2.2. 視頻摘要技術(shù)綜述所謂“視頻摘要技術(shù)”，簡樸地說，就是通過計算機(jī)自動解決技術(shù)，對視頻的內(nèi)容和構(gòu)造進(jìn)行分析，并從原視頻內(nèi)容中提取出顧客需要的信息， 通過再整合后形成摘要視頻。摘要視頻遠(yuǎn)遠(yuǎn)短于原始視頻，如果一種視頻摘要可以做到盡量精確和充足，那么就可以讓顧客在最短時間內(nèi)獲得最核心的信息， 極大地提高效率。這樣，當(dāng)發(fā)生重特大案事件時，需要調(diào)取大量監(jiān)控攝像頭的視頻錄像，按照本來人工的方式，需要安排數(shù)十上百民警不分晝夜持續(xù)觀當(dāng)作千上萬小時的視頻錄像，以期發(fā)現(xiàn)短短幾秒的視頻線索，工作強(qiáng)度和壓力是巨大。近年來，國內(nèi)外在視頻摘要技術(shù)等方面的研究獲得了迅速進(jìn)展， 許多新技術(shù)應(yīng)用日益成熟。例如，顧諍、智敏、劉彩云等分別提出了一種新穎的基于近鄰傳播聚類和頻繁鏡頭、 基于場景、對象的視頻摘要生成措施。依托先進(jìn)的視頻摘要技術(shù)，可以大大縮短視頻查看時間，可以迅速提取線索、鎖定可疑目的。聯(lián)想在自然語言解決(NLP,Natural LanguageProcessing) 是表達(dá)文本內(nèi)容的重要方式，文本的主題抽取在 NLP中是的基本性的工作，即從文本中抽取出特性詞構(gòu)成若干主題句， 用以概括文本的重要內(nèi)容。在視頻解決領(lǐng)域與文本的主題抽取類似，視頻摘要 (VideoSynopsis) ，又稱視頻主題抽取(Video Abstraction ，VideoSummarization)，即用一段很短的視頻對原始視頻中的內(nèi)容進(jìn)行高度概括，通過觀看這段短視頻，就能懂得整個視頻的大概內(nèi)容。根據(jù)摘要信息體現(xiàn)形式的不同，可以把視頻摘要技術(shù)分為靜態(tài)圖像摘要(VideoSummary)和動態(tài)圖像摘要(VideoSkim) 兩種基本類型[32]。通過摘要以后的縮略視頻由于具有豐富的時間以及音頻信息，因而更加符合顧客的感知。2.2.1 靜態(tài)視頻摘要形式靜態(tài)視頻摘要是從原始視頻中剪取或生成的一小部分靜止圖像的集合， 這些代表了原始視頻的圖像稱為核心幀 (KeyFrame)。(1)標(biāo)題(Titles) ：是對視頻內(nèi)容的一段簡短的文字描述，這種文本方式的視頻摘要是最簡潔的形式，便于理解和建立索引，也是一種高度抽象的體現(xiàn)形式。標(biāo)題形式的視頻摘要往往需要人工來完畢， 計算機(jī)不能自動生產(chǎn)可以精確概括視頻片斷內(nèi)容的文字描述。一般也可以通過計算機(jī)自動字幕辨認(rèn)和視頻隨著語音識別，來進(jìn)一步分析生成摘要文字。(2)核心幀(KeyFrame)．是指從原視頻中抽取或生成一幅或幾幅靜態(tài)圖像，可以部分地體現(xiàn)視頻的語義信息。基于核心幀的摘要比標(biāo)題形式的摘要更能從視覺的角度為顧客提供更加直觀的可視信息。 但這種方式只能反映某一時刻視頻的靜態(tài)內(nèi)容，不能展示視頻的時間和動態(tài)特性。 因此，它一般適合于體現(xiàn)景物內(nèi)容相似的鏡頭和場景的視覺特性。 此外，核心幀形式的摘要對其她形式的靜態(tài)視頻摘要以及動態(tài)的縮略視頻的生成也有很大的參照價值， 因此，近年來始終受到研究人員的關(guān)注。(3)故事板(Story Board)：將多幀從視頻片段中抽取出的圖像及標(biāo)題準(zhǔn)時間順序排列起來就形成了故事板。 它可以向顧客提供視頻的總體描述， 在瀏覽過程中也可以以便地定位到視頻中感愛好的部分。 故事板不僅能體現(xiàn)視頻視覺上的信息，同步還能反映視頻的時間信息， 更能體現(xiàn)視頻的豐富內(nèi)容。 在實際應(yīng)用中故事本一般與文本標(biāo)題相結(jié)合，更利于瀏覽和檢索。(4)場景轉(zhuǎn)移圖它用一種簡潔可視的方式來體現(xiàn)視頻數(shù)據(jù)， 可以對視頻進(jìn)行層次化的非線性瀏覽。 場景轉(zhuǎn)移圖是一種有向圖，節(jié)點代表具有相似鏡頭的聚類， 兩個鏡頭之間的關(guān)系用邊來描述，表達(dá)鏡頭的先后順序。節(jié)點與邊共同構(gòu)成了場景圖， 反映視頻內(nèi)容的場景轉(zhuǎn)移。場景轉(zhuǎn)移圖僅僅對視頻內(nèi)容進(jìn)行了有效的靜態(tài)描述。(5)幻燈片(SlideShow) ：音頻對于顧客理解視頻的內(nèi)容有著非常重要的作用，幻燈片是隨著音頻的時間序列幀， 它們是核心幀集合的子集。 幻燈片提供了一種相對動態(tài)的摘要機(jī)制，相對其她動態(tài)視頻摘要，比較適合在低帶寬的網(wǎng)絡(luò)環(huán)境下使用。2.2.2 動態(tài)視頻摘要形式動態(tài)視頻摘要是由某些圖像序列以及相應(yīng)的音頻構(gòu)成， 它自身就是一種視頻片段，同步比原始視頻短的多。(1)縮略視頻(VideoSkim)它自身也是一段視頻，由原視頻中的某些片段拼接而成。 縮略視頻保存了原視頻的基本風(fēng)格， 具有更好的動態(tài)性和連貫性?？s略視頻是動態(tài)視頻摘要的重要形式， 一般涉及了原視頻中重要人物、重要事件片斷，故事的開頭和結(jié)尾和精彩片段， 也會涉及核心的字幕內(nèi)容?？s略視頻廣泛應(yīng)用于影視預(yù)告片、 網(wǎng)絡(luò)視頻點播、交互電視和新聞節(jié)目制作等領(lǐng)域。(2)多媒體影片摘要(MultimediaFilmsSummary) ：是在縮略視頻摘要的基礎(chǔ)上加入了文字、鏡頭圖像等其她信息，是一種由多種媒體形式構(gòu)成的影片內(nèi)容體現(xiàn)方式。例如，在一種電影的主題網(wǎng)頁中，也許涉及文字形式的簡介、 聲音形式的精彩對白、視頻形式的精彩片段等。這種形式提供了更加豐富的影片內(nèi)容體現(xiàn)， 同時也為顧客提供了多種瀏覽和檢索影片的方式。2.2.3 視頻摘要的生成過程盡管視頻摘要的形式有多種多樣， 采用的算法也不相似，但視頻摘要的生成一般都通過這樣幾種環(huán)節(jié)：(1)視頻數(shù)據(jù)的構(gòu)造化分析：將原始的視頻流劃分為合理的構(gòu)造單位，形成視頻內(nèi)容的層次模型，并得到視頻內(nèi)容對象的有關(guān)描述。 例如視頻數(shù)據(jù)采用不同的邊界檢測算法被分割為鏡頭、場景等。(2)視頻內(nèi)容的提?。阂曨l中涉及了許多可覺得人類感官直接認(rèn)知但不能被計算機(jī)直接辨認(rèn)的內(nèi)容，例如字幕、語音、人臉等等。尚有某些是需要借助人類的高檔思維才干被認(rèn)知的信息，例如情感、氛圍等等，對這些信息，計算機(jī)更是無能為力。視內(nèi)容的抽取，就是采用模式辨認(rèn)或視頻構(gòu)造探測的措施， 獲取可以被計算機(jī)直接解決，或可以被人的感觀直接感覺到的信息， 是獲得視頻摘要的基本條件。目前，視頻內(nèi)容抽取技術(shù)重要涉及自動語音辨認(rèn)技術(shù)、 人臉探測與人物辨認(rèn)技術(shù)、字幕探側(cè)與辨認(rèn)技術(shù)、鏡頭運動探測技術(shù)、徽標(biāo)探測與辨認(rèn)技術(shù)等。通過近年的研究，這些領(lǐng)域均獲得了一定的進(jìn)展。 例如，自動語音辨認(rèn)技術(shù)的某些產(chǎn)品例如Microsoft 的speechSDK 等，對于干擾較少、發(fā)音原則的語音已有了比較高的辨認(rèn)率;人臉探測、跟蹤與辨認(rèn)的研究更是開展得十分廣泛，技術(shù)也趨于成熟。(3)視頻內(nèi)容對象重要度的評判：以自動或人工提取的視頻內(nèi)容為基本，通過建立一定的重要度評判原則或評判模型，對視頻對象重要限度進(jìn)行分級評判。根據(jù)不同需求，視頻內(nèi)容重要度的鑒定也有所不同。 一般在生成視頻摘要的過程中，往往先對視頻進(jìn)行構(gòu)造化分析， 形成有關(guān)視頻內(nèi)容的層次模型， 并得到有關(guān)某些對象的描述，然后根據(jù)具體的需求結(jié)合我們某些領(lǐng)域知識， 對視頻內(nèi)容對象的重要限度進(jìn)行鑒定，選用某些有關(guān)度高，概括性強(qiáng)而又重要限度高的視頻內(nèi)容形成縮略視頻。重要度的鑒定是一種比較主觀的過程， 很難用一種定量的措施來描述摘要效果的好壞。目前研究的原型系統(tǒng)中，大多采用了顧客評估的措施。 這種措施費時費力，能否找到一種合理的定量的視頻摘要評價原則，是一種值得研究的問題。(4) 視頻摘要合成和體現(xiàn)：將選擇的重要視頻內(nèi)容對象以一定的方式組合起來，形成某種形式的視頻摘要，并以可視化的形式將摘要呈現(xiàn)出來。以上四條就是視頻摘要的基本環(huán)節(jié)，有關(guān)視頻摘要的研究都是環(huán)繞著這幾種環(huán)節(jié)展開的。例如，在視頻分割當(dāng)中涉及鏡頭探測、場景聚類、故事單元探測等技術(shù);在視頻內(nèi)容提取當(dāng)中涉及字幕辨認(rèn)，人臉辨認(rèn)等技術(shù)。它們?yōu)楹罄m(xù)的摘要工作提供鋪墊。它們波及了自然語言解決、人工智能甚至心理學(xué)領(lǐng)域的知識， 所用技術(shù)也相對比較復(fù)雜。2.3. 視頻檢索技術(shù)綜述所謂“視頻檢索技術(shù)”，就是通過對視頻內(nèi)容的分析、表達(dá)，提取視頻特性信息，建立視頻構(gòu)造化數(shù)據(jù)庫和特性索引， 運用被檢索的圖像特性值與數(shù)據(jù)庫中圖像的特性值進(jìn)行特性的相似性匹配，從而達(dá)到對圖像檢索的目的。的分析和表達(dá)[34]鍵幀，核心幀是這一段視頻中能反映視頻段重要信息的圖像， 通過對這張圖像像素的顏色、紋理、形狀信息以及像素的互相關(guān)聯(lián)進(jìn)行分析， 從而可以得到一系列數(shù)字特性或者描述特性，通過這些特性可以在一定限度上對圖像自身的內(nèi)容進(jìn)行描述。然后，運用這些特性值可以對圖像建立索引， 運用被檢索的圖像特性值與數(shù)據(jù)庫中圖像的特性值進(jìn)行特性的相似性匹配， 從而達(dá)到對圖像檢索的目的。因此，圖像內(nèi)容的描述問題實質(zhì)上是一種圖像特性值的提取問題。2.3.1 視頻特性的提取從廣義上來說，圖像的特性信息涉及文本 (例如核心字、注釋)和視覺特性。圖像的視覺特性可分為兩類，一類為通用的視覺特性，另一類為和領(lǐng)域有關(guān)的視覺特性。第一類用于表達(dá)所有圖像共有的特性，與具體的圖像類型或內(nèi)容無關(guān)，重要涉及圖像的低檔特性如顏色、 紋理、形狀以及圖像的高檔特性如圖像中的字幕等信息；另一類重要建立在對所示圖像內(nèi)容的某些先驗知識的基本上， 與實際應(yīng)用緊密有關(guān)，例如，人的指紋特性與面部特性等。 從這個意義上來說，基于內(nèi)容的視頻檢索實質(zhì)上是基于視頻圖像特性檢索的過程。 本文需要采用的是圖像中行人與車輛視覺特性的提取與匹配技術(shù)，重要波及到圖像的低檔特性。通過對視頻進(jìn)行構(gòu)造化分析，我們一般可以得到四種級別的視頻單元： 場景、鏡頭、事故單元和核心幀。針對不同的級別單元，提取單元特性的措施也不完全相似。如果提取的視頻單元為場景， 就要提取場景的故事情節(jié)；而對于鏡頭，就需要對運動對象的特定信息和視頻的運動信息進(jìn)行提??； 在對核心幀這一層進(jìn)行處理時，一般需要對圖像提取某些低檔特性，例如顏色、紋理、形狀等。由于事故單元可以由一種或多種核心幀來表達(dá)， 因此在事故單元級別上的特性提取事實上也屬于核心幀特性提取的范疇。 要在核心幀層次上提取這些低檔特性， 相對比較簡樸，一般可以自動提取。而要在場景、鏡頭層次上提取那些屬于視頻高檔語義的圖像特性， 就目前的技術(shù)發(fā)展來看它的提取難度相對較大， 雖然可以提取出來，不僅需要大量的人工也就是說就目前而言，基于鏡頭或場景層次上的提取還不能實現(xiàn)完全的自動提取。2.3.2 視頻數(shù)據(jù)庫技術(shù)在基于內(nèi)容的視頻檢索中，一方面要解決的是視頻數(shù)據(jù)存儲與管理這個最基本的問題，由于在基于內(nèi)容的視頻檢索中需要對大量的視頻圖像數(shù)據(jù)及圖像的特性描述信息進(jìn)行存儲，而這就需要可以對這些數(shù)據(jù)特性信息支持的數(shù)據(jù)庫——視頻數(shù)據(jù)庫(VDB)來實現(xiàn)。視頻數(shù)據(jù)庫與老式數(shù)據(jù)庫最重要的區(qū)別在于所解決的數(shù)據(jù)因此對存儲空間的規(guī)定不高，并且解決的數(shù)據(jù)都是構(gòu)造化的。而視頻數(shù)據(jù)庫一般解決的對象為視頻、 圖片以及特性值等，它們對存儲空間有較高的規(guī)定，并且對數(shù)據(jù)庫的抽象與描述能力也有較高規(guī)定， 因此視頻數(shù)據(jù)庫技術(shù)是視頻數(shù)據(jù)庫系統(tǒng)研究的重點。本文將結(jié)合公安圖偵工作需要，分析進(jìn)行視頻圖像數(shù)據(jù)描述與存儲的視頻數(shù)據(jù)庫模型和數(shù)據(jù)庫體系構(gòu)造。根據(jù)視頻數(shù)據(jù)的特性，視頻數(shù)據(jù)庫系統(tǒng)應(yīng)當(dāng)具有如下特點：(1)擴(kuò)展性。視頻數(shù)據(jù)庫系統(tǒng)(VDB)體系構(gòu)造應(yīng)當(dāng)是易于擴(kuò)展的、 靈活的，以便于支持對媒體對象或特性信息進(jìn)行檢索。 為了滿足視頻數(shù)據(jù)庫的這些特殊需求，一般VDB系統(tǒng)應(yīng)當(dāng)涉及大量的數(shù)據(jù)管理模塊和功能實現(xiàn)模塊，同步還要具有對系統(tǒng)進(jìn)行更新或擴(kuò)展時增長新管理模塊的規(guī)定。(2)分布性。由于視頻數(shù)據(jù)庫中存儲的信息量較大，并且不同的媒體對信息的使用和檢索方式也也許不同，因此規(guī)定 VDB一般采用分布式的存儲方式。視頻與圖像的網(wǎng)絡(luò)通信對于視頻數(shù)據(jù)的分布式訪問和存儲具有重要作用。(3)查詢的多解性。老式性數(shù)據(jù)庫查詢一般只對精確的數(shù)據(jù)進(jìn)行查詢。但在視頻數(shù)據(jù)庫系統(tǒng)中不能只規(guī)定精確地數(shù)據(jù)查詢， 同步相似性檢索和非精確性的匹配將占相稱大甚至多于精確性的比重，特別是在基于相似度的檢索中。(4)系統(tǒng)的長事務(wù)解決規(guī)定。老式數(shù)據(jù)庫中解決的事務(wù)一般都是短小并且精悍的，而在視頻數(shù)據(jù)庫系統(tǒng)中，僅僅只有短事務(wù)已經(jīng)不能滿足視頻檢索的規(guī)定，特別是在解決視頻圖像數(shù)據(jù)時，例如要對一段數(shù)小時長的視頻查詢成果進(jìn)行播放，這就要對數(shù)據(jù)庫系統(tǒng)對解決長事務(wù)的能力有所規(guī)定。(5)系統(tǒng)顧客接口的支持。為了體現(xiàn)數(shù)據(jù)庫查詢的能力，就規(guī)定數(shù)據(jù)庫中面向顧客的接口可以較好的描述和表達(dá)每一種媒體的性質(zhì)。 視頻信息檢索的模糊性，就規(guī)定可以提供應(yīng)顧客以便檢索的描述接口。2.3.3 網(wǎng)絡(luò)視頻訪問技術(shù)作為視頻數(shù)據(jù)管理和解決的技術(shù)手段， 視頻圖像的存儲、傳播和訪問技術(shù)在網(wǎng)絡(luò)環(huán)境下的應(yīng)用是實現(xiàn)視頻數(shù)據(jù)信息網(wǎng)絡(luò)化應(yīng)用的重要手段。 本文論述了視頻網(wǎng)絡(luò)應(yīng)用系統(tǒng)的三層構(gòu)造、視頻數(shù)據(jù)庫的網(wǎng)絡(luò)訪問方式以及如何運用流媒體技術(shù)實現(xiàn)視頻的網(wǎng)絡(luò)訪問、存儲和傳播。如果從系統(tǒng)應(yīng)用的角度來看，要滿足處在不同地點和不同步間的顧客對同一數(shù)據(jù)庫進(jìn)行檢索和訪問這一需求，視頻數(shù)據(jù)庫系統(tǒng)必須是存在于網(wǎng)絡(luò)環(huán)境下的分布式檢索系統(tǒng)。目前網(wǎng)絡(luò)數(shù)據(jù)庫系統(tǒng)的構(gòu)造重要有 C/S(客戶/服務(wù)器)構(gòu)造和B/S(瀏覽器/服務(wù)器)構(gòu)造[40,41] 與訪問而提出的。B/S模式的三層或多層體系構(gòu)造在某種意義上彌補(bǔ)了老式的 C/S 構(gòu)造開發(fā)周期長，可維護(hù)性和擴(kuò)大性差等方面的局限性之處。Internet/Intranet 的三層體系構(gòu)造是一種瀏覽器服務(wù)器 (B/S)構(gòu)造，它具有C/S 構(gòu)造的所有長處，但它又對C/S 構(gòu)造進(jìn)行了擴(kuò)大，因此她們之間又存在一定的區(qū)別。B/S構(gòu)造中顧客可以直接通過瀏覽器工具向分布在網(wǎng)絡(luò)上的各個服務(wù)器發(fā)出祈求，因此在客戶端機(jī)器上只需要安裝很少量的工具軟件， 而其她更多的工作都留給服務(wù)器來肩負(fù)，這樣就簡化了客戶端的管理任務(wù)。 B/S構(gòu)造的體系結(jié)構(gòu)在客戶機(jī)端只執(zhí)行顯示服務(wù)，而應(yīng)用系統(tǒng)的執(zhí)行和數(shù)據(jù)庫的訪問將在服務(wù)器端上完畢。2.4. 視頻解決技術(shù)應(yīng)用綜述充足運用先進(jìn)的視頻內(nèi)容構(gòu)造化分析、視頻摘要、視頻檢索等圖像解決技術(shù)，可實現(xiàn)對活動目的進(jìn)行提取，迅速截圖原始視頻畫面或截取視頻片段，進(jìn)行標(biāo)注后保存至數(shù)據(jù)庫。重要應(yīng)用的基本功能點有：（1）視頻目的運動軌跡提取和數(shù)據(jù)庫存儲。對實時、已有始視頻圖像中的活動目的進(jìn)行摘要分析并提取活動目的、 時間標(biāo)記等有關(guān)信息，可以對提取的案事件信息進(jìn)行圖片編輯、標(biāo)注，并保存至案事件證據(jù)管理中心數(shù)據(jù)庫。（2）視頻目的迅速自動提取及概要回放?？梢耘鋫淙蝿?wù)對視頻目的進(jìn)行自動解決，也可以通過手動上傳視頻方式進(jìn)行視頻摘要解決，并保存在數(shù)據(jù)庫中，可以回溯摘要視頻的原始視頻，實現(xiàn)對視頻文獻(xiàn)中運動物體及其運營軌跡的環(huán)境剝離和存儲，實現(xiàn)將不同步空內(nèi)目的對象的集中展示。 （3）視頻信息自動分類及數(shù)據(jù)記錄分析。支持人工設(shè)立或者從從視頻文獻(xiàn)名解析出起始時間， 對視頻文件時鐘校對；支持摘要后解決的視頻半構(gòu)造化數(shù)據(jù)以人、 車、物的構(gòu)造化內(nèi)容加以描述，并保存到數(shù)據(jù)庫中，實現(xiàn)以時間、案件類型、區(qū)域、目的的描述元素等分類記錄。（4）海量視頻自動迅速解決。一是海量視頻按顧客需求設(shè)定規(guī)則進(jìn)行按任務(wù)方式解決，提供篩選出顧客關(guān)懷的部分， 以截圖、摘要視頻或者是視頻片段形式保存；二是對海量視頻解決進(jìn)行智能化分派， 優(yōu)化解決功能，同步顯示解決視頻的狀態(tài)和任務(wù)分派狀況；三是可以控制解決視頻的優(yōu)先級和排隊順序。2.5. 本章小結(jié)本章綜述了圖偵系統(tǒng)研發(fā)所波及的視頻構(gòu)造化理論、 視頻摘要及視頻檢索技術(shù)的有關(guān)知識。視頻內(nèi)容構(gòu)造化理論重要論述了視頻內(nèi)容構(gòu)造化概念、 構(gòu)造化層次架構(gòu)，以及三種視頻內(nèi)容構(gòu)造化分析措施。 在視頻摘要技術(shù)方面，論述了視頻摘要技術(shù)的基本概念、研究的必要性，以及靜態(tài)視頻摘要和動態(tài)視頻摘要兩種視頻摘要形式，論述了視頻摘要的一般生成過程。 在視頻檢索技術(shù)方面，論述了視頻檢索的基本概念，著重論述了視頻特性的提取、視頻數(shù)據(jù)庫和網(wǎng)絡(luò)視頻訪問等核心技術(shù)內(nèi)容。最后，綜述了視頻圖像解決技術(shù)的重要應(yīng)用功能點。第三章 總體技術(shù)方案設(shè)計3.1. 設(shè)計思路研發(fā)圖偵系統(tǒng)應(yīng)充足考慮公安機(jī)關(guān)實戰(zhàn)業(yè)務(wù)需求， 充足運用國內(nèi)外先進(jìn)的視頻分析最新算法—視頻構(gòu)造化、視頻摘要、視頻檢索和圖偵工作經(jīng)驗，以“環(huán)繞實戰(zhàn)、緊貼實戰(zhàn)、服務(wù)實戰(zhàn)”為著力點，以采集、研判、管理、應(yīng)用為業(yè)務(wù)主線，注重技術(shù)融合和業(yè)務(wù)整合，構(gòu)建一套“支撐全程，服務(wù)一線”的圖偵工作應(yīng)用系可隨圖偵業(yè)務(wù)和技術(shù)的進(jìn)步而可持續(xù)發(fā)展。圖偵系統(tǒng)將運用本地已建的視頻圖像信息和業(yè)務(wù)數(shù)據(jù)，充足考慮各警種圖偵業(yè)務(wù)工作經(jīng)驗，整合運用視頻構(gòu)造化、視頻摘要以及數(shù)據(jù)挖掘技術(shù)，提供了覆蓋圖像偵查業(yè)務(wù)從“采集”力支撐，解決和彌補(bǔ)實戰(zhàn)中的各項問題和局限性，規(guī)范、創(chuàng)新圖偵業(yè)務(wù)流程。圖偵系統(tǒng)將使視頻圖像解決技術(shù)成為重要的案件偵破手段和情報信息來源，提高案件偵破率。圖偵系統(tǒng)的應(yīng)用將前瞻性地推動視頻監(jiān)控系統(tǒng)建設(shè)由“信息”到“情報”的演進(jìn)，提高視頻監(jiān)控系統(tǒng)的建設(shè)成效。通過圖偵系統(tǒng)的研發(fā)和運營，將進(jìn)一步創(chuàng)新公安圖偵業(yè)務(wù)機(jī)制， 提高圖偵工作效能，推動基層公安機(jī)關(guān)“視頻應(yīng)用”建設(shè)跨上一種新的發(fā)展臺階。3.2. 體系架構(gòu)基于視頻構(gòu)造化的圖偵系統(tǒng)采用模塊化的體系構(gòu)造， 其技術(shù)體系架構(gòu)設(shè)計如圖3-1 所示，分為接入層、解決層、業(yè)務(wù)層、體現(xiàn)層四層。其中，圖3-1 基于視頻構(gòu)造化圖偵系統(tǒng)的體系架構(gòu)接入層，實現(xiàn)視頻圖像的獲取以及警務(wù)數(shù)據(jù)的同步數(shù)據(jù)交互，它可看作是與外部系統(tǒng)的接口層，涉及視頻聯(lián)網(wǎng)系統(tǒng)、編解碼設(shè)備、IPC等視頻資源系統(tǒng)或設(shè)備，大情報系統(tǒng)、警綜平臺等業(yè)務(wù)系統(tǒng)。解決層，搭載視頻圖像研判的核心解決引擎， 采用視頻摘要在線分析、離線解決、視頻特性分析、圖像增強(qiáng)等視頻應(yīng)用技術(shù)。業(yè)務(wù)層，提供業(yè)務(wù)數(shù)據(jù)交互接口，以及流程控制和業(yè)務(wù)數(shù)據(jù)分析引擎。 它可實現(xiàn)證據(jù)提取、記錄分析、案情研判等業(yè)務(wù)服務(wù)和數(shù)據(jù)流轉(zhuǎn)、 信令轉(zhuǎn)發(fā)等過程控制能力。體現(xiàn)層，呈現(xiàn)面向顧客的人機(jī)交互界面和集成的軟件作業(yè)環(huán)境，涉及了在線的圖像偵查應(yīng)用客戶端和離線的移動解決終端設(shè)備。3.3. 邏輯架構(gòu)在邏輯架構(gòu)上，該圖偵系統(tǒng)可分為案事件視頻管理中心、視頻圖像取證和視頻研判分析三個邏輯單元，各單元之間互相耦合協(xié)調(diào)，共同構(gòu)成一種“適應(yīng)多種研判環(huán)境，同步外部系統(tǒng)，支撐總體流程”的圖偵應(yīng)用系統(tǒng)。如圖3-2所示。圖3-2 基于視頻構(gòu)造化圖偵系統(tǒng)的邏輯架構(gòu)案事件視頻證據(jù)管理中心是一種綜合型的視頻圖像證據(jù)信息存儲、 析以及應(yīng)用系統(tǒng)。它可實現(xiàn)視頻證據(jù)的集中存儲管理， 并在此基本上實現(xiàn)深度的數(shù)據(jù)挖掘分析為案件研判服務(wù)。案事件視頻證據(jù)管理中心提供原則證據(jù)傳播接口， 接受顧客上傳的視頻證據(jù)，并可為視頻研判應(yīng)用系統(tǒng)提供數(shù)據(jù)檢索下載、記錄查詢和研判分析服務(wù)。同步，它能實現(xiàn)與警綜平臺、大情報系統(tǒng)、 PGIS等業(yè)務(wù)系統(tǒng)對接，同步數(shù)據(jù)互換。視頻研判分析單元提供公安網(wǎng)內(nèi)在線的圖像偵查作業(yè)環(huán)境，依托各類聯(lián)網(wǎng)數(shù)據(jù)和計算資源，可實現(xiàn)強(qiáng)大的圖像解決、智能研判分析能力，可以解決視頻聯(lián)網(wǎng)系統(tǒng)的實時視頻數(shù)據(jù)，在線獲取案事件視頻管理中心的數(shù)據(jù)服務(wù)。視頻圖像取證單元提供視頻監(jiān)控專網(wǎng)或者案事件現(xiàn)場作業(yè)環(huán)境， 重點滿足基層監(jiān)控中心視頻證據(jù)、圖像信息采集的平常工作需求， 也可獨立完畢初級視頻研判分析等各項視頻圖像信息偵查業(yè)務(wù)。3.4. 數(shù)據(jù)架構(gòu)圖偵系統(tǒng)的數(shù)據(jù)架構(gòu)重要涉及數(shù)據(jù)源層、 數(shù)據(jù)解決層、數(shù)據(jù)應(yīng)用層等三個部分構(gòu)成。如圖3-3 所示：圖3-3 基于視頻構(gòu)造化圖偵系統(tǒng)的數(shù)據(jù)架構(gòu)源數(shù)據(jù)層重要涉及社會面監(jiān)控資源、 社會專網(wǎng)監(jiān)控資源、公安自有監(jiān)控資源等；數(shù)據(jù)解決層重要解決來自視頻監(jiān)控整合平臺中的原始視頻圖像，通過實時的視頻智能分析解決以及事后的視頻摘要解決， 將解決后的成果數(shù)據(jù)保存至數(shù)據(jù)庫中； 數(shù)據(jù)應(yīng)用層實現(xiàn)數(shù)據(jù)解決層解決后的成果展示，通過應(yīng)用功能點，調(diào)取數(shù)據(jù)庫中的元數(shù)據(jù)。3.5. 與外部系統(tǒng)之間關(guān)系圖偵系統(tǒng)與外部系統(tǒng)的業(yè)務(wù)關(guān)系如圖 3-4 所示。其中，大情報系統(tǒng)、警務(wù)基本平臺等公安業(yè)務(wù)系統(tǒng)的接口，實現(xiàn)警情、案事件、圖像等信息的數(shù)據(jù)交互。（2）建立與PGIS系統(tǒng)的接口，通過 PGIS 系統(tǒng)提供的接口工具訪問地圖數(shù)據(jù)，為實現(xiàn)圖偵系統(tǒng)的視頻數(shù)據(jù)檢索和軌跡分析和提供數(shù)據(jù)支撐。（3）通過與視頻監(jiān)控聯(lián)網(wǎng)系統(tǒng)的接口，實現(xiàn)視頻數(shù)據(jù)的檢索、獲取。3.6. 基本功能從公安圖偵工作業(yè)務(wù)聯(lián)系分析，所建圖偵系統(tǒng)的基本功能參見表 3-1。表3-1 基于視頻構(gòu)造化圖偵系統(tǒng)的基本功能點3.7. 本章小結(jié)本章立足于創(chuàng)立基于視頻內(nèi)容構(gòu)造化的全局性的圖偵信息化工作環(huán)境， 以視頻采集、證據(jù)管理、研判應(yīng)用為主線，從各個層面進(jìn)行分析研究，設(shè)計了圖偵系統(tǒng)建設(shè)的總體技術(shù)方案。其中，從接入層、解決層、業(yè)務(wù)層、體現(xiàn)層四個層面研究分析了系統(tǒng)的體系架構(gòu)，從視頻證據(jù)管理中心、視頻圖像取證、視頻研判分析及與外部系統(tǒng)關(guān)系分析了系統(tǒng)的邏輯架構(gòu)， 從源數(shù)據(jù)、數(shù)據(jù)解決、數(shù)據(jù)應(yīng)用三個層面分析了系統(tǒng)的數(shù)據(jù)架構(gòu)， 分析了圖偵系統(tǒng)與警綜平臺、 大情報系統(tǒng)、監(jiān)控聯(lián)網(wǎng)系統(tǒng)、PGIS系統(tǒng)等外部系統(tǒng)之間的整合關(guān)系，研究擬定了圖偵系統(tǒng)的視頻證據(jù)管理中心、圖像取證單元、研判分析單元三個基本功能單元。第四章 案事件視頻證據(jù)管理中心設(shè)計4.1. 設(shè)計概要案事件視頻證據(jù)管理中心是對視頻圖像取證、 研判分析單元上傳發(fā)布的案事件圖像證據(jù)信息進(jìn)行解決匯集、 存儲、解決和管理的基本單元。該單元的核心是視頻圖像數(shù)據(jù)庫體系構(gòu)造及視頻情報的構(gòu)造化定義， 并在此基本上實行視頻圖像數(shù)據(jù)庫的管理，提供視頻圖像信息的共享服務(wù)。 涉案視頻構(gòu)造化存儲的重要涉及如下數(shù)據(jù)：（1）原始視頻文獻(xiàn)；（2）視頻剪輯片段；（3）圖片；（4）構(gòu)造化圖像描述信息（人、車、物）；（5）案件基本信息（案件名稱、編號、案發(fā)描述等） 。視頻證據(jù)管理中心單元軟件采用 B/S 架構(gòu)，支持通過瀏覽器直接訪問，負(fù)責(zé)對案事件證據(jù)的審批、記錄分析、空間管理等解決，提供應(yīng)顧客對案事件視頻圖像證據(jù)的查詢和調(diào)閱，并對大量的案事件視頻圖像證據(jù)進(jìn)行比對碰撞， 通過圖像信息的信息度進(jìn)行串并關(guān)聯(lián)，建立卷宗關(guān)聯(lián)。4.2. 視頻證據(jù)中心體系構(gòu)造案事件視頻圖像證據(jù)庫重要匯集、存儲從視頻圖像數(shù)據(jù)中提取的視頻片段和圖像特性信息，并為各部門實戰(zhàn)業(yè)務(wù)提供特性辨認(rèn)、智能分析、智能檢索、互換共享等服務(wù)的支撐平臺。在功能上分為：數(shù)據(jù)采集、數(shù)據(jù)存儲、應(yīng)用服務(wù)和數(shù)據(jù)管理四部分，如圖 4-1 案事件視頻證據(jù)中心體系架構(gòu)所示。圖4-1 案事件視頻證據(jù)中心體系架構(gòu)1、數(shù)據(jù)采集通過多種渠道、多種方式，從社會單位、公安自建等視頻監(jiān)控系統(tǒng)，收集視頻、圖像、文檔、其他等視頻源數(shù)據(jù)，并對實時或者事后的視頻源數(shù)據(jù)進(jìn)行智能檢測及視頻摘要等技術(shù)解決，從中抽取圖像特性，再通過對數(shù)據(jù)過濾、數(shù)據(jù)清洗、數(shù)據(jù)整合之后，保存到案事件視頻管理子系統(tǒng)中。2、數(shù)據(jù)存儲從數(shù)據(jù)采集接口導(dǎo)入視頻圖像信息，按照人、事、地、物和組織五要素進(jìn)行專業(yè)庫，如：車牌庫、特性庫、人像庫、指紋庫等，統(tǒng)一保存到云存儲中。3、數(shù)據(jù)服務(wù)案事件視頻證據(jù)庫分為基本功能、視頻解決、智能分析、智能檢索、共享交換五個模塊，對視頻圖像信息數(shù)據(jù)進(jìn)行分解和解決， 為視頻分析和視頻檢索提供示例特性，并結(jié)合案事件信息提供智能查詢接口和通用數(shù)據(jù)服務(wù)接口。4、系統(tǒng)管理系統(tǒng)管理是對案事件視頻管理子系統(tǒng)的軟硬件環(huán)境運營狀態(tài)進(jìn)行監(jiān)控， 可以盡早發(fā)既有也許發(fā)生故障點，并采用有關(guān)的避免措施；系統(tǒng)的生命周期是采集、入庫、版本、檢索、刪除統(tǒng)一數(shù)據(jù)流程，再每一種環(huán)節(jié)上增長權(quán)限認(rèn)證和日記的記錄，可以以便追述數(shù)據(jù)解決流程，重要體目前安全管理、日記管理、生命周期管理、運營狀態(tài)管理等。4.3. 視頻情報構(gòu)造化定義基于視頻構(gòu)造化技術(shù)，針對視頻分析產(chǎn)生的涉案圖片或視頻段落， 進(jìn)行視頻信息的構(gòu)造化定義和視頻構(gòu)造化信息的提取， 既是視頻情報應(yīng)用的重要工作， 更是實現(xiàn)視頻監(jiān)控系統(tǒng)由“信息”到“情報”演進(jìn)的必然選擇，也是實現(xiàn)視頻證據(jù)數(shù)據(jù)庫管理的基石。4.3.1 數(shù)據(jù)字典定義從案事件出發(fā)，描述視頻構(gòu)造化語義的重要對象為：人、車、物。如圖 4-2所示。圖4-2 視頻證據(jù)中心數(shù)據(jù)字典視頻構(gòu)造化語義1、案件字典定義，如表 4-1 所示：搶劫案投尋案放火案忌炸案決水案強(qiáng)奸案盜竊案詐騙案搶奪案減詐訛詐案偽造貨幣經(jīng)濟(jì)合同詐荼案案資詐菇案貸款詐菇案票擔(dān)詐攔案信用詐茶案詐案保險詐氐案偽造公文、證件、印至案拐賣人口案法造炫賣王案法造槍支強(qiáng)案制造、版賣但藥案吱壞生產(chǎn)案擾亂社會秩序案逼迫婦女賣淫案引誘、容留婦女實淫案運用還信院財害人案走私制作販運傳授淫穢物品案賭愕案交遠(yuǎn)肇亭案案件子類型S ，劃分為殺持刀殺案.案件性質(zhì)分類治安案件刑吾案件其他案件維捻屬性是終訖案件不是維移案件與否結(jié)案已結(jié)案未結(jié)案注:每一種案件類型,可根據(jù)案件作案手段或情節(jié) ,在設(shè)計系統(tǒng)時可以自定義子分類(如殺人案,可分為持刀殺人案,持槍殺人案 )。2、涉案信息字典定義（1）人物信息語義定義，如表 4-2 所示。表4-2 視頻證據(jù)中心人物情報語義定義表（2）車輛信息語義定義，如表 4-3 所示。表4-3 視頻證據(jù)中心車輛情報語義定義表（3）物品信息語義定義，如表 4-4 所示。4.3.2 視頻構(gòu)造化信息表1、視頻信息，如表 4-5 所示：表4-5 視頻證據(jù)中心視頻信息定義表2、幀信息，如表 4-6 所示：表4-6 視頻證據(jù)中心幀信息定義表3、對象信息，如表 4-7 所示：表4-7 視頻證據(jù)中心對象信息定義4、片段信息，如表 4-8 所示：表4-8 視頻證據(jù)中心片段信息定義表4.3.3 證據(jù)中心數(shù)據(jù)建模從案事件與視頻信息的關(guān)聯(lián)出發(fā)， 設(shè)計了數(shù)據(jù)庫之間的實體－關(guān)系圖， 定義了證據(jù)中心的數(shù)據(jù)對象、基數(shù)與形態(tài)的關(guān)系，如圖 4-3 所示。（1）案事件信頻圖像資源信息表；（3）視頻資源案事件有關(guān)事物（物品）信息表；（4）視頻資源相5）視頻資源有關(guān)人員信息表。此外，還可以建立針對視頻資源的評論表。作為構(gòu)造化視頻證據(jù)庫，通過編寫數(shù)據(jù)庫字段，可以按自定的字段名稱，方便地建立視頻證據(jù)庫索引。圖4-2 視頻證據(jù)中心實體-關(guān)系圖示例4.4. 對外數(shù)據(jù)交互設(shè)計4.4.1 對外數(shù)據(jù)交互關(guān)系案事件視頻證據(jù)中心需要整合多種業(yè)務(wù)部位和多種應(yīng)用系統(tǒng)的視頻、圖片、音頻、文獻(xiàn)、構(gòu)造化數(shù)據(jù)等信息，波及到與多種異構(gòu)數(shù)據(jù)庫、多種文獻(xiàn)的數(shù)據(jù)交換。因此，應(yīng)根據(jù)業(yè)務(wù)需求制定有關(guān)數(shù)據(jù)互換原則，以保證數(shù)據(jù)互換的一致性。視頻證據(jù)管理中心與外部系統(tǒng)及各業(yè)務(wù)單位的數(shù)據(jù)互換關(guān)系，如圖 4-3 所示。圖4-3 視頻證據(jù)管理中心對外數(shù)據(jù)交互關(guān)系1) 建立與警綜系統(tǒng)的接口，實現(xiàn)警情、案事件、圖像等信息的數(shù)據(jù)交互。2) 建立與PGIS系統(tǒng)的接口，通過 PGIS 系統(tǒng)提供的接口工具訪問地圖數(shù)據(jù)，為實現(xiàn)圖偵系統(tǒng)的視頻資源檢索和軌跡分析和提供數(shù)據(jù)支撐。3) 通過與視頻聯(lián)網(wǎng)系統(tǒng)的接口，實現(xiàn)視頻信息的檢索、獲取。4.4.2 數(shù)據(jù)交互接口1、接口實現(xiàn)方式（1）采用數(shù)據(jù)庫接口，將外部系統(tǒng)的數(shù)據(jù)庫訪問接口開放給本系統(tǒng)，視頻證據(jù)中心根據(jù)數(shù)據(jù)庫構(gòu)造獲取有關(guān)數(shù)據(jù)， 實現(xiàn)證據(jù)中心與外部系統(tǒng)之間的數(shù)據(jù)共享；（2）采用組件開發(fā)接口的方式，需要外部系統(tǒng)提供相應(yīng)的數(shù)據(jù)調(diào)用、數(shù)據(jù)查詢的二次開發(fā)組件，證據(jù)中心將直接調(diào)用該組件實現(xiàn)對接。2、通用接口規(guī)定（1）異構(gòu)數(shù)據(jù)庫服務(wù)接口：規(guī)定和描述訪問異構(gòu)數(shù)據(jù)庫的一組服務(wù)，服務(wù)涉及服務(wù)自描述、數(shù)據(jù)類型描述、服務(wù)操作及服務(wù)數(shù)據(jù)元素。（2）數(shù)據(jù)訪問接口：根據(jù)數(shù)據(jù)庫的異構(gòu)特性，將上層服務(wù)轉(zhuǎn)換為信息訪問與調(diào)用服務(wù)的多種訪問驅(qū)動及服務(wù)接口映射實現(xiàn)。（3）數(shù)據(jù)庫：涉及關(guān)系型數(shù)據(jù)庫、文獻(xiàn)數(shù)據(jù)庫，數(shù)據(jù)庫可以是集中的，也可以是分散的。（4）提供開發(fā)套件，支持視頻證據(jù)管理中心整合和第三方系統(tǒng)的調(diào)用和嵌入。4.5. 重要功能案事件視頻證據(jù)管理中心的基本功能，案件同步關(guān)聯(lián)、個人證據(jù)管理、數(shù)據(jù)記錄分析、信息時間設(shè)定與空間管理等業(yè)務(wù)功能。該單元的重要功能模塊，參見表 4-9。表4-9 案事件視頻證據(jù)管理中心的重要功能模塊4.6. 本章小結(jié)本章從視頻證據(jù)庫的體系構(gòu)造、視頻情報的構(gòu)造化定義、對外數(shù)據(jù)交互和基本功能等方面，對案事件視頻證據(jù)管理中心進(jìn)行了設(shè)計。其中，視頻證據(jù)中心體系構(gòu)造，重要由數(shù)據(jù)采集、數(shù)據(jù)存儲、數(shù)據(jù)服務(wù)和數(shù)據(jù)管理四個部分構(gòu)成；從案事件出發(fā)，定義了視頻構(gòu)造化語義的重要對象：人、車、物，以及視頻構(gòu)造化信息的一般數(shù)據(jù)屬性；設(shè)計了視頻證據(jù)管理中心與警綜系統(tǒng)、 視頻聯(lián)網(wǎng)系統(tǒng)，以及業(yè)務(wù)單位之間的數(shù)據(jù)互換關(guān)系和原則。第五章 視頻圖像偵查系統(tǒng)應(yīng)用設(shè)計5.1. 設(shè)計概要視頻圖像偵查系統(tǒng)應(yīng)用設(shè)計目的在于讓公安機(jī)關(guān)有效運用圖像進(jìn)行深度研判，協(xié)助案件偵破。在現(xiàn)今公安機(jī)關(guān)的圖像使用當(dāng)中， 運用到了諸多圖像智能分析解決的技術(shù)，例如視頻摘要、圖像清晰化、車牌辨認(rèn)、人臉比對等等，但是大多數(shù)都是在獨立的進(jìn)行應(yīng)用，沒有與平常公安業(yè)務(wù)進(jìn)行一體化融合， 特別是圖偵業(yè)務(wù)發(fā)揮實戰(zhàn)效用，因此先建立一套貼近公安的圖偵應(yīng)用流程， 在此基本上設(shè)計圖偵系統(tǒng)，才干達(dá)到物盡其用的效果。1、從應(yīng)用模式角度，圖偵系統(tǒng)應(yīng)用設(shè)計涉及在線和離線兩種應(yīng)用模式，在線式可以作為一套完整系統(tǒng)部署在公安專網(wǎng)或者公安視頻監(jiān)控專網(wǎng)內(nèi)， 還可以搭載在便攜式計算機(jī)設(shè)備上作為獨立系統(tǒng)在案事件現(xiàn)場進(jìn)行離線應(yīng)用。作為在線式的圖像研判分析工作單元， 它具有與視頻證據(jù)管理中心、視頻監(jiān)控聯(lián)網(wǎng)系統(tǒng)、警綜系統(tǒng)，以及大情報系統(tǒng)等的通信接口， 可實現(xiàn)涉案視頻的聯(lián)網(wǎng)視頻采集、視頻證據(jù)在線分析研判、案件業(yè)務(wù)數(shù)據(jù)的同步更新以及證據(jù)數(shù)據(jù)的實時管理，支撐圖偵業(yè)務(wù)的重要工作流程， 提供完整的視頻圖像偵查業(yè)務(wù)的在線應(yīng)用環(huán)境。作為離線式的圖像研判分析工作單元， 它具有將現(xiàn)場采集的視頻圖像信息進(jìn)行迅速的分析，從而獲取案事件的重要線索， 并建立簡易的案事件證據(jù)庫， 獨立支撐一線的偵查破案。2、從功能邏輯角度，圖偵系統(tǒng)應(yīng)用設(shè)計涉及視頻圖像取證模塊和視頻研判分析兩大基本單元，前者重要負(fù)責(zé)初級視頻情報的采集、 取證和保存；后者重要從事專業(yè)視頻研判工作。視頻圖像取證單元重點環(huán)繞視頻證據(jù)管理中心的數(shù)據(jù)采集需求，從監(jiān)控聯(lián)網(wǎng)系統(tǒng)或者通過離線方式獲取原始視頻圖像，運用圖像解決技術(shù)，從原始視頻圖像中提取構(gòu)造化、半構(gòu)造化的初級視頻情報信息，上傳到視頻證據(jù)管理中心數(shù)據(jù)庫中，提供共享應(yīng)用服務(wù)。視頻取證模塊具有視頻證據(jù)采集、視頻格式原則化轉(zhuǎn)換、視頻證據(jù)搜索、視頻構(gòu)造化存儲等重要功能。視頻研判分析單元作為一種視頻偵查、情報研判人員平常工作使用的模塊，既具有視頻圖像取證單元中除預(yù)警檢測外的重要功能， 同步還具有視頻特性分析、視頻證據(jù)分析、案事件軌跡分析，以及同步警綜系統(tǒng)等更多的情報研判功能。因此，如果說，視頻證據(jù)管理中心側(cè)重于創(chuàng)立和采集存儲構(gòu)造化的視頻證據(jù)共享數(shù)據(jù)庫，那么，視頻圖像偵查應(yīng)用系統(tǒng)重點在于研判運用視頻證據(jù)， 發(fā)揮偵查破案、事件處置的實戰(zhàn)效能。顯然，前者是為后者提供服務(wù)和支撐，后者才是圖偵系統(tǒng)建設(shè)的主線。3、顧客使用圖偵系統(tǒng)從監(jiān)控聯(lián)網(wǎng)系統(tǒng)或者本地資源中導(dǎo)入原始視頻圖像，對獲得的視頻圖像進(jìn)行格式原則化轉(zhuǎn)換、 視頻摘要分析、編輯和加注標(biāo)簽，與案事件視頻證據(jù)管理中心進(jìn)行數(shù)據(jù)交互，實現(xiàn)對構(gòu)造化視頻圖像信息的上傳、查看、瀏覽、下載和刪除，以及查看日記、證據(jù)檢索等操作。圖偵系統(tǒng)的重要功能模塊，如表 5-1 所示：表5-1 基于視頻構(gòu)造化圖偵系統(tǒng)的重要功能模塊5.2. 圖偵業(yè)務(wù)流程設(shè)計在整個圖偵系統(tǒng)的應(yīng)用當(dāng)中，需要明確業(yè)務(wù)角色和業(yè)務(wù)環(huán)節(jié)。一方面在業(yè)務(wù)角色上，圖偵系統(tǒng)針對不同使用層級的公安顧客定義了初級視頻研判人員和高檔視頻研判人員兩種級別應(yīng)用環(huán)境。初級視頻研判人員重要是派出所、交巡警中隊等基層視頻監(jiān)控中心的監(jiān)控操作人員。高檔視頻研判人員重要是公安機(jī)關(guān)從事視頻圖像偵查和情報信息研判工作的專業(yè)民警、職能民警。另一方面在業(yè)務(wù)環(huán)節(jié)上，圖偵可以提成如下幾種階段，每個階段都可以通過相應(yīng)的偵查措施措施以及圖像的智能工具來實現(xiàn)偵查研判的目的，如圖 5-1 所示。1、擬定案事件偵查范疇。通過從接處警理解到的信息當(dāng)中確認(rèn)事發(fā)地點，再通過圖偵系統(tǒng)在 PGIS地圖上進(jìn)行搜索，列出相應(yīng)事發(fā)地點附近的監(jiān)控資源，可以通過地圖界定范疇擬定案事件初步偵查區(qū)域。 后期可以通過理解到的新信息，不斷修正劃定新的偵查區(qū)域。2、收集案事件信息。收集方式可以分為兩種，一是可以通過監(jiān)控聯(lián)網(wǎng)系統(tǒng)直接下載案事件有關(guān)的錄像資源；二是組織專業(yè)人員前去現(xiàn)場獲取有關(guān)圖像資源，在有條件的狀況下配備獨立的便攜式離線圖偵系統(tǒng)單元進(jìn)行工作。3、通過收集到的信息擬定嫌疑人員、車輛。通過對視頻圖像信息的智能化分析解決得到進(jìn)一步的線索，重要有如下幾種手段：（1）通過物體移動檢測來定位錄像中物體被移動的時間。（2）通過警戒線來定位錄像中區(qū)域被人員、車輛進(jìn)入的時間。（3）通過車牌分析辨認(rèn)自動檢測記錄錄像中浮現(xiàn)的所有車輛車牌。（4）通過人臉定位分析來檢測記錄錄像中浮現(xiàn)的所有人員正面的面部特性照片。（5）通過視頻摘要將視頻中的背景和移動中的人員車輛等物體進(jìn)行分離，對整段的錄像進(jìn)行濃縮，實目前相稱短的時間內(nèi)迅速瀏覽大段視頻， 并迅速定位嫌疑人員和車輛。對移動物體形成信息摘要，并可以鑒定其行進(jìn)方向。（6）通過人臉比對，實現(xiàn)圖像資源中截取的人臉和公安有關(guān)信息數(shù)據(jù)庫中存儲的人臉圖像進(jìn)行比對，迅速定位嫌疑人員身份。4、通過已有線索查尋人車信息。通過上述線索進(jìn)一步查找嫌疑人車的活動范疇。5、人車行為、軌跡研判。對收集到的視頻圖像信息進(jìn)行剪輯合并，在持續(xù)時間軸上分析出人、車的行為。根據(jù)收集到的案事件信息對人、車的軌跡在PGIS地圖上進(jìn)行時空分析，串聯(lián)所有線索。6、通過案事件數(shù)據(jù)庫進(jìn)行串并案分析。7、得出案事件研判分析報告。圖5-1 視頻圖像偵查工作的業(yè)務(wù)流程圖5.3. 核心業(yè)務(wù)交互視圖按照上述業(yè)務(wù)流程，圖偵系統(tǒng)的核心業(yè)務(wù)實體角色分為： 圖偵人員、證據(jù)管理人員，研判客戶端、視頻聯(lián)網(wǎng)系統(tǒng)、視頻證據(jù)管理中心。圖偵人員在研判客戶端完畢案事件的信息獲取和創(chuàng)立， 并運用客戶端從監(jiān)控聯(lián)網(wǎng)系統(tǒng)完畢案事件視頻的采集。 研判客戶端為研判人員提供摘要分析、 圖像增強(qiáng)解決、目的情報數(shù)據(jù)搜索等研判工具和能力， 并生成研判成果，上傳至證據(jù)管理中心。管理人員登錄視頻證據(jù)管理中心， 完畢對所有視頻證據(jù)的發(fā)布審核， 管理應(yīng)用權(quán)限和頁面模塊呈現(xiàn)組合。定期開展全局圖偵業(yè)務(wù)工作的績效考核以及數(shù)據(jù)綜合分析，并在網(wǎng)站發(fā)布成果。圖偵系統(tǒng)的核心業(yè)務(wù)交互順序圖，如圖 5-2 所示。圖5-2 圖偵系統(tǒng)核心業(yè)務(wù)交互順序圖5.4. 與外部系統(tǒng)交互視圖圖偵系統(tǒng)與外部系統(tǒng)之間的業(yè)務(wù)交互順序圖，如圖 5-3 所示。（1）圖偵系統(tǒng)在研判過程開始，將從警綜系統(tǒng)獲取案事件基本信息，在對圖像目的的研判過程中對發(fā)現(xiàn)的線索， 運用警綜系統(tǒng)、大情報系統(tǒng)提供的目的情報數(shù)據(jù)進(jìn)行綜合研判分析，驗證線索、情報。（2）研判人員在圖偵系統(tǒng)直接進(jìn)行視頻資源的查詢、下載。圖偵系統(tǒng)與視頻監(jiān)控聯(lián)網(wǎng)系統(tǒng)具有錄像的查詢、傳播接口。圖5-3 圖偵系統(tǒng)與外部系統(tǒng)交互順序圖5.5. 摘要索引流程設(shè)計視頻摘要及檢索重要提供信息摘要、圖像壓縮和特性搜索等功能。當(dāng)將視頻資源添加到視頻摘要工具后， 根據(jù)摘要智能算法，通過人工設(shè)立顏色、人、車、物等摘要條件，建立 .XML索引文獻(xiàn)；同步通過對動態(tài)人、車、物等核心摘要內(nèi)容靜態(tài)圖片提取、 固定的背景圖片提取，進(jìn)而對顧客所關(guān)懷的圖像提取、冗余圖像剝離進(jìn)行有效壓縮。 鑒于，壓縮后視頻文獻(xiàn)的大小一般視場景的復(fù)雜度而定，復(fù)雜度低和變化少的圖像壓縮比例更高。 目前平均大小為原始視頻的通過視頻摘要解決后，可以基于圖像中活動對象的顏色、尺寸、運動方向和活動范疇等特性，進(jìn)行過濾搜索?？梢造o態(tài)圖片的形式展示，夠顯示嫌疑人或嫌疑車輛浮現(xiàn)的時間，便于定位。如圖5-4所示。圖5-4 視頻摘要索引業(yè)務(wù)解決流程視頻摘要及檢索系統(tǒng)的核心技術(shù)重要有 :核心幀提取、圖像特性提取、圖像特性的相似性度量、查詢方式、以及視頻片段匹配等措施。1、核心幀提?。汉诵膸怯糜诿枋鲆环N鏡頭的核心圖像幀,它反映一種鏡頭的重要內(nèi)容。核心幀的選用一方面必須可以反映鏡頭中的重要事件,因而描述應(yīng)盡量地精確完全,另一方面要便于檢索。核心幀的選用措施諸多,比較典型的有幀平均法和直方圖平均法。2、圖像特性提?。禾匦蕴崛】梢葬槍D像內(nèi)容的底層物理特性進(jìn)行提取 ,如顏色直方圖、圖像輪廓特性等。特性的表達(dá)方式有三種 :數(shù)值信息、關(guān)系信息和文字信息。目前,多數(shù)系統(tǒng)采用的都是數(shù)值信息。3、相似性度量：在鏡頭檢索上 ,初期的工作重要是從鏡頭中提取核心幀 ,把鏡頭檢索轉(zhuǎn)化為圖像檢索。例如一般狀況下 ,圖像的特性向量可看作是多維空間中的一點,因此很自然的想法就是用特性空間中點與點之間的距離來代她們的匹配限度,距離度量是一種比較常用的措施 ,此外尚有有關(guān)計算、關(guān)聯(lián)系數(shù)計算等。此外,目前研究的問題還在于如何對視頻中的時間信息充足進(jìn)行運用。在片段檢索上，研究措施可以分為兩類：（1）把視頻片段分為片段、幀兩層考慮,片段的相似性運用構(gòu)成它的幀的相似性來直接度量；（2為片段、鏡頭、幀3層考慮,片段的相似性通過構(gòu)成它的鏡頭的相似性來度量,而鏡頭的相似性通過它的一種核心幀或所有幀的相似性來度量。措施（1）的缺點在于限制相似的片段必須遵守同樣的時間順序 ,同步這種基于每幀的比較 ,也使得檢索速度比較慢。措施（2）的思想比較合理,但這種措施在已有的研究中并沒有較好解決片段檢索的問題。:由于圖像特性自身的復(fù)雜性 ,對查詢條件的體現(xiàn)也具有多樣性 ,使用的特性不同,對查詢的體現(xiàn)方式也不同樣。目前查詢方式基本上可歸納為以下幾種:底層物理特性查詢、自定義特性查詢、局部圖像查詢和語義特性查詢。5、視頻片斷的匹配:由于同一鏡頭持續(xù)圖像幀的相似性 ,使得常常浮現(xiàn)同一樣本圖像的多種相似幀的浮現(xiàn) ,因而需要在查詢到的一系列視頻圖像中 ,找出最佳的匹配圖像序列。已有研究提出了最優(yōu)匹配法、 最大匹配法和動態(tài)規(guī)劃算法等。5.6. 視頻圖像取證單元設(shè)計5.6.1 視頻檢測規(guī)則根據(jù)社會治安形勢的動態(tài)變化，貫徹打防管控一體化運作、警衛(wèi)安保任務(wù)、大型活動案件等工作的需要，充足運用絆線報警、流量記錄和智能辨認(rèn)等檢測技術(shù)，在活動現(xiàn)場及周邊、案事件現(xiàn)場及周邊、停車場等治安核心節(jié)點，進(jìn)行視頻視頻監(jiān)控檢測的預(yù)警規(guī)則設(shè)定， 保存到規(guī)則數(shù)據(jù)庫，并通過后臺服務(wù)器對接入端口的視頻監(jiān)控畫面進(jìn)行實時智能檢測比對。目前，在公安工作中運用得較為成熟的視頻檢測技術(shù)有： 車輛行為檢測、人體行為檢測、運動途徑檢測、絆線檢測、禁區(qū)入侵檢測、車牌辨認(rèn)；另一方面有：車輛流量記錄、人員流量記錄、遺留物品檢測、物品消失或移動檢測、攝像機(jī)信號檢測、人群匯集檢測等；在應(yīng)用摸索中的有：人臉檢測 /辨認(rèn)、速度異常檢測、車輛型號比對辨認(rèn)、車標(biāo)記別等。5.6.2 預(yù)警事件解決視頻檢測及分析服務(wù)器，對前端攝像頭下的車輛、行人的行為按預(yù)先設(shè)定的智能規(guī)則進(jìn)行檢測、辨認(rèn)，發(fā)現(xiàn)異?，F(xiàn)象或者違規(guī)行為， 即對現(xiàn)場圖片或視頻進(jìn)行保存、辨認(rèn)，形成構(gòu)造化視頻證據(jù)信息，并進(jìn)行報警提示。監(jiān)控值班人員進(jìn)行核查后，屬于報警案事件的，即輸入處警構(gòu)造信息并上傳保存到警綜系統(tǒng)接處警模塊，形成的視頻證據(jù)進(jìn)入視頻證據(jù)管理中心數(shù)據(jù)庫。如圖 5-5 所示。圖5-5 視頻預(yù)警檢測數(shù)據(jù)采集解決示例5.6.3 視頻圖像采集視頻圖像取證單元可以在線獲取所需的視頻錄像文獻(xiàn)， 可從監(jiān)控聯(lián)網(wǎng)系統(tǒng)直接獲取鏡頭資源信息，并可以查詢和下載每個鏡頭的相應(yīng)錄像文獻(xiàn)；也支持從PGIS地圖上直接選用鏡頭，選擇需要下載的時間段，并下載相應(yīng)的視頻文獻(xiàn)。如圖5-6 所示。根據(jù)案事件發(fā)生的地點、時間、嫌疑人特性，把視頻監(jiān)控聯(lián)網(wǎng)系統(tǒng)中或者本地的監(jiān)控信息，上傳到視頻圖像取證單元中，并可進(jìn)行核心字標(biāo)注。圖5-6 在線視頻采集流程5.6.4 視頻證據(jù)提取視頻取證單元對導(dǎo)入的視頻文獻(xiàn)進(jìn)行摘要分析解決， 形成構(gòu)造化的案事件索引機(jī)制，以便迅速定位案件線索，提高視頻研判效率。對擬定涉嫌的視頻文獻(xiàn)中嫌疑人（車、物）浮現(xiàn)的圖片或視頻短片進(jìn)行抓取、截取，生成新的證據(jù)文獻(xiàn)。如圖5-7 所示。（1）證據(jù)圖片截?。褐С謴囊曨l中截取圖片作為證據(jù)；（2）證據(jù)圖片解決：支持對截取的圖片進(jìn)行繪圖和文字的批注；（3）視頻短片截取：可以對視頻中可做為證據(jù)線索的片段進(jìn)行截??；同步，可以對導(dǎo)入的視頻文獻(xiàn)進(jìn)行查詢播放、 記錄刪除、信息編輯和案件關(guān)聯(lián)等操作。為提高視頻研判效率，一般規(guī)定視頻取證單元支持 2-4 路視頻的同時摘要解決。圖5-7 視頻摘要解決示意圖同步，可以對證據(jù)圖像進(jìn)行批注或進(jìn)行亮度、 色彩飽和度的調(diào)節(jié)和簡樸的清晰化解決，讓模糊的圖像更易于辨認(rèn)。5.6.5 證據(jù)信息標(biāo)注獲取原始視頻圖像，或者進(jìn)行摘要解決后來，上傳到視頻證據(jù)管理中心數(shù)據(jù)庫之前，可針對摘要成果中某一案事件（物件）導(dǎo)出原始視頻片段，或剪輯、抓拍案件關(guān)聯(lián)的圖像，并進(jìn)行標(biāo)注和構(gòu)造化證據(jù)描述，支持對研判成果進(jìn)行編排，實現(xiàn)本地保存或上傳到證據(jù)管理中心。重要是針對截取出的證據(jù)元素進(jìn)行人、 車、物的文字信息描述，描述錄入的信息涉及：標(biāo)題、描述、涉人信息、涉車信息等，留下與案事件有關(guān)的視頻、圖片信息。（1）人員信息錄入：支持對證據(jù)圖片或證據(jù)短片中的人員錄入文字描述信息，同一證據(jù)可以添加多種人物；（2）車輛信息錄入：支持對證據(jù)中波及到的車輛錄入文字描述。（3）物件信息錄入：支持對證據(jù)中波及到的物品錄入文字描述。（4）對圖片的標(biāo)注：可直接在圖片上標(biāo)注嫌疑的車輛或人員，上傳時必須將原始圖片與標(biāo)注后的圖片同步上傳。 要注意不可在原始圖片上進(jìn)行編輯， 由于這些圖片有也許作為證據(jù)來使用，上傳的圖片必須是原始的。（5）對視頻的標(biāo)注：涉及視頻的剪輯 1 小時的錄像，其中 5 分鐘是有用的，把這5 分鐘剪輯出來）、視頻的截圖、時間標(biāo)注等，標(biāo)注視頻在什么時間段浮現(xiàn)了問題，問題的有關(guān)描述等。（6）地圖軌跡標(biāo)注：一般需要與警用地理信息系統(tǒng)進(jìn)行聯(lián)網(wǎng)開發(fā)后，才干使取證系統(tǒng)實現(xiàn)這一功能。5.6.6 視頻格式原則化視頻取證單元集成了大部分主流廠家的視頻解碼器， 對采集到的不同類型視頻文獻(xiàn)能自動鑒定其編碼格式， 匹配相應(yīng)編碼器進(jìn)行播放。還可根據(jù)需要將導(dǎo)入的視頻數(shù)據(jù)轉(zhuǎn)碼成原則格式，進(jìn)行保存或存儲到視頻證據(jù)管理中心。如圖5-8 所示：圖5-8 視頻格式原則化解決示意圖視頻格式原則化的實現(xiàn)算法有五個環(huán)節(jié)，如圖 5-9 所示。（1）原始視頻：各個廠商的原始視頻，各個廠商的私有格式，