久凌警用圖像偵查系統(tǒng)簡(jiǎn)介

1、目錄1概述 (21.1圖像偵查面臨挑戰(zhàn) (21.2視頻濃縮摘要和檢索 (21.3視頻摘要檢索的基本原理 (32警用圖像偵查系統(tǒng)介紹 (42.1案情錄入子系統(tǒng) (52.2視頻增強(qiáng)和夜間視頻處理子系統(tǒng) (52.3視頻濃縮摘要子系統(tǒng) (62.4視頻目標(biāo)細(xì)分檢索子系統(tǒng) (72.5案件管理子系統(tǒng) (83系統(tǒng)功能與性能 (84系統(tǒng)工作流程 (105運(yùn)行環(huán)境 (125.1系統(tǒng)構(gòu)架 (125.2軟件環(huán)境 (136結(jié)語(yǔ) (131 概述1.1 圖像偵查面臨挑戰(zhàn)圖像偵查已經(jīng)是刑事偵查的常見手段,所謂圖像偵查就是從監(jiān)控系統(tǒng)獲取的視頻或圖片信息找到嫌疑目標(biāo)并形成有效線索的過(guò)程。過(guò)去十年,安防行業(yè)數(shù)字化以DVR和DVS為

2、代表,得到了迅速發(fā)展。攝像機(jī)數(shù)量也大為提升。參照北京、重慶等已試點(diǎn)推行的“平安城市”項(xiàng)目,根據(jù)行業(yè)分析人士估計(jì),地級(jí)市、行政區(qū)一般每個(gè)城市需要規(guī)劃安裝1020萬(wàn)個(gè)攝像機(jī),而省會(huì)級(jí)、一線城市視經(jīng)濟(jì)發(fā)達(dá)程度、地域面積可上至50萬(wàn)個(gè)以上;縣級(jí)市/行政區(qū)規(guī)劃的攝像機(jī)數(shù)量也多為12萬(wàn)個(gè)。如此多的攝像頭日夜不停攝像,在解決“看得見”問(wèn)題的同時(shí)也帶來(lái)了海量的視頻。這也使傳統(tǒng)的以人海戰(zhàn)術(shù)為主的視頻線索查找,猶如大海撈針,面臨巨大挑戰(zhàn)。例如2010年鄂爾多斯市發(fā)生的一個(gè)重大刑事案件中,民警要從3000多個(gè)攝像頭,將近150萬(wàn)個(gè)小時(shí)的錄像中找到線索。當(dāng)時(shí)公安抽調(diào)了50多名民警,晝夜看了近兩個(gè)月的時(shí)間。為了充分利用

3、這些視頻資料的同時(shí)又提高辦案效率,一個(gè)很自然的選擇方案是對(duì)視頻進(jìn)行濃縮摘要和檢索處理,去掉一些沒(méi)有動(dòng)態(tài)目標(biāo)的過(guò)程,并在視頻中根據(jù)對(duì)象的特征來(lái)進(jìn)行查找目標(biāo)。下面簡(jiǎn)單對(duì)這兩項(xiàng)技術(shù)的介紹。1.2 視頻濃縮摘要和檢索如何讓監(jiān)控系統(tǒng)更智能,對(duì)于突發(fā)案件反應(yīng)更迅速,在提高效率,大量減少人力開銷的同時(shí),使線索查找獲取變得更迅速便捷?其核心正是如何能有效地對(duì)內(nèi)容進(jìn)行分析、索引和對(duì)緊急事故的檢測(cè)跟蹤。依靠科技進(jìn)步,向科技要效率,科技強(qiáng)警是突破上述瓶頸,應(yīng)對(duì)挑戰(zhàn)的唯一出路。兩種方法可以幫助用戶突破效率瓶頸,解決上述問(wèn)題。I.生成一個(gè)簡(jiǎn)短的視頻摘要,可以將單個(gè)攝像頭攝制24小時(shí)的視頻壓縮成幾十分鐘,方便用戶快速瀏覽

4、。還可以設(shè)置一定的條件生成摘要視頻,設(shè)置條件有時(shí)間,運(yùn)動(dòng)方向,目標(biāo)類型等,進(jìn)一步縮短視頻的瀏覽時(shí)間;II.通過(guò)視頻檢索幫助用戶按照目標(biāo)特征快速精準(zhǔn)的定位目標(biāo),對(duì)攝像機(jī)網(wǎng)絡(luò)或視頻文件集進(jìn)行嫌疑目標(biāo)或事件的跨區(qū)域并案處理和檢索。視頻摘要是指從原始視頻中提取目標(biāo)(犯罪嫌疑人、車輛的活動(dòng)信息,與背景視頻合成較短的視頻片斷,也可以切割提取活動(dòng)目標(biāo),以快照列表的方式更加便捷地展示。在摘要視頻中,能夠顯示目標(biāo)出現(xiàn)的時(shí)間,移動(dòng)軌跡,并且支持用戶通過(guò)點(diǎn)擊目標(biāo),播放目標(biāo)出現(xiàn)前后的原始視頻,甚至是單目標(biāo)與背景合成的視頻,便于仔細(xì)查看。可以用“短小精悍”,“信息全面”來(lái)描述視頻摘要。視頻摘要解決了長(zhǎng)時(shí)間的視頻文件難以

5、瀏覽的問(wèn)題,全快照輸出可以讓我們快速瀏覽視頻感興趣區(qū)域中出現(xiàn)的目標(biāo),但對(duì)于具有某些特征的目標(biāo)無(wú)能為力。視頻檢索就能夠根據(jù)目標(biāo)的特征,如目標(biāo)各部分的顏色、大小、速度、方向等,在視頻中進(jìn)行檢索,按相似度列出符合的目標(biāo)快照,點(diǎn)擊可以查看目標(biāo)出現(xiàn)前后的原始視頻?？焖冁i定目標(biāo)。1.3 視頻摘要檢索的基本原理視頻摘要與檢索屬于智能視頻分析技術(shù)的范疇。融合了圖像處理技術(shù)、計(jì)算機(jī)視覺(jué)技術(shù)、人工智能及圖形分析等多項(xiàng)技術(shù)。其中,視頻摘要技術(shù)突破了傳統(tǒng)視頻監(jiān)控中使用的移動(dòng)偵測(cè),而視頻檢索則上升到了“識(shí)別及分類”層級(jí)的技術(shù),具有一定的人工智能,相比傳統(tǒng)監(jiān)控具有檢測(cè)精度高、目標(biāo)遺漏少、虛警少的特點(diǎn),同時(shí)可過(guò)濾一些干擾因

6、素,具有較強(qiáng)的適應(yīng)能力。其核心技術(shù)主要包括背景建模,前景分割和跟蹤,目標(biāo)分類和圖形合成顯示等。背景建模主要是通過(guò)統(tǒng)計(jì)分析,紋理分析,確定每個(gè)像素是屬于背景還是前景,我們的算法克服了環(huán)境變化(包括光照,陰影,強(qiáng)光源,天氣,風(fēng)吹樹搖等動(dòng)態(tài)背景及攝像機(jī)本身由于外力產(chǎn)生的抖動(dòng)等多種因素的影響,快速穩(wěn)定地獲取背景的估計(jì)。前景分割和跟蹤充分考慮了光照、陰影和目標(biāo)與環(huán)境之間,目標(biāo)與目標(biāo)之間的遮擋等,可以在像素級(jí)別切割出前景目標(biāo),從而為可變時(shí)間空間尺度的視頻文件生成奠定了良好基礎(chǔ)。目標(biāo)分類采用了人工智能的技術(shù),將視頻文件中的人、車目標(biāo)進(jìn)行分類,并且可以按照目標(biāo)的其他特征進(jìn)一步細(xì)分,比如目標(biāo)的大小、速度、方向、

7、各部分的顏色等;摘要生成是將前景目標(biāo)重新按照濃縮的密度縫合到背景中,采用先進(jìn)的圖形合成技術(shù),生成新的摘要視頻。我們基于上述核心技術(shù),開發(fā)出可變時(shí)間空間尺度的視頻摘要和視頻檢索系統(tǒng).視頻摘要系統(tǒng)用于解決海量監(jiān)控視頻難于管理不便查詢的問(wèn)題。它將生成一個(gè)簡(jiǎn)短的視頻,其中包含了原視頻中所有重要的活動(dòng)。視頻通過(guò)同時(shí)播放多個(gè)事件哪怕是在原視頻中不同時(shí)間發(fā)生的,將整個(gè)視頻濃縮成一個(gè)簡(jiǎn)短的活動(dòng)摘要。這個(gè)摘要同時(shí)也是原視頻文件的一個(gè)索引,可以找到每一個(gè)事件發(fā)生的真實(shí)時(shí)間和活動(dòng)詳情。更進(jìn)一步,本系統(tǒng)可以生成目標(biāo)快照索引,用數(shù)張圖片向用戶展示某一時(shí)間段進(jìn)出指定區(qū)域的所有目標(biāo),或者符合某一特征的目標(biāo),真正做到目標(biāo)快速

8、索引和線索查詢。視頻檢索系統(tǒng)支持按照目標(biāo)特征或者目標(biāo)圖片查找特定目標(biāo),實(shí)現(xiàn)對(duì)于嫌疑目標(biāo)的精準(zhǔn)定位。系統(tǒng)首先使用一種有效的運(yùn)動(dòng)分割方法提取出運(yùn)動(dòng)的目標(biāo),而后這些運(yùn)動(dòng)目標(biāo)的基本特征作為元數(shù)據(jù)被提取出來(lái),存放到數(shù)據(jù)庫(kù)。在整個(gè)的檢索過(guò)程中,系統(tǒng)會(huì)將提取檢索輸入的特征,請(qǐng)求比對(duì)數(shù)據(jù)庫(kù)中已經(jīng)索引好的目標(biāo)特征,而不用重新處理視頻。這樣對(duì)于從同一組視頻中多次查找不同特征的目標(biāo),系統(tǒng)可以在數(shù)秒之內(nèi)輸出檢索結(jié)果,擁有足夠高相關(guān)度的視頻目標(biāo)快照按照相似度高低顯示出來(lái)?；谏鲜龅囊曨l濃縮摘要和檢索技術(shù),為了提高公安部門在刑事偵查中的效率,我們開發(fā)了一套警用圖像偵查系統(tǒng)。該系統(tǒng)填補(bǔ)了我國(guó)海量視頻監(jiān)控事后分析取證及視頻目

9、標(biāo)檢索的空白。下面是對(duì)這個(gè)系統(tǒng)的簡(jiǎn)單介紹:2 警用圖像偵查系統(tǒng)介紹在應(yīng)用視頻進(jìn)行偵查時(shí),有必要在案件處理開始階段錄入案情基本信息,對(duì)一些模糊視頻如夜間視頻也有必要進(jìn)行預(yù)先處理,對(duì)濃縮檢索得到的嫌疑目標(biāo)快照和嫌疑視頻片段,有必要保存且進(jìn)行編目并進(jìn)行一定處理以形成線索。當(dāng)然,出于安全考慮,也有必要進(jìn)行用戶權(quán)限的控制。于是,結(jié)合上述刑偵工作實(shí)際情況,我們開發(fā)了如圖1所示的警用圖像偵查系統(tǒng)。下面分別對(duì)各子系統(tǒng)進(jìn)行介紹。 圖1-系統(tǒng)組成示意圖2.1 案情錄入子系統(tǒng)支持原始海量監(jiān)控視頻和其它取證文件的上傳、下載、存儲(chǔ)和有序管理。對(duì)于單個(gè)案件,可以以案件名作為一級(jí)目錄,并根據(jù)需求建立下級(jí)目錄,分類別、分層次

10、存儲(chǔ)和管理案情文件,系統(tǒng)支持針對(duì)目錄的文件集的批量下載,轉(zhuǎn)移等操作,大大方便了并案處理時(shí)案件相關(guān)文件的調(diào)度。在進(jìn)行文件存儲(chǔ)調(diào)度時(shí),可以對(duì)文件進(jìn)行編目(如時(shí)間、地點(diǎn)、攝像頭編號(hào)等,同時(shí)系統(tǒng)提供根據(jù)編目進(jìn)行文件搜索的功能,實(shí)現(xiàn)在海量視頻中需要的文件的快速定位。2.2 視頻增強(qiáng)和夜間視頻處理子系統(tǒng)針對(duì)夜間環(huán)境帶來(lái)的低照度和高噪聲問(wèn)題,以及視頻壓縮產(chǎn)生的方塊效應(yīng)和畫面閃爍,我們開發(fā)了光流估計(jì)及邊沿銳化技術(shù),解決夜間弱光條件下視頻如何去模糊和低質(zhì)量圖像如何提升畫質(zhì)的問(wèn)題。 圖2-低照度視頻降噪與提升畫質(zhì)2.3 視頻濃縮摘要子系統(tǒng)由于觀看原始視頻來(lái)查找嫌疑目標(biāo)線索很是困難,大多數(shù)取得的視頻并不會(huì)直接觀看和

11、檢查。視頻濃縮摘要和快照就成了一種瀏覽檢索視頻的有效工具。如圖3所示,為了在這一個(gè)小時(shí)的原始視頻中找到嫌疑目標(biāo)的信息,如果采用視頻濃縮摘要功能,則能得到一個(gè)只有兩分鐘但又包括所有運(yùn)動(dòng)目標(biāo)的壓縮視頻,通過(guò)這個(gè)視頻及圖4所示的快照列表,相對(duì)于只是觀看原始視頻,能很快速地鎖定嫌疑目標(biāo)。 圖3-視頻濃縮摘要 圖 4 - 視頻快照列表,實(shí)現(xiàn)快速查看視頻濃縮摘要產(chǎn)品特點(diǎn):數(shù)分鐘看完一天的視頻,無(wú)需快進(jìn)活動(dòng)細(xì)節(jié)仍以真實(shí)速度播放畫面合成逼真,目標(biāo)邊界清晰,與背景融為一體特別針對(duì)不同光照條件,目標(biāo)與背景的差別等設(shè)計(jì)了靈敏度參數(shù)在夜間昏暗的路燈光下,清晰地切割出活動(dòng)目標(biāo),不遺漏目標(biāo)自由添加針對(duì)軌跡,人車類別等分類

12、條件,實(shí)現(xiàn)基于分類的濃縮摘要按人車和顏色,大小速度方向等展示目標(biāo)快照濃縮密度,感興趣區(qū)域可自由設(shè)置從濃縮視頻中選擇、回放某一物體簡(jiǎn)單易用,無(wú)縫連接DVR/DVS和第三方監(jiān)控管理平臺(tái)節(jié)省存放歷史視頻所需硬盤空間90%,綠色環(huán)保2.4 視頻目標(biāo)細(xì)分檢索子系統(tǒng)這個(gè)子系統(tǒng)的主要作用是:根據(jù)目擊證人提供的信息,例如人車類別,顏色、高度、方向、速度等,在視頻中搜索嫌疑目標(biāo),得到的結(jié)果是按照按相似度列出的目標(biāo)快照。如果在某一視頻摘要中發(fā)現(xiàn)了嫌疑目標(biāo),通常需要在更多位置的攝像機(jī)攝錄的視頻中搜索和檢查,以確認(rèn)該目標(biāo)是否在其它地方出現(xiàn)過(guò)。根據(jù)輸出的目標(biāo)快照,系統(tǒng)支持進(jìn)一步在多個(gè)關(guān)聯(lián)視頻中查找與該目標(biāo)快照相似的目標(biāo)

13、。一種有效的查詢方式是基于語(yǔ)義的查詢,例如要按照以下描述的語(yǔ)義(目標(biāo)特征去檢索:查找一輛下午一點(diǎn)到下午三點(diǎn)從湖邊道路經(jīng)過(guò)的紅色貨車 圖5 -基于語(yǔ)義的檢索視頻目標(biāo)檢索系統(tǒng)產(chǎn)品特點(diǎn):支持多種檢索條件,包括人車分類、時(shí)間、地點(diǎn)(通道、方向、事件(技防告警、移動(dòng)偵測(cè)等、標(biāo)記等的精確查詢功能支持基于事件、目標(biāo)分類或者樣本檢索等模糊查詢檢索功能,即采用基于語(yǔ)義的檢索或者基于樣本的檢索可以多攝像機(jī)視頻同步檢索,無(wú)縫接駁第三方視頻監(jiān)控管理平臺(tái)通過(guò)視頻調(diào)度平臺(tái),跨區(qū)域同步檢索更加能夠發(fā)揮云計(jì)算并行處理的優(yōu)勢(shì)快速找到目標(biāo)可能的所在位置支持多次輸入不同目標(biāo)特征快速檢索(數(shù)秒內(nèi)輸出結(jié)果直接生成快照列表供用戶查找點(diǎn)擊

14、目標(biāo)快照,播放原始視頻2.5 案件管理子系統(tǒng)通過(guò)視頻摘要和檢索分析獲得案件線索片段還需要經(jīng)過(guò)處理才能得到直觀的展現(xiàn)。線索處理和展示功能模塊提供多種圖像和視頻處理工具,方便快照剪切編輯,放大對(duì)比,視頻標(biāo)注剪輯,多窗口對(duì)比播放,并顯示嫌疑人行動(dòng)線路。對(duì)于每一個(gè)嫌疑目標(biāo)的特征,檢索系統(tǒng)可以自動(dòng)生成詳細(xì)的記錄?？梢愿鶕?jù)客戶的需求,輸出案件分析報(bào)告,系統(tǒng)而清晰的展示案件偵查進(jìn)展和結(jié)論。3 系統(tǒng)功能與性能下面是本系統(tǒng)主要的功能與性能列表:功能選項(xiàng)指標(biāo)備注用戶權(quán)限用戶登錄最大支持24用戶并發(fā)訪問(wèn)超級(jí)用戶,普通用戶用戶注銷案情錄入文件目錄結(jié)構(gòu)人工設(shè)置文件和文件夾編目文件和文件夾檢索文件和文件夾調(diào)度設(shè)置摘要檢索

15、條件靈敏度設(shè)置5級(jí)靈敏度可調(diào)專利技術(shù)支持夜間視頻密度設(shè)置摘要使用感興趣區(qū)設(shè)置支持手動(dòng)繪制不感興趣區(qū)設(shè)置支持手動(dòng)繪制分析時(shí)域設(shè)置方向選擇360度方向可選尺寸速度選擇檢索使用人車分類選擇準(zhǔn)確率95% 檢索使用目標(biāo)顏色條件設(shè)置全色系可選,色差可調(diào)支持從目標(biāo)取色檢索使用人體上下半身顏色設(shè)置人體上下半身顏色分開和組合查找檢索使用輸出摘要視頻,快照等線索片段生成濃縮摘要視頻單機(jī)支持4路并行處理標(biāo)配版8倍速,高配版12倍速目標(biāo)檢索單機(jī)支持4路并行處理標(biāo)配版4倍速,高配版8倍速生成全部快照列表支持1,4,9,16分屏輸出目標(biāo)快照播放快照對(duì)應(yīng)的原始視頻目標(biāo)出現(xiàn)3秒到離開后3秒快照以及視頻目標(biāo)物標(biāo)可選擇顯示/關(guān)閉

16、物標(biāo)快照以及視頻目標(biāo)時(shí)標(biāo)可選擇顯示/關(guān)閉時(shí)標(biāo)目標(biāo)活動(dòng)軌跡支持人工修正線索處理快照?qǐng)D片編輯,放大對(duì)比,視頻片段內(nèi)編輯,多窗口播放對(duì)比可支持4窗口對(duì)比播放結(jié)合電子地圖,形成完整的目標(biāo)移動(dòng)軌跡輸出案件分析報(bào)告客戶可以指定輸出格式視頻格式分析標(biāo)準(zhǔn)avi/mp4格式或主流廠商視頻含?？?大華,華三,天地偉業(yè),三星等分析非標(biāo)準(zhǔn)格式視頻透過(guò)轉(zhuǎn)碼服務(wù)器任務(wù)和案件管理批量任務(wù)提交和處理任務(wù)列表查詢?nèi)蝿?wù)狀態(tài)查詢刪除已完成的任務(wù)刪除隊(duì)列中未分析的任務(wù)變換條件重新分析某一任務(wù)支持二次檢索,15秒完成關(guān)聯(lián)視頻并案,視頻上載或共享案件視頻圖片下載轉(zhuǎn)儲(chǔ)圖像增強(qiáng)圖像去模糊夜間視頻增強(qiáng)網(wǎng)絡(luò)支持局域網(wǎng),公安內(nèi)網(wǎng),互聯(lián)網(wǎng)透過(guò)流媒體

17、服務(wù)和文件服務(wù),可提交分析廣域網(wǎng)上的視頻任務(wù)4 系統(tǒng)工作流程以下簡(jiǎn)述本系統(tǒng)的使用流程,請(qǐng)參見圖6深圳久凌軟件技術(shù)有限公司 圖 6：工作流程圖 第一步，案情錄入 根據(jù)案件描述，在客戶端上將案件發(fā)生的時(shí)間，地點(diǎn)/區(qū)域錄入檢索系統(tǒng)，或根據(jù)用戶 設(shè)定的日常管理規(guī)則，進(jìn)行相應(yīng)案件視頻調(diào)度獲取，對(duì)于案件關(guān)聯(lián)視頻進(jìn)行并案處理。 第二步，海量案件視頻分析處理 用戶可選擇對(duì)模糊視頻進(jìn)行增強(qiáng)， 根據(jù)目標(biāo)類別進(jìn)行視頻摘要分析以獲取線索， 同時(shí)可 以根據(jù)事件的時(shí)間、嫌疑目標(biāo)顏色、高度、方向、速度等精確信息或素描，以及通過(guò)目標(biāo)快 照線索在并案視頻中進(jìn)行跨區(qū)域檢索，從而獲得嫌疑目標(biāo)的活動(dòng)路徑，現(xiàn)場(chǎng)線索圖片，線索 視頻片段

18、等。整個(gè)過(guò)程中客戶端中可以查詢?nèi)蝿?wù)狀態(tài)。 第三步，案情視頻，快照轉(zhuǎn)儲(chǔ)入庫(kù)，形成案件分析報(bào)告 經(jīng)過(guò)分析得到的案件相關(guān)視頻片段，案件快照可轉(zhuǎn)儲(chǔ)到指定案件目錄，線索及事件描 11 深圳久凌軟件技術(shù)有限公司 述輸入到案情管理子系統(tǒng)， 辦案人員可以調(diào)用相關(guān)線索資料， 并對(duì)線索片段進(jìn)行整理、 編輯， 對(duì)比、分析等操作，實(shí)現(xiàn)線索片段的連接、整合，從而找到嫌疑人和他的移動(dòng)軌跡，形成案 件分析報(bào)告，為快速破案提供強(qiáng)有力的支撐。 5 5.1 運(yùn)行環(huán)境 系統(tǒng)構(gòu)架 本系統(tǒng)采用客戶端服務(wù)器構(gòu)架，主要由視頻分析服務(wù)引擎與客戶端兩部分構(gòu)成。系統(tǒng) 支持多客戶端訪問(wèn)， 支持客戶權(quán)限管理， 客戶端可以在內(nèi)網(wǎng)使用， 也可以在互聯(lián)網(wǎng)環(huán)境使用。 視頻分析客戶端主要負(fù)責(zé)視頻源選擇，任務(wù)提交，包括視頻源地址，處理參數(shù)，輸出 視頻密度參數(shù)等， 并負(fù)責(zé)分析結(jié)果展示， 案件視頻與目標(biāo)快照下載和本地案情相關(guān)信息的存 儲(chǔ)管理。 視頻分析服務(wù)引擎提供視頻監(jiān)控與分析服務(wù)，并透過(guò)管理服務(wù)器隨時(shí)返回分析服務(wù)引 擎狀態(tài)給客戶端查詢， 將生成的摘要文件及目標(biāo)快照等存儲(chǔ)地址返回給客戶端， 同時(shí)返回目 標(biāo)信息索引，供客戶端展示分析結(jié)果使用。 分析服務(wù)引擎由視頻分析服務(wù)器，流媒體服務(wù)器，視頻格式適配服務(wù)器，管理服務(wù)器 （含數(shù)據(jù)庫(kù)）以及存