監(jiān)控視頻分析系統(tǒng)new

1、監(jiān)控視頻分析系統(tǒng)第一章 緒論1.1 課題背景1.2 課題目標(biāo)1.3 研究現(xiàn)狀1.4 研究內(nèi)容1.4.1 論文工作1.4.2 關(guān)鍵技術(shù)1.4.3 論文的實(shí)現(xiàn)1.4.4 論文的結(jié)構(gòu)第二章 監(jiān)控視頻分析系統(tǒng)2.1 系統(tǒng)總體結(jié)構(gòu)2.2系統(tǒng)軟件組成2.3系統(tǒng)硬件組成第三章 監(jiān)控視頻分析的若干關(guān)鍵技術(shù)3.1 視頻內(nèi)容結(jié)構(gòu)化3.2 視頻分割技術(shù)3.3 特征提取技術(shù)3.4 目標(biāo)跟蹤技術(shù)第四章 監(jiān)控視頻分析系統(tǒng)的實(shí)現(xiàn)第五章 總結(jié)和展望5.1 工作總結(jié)5.2 研究展望第一章 緒論1.1課題背景隨著現(xiàn)代化城市住宅小區(qū)在我國的普及，小區(qū)的信息化建設(shè)不斷深入，各小區(qū)都加快了信息網(wǎng)絡(luò)平臺(tái)建設(shè)，現(xiàn)代化住宅小區(qū)正逐步轉(zhuǎn)向利用

2、網(wǎng)絡(luò)和計(jì)算機(jī)管理信息的新階段。因此，基于嵌入式平臺(tái)的智能視頻監(jiān)控系統(tǒng)憑借著其靈活性的優(yōu)勢將取代以往的傳統(tǒng)的監(jiān)控方法逐步成為未來趨勢。當(dāng)發(fā)現(xiàn)異常時(shí)，該類系統(tǒng)能夠向保衛(wèi)人員準(zhǔn)確及時(shí)的發(fā)出警報(bào)，從而避免犯罪的發(fā)生，同時(shí)也減少了人力、物力和財(cái)力的投入。智能監(jiān)控技術(shù)包括了運(yùn)動(dòng)目標(biāo)的檢測、識(shí)別和跟蹤等方面，涉及到計(jì)算機(jī)視覺、模式識(shí)別和人工智能等領(lǐng)域。與傳統(tǒng)的視頻監(jiān)控相比，智能視頻監(jiān)控系統(tǒng)具有以下優(yōu)點(diǎn)：一、24X7全天可靠監(jiān)控。智能視頻監(jiān)控系統(tǒng)將徹底改變以往完全由監(jiān)控人員對(duì)畫面進(jìn)行監(jiān)視和分析的模式。該類系統(tǒng)通過嵌入在前端設(shè)備中的智能視頻模塊對(duì)監(jiān)控的畫面進(jìn)行自動(dòng)分析，一旦發(fā)現(xiàn)異常的事件立即向監(jiān)控中心報(bào)警。二、

3、提高報(bào)警精確度。智能視頻監(jiān)控系統(tǒng)能夠有效提高報(bào)警精確度，大大降低誤報(bào)和漏報(bào)現(xiàn)象的發(fā)生。系統(tǒng)的前端設(shè)備中集成了功能強(qiáng)大的圖像處理和智能處理模塊，使用戶可以更加精確的定義威脅安全事件的特征，有效降低誤報(bào)和漏報(bào)現(xiàn)象，減少無用數(shù)據(jù)量。三、提高響應(yīng)速度。智能視頻監(jiān)控系統(tǒng)擁有比傳統(tǒng)視頻監(jiān)控系統(tǒng)更強(qiáng)大的智能處理能力，它能夠檢測、識(shí)別視頻場景中的可疑活動(dòng)，因此在威脅安全的事件發(fā)生前就能夠提示監(jiān)控人員關(guān)注監(jiān)控畫面，使相關(guān)人員提前做好準(zhǔn)備工作。正是由于智能視頻監(jiān)控具有傳統(tǒng)監(jiān)控?zé)o法比擬的優(yōu)點(diǎn)，而且符合當(dāng)前監(jiān)控系統(tǒng)智能化、數(shù)字化和網(wǎng)絡(luò)化的發(fā)展趨勢，所以智能視頻監(jiān)控正在逐步取代傳統(tǒng)視頻監(jiān)控，被廣泛應(yīng)用于各行各業(yè)。具有一

4、定智能處理能力的視頻監(jiān)控系統(tǒng)，不僅符合信息產(chǎn)業(yè)的未來發(fā)展趨勢，而且代表著監(jiān)控行業(yè)的未來發(fā)展方向，蘊(yùn)藏著巨大的商機(jī)和經(jīng)濟(jì)效益，受到了學(xué)術(shù)界、產(chǎn)業(yè)界和管理部門的高度重視。1.2 課題目標(biāo)在傳統(tǒng)的監(jiān)控系統(tǒng)中，由于人是監(jiān)控系統(tǒng)判斷分析的主體，并且人無法全天24小時(shí)集中精力來監(jiān)視所有視頻場景。因此，傳統(tǒng)的視頻監(jiān)控系統(tǒng)就存在著先天穩(wěn)定性和可靠性方面的不足。另外，傳統(tǒng)的監(jiān)控系統(tǒng)無法具備實(shí)時(shí)性，在大多數(shù)情況下只能用來作為事后取證，無法實(shí)時(shí)判斷場合并及時(shí)報(bào)警。在這種情況下，如何彌補(bǔ)傳統(tǒng)視頻監(jiān)控系統(tǒng)的缺陷成了業(yè)界急需解決的問題，同時(shí)，具有實(shí)時(shí)性和智能功能的視頻監(jiān)控系統(tǒng)也成為視頻發(fā)展的方向。智能視頻監(jiān)控的主要應(yīng)用領(lǐng)

5、域之一就是安防，所采集的視頻被轉(zhuǎn)成數(shù)據(jù)，再由計(jì)算機(jī)進(jìn)行特定的算法過濾，從中檢測出實(shí)時(shí)的特定目標(biāo)以及行為，由此，智能視頻監(jiān)控就具備了視頻的分析能力。這種主動(dòng)分析的能力部分地替代人腦分析的功能，從而在很大程度上減少了監(jiān)控人員的精力負(fù)擔(dān)，使勞動(dòng)成本大大降低。本課題目標(biāo)及重點(diǎn)是對(duì)監(jiān)控視頻智能存儲(chǔ)以及視頻中人的行為進(jìn)行異常分析，從而減少存儲(chǔ)空間和減少盜竊對(duì)小區(qū)財(cái)產(chǎn)造成的損失。1.3 研究現(xiàn)狀智能視頻監(jiān)控具有廣泛的應(yīng)用前景和潛在的經(jīng)濟(jì)價(jià)值，越來越受到國內(nèi)外科研機(jī)構(gòu)以及研究人員的關(guān)注。國際上對(duì)智能視頻監(jiān)控的研究已經(jīng)達(dá)到了一定的水平，智能視頻監(jiān)控也受到越來越多的重視，一些重要的學(xué)術(shù)期刊和學(xué)術(shù)會(huì)議已經(jīng)將智能視頻

6、監(jiān)控作為主題內(nèi)容之一。計(jì)算機(jī)視覺領(lǐng)域中的權(quán)威期刊國際計(jì)算機(jī)視覺期刊和IEEE模式分析和機(jī)器智能匯刊相繼在2000年6月和2000年8月出版了關(guān)于視頻監(jiān)控的?？?。由Steve J.Maybank和譚鐵牛組織的IEEE視覺監(jiān)控專題討論會(huì)也已經(jīng)成功的舉辦了多屆。同時(shí)也有不少原型系統(tǒng)被研發(fā)出來，如在上個(gè)世紀(jì)90年代末，美國國防高級(jí)研究計(jì)劃局（DARPA）資助卡內(nèi)基梅隆、戴維SARNOFF研究中心等著名大學(xué)和科研機(jī)構(gòu)聯(lián)合研制除了智能場景監(jiān)視與監(jiān)控系統(tǒng)VSAM；美國ISS公司研制出的AUTOSCOPE2004是一種大區(qū)域視頻監(jiān)控系統(tǒng)，已經(jīng)作為北美鐵路運(yùn)輸監(jiān)視系統(tǒng)實(shí)現(xiàn)了應(yīng)用；IBM公司于2006年11月宣布

7、已開發(fā)并銷售一款用于分析視頻實(shí)時(shí)監(jiān)控系統(tǒng)數(shù)據(jù)的安全軟件，它能夠發(fā)現(xiàn)到監(jiān)控環(huán)境中的潛在安全隱患并自動(dòng)報(bào)警。IBM公司將這一新產(chǎn)品命名為“智能監(jiān)控系統(tǒng)”（S3:Smart Surveillance System），簡稱“S3”?！爸悄鼙O(jiān)控系統(tǒng)”可以將視頻攝像頭捕捉到的信息通過網(wǎng)絡(luò)傳遞到整個(gè)系統(tǒng)軟件上，實(shí)施遠(yuǎn)程監(jiān)控。在國內(nèi)，智能視頻監(jiān)控的研究也已經(jīng)有了長足的進(jìn)步，2002年5月，第一屆“全國智能視覺監(jiān)控學(xué)術(shù)會(huì)議”在北京召開，迄今為止已經(jīng)舉辦了三屆，得到了廣泛的關(guān)注。此外，中國科學(xué)院自動(dòng)化研究所模式識(shí)別國家重點(diǎn)實(shí)驗(yàn)室已經(jīng)成立了智能視頻監(jiān)控的研究小組，正在開展智能視頻監(jiān)控方面的研究，。1.4研究內(nèi)容1.

8、4.1 論文的工作本課題研究了智能視頻監(jiān)控系統(tǒng)的架構(gòu)，論文的工作包括：1）介紹視頻結(jié)構(gòu)化的基本原理，1.4.2 關(guān)鍵技術(shù)本課題的研究過程中，主要涉及到如下幾項(xiàng)關(guān)鍵技術(shù)：1）視頻動(dòng)靜態(tài)切分：如何實(shí)現(xiàn)視頻的靜態(tài)畫面和動(dòng)態(tài)畫面存儲(chǔ)，以節(jié)省存儲(chǔ)空間。2）視頻分割技術(shù)：如何將目標(biāo)從背景中分離出來。3）特征提取技術(shù)：如何將目標(biāo)的特征提取出來。4）目標(biāo)跟蹤技術(shù)：1.4.3 論文的實(shí)現(xiàn)1.4.4 論文的結(jié)構(gòu)本文各章的內(nèi)容安排如下：第1章，緒論部分。簡單介紹智能視頻監(jiān)控系統(tǒng)的概念以及國內(nèi)外的研究現(xiàn)狀，并介紹本文的主要內(nèi)容。第2章，監(jiān)控視頻分析系統(tǒng)。介紹監(jiān)控視頻的軟件和硬件組成。第3章，監(jiān)控視頻分析的若干關(guān)鍵技術(shù)

9、。這一部分主要介紹監(jiān)控視頻分析用到的一些關(guān)鍵技術(shù)：視頻切分技術(shù)、視頻分割技術(shù)、特征提取技術(shù)和目標(biāo)跟蹤技術(shù)。第4章，監(jiān)控視頻分析系統(tǒng)的實(shí)現(xiàn)。主要包括軟件系統(tǒng)架構(gòu)設(shè)計(jì)、智能視頻分析軟件設(shè)計(jì)、人機(jī)界面設(shè)計(jì)、智能視頻分析功能實(shí)現(xiàn)等內(nèi)容。第5章，總結(jié)和展望。對(duì)全文進(jìn)行了總結(jié)，并說明智能監(jiān)控系統(tǒng)的不足和未來發(fā)展方向。第2章 監(jiān)控視頻分析系統(tǒng)2.1 系統(tǒng)總體結(jié)構(gòu)通常情況下，視頻監(jiān)控系統(tǒng)由攝像前端（攝像機(jī)、鏡頭、編碼器、云臺(tái)、支架、防護(hù)罩等）、傳輸系統(tǒng)（有線，無線）、服務(wù)器（計(jì)算機(jī)）、終端（監(jiān)視器、錄像機(jī)）四大部分組成。2.2 系統(tǒng)軟件組成2.3 系統(tǒng)硬件組成本文的監(jiān)控系統(tǒng)的硬件部分主要包括服務(wù)器、串口轉(zhuǎn)換器

10、、解碼器、監(jiān)控云臺(tái)、視頻采集卡、彩色監(jiān)控?cái)z像機(jī)和CCTV（Closed Circuit Television）鏡頭。各部分功能如下：1. 服務(wù)器：完成對(duì)監(jiān)控圖像的觀察、分析和處理，并控制整個(gè)監(jiān)控系統(tǒng)；2. 多協(xié)議解碼器：翻譯服務(wù)器發(fā)送的指令，控制監(jiān)控云臺(tái)和CCTV鏡頭完成相應(yīng)的動(dòng)作；3. 串口轉(zhuǎn)換器：服務(wù)器提供的是RS232的傳輸方式，而多協(xié)議解碼器是用RS485方式進(jìn)行控制的，所以串口轉(zhuǎn)換器的作用便是實(shí)現(xiàn)232-485的電平轉(zhuǎn)換；4. 監(jiān)控云臺(tái)：通過水平與垂直的轉(zhuǎn)動(dòng)。帶動(dòng)彩色監(jiān)控?cái)z像機(jī)和CCTV鏡頭，實(shí)現(xiàn)更大范圍的監(jiān)控，以及對(duì)目標(biāo)實(shí)時(shí)跟蹤；5. 彩色監(jiān)控?cái)z像機(jī)：彩色監(jiān)控?cái)z像機(jī)的功能主要是將彩

11、色監(jiān)控圖像輸送至視頻采集卡，然后到個(gè)人計(jì)算機(jī)，其中最關(guān)鍵的部分是CCD（Charge Coupled Device）即電荷耦合器件；6. CCTV鏡頭：與彩色監(jiān)控?cái)z像機(jī)連接，通過解碼器可以實(shí)現(xiàn)鏡頭的焦距控制、聚焦控制和光圈控制；7. 視頻采集卡：連接彩色監(jiān)控?cái)z像機(jī)和服務(wù)器，它的功能是將彩色監(jiān)控?cái)z像機(jī)得到的模擬信號(hào)轉(zhuǎn)為數(shù)字信號(hào)，傳輸給服務(wù)器進(jìn)行分析處理。根據(jù)以上硬件各部分的功能，可以將整個(gè)系統(tǒng)的工作流程通過圖 表示第3章監(jiān)控視頻分析的若干關(guān)鍵技術(shù)3.1 視頻內(nèi)容結(jié)構(gòu)化3.1.1 視頻內(nèi)容結(jié)構(gòu)化概述視頻結(jié)構(gòu)化過程就是把一個(gè)視頻幀序列流按情節(jié)的發(fā)展分成若干段,這些段可分成若干級(jí)的層次結(jié)構(gòu),分別建立索

12、引。一般視頻數(shù)據(jù)可分為視頻,場景,鏡頭,關(guān)鍵幀幾個(gè)層次。用戶可以通過瀏覽視頻目錄,快速了解整段視頻的內(nèi)容,而不用順序?yàn)g覽所有的圖像幀序列。 傳統(tǒng)的基于文本的視頻檢索方法，是利用文本信息對(duì)視頻內(nèi)容進(jìn)行注釋，通過對(duì)關(guān)鍵字進(jìn)行抽取來描述視頻內(nèi)容的語義特征以達(dá)到視頻檢索的目的。但在使用過程中也存在一些問題：對(duì)海量視頻數(shù)據(jù)進(jìn)行人工標(biāo)引，工作量巨大，不切實(shí)際；由于標(biāo)引主體認(rèn)識(shí)上的差異性，不同的人對(duì)同一段視頻數(shù)據(jù)的理解不同；用有限的幾個(gè)關(guān)鍵字難以將具有豐富時(shí)空信息的視頻數(shù)據(jù)所描述的內(nèi)容標(biāo)注準(zhǔn)確。人們希望可以直接檢索到一段包含特定信息的視頻片斷。為了克服傳統(tǒng)的基于文本的視頻檢索方法的局限性，基于內(nèi)容的視頻檢索

13、技術(shù)因此應(yīng)運(yùn)而生。而視頻內(nèi)容的結(jié)構(gòu)化分析則是其關(guān)鍵步驟。 視頻數(shù)據(jù)從表面看是非結(jié)構(gòu)化的數(shù)據(jù)流，最高層是整個(gè)視頻流，最低層是一幀幀的圖像，數(shù)據(jù)間的關(guān)聯(lián)關(guān)系不能完全確定。視頻數(shù)據(jù)結(jié)構(gòu)化是實(shí)現(xiàn)基于內(nèi)容視頻檢索的前提，將視頻這種非結(jié)構(gòu)化的圖像流進(jìn)行處理使之成為結(jié)構(gòu)性的數(shù)據(jù)，才能提取出各種特征從而達(dá)到基于內(nèi)容檢索的目的。視頻結(jié)構(gòu)化主要是對(duì)視頻數(shù)據(jù)實(shí)現(xiàn)鏡頭探測，關(guān)鍵幀的提取和場景聚類。3.1.2 視頻的層次結(jié)構(gòu)場景是一組語義上相關(guān)聯(lián)及時(shí)間上相鄰的連續(xù)鏡頭序列，是視頻信息最小的語義單位。不同的鏡頭組成有語義聯(lián)系的場景；鏡頭是一組連續(xù)的視頻幀組成，有很強(qiáng)的相關(guān)性；視頻關(guān)鍵幀是用于描述一個(gè)鏡頭的關(guān)鍵圖像幀，通常

14、能夠反映一個(gè)鏡頭的主要內(nèi)容。3.1.3視頻內(nèi)容的結(jié)構(gòu)化監(jiān)控系統(tǒng)中需要處理的視頻數(shù)據(jù)量非常大，不僅需要對(duì)監(jiān)控場景的視頻流實(shí)時(shí)地進(jìn)行內(nèi)容分析，如何對(duì)獲取到的大量視頻數(shù)據(jù)進(jìn)行后續(xù)處理，也是一個(gè)困難的問題。視頻監(jiān)控系統(tǒng)需要一種自動(dòng)的視頻處理工具，來幫助操作人員通過對(duì)原始視頻流的有效的檢測標(biāo)注和整理，形成一定結(jié)構(gòu)的視頻序列，以滿足工作中對(duì)監(jiān)控視頻數(shù)據(jù)的保存和查詢需求。視頻結(jié)構(gòu)化重點(diǎn)是對(duì)監(jiān)控視頻流在內(nèi)容理解的基礎(chǔ)上進(jìn)行鏡頭切分和標(biāo)注，通過鏡頭的切分有效的對(duì)視頻流進(jìn)行分類重組，一方面，在視頻數(shù)據(jù)保存時(shí)，提供了對(duì)包含目標(biāo)信息的鏡頭和大量無關(guān)鏡頭分別按照不同的方案進(jìn)行保存的可能；另一方面，方便對(duì)于預(yù)警信息或者包

15、含目標(biāo)事件信息的相關(guān)鏡頭的檢索使用。對(duì)視頻鏡頭進(jìn)行檢測切分的目的是要實(shí)現(xiàn)對(duì)監(jiān)控視頻的基于內(nèi)容的結(jié)構(gòu)化處理，處理流程如下圖：我們對(duì)視頻流的切分和索引是在基于自然特征的視頻鏡頭檢測、視頻分層處理與視頻事件理解的基礎(chǔ)上完成的。上述三個(gè)模塊的處理結(jié)果作為監(jiān)控視頻鏡頭切分的輸入，提供的數(shù)據(jù)包括：粗糙的物理視頻鏡頭切分、事件發(fā)生時(shí)刻、靜止和運(yùn)動(dòng)的前景物體、場景中相關(guān)視頻層。3.2 視頻分割技術(shù)：所謂視頻分割就是把視頻中重要的或人們感興趣的對(duì)象(VO)相對(duì)背景分割開來，或者說就是要?jiǎng)澇龇謩e具有一致屬性的一個(gè)個(gè)區(qū)域，同時(shí)區(qū)分背景區(qū)域和前景(對(duì)象)區(qū)域。作為視頻對(duì)象應(yīng)是場景中訪問和操縱的實(shí)體，要盡量符合現(xiàn)實(shí)生活

16、中的實(shí)際視覺習(xí)慣，如桌子、人、汽車等，也就是說盡量具有一定的“語義”。對(duì)象(區(qū)域)的劃分可以根據(jù)其獨(dú)特的紋理、運(yùn)動(dòng)、形狀、模型和高層語義為根據(jù)。具體分割時(shí)，到底哪些部分重要，人們又對(duì)哪些部分感興趣，要看具體的應(yīng)用而定。如果是為了對(duì)場景進(jìn)行分析和理解，則分割的目標(biāo)通常應(yīng)具有一定的語義概念，與現(xiàn)實(shí)生活中實(shí)際物體具有對(duì)應(yīng)關(guān)系。對(duì)于壓縮編碼的應(yīng)用來說，目的是盡量用較少的數(shù)據(jù)表示較多的信息，要發(fā)現(xiàn)圖像間的相關(guān)性從而消除這種相關(guān)性，這時(shí)分割的目標(biāo)不是要求具有語義概念，甚至可能什么東西都不是(任意區(qū)域)，只要它具有運(yùn)動(dòng)的一致性，能夠通過運(yùn)動(dòng)補(bǔ)償來大量消除幀間的相關(guān)性就可以。對(duì)于視頻監(jiān)控系統(tǒng)，人們感興趣的是運(yùn)

17、動(dòng)的人物(或物體)，而對(duì)于視頻監(jiān)控系統(tǒng)人們關(guān)心的則是圖像中的人臉區(qū)域。3.2.1 基于運(yùn)動(dòng)的分割 在視頻序列處理分析過程中，由于運(yùn)動(dòng)的目標(biāo)在視頻序列中所占的信息量最大，經(jīng)常成為被分割提取的對(duì)象(VO)，因此在.分割提取動(dòng)態(tài)的視頻對(duì)象時(shí)，一個(gè)很重要的步驟就是區(qū)分出運(yùn)動(dòng)目標(biāo)和背景的范圍。 視頻與靜態(tài)圖像的區(qū)別在于幀間信息，因此視頻分割不但要利用空間分割技術(shù)(針對(duì)主要的一幀獨(dú)立圖像)，更要利用幀與幀之間所包含的運(yùn)動(dòng)(或變化)信息。幀間信息有著重要的作用: 同一物體的各部分很可能具有一致的運(yùn)動(dòng)屬性，據(jù)此可以把一個(gè)物體與別的物體(包括背景)分開。 在一定意義上，只有運(yùn)動(dòng)的物體才是應(yīng)該分割的，才是大多數(shù)應(yīng)

18、用中感興趣的部分。實(shí)際上，如果物體不運(yùn)動(dòng)，就無法確定這個(gè)物體應(yīng)該是背景還是應(yīng)該為前景。 運(yùn)動(dòng)信息可以指導(dǎo)空間分割，因?yàn)榭臻g分割時(shí)可以通過運(yùn)動(dòng)信息快速定位最大可能的區(qū)域，優(yōu)化搜索過程。運(yùn)動(dòng)信息可以通過幀間比較而快速的獲取。3.2.2 幀差法差分技術(shù)是直接在圖像空間域上進(jìn)行的技術(shù)，通過檢測由目標(biāo)運(yùn)動(dòng)引起的變化差異把運(yùn)動(dòng)目標(biāo)范圍撿取出來。幀差法的前提是作幀差的圖像之間需要有相同的背景，但實(shí)際上背景往往是運(yùn)動(dòng)的。背景的運(yùn)動(dòng)主要是由攝像機(jī)的運(yùn)動(dòng)造成的，稱為全局運(yùn)動(dòng)，包括平移、旋轉(zhuǎn)、縮放等不同運(yùn)動(dòng)方式的組合。在這種情況下，既存在全局運(yùn)動(dòng)，又存在物體與背景的相對(duì)運(yùn)動(dòng)。為了從差分圖像中消除背景運(yùn)動(dòng)的影響，必須

19、在差分計(jì)算之前對(duì)整個(gè)圖像進(jìn)行全局運(yùn)動(dòng)的估計(jì)和補(bǔ)償。通常采用六參數(shù)的仿射運(yùn)動(dòng)模型，有了運(yùn)動(dòng)參數(shù)之后就可以進(jìn)行全局運(yùn)動(dòng)補(bǔ)償并計(jì)算差分圖像。根據(jù)差分時(shí)利用的幀的多少，可以將幀差法分為兩幀差分法、對(duì)稱差分法和多幀差分法。 兩幀差分法兩幀差分法利用相鄰的兩幀作幀差，記i幀和j幀的差值圖像為Dfifj，那么: 若f(x,y,ti)和f(x,y,tj)的灰度存在顯著的差異 其他如圖所示：兩幀差分示意圖 從圖中可以看出在i幀和j幀的背景完全一致，并且物體的灰度沒有產(chǎn)生大的改變的情況下，給定的(x,y)點(diǎn)存在以下兩種情況: (x,y)位置，在i幀處于背景區(qū)域，在j幀則被運(yùn)動(dòng)物體區(qū)域所覆蓋。 (x,y)位置，在i

20、幀處于運(yùn)動(dòng)物體區(qū)域，在J幀則處于背景或其他運(yùn)動(dòng)物體區(qū)域。 也就是說單純用兩幀法得出的差值圖中既包含了運(yùn)動(dòng)物體也包含了由于物體的運(yùn)動(dòng)而覆蓋或是顯露的背景部分，從幀差圖中得到的只是物體的相對(duì)位置的變化，無法提取出運(yùn)動(dòng)物體，為了解決這個(gè)問題，可以用背景差和連續(xù)兩幀的幀差對(duì)一個(gè)場景中的運(yùn)動(dòng)對(duì)象進(jìn)行分割對(duì)照背景的差值圖,也可以先求出整體的運(yùn)動(dòng)矢量V，把差分模板按照V平移，再把平移之后的模板同未平移的差分模板疊在一起，模板中的重疊部分即是運(yùn)動(dòng)目標(biāo)，如下圖所示。但這種方法由于采用的是整體的運(yùn)動(dòng)矢量，因此只適合剛體，即只有平移運(yùn)動(dòng)時(shí)的情況，適應(yīng)性不是很高。 兩幀差分法的對(duì)象獲取辦法 對(duì)稱差分法利用連續(xù)的三個(gè)圖

21、像幀的差分技術(shù)就可以彌補(bǔ)上面所說的兩幀法的局限性。該方法采:用連續(xù)的三幀作差分，然后將兩幀差分圖“相與”，便能夠較好的檢測出中間幀的運(yùn)動(dòng)物體輪廓。其算法描述如下: 對(duì)視頻序列中連續(xù)三幀圖像f(k-1)(x,y)，f(k)(x,y), f(k+1)(x,y)分別計(jì)算相鄰兩幀的灰度差值: d(k-l,k (x,y)=| f(k)(x,y)- f(k-1)(x,y)| d(k,k+1 (x,y)=| f(k+1)(x,y)- f(k)(x,y)|對(duì)均值濾波后的兩個(gè)絕對(duì)灰度差值圖像，取一定的閾值對(duì)圖像進(jìn)行二值化，先得到兩個(gè)二值圖像b(k-1,k)(x,y)和b(k,k+1)(x,y)。然后，在每一個(gè)像

22、素位置，對(duì)兩個(gè)二值化圖像進(jìn)行相“與”就可以得到二值圖像B(k)(x,y)，如下圖所示。 對(duì)稱差分示意圖 可以看出，三幀法對(duì)于運(yùn)動(dòng)的物體能夠快速準(zhǔn)確的檢測出物體的輪廓，因此三幀法很適合實(shí)時(shí)視頻壓縮。但是三幀法有兩個(gè)不足：一、它要求兩幀之間的對(duì)象一定要有變化，如果連續(xù)的兩幀或兩幀以上的圖像中的物體沒有發(fā)生變化或是物體只有一部分發(fā)生了變化的話，那么三幀法就檢測不到物體或是只能檢測到物體的一部分。針對(duì)這個(gè)問題，有人提出了一種算法:用上一幀已分割出的物體，通過上一幀到該幀的運(yùn)動(dòng)矢量，平移后添加到當(dāng)前幀的辦法來解決兩幀間物體沒有運(yùn)動(dòng)或只有部分物體運(yùn)動(dòng)的情況，但是如果有兩幀以上的物體沒有發(fā)生運(yùn)動(dòng)的話這個(gè)方法

23、就不適合了。二、對(duì)稱差分二值圖像B(k)(x,y)中，目標(biāo)點(diǎn)的分布極不均勻，圖像邊緣會(huì)出現(xiàn)缺口及裂紋，有人提出了一種直線法來模擬目標(biāo)模板輪廓，能夠起到一定的作用。 多幀差分法 針對(duì)非剛體運(yùn)動(dòng)時(shí)運(yùn)動(dòng)信息較少，僅用三幀比較難于提取出物體的問題，提出了一種針對(duì)非剛體的7幀差分法，通過相隔若干幀來加大物體運(yùn)動(dòng)信息的方法提取出物體。 多幀法改善了對(duì)于非剛體僅用兩幀難于提取的問題，但是多幀法同時(shí)也增加了對(duì)于幀數(shù)的要求和復(fù)雜性，而且對(duì)剛體和非剛體的檢測也有一定的難度。 從上面介紹的算法來看，基于空間分割，由于沒有考慮運(yùn)動(dòng)信息，往往造成過分分割，把一些我們不需要的信息也提取出來;在基于運(yùn)動(dòng)信息的分割中，對(duì)稱差

24、分法在準(zhǔn)確度和分割速度上有很大的優(yōu)勢，因此很適合像監(jiān)控視頻這樣的實(shí)時(shí)視頻壓縮，但是當(dāng)運(yùn)動(dòng)信息不夠或者消失時(shí)容易造成對(duì)象的“漏檢”。 基于對(duì)稱差分的視頻分割算法能夠快速準(zhǔn)確的檢測出運(yùn)動(dòng)物體，使得該算法在實(shí)時(shí)性要求很高的視頻壓縮算法中具有很大的優(yōu)勢，但是，由于視頻序列的多樣性，使得該算法在某些情況下不能取得較好的效果。例如，算法要求相鄰的三幀之間物體都要有運(yùn)動(dòng)，而很多情況下，運(yùn)動(dòng)物體只有一部分是運(yùn)動(dòng)的，連續(xù)的兩幀之間沒有運(yùn)動(dòng)，甚至在有些情況下運(yùn)動(dòng)物體已經(jīng)不在視頻序列中，那么對(duì)稱差分就檢測不到物體，需要一些輔助的算法來解決這個(gè)問題。文獻(xiàn)【18提出了一個(gè)算法，用上一幀檢測出的物體作平移來解決只有部分物

25、體和兩幀之間沒有運(yùn)動(dòng)時(shí)的情況，如圖所示。 該方法考慮了三種情況: 當(dāng)相鄰的兩幀只有部分物體運(yùn)動(dòng)時(shí)，將缺少的部分用上一幀中的物體的相應(yīng)部分補(bǔ)充完整; 當(dāng)只有k-1幀到k幀有變化時(shí)，將上一幀分割得到的結(jié)果T(k-1)通過k-1幀到k幀的運(yùn)動(dòng)矢量得到在k幀的止點(diǎn)，然后添加到對(duì)稱差分結(jié)果二值圖像B(k)中; 當(dāng)只有k到k+l幀有變化時(shí)，這時(shí)直接把上一幀分割得到的最后結(jié)果T(k-1)拷貝為k幀分割的最后結(jié)果T (k)，跳過后續(xù)的模板填充過程。 但是，實(shí)際的視頻中不可能只有這三種情況，例如連續(xù)三幀及以上沒有變化等等時(shí)。并且，在進(jìn)行添加時(shí)采用的運(yùn)動(dòng)矢量是平均運(yùn)動(dòng)矢量，但是對(duì)于非剛體來說利用平均矢量來進(jìn)行整體

26、的平移，會(huì)和實(shí)際相差很遠(yuǎn)，該算法就起不到相應(yīng)的效果，即沒有普遍的適應(yīng)性。3.3 特征提取技術(shù)特征提取在整個(gè)檢測或者識(shí)別過程中是至關(guān)重要的。圖像的特征集合是通過提取最有利于目標(biāo)檢測或者識(shí)別的元素而得到。3.3.1 霍夫變換基本原理霍夫變換的思想是認(rèn)為屬于同一個(gè)物體的觀測，在霍夫空間中，所映射的假設(shè)是相同的。其大體方法是利用每一個(gè)觀測數(shù)據(jù)，對(duì)霍夫空間中所有可能的假設(shè)做投票累積，在檢測物體的時(shí)候，最常用的就是對(duì)投票結(jié)果進(jìn)行閾值分析，得到最后的檢測物體。在利用霍夫變換進(jìn)行直線檢測之前，需要利用邊緣檢測的方法對(duì)圖片進(jìn)行邊緣特征的提取，本文主要采用Canny算子。首先利用Canny算子對(duì)原始圖像進(jìn)行邊緣檢

27、測，得到邊緣圖。邊緣圖是一個(gè)二值圖片，其中像素強(qiáng)度不為0的都可能是邊上的店，二這些點(diǎn)都對(duì)霍夫圖像中的假設(shè)有貢獻(xiàn)。在直線檢測的問題中，霍夫空間通常是由和組成，其中表示霍夫圖像中原點(diǎn)到直線的距離，表示由距離垂線和x軸形成的夾角，這樣霍夫空間中的一對(duì)(，)就可以唯一確定原始圖像中的一條直線。根據(jù)上段的霍夫空間定義可以發(fā)現(xiàn)，邊緣圖中的特征點(diǎn)(x,y)和霍夫空間中的點(diǎn)(，)有如下關(guān)系：在實(shí)驗(yàn)中，通常會(huì)把霍夫空間中的離散化，霍夫投票時(shí)，每個(gè)特征點(diǎn)會(huì)遍歷所有的離散利用上式計(jì)算出對(duì)應(yīng)的，這樣點(diǎn)(，)的權(quán)值就會(huì)增加。當(dāng)霍夫投票結(jié)束的時(shí)候，就產(chǎn)生了霍夫圖像，可以利用簡單的閾值截?cái)喾ɑ蛘吒敯舻姆椒ㄟx擇可能的直線集

28、合。綜合上面的內(nèi)容，利用霍夫變換檢測直線的算法流程如下所示：3.3.2 隨機(jī)森林隨機(jī)森林算法在2001年由Leo Breiman提出，可以作為分類或者回歸模型。隨機(jī)森林是由多個(gè)決策樹組成的強(qiáng)分類器，可以通過收集很多決策樹的子節(jié)點(diǎn)對(duì)各個(gè)類別的投票，然后選擇獲得最多投票的類別作為輸出結(jié)果。隨機(jī)森林在很多領(lǐng)域都有廣泛的應(yīng)用，比如人臉識(shí)別、指紋識(shí)別、文本分類、圖像理解等。隨機(jī)森林是由一系列的決策樹組成，每棵決策樹都是一個(gè)分類器，像Adaboost那樣，隨機(jī)森林最后的輸出是由這些決策樹的綜合，這就是隨機(jī)森林的基本思想。顯然這樣構(gòu)建的隨機(jī)森林會(huì)比單棵決策樹的精度要提高很多，當(dāng)隨機(jī)森林構(gòu)造每棵樹的時(shí)候，需要

29、保證每棵樹有很大不同，這樣才能解決過擬合問題。為了避免隨機(jī)森林中所有的樹很相似，隨機(jī)森林在樹的建立過程中隨機(jī)選擇特征子集，例如，一個(gè)目標(biāo)識(shí)別樹可以有很多可能的特征：顏色、紋理、梯度等。樹的每個(gè)節(jié)點(diǎn)可以從這些特征中隨機(jī)的選擇子集來決定怎么最好的分裂數(shù)據(jù)。每個(gè)后來的節(jié)點(diǎn)獲得新的、隨機(jī)選擇的特征子集來分裂。通常隨機(jī)森林的構(gòu)建需要經(jīng)過以下步驟：（1） 初始化隨機(jī)森林相關(guān)參數(shù)，確定需要構(gòu)建的個(gè)數(shù)；（2） 為每棵決策樹隨機(jī)重采樣輸入樣本；（3） 利用重采樣的輸入樣本集，構(gòu)建每棵樹；（4） 構(gòu)建每棵樹的時(shí)候會(huì)隨機(jī)選擇特征子集，進(jìn)行樹的分裂。在構(gòu)建每棵樹之間，會(huì)對(duì)訓(xùn)練樣本進(jìn)行隨機(jī)重采樣，最后的訓(xùn)練樣本是整個(gè)樣

30、本空間的子集，而它的補(bǔ)集，也就是沒有被選作訓(xùn)練樣本的集合，稱為袋外樣本。這個(gè)袋外樣本最后可以用來估計(jì)構(gòu)件好的決策樹的錯(cuò)誤率，這個(gè)錯(cuò)誤率，稱為袋外錯(cuò)誤率。通過這種重采樣的方法，可以減緩每棵樹的過擬合問題，因?yàn)榇鈽颖就紦?jù)了樣本空間的1/3，而且采樣時(shí)隨機(jī)的，所以往往很多噪聲會(huì)被剔除，這樣平均下，每棵決策樹的訓(xùn)練樣本空間噪聲和錯(cuò)誤更少一些。隨機(jī)森林有兩個(gè)重要的指標(biāo)：相關(guān)度和強(qiáng)壯度。相關(guān)度用來衡量兩棵樹之間的相似性，當(dāng)相關(guān)度越大，隨機(jī)森林的效果越差；強(qiáng)壯度是用來衡量每棵樹的準(zhǔn)確性，若某棵樹的錯(cuò)誤率很低的話，就可以認(rèn)為是一個(gè)強(qiáng)分類器，顯然，隨機(jī)森林的效果隨著強(qiáng)壯度的增強(qiáng)而變好。在隨機(jī)選擇特征子集的

31、時(shí)候，這個(gè)子集的大小變化直接影響著相關(guān)度和強(qiáng)壯度。當(dāng)子集擴(kuò)充是，相關(guān)度和強(qiáng)壯度同時(shí)變大，所以子集的選擇是找到相關(guān)度和強(qiáng)壯度的平衡，而衡量這種平衡的方法是利用袋外錯(cuò)誤率作為參考。綜上所述，可以看出隨機(jī)森林作為分類器，非常健壯和靈活，可以和很多方法結(jié)合，下面正式介紹霍夫變換和隨機(jī)森林的結(jié)合。3.3.3 霍夫森林霍夫森林的構(gòu)建過程和通常的隨機(jī)森林基本一樣，是隨機(jī)森林的一個(gè)特例。在霍夫森林中，我們定義一個(gè)訓(xùn)練樣本元素Pi=(Ii,ci,di)，其中Ii為提取到的特征，ci表示柵格所屬的類別，di表示柵格和所在檢測框的中心的偏移量。在進(jìn)行目標(biāo)識(shí)別的時(shí)候，通?？醋魇嵌悊栴}，即背景和目標(biāo)的區(qū)分。這樣ci為

32、1表示目標(biāo)，否則是背景。除了樣本的定義，另外一個(gè)重要的因素是決策樹葉子節(jié)點(diǎn)保存的信息，這里我們保存了兩種信息，PT和DT,其中PT表示在這個(gè)節(jié)點(diǎn)上，目標(biāo)物體所占的比例，而DT表示葉節(jié)點(diǎn)中所有目標(biāo)物體離檢測窗口偏移的集合。這樣，當(dāng)一個(gè)訓(xùn)練樣本到達(dá)某個(gè)決策樹的葉子節(jié)點(diǎn)，葉子節(jié)點(diǎn)就會(huì)更新這兩個(gè)信息。在定義完霍夫森林的結(jié)構(gòu)信息之后，我們需要給出節(jié)點(diǎn)分裂的方式，即如何選擇特征子集對(duì)節(jié)點(diǎn)的樣本進(jìn)行二分，即f(Ii)->0,1。 f(Ii)的選擇可以是多種多樣的，文中定義一個(gè)像素級(jí)別簡單分類器，這個(gè)分類器的參數(shù)有，指定特征通道，兩個(gè)坐標(biāo)(p,q)和(r,s)，兩個(gè)坐標(biāo)都屬于指定柵格上的像素點(diǎn)：3.4

33、目標(biāo)跟蹤技術(shù)3.4.1 目標(biāo)跟蹤簡介 運(yùn)動(dòng)目標(biāo)的跟蹤是確定同一(或不同)物體在不同幀中位置的過程。運(yùn)動(dòng)目標(biāo)跟蹤算法隨著研究的深入，這幾年有了突飛猛進(jìn)的發(fā)展。針對(duì)不同系統(tǒng)不同環(huán)境已經(jīng)有很多不同的跟蹤算法。但大體一上可分為基于區(qū)域的跟蹤算法(region-based tracking algorithm)、基于模型的跟蹤算法(model-based tracking algorithm)、基于特征的跟蹤算法(feature-based tracking algorithm)、基于主動(dòng)輪廓的跟蹤算法(active contour-based tracking algorithm)。常用的數(shù)學(xué)算法也很

34、多，有卡爾曼濾波器(Kalman filter), Mean shift,粒子濾波器(particle filter)、動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)等算法，以及其他一些改進(jìn)算法。3.4.2 基于區(qū)域的跟蹤算法基于區(qū)域的跟蹤算法里面用的最頻繁的就是外接矩形算法。這個(gè)外接矩形可以人為設(shè)定也可以通過對(duì)運(yùn)動(dòng)區(qū)域掃描來實(shí)現(xiàn)外接矩形的確定，通常外接矩形都要略大于被跟蹤的運(yùn)動(dòng)目標(biāo)。在確定好外接矩形后再運(yùn)用相關(guān)的算法進(jìn)行跟蹤。 這種跟蹤算法的優(yōu)點(diǎn)是:在運(yùn)動(dòng)目標(biāo)單一、運(yùn)動(dòng)方式簡單且沒有遮擋的情況下，跟蹤效果非常好。缺點(diǎn)是:在運(yùn)動(dòng)目標(biāo)多、運(yùn)動(dòng)形式復(fù)雜、有遮擋的情況下這種算法就失去了優(yōu)勢，很容易出現(xiàn)跟蹤精度下降，在有遮擋的情況下

35、一也很容易造成運(yùn)動(dòng)目標(biāo)的跟蹤丟失。其次這種算法還要求被跟蹤的目標(biāo)不能有較大形變。3.4.3 基于模型的跟蹤算法基于模型的跟蹤算法，首先要通過先驗(yàn)知識(shí)建立起運(yùn)動(dòng)目標(biāo)的模型，通過預(yù)測算法劉一建立起來的模型進(jìn)行時(shí)時(shí)的更新來滿足跟蹤的要求。對(duì)于剛體運(yùn)動(dòng)目標(biāo)而一言，山于不會(huì)發(fā)生較大形變所以模型建立起來比較簡單，所以模型跟蹤算法對(duì)于跟蹤剛體的運(yùn)動(dòng)效果非常好。但是對(duì)于大多數(shù)的跟蹤系統(tǒng)而言跟蹤的目標(biāo)往往是非剛體目標(biāo)，因此jain等人提出了變形模型的概念，其中自由式變形模型和參數(shù)式變形模型是變形模型的兩種形式。這種算法的優(yōu)點(diǎn)是:算法具有很強(qiáng)的魯棒性，即使運(yùn)動(dòng)目標(biāo)間相互有遮擋也能有很好的跟蹤性能，跟蹤的準(zhǔn)確性高。

36、缺點(diǎn)是:由于建立模型需要大量的運(yùn)算所以系統(tǒng)的實(shí)時(shí)性比較差，模型更新的速度慢，所以系統(tǒng)實(shí)時(shí)性不高。3.4.4 基于特征的跟蹤算法 基于特征的跟蹤算法，放棄了對(duì)運(yùn)動(dòng)目標(biāo)的最直觀的整體特征而選取運(yùn)動(dòng)目標(biāo)的幾個(gè)基本特征并將它們作為高級(jí)特征在圖像之間進(jìn)行匹配(計(jì)算特征的相關(guān)度函數(shù))，從而進(jìn)行跟蹤?；趨^(qū)域的跟蹤算法分兩步。 第一步:提取運(yùn)動(dòng)目標(biāo)的特征。從圖像中，提取運(yùn)動(dòng)目標(biāo)的特征信息。這些特性應(yīng)具有如下特點(diǎn):(1)具有代表性，能將運(yùn)動(dòng)目標(biāo)完全表示出來，不至于與其他運(yùn)動(dòng)目標(biāo)混淆。(2)具有簡易性，這些特征的計(jì)算應(yīng)相對(duì)簡單，畢竟大量的計(jì)算會(huì)影響系統(tǒng)跟蹤的實(shí)時(shí)性。(3)具有不變性，特征應(yīng)是運(yùn)動(dòng)目標(biāo)的基本屬性，

37、應(yīng)在不同幀的圖像中都具有不變性。(4)具有直觀性，特征的選取應(yīng)直觀，符合運(yùn)動(dòng)的物理特性?；谔卣鞯幕咎匦赃\(yùn)動(dòng)目標(biāo)特征的選取常用的是:質(zhì)心、面積、顏色、紋理等。第二步:運(yùn)動(dòng)目標(biāo)特征的匹配。運(yùn)動(dòng)目標(biāo)特征的選取的目的是在不同幀圖像間進(jìn)行匹配。匹配是通過設(shè)定的相似度函數(shù)判定的，即可以選擇單一特征進(jìn)行匹配也可以選擇多個(gè)特征進(jìn)行匹配。單一特征匹配計(jì)算量小，但是對(duì)于復(fù)雜背景的跟蹤系統(tǒng)往往會(huì)出現(xiàn)跟蹤精度不高效果不好的情況。多個(gè)特征匹配，為不同的特征人工分配不同的重要性權(quán)值，只要掌握好各個(gè)權(quán)值之間的關(guān)系就能提高系統(tǒng)的跟蹤精度。目標(biāo)跟蹤是根據(jù)一組給定的圖像序列，對(duì)圖像中物體的運(yùn)動(dòng)形態(tài)進(jìn)行分析。好的跟蹤方法已經(jīng)有

38、了不少的應(yīng)用：運(yùn)動(dòng)的捕捉：如果可以精確地跟蹤一個(gè)運(yùn)動(dòng)的人，就可以得到運(yùn)動(dòng)的精確記錄。一旦有了這個(gè)記錄，就能夠使用它生成一個(gè)模擬程序，例如我們能夠控制一個(gè)卡通人物、數(shù)以千計(jì)的群眾場面、甚至虛擬一個(gè)精靈。更進(jìn)一步，甚至能夠通過更改運(yùn)動(dòng)記錄來獲得一些不同的運(yùn)動(dòng)。從運(yùn)動(dòng)中識(shí)別物體：物體的運(yùn)動(dòng)是特征化的。我們能夠根據(jù)運(yùn)動(dòng)的特征確認(rèn)物體，并能確定物體正在進(jìn)行的動(dòng)作。監(jiān)視：知道物體在做什么是很有用的。舉個(gè)例子：機(jī)場中不同的卡車以不同的確定方式運(yùn)動(dòng)，如果他們不是這樣運(yùn)動(dòng)，就可以確認(rèn)出了問題。類似的，存在一些在特定的環(huán)境中不該發(fā)生的運(yùn)動(dòng)特征。跟蹤能夠幫助計(jì)算機(jī)系統(tǒng)監(jiān)視行為并在檢測到問題時(shí)發(fā)出警報(bào)。定位：跟蹤研究的一個(gè)重要部分是明確導(dǎo)彈的射擊目標(biāo)和擊中目標(biāo)。一般來說，雷達(dá)或者紅外信號(hào)跟蹤技術(shù)比