監(jiān)控視頻分析系統(tǒng)new

1、監(jiān)控視頻分析系統(tǒng)第一章 緒論1.1 課題背景1.2 課題目標1.3 研究現狀1.4 研究內容1.4.1 論文工作1.4.2 關鍵技術1.4.3 論文的實現1.4.4 論文的結構第二章 監(jiān)控視頻分析系統(tǒng)2.1 系統(tǒng)總體結構2.2系統(tǒng)軟件組成2.3系統(tǒng)硬件組成第三章 監(jiān)控視頻分析的若干關鍵技術3.1 視頻內容結構化3.2 視頻分割技術3.3 特征提取技術3.4 目標跟蹤技術第四章 監(jiān)控視頻分析系統(tǒng)的實現第五章 總結和展望5.1 工作總結5.2 研究展望第一章 緒論1.1課題背景隨著現代化城市住宅小區(qū)在我國的普及，小區(qū)的信息化建設不斷深入，各小區(qū)都加快了信息網絡平臺建設，現代化住宅小區(qū)正逐步轉向利用

2、網絡和計算機管理信息的新階段。因此，基于嵌入式平臺的智能視頻監(jiān)控系統(tǒng)憑借著其靈活性的優(yōu)勢將取代以往的傳統(tǒng)的監(jiān)控方法逐步成為未來趨勢。當發(fā)現異常時，該類系統(tǒng)能夠向保衛(wèi)人員準確及時的發(fā)出警報，從而避免犯罪的發(fā)生，同時也減少了人力、物力和財力的投入。智能監(jiān)控技術包括了運動目標的檢測、識別和跟蹤等方面，涉及到計算機視覺、模式識別和人工智能等領域。與傳統(tǒng)的視頻監(jiān)控相比，智能視頻監(jiān)控系統(tǒng)具有以下優(yōu)點：一、24X7全天可靠監(jiān)控。智能視頻監(jiān)控系統(tǒng)將徹底改變以往完全由監(jiān)控人員對畫面進行監(jiān)視和分析的模式。該類系統(tǒng)通過嵌入在前端設備中的智能視頻模塊對監(jiān)控的畫面進行自動分析，一旦發(fā)現異常的事件立即向監(jiān)控中心報警。二、

3、提高報警精確度。智能視頻監(jiān)控系統(tǒng)能夠有效提高報警精確度，大大降低誤報和漏報現象的發(fā)生。系統(tǒng)的前端設備中集成了功能強大的圖像處理和智能處理模塊，使用戶可以更加精確的定義威脅安全事件的特征，有效降低誤報和漏報現象，減少無用數據量。三、提高響應速度。智能視頻監(jiān)控系統(tǒng)擁有比傳統(tǒng)視頻監(jiān)控系統(tǒng)更強大的智能處理能力，它能夠檢測、識別視頻場景中的可疑活動，因此在威脅安全的事件發(fā)生前就能夠提示監(jiān)控人員關注監(jiān)控畫面，使相關人員提前做好準備工作。正是由于智能視頻監(jiān)控具有傳統(tǒng)監(jiān)控無法比擬的優(yōu)點，而且符合當前監(jiān)控系統(tǒng)智能化、數字化和網絡化的發(fā)展趨勢，所以智能視頻監(jiān)控正在逐步取代傳統(tǒng)視頻監(jiān)控，被廣泛應用于各行各業(yè)。具有一

4、定智能處理能力的視頻監(jiān)控系統(tǒng)，不僅符合信息產業(yè)的未來發(fā)展趨勢，而且代表著監(jiān)控行業(yè)的未來發(fā)展方向，蘊藏著巨大的商機和經濟效益，受到了學術界、產業(yè)界和管理部門的高度重視。1.2 課題目標在傳統(tǒng)的監(jiān)控系統(tǒng)中，由于人是監(jiān)控系統(tǒng)判斷分析的主體，并且人無法全天24小時集中精力來監(jiān)視所有視頻場景。因此，傳統(tǒng)的視頻監(jiān)控系統(tǒng)就存在著先天穩(wěn)定性和可靠性方面的不足。另外，傳統(tǒng)的監(jiān)控系統(tǒng)無法具備實時性，在大多數情況下只能用來作為事后取證，無法實時判斷場合并及時報警。在這種情況下，如何彌補傳統(tǒng)視頻監(jiān)控系統(tǒng)的缺陷成了業(yè)界急需解決的問題，同時，具有實時性和智能功能的視頻監(jiān)控系統(tǒng)也成為視頻發(fā)展的方向。智能視頻監(jiān)控的主要應用領

5、域之一就是安防，所采集的視頻被轉成數據，再由計算機進行特定的算法過濾，從中檢測出實時的特定目標以及行為，由此，智能視頻監(jiān)控就具備了視頻的分析能力。這種主動分析的能力部分地替代人腦分析的功能，從而在很大程度上減少了監(jiān)控人員的精力負擔，使勞動成本大大降低。本課題目標及重點是對監(jiān)控視頻智能存儲以及視頻中人的行為進行異常分析，從而減少存儲空間和減少盜竊對小區(qū)財產造成的損失。1.3 研究現狀智能視頻監(jiān)控具有廣泛的應用前景和潛在的經濟價值，越來越受到國內外科研機構以及研究人員的關注。國際上對智能視頻監(jiān)控的研究已經達到了一定的水平，智能視頻監(jiān)控也受到越來越多的重視，一些重要的學術期刊和學術會議已經將智能視頻

6、監(jiān)控作為主題內容之一。計算機視覺領域中的權威期刊國際計算機視覺期刊和IEEE模式分析和機器智能匯刊相繼在2000年6月和2000年8月出版了關于視頻監(jiān)控的?？Ｓ蒘teve J.Maybank和譚鐵牛組織的IEEE視覺監(jiān)控專題討論會也已經成功的舉辦了多屆。同時也有不少原型系統(tǒng)被研發(fā)出來，如在上個世紀90年代末，美國國防高級研究計劃局（DARPA）資助卡內基梅隆、戴維SARNOFF研究中心等著名大學和科研機構聯(lián)合研制除了智能場景監(jiān)視與監(jiān)控系統(tǒng)VSAM；美國ISS公司研制出的AUTOSCOPE2004是一種大區(qū)域視頻監(jiān)控系統(tǒng)，已經作為北美鐵路運輸監(jiān)視系統(tǒng)實現了應用；IBM公司于2006年11月宣布

7、已開發(fā)并銷售一款用于分析視頻實時監(jiān)控系統(tǒng)數據的安全軟件，它能夠發(fā)現到監(jiān)控環(huán)境中的潛在安全隱患并自動報警。IBM公司將這一新產品命名為“智能監(jiān)控系統(tǒng)”（S3:Smart Surveillance System），簡稱“S3”?！爸悄鼙O(jiān)控系統(tǒng)”可以將視頻攝像頭捕捉到的信息通過網絡傳遞到整個系統(tǒng)軟件上，實施遠程監(jiān)控。在國內，智能視頻監(jiān)控的研究也已經有了長足的進步，2002年5月，第一屆“全國智能視覺監(jiān)控學術會議”在北京召開，迄今為止已經舉辦了三屆，得到了廣泛的關注。此外，中國科學院自動化研究所模式識別國家重點實驗室已經成立了智能視頻監(jiān)控的研究小組，正在開展智能視頻監(jiān)控方面的研究，。1.4研究內容1.

8、4.1 論文的工作本課題研究了智能視頻監(jiān)控系統(tǒng)的架構，論文的工作包括：1）介紹視頻結構化的基本原理，1.4.2 關鍵技術本課題的研究過程中，主要涉及到如下幾項關鍵技術：1）視頻動靜態(tài)切分：如何實現視頻的靜態(tài)畫面和動態(tài)畫面存儲，以節(jié)省存儲空間。2）視頻分割技術：如何將目標從背景中分離出來。3）特征提取技術：如何將目標的特征提取出來。4）目標跟蹤技術：1.4.3 論文的實現1.4.4 論文的結構本文各章的內容安排如下：第1章，緒論部分。簡單介紹智能視頻監(jiān)控系統(tǒng)的概念以及國內外的研究現狀，并介紹本文的主要內容。第2章，監(jiān)控視頻分析系統(tǒng)。介紹監(jiān)控視頻的軟件和硬件組成。第3章，監(jiān)控視頻分析的若干關鍵技術

9、。這一部分主要介紹監(jiān)控視頻分析用到的一些關鍵技術：視頻切分技術、視頻分割技術、特征提取技術和目標跟蹤技術。第4章，監(jiān)控視頻分析系統(tǒng)的實現。主要包括軟件系統(tǒng)架構設計、智能視頻分析軟件設計、人機界面設計、智能視頻分析功能實現等內容。第5章，總結和展望。對全文進行了總結，并說明智能監(jiān)控系統(tǒng)的不足和未來發(fā)展方向。第2章 監(jiān)控視頻分析系統(tǒng)2.1 系統(tǒng)總體結構通常情況下，視頻監(jiān)控系統(tǒng)由攝像前端（攝像機、鏡頭、編碼器、云臺、支架、防護罩等）、傳輸系統(tǒng)（有線，無線）、服務器（計算機）、終端（監(jiān)視器、錄像機）四大部分組成。2.2 系統(tǒng)軟件組成2.3 系統(tǒng)硬件組成本文的監(jiān)控系統(tǒng)的硬件部分主要包括服務器、串口轉換器

10、、解碼器、監(jiān)控云臺、視頻采集卡、彩色監(jiān)控攝像機和CCTV（Closed Circuit Television）鏡頭。各部分功能如下：1. 服務器：完成對監(jiān)控圖像的觀察、分析和處理，并控制整個監(jiān)控系統(tǒng)；2. 多協(xié)議解碼器：翻譯服務器發(fā)送的指令，控制監(jiān)控云臺和CCTV鏡頭完成相應的動作；3. 串口轉換器：服務器提供的是RS232的傳輸方式，而多協(xié)議解碼器是用RS485方式進行控制的，所以串口轉換器的作用便是實現232-485的電平轉換；4. 監(jiān)控云臺：通過水平與垂直的轉動。帶動彩色監(jiān)控攝像機和CCTV鏡頭，實現更大范圍的監(jiān)控，以及對目標實時跟蹤；5. 彩色監(jiān)控攝像機：彩色監(jiān)控攝像機的功能主要是將彩

11、色監(jiān)控圖像輸送至視頻采集卡，然后到個人計算機，其中最關鍵的部分是CCD（Charge Coupled Device）即電荷耦合器件；6. CCTV鏡頭：與彩色監(jiān)控攝像機連接，通過解碼器可以實現鏡頭的焦距控制、聚焦控制和光圈控制；7. 視頻采集卡：連接彩色監(jiān)控攝像機和服務器，它的功能是將彩色監(jiān)控攝像機得到的模擬信號轉為數字信號，傳輸給服務器進行分析處理。根據以上硬件各部分的功能，可以將整個系統(tǒng)的工作流程通過圖 表示第3章監(jiān)控視頻分析的若干關鍵技術3.1 視頻內容結構化3.1.1 視頻內容結構化概述視頻結構化過程就是把一個視頻幀序列流按情節(jié)的發(fā)展分成若干段,這些段可分成若干級的層次結構,分別建立索

12、引。一般視頻數據可分為視頻,場景,鏡頭,關鍵幀幾個層次。用戶可以通過瀏覽視頻目錄,快速了解整段視頻的內容,而不用順序瀏覽所有的圖像幀序列。 傳統(tǒng)的基于文本的視頻檢索方法，是利用文本信息對視頻內容進行注釋，通過對關鍵字進行抽取來描述視頻內容的語義特征以達到視頻檢索的目的。但在使用過程中也存在一些問題：對海量視頻數據進行人工標引，工作量巨大，不切實際；由于標引主體認識上的差異性，不同的人對同一段視頻數據的理解不同；用有限的幾個關鍵字難以將具有豐富時空信息的視頻數據所描述的內容標注準確。人們希望可以直接檢索到一段包含特定信息的視頻片斷。為了克服傳統(tǒng)的基于文本的視頻檢索方法的局限性，基于內容的視頻檢索

13、技術因此應運而生。而視頻內容的結構化分析則是其關鍵步驟。 視頻數據從表面看是非結構化的數據流，最高層是整個視頻流，最低層是一幀幀的圖像，數據間的關聯(lián)關系不能完全確定。視頻數據結構化是實現基于內容視頻檢索的前提，將視頻這種非結構化的圖像流進行處理使之成為結構性的數據，才能提取出各種特征從而達到基于內容檢索的目的。視頻結構化主要是對視頻數據實現鏡頭探測，關鍵幀的提取和場景聚類。3.1.2 視頻的層次結構場景是一組語義上相關聯(lián)及時間上相鄰的連續(xù)鏡頭序列，是視頻信息最小的語義單位。不同的鏡頭組成有語義聯(lián)系的場景；鏡頭是一組連續(xù)的視頻幀組成，有很強的相關性；視頻關鍵幀是用于描述一個鏡頭的關鍵圖像幀，通常

14、能夠反映一個鏡頭的主要內容。3.1.3視頻內容的結構化監(jiān)控系統(tǒng)中需要處理的視頻數據量非常大，不僅需要對監(jiān)控場景的視頻流實時地進行內容分析，如何對獲取到的大量視頻數據進行后續(xù)處理，也是一個困難的問題。視頻監(jiān)控系統(tǒng)需要一種自動的視頻處理工具，來幫助操作人員通過對原始視頻流的有效的檢測標注和整理，形成一定結構的視頻序列，以滿足工作中對監(jiān)控視頻數據的保存和查詢需求。視頻結構化重點是對監(jiān)控視頻流在內容理解的基礎上進行鏡頭切分和標注，通過鏡頭的切分有效的對視頻流進行分類重組，一方面，在視頻數據保存時，提供了對包含目標信息的鏡頭和大量無關鏡頭分別按照不同的方案進行保存的可能；另一方面，方便對于預警信息或者包

15、含目標事件信息的相關鏡頭的檢索使用。對視頻鏡頭進行檢測切分的目的是要實現對監(jiān)控視頻的基于內容的結構化處理，處理流程如下圖：我們對視頻流的切分和索引是在基于自然特征的視頻鏡頭檢測、視頻分層處理與視頻事件理解的基礎上完成的。上述三個模塊的處理結果作為監(jiān)控視頻鏡頭切分的輸入，提供的數據包括：粗糙的物理視頻鏡頭切分、事件發(fā)生時刻、靜止和運動的前景物體、場景中相關視頻層。3.2 視頻分割技術：所謂視頻分割就是把視頻中重要的或人們感興趣的對象(VO)相對背景分割開來，或者說就是要劃出分別具有一致屬性的一個個區(qū)域，同時區(qū)分背景區(qū)域和前景(對象)區(qū)域。作為視頻對象應是場景中訪問和操縱的實體，要盡量符合現實生活

16、中的實際視覺習慣，如桌子、人、汽車等，也就是說盡量具有一定的“語義”。對象(區(qū)域)的劃分可以根據其獨特的紋理、運動、形狀、模型和高層語義為根據。具體分割時，到底哪些部分重要，人們又對哪些部分感興趣，要看具體的應用而定。如果是為了對場景進行分析和理解，則分割的目標通常應具有一定的語義概念，與現實生活中實際物體具有對應關系。對于壓縮編碼的應用來說，目的是盡量用較少的數據表示較多的信息，要發(fā)現圖像間的相關性從而消除這種相關性，這時分割的目標不是要求具有語義概念，甚至可能什么東西都不是(任意區(qū)域)，只要它具有運動的一致性，能夠通過運動補償來大量消除幀間的相關性就可以。對于視頻監(jiān)控系統(tǒng)，人們感興趣的是運

17、動的人物(或物體)，而對于視頻監(jiān)控系統(tǒng)人們關心的則是圖像中的人臉區(qū)域。3.2.1 基于運動的分割 在視頻序列處理分析過程中，由于運動的目標在視頻序列中所占的信息量最大，經常成為被分割提取的對象(VO)，因此在.分割提取動態(tài)的視頻對象時，一個很重要的步驟就是區(qū)分出運動目標和背景的范圍。 視頻與靜態(tài)圖像的區(qū)別在于幀間信息，因此視頻分割不但要利用空間分割技術(針對主要的一幀獨立圖像)，更要利用幀與幀之間所包含的運動(或變化)信息。幀間信息有著重要的作用: 同一物體的各部分很可能具有一致的運動屬性，據此可以把一個物體與別的物體(包括背景)分開。 在一定意義上，只有運動的物體才是應該分割的，才是大多數應

18、用中感興趣的部分。實際上，如果物體不運動，就無法確定這個物體應該是背景還是應該為前景。 運動信息可以指導空間分割，因為空間分割時可以通過運動信息快速定位最大可能的區(qū)域，優(yōu)化搜索過程。運動信息可以通過幀間比較而快速的獲取。3.2.2 幀差法差分技術是直接在圖像空間域上進行的技術，通過檢測由目標運動引起的變化差異把運動目標范圍撿取出來。幀差法的前提是作幀差的圖像之間需要有相同的背景，但實際上背景往往是運動的。背景的運動主要是由攝像機的運動造成的，稱為全局運動，包括平移、旋轉、縮放等不同運動方式的組合。在這種情況下，既存在全局運動，又存在物體與背景的相對運動。為了從差分圖像中消除背景運動的影響，必須

19、在差分計算之前對整個圖像進行全局運動的估計和補償。通常采用六參數的仿射運動模型，有了運動參數之后就可以進行全局運動補償并計算差分圖像。根據差分時利用的幀的多少，可以將幀差法分為兩幀差分法、對稱差分法和多幀差分法。 兩幀差分法兩幀差分法利用相鄰的兩幀作幀差，記i幀和j幀的差值圖像為Dfifj，那么: 若f(x,y,ti)和f(x,y,tj)的灰度存在顯著的差異 其他如圖所示：兩幀差分示意圖 從圖中可以看出在i幀和j幀的背景完全一致，并且物體的灰度沒有產生大的改變的情況下，給定的(x,y)點存在以下兩種情況: (x,y)位置，在i幀處于背景區(qū)域，在j幀則被運動物體區(qū)域所覆蓋。 (x,y)位置，在i

20、幀處于運動物體區(qū)域，在J幀則處于背景或其他運動物體區(qū)域。 也就是說單純用兩幀法得出的差值圖中既包含了運動物體也包含了由于物體的運動而覆蓋或是顯露的背景部分，從幀差圖中得到的只是物體的相對位置的變化，無法提取出運動物體，為了解決這個問題，可以用背景差和連續(xù)兩幀的幀差對一個場景中的運動對象進行分割對照背景的差值圖,也可以先求出整體的運動矢量V，把差分模板按照V平移，再把平移之后的模板同未平移的差分模板疊在一起，模板中的重疊部分即是運動目標，如下圖所示。但這種方法由于采用的是整體的運動矢量，因此只適合剛體，即只有平移運動時的情況，適應性不是很高。 兩幀差分法的對象獲取辦法 對稱差分法利用連續(xù)的三個圖

21、像幀的差分技術就可以彌補上面所說的兩幀法的局限性。該方法采:用連續(xù)的三幀作差分，然后將兩幀差分圖“相與”，便能夠較好的檢測出中間幀的運動物體輪廓。其算法描述如下: 對視頻序列中連續(xù)三幀圖像f(k-1)(x,y)，f(k)(x,y), f(k+1)(x,y)分別計算相鄰兩幀的灰度差值: d(k-l,k (x,y)=| f(k)(x,y)- f(k-1)(x,y)| d(k,k+1 (x,y)=| f(k+1)(x,y)- f(k)(x,y)|對均值濾波后的兩個絕對灰度差值圖像，取一定的閾值對圖像進行二值化，先得到兩個二值圖像b(k-1,k)(x,y)和b(k,k+1)(x,y)。然后，在每一個像

22、素位置，對兩個二值化圖像進行相“與”就可以得到二值圖像B(k)(x,y)，如下圖所示。 對稱差分示意圖 可以看出，三幀法對于運動的物體能夠快速準確的檢測出物體的輪廓，因此三幀法很適合實時視頻壓縮。但是三幀法有兩個不足：一、它要求兩幀之間的對象一定要有變化，如果連續(xù)的兩幀或兩幀以上的圖像中的物體沒有發(fā)生變化或是物體只有一部分發(fā)生了變化的話，那么三幀法就檢測不到物體或是只能檢測到物體的一部分。針對這個問題，有人提出了一種算法:用上一幀已分割出的物體，通過上一幀到該幀的運動矢量，平移后添加到當前幀的辦法來解決兩幀間物體沒有運動或只有部分物體運動的情況，但是如果有兩幀以上的物體沒有發(fā)生運動的話這個方法

23、就不適合了。二、對稱差分二值圖像B(k)(x,y)中，目標點的分布極不均勻，圖像邊緣會出現缺口及裂紋，有人提出了一種直線法來模擬目標模板輪廓，能夠起到一定的作用。 多幀差分法 針對非剛體運動時運動信息較少，僅用三幀比較難于提取出物體的問題，提出了一種針對非剛體的7幀差分法，通過相隔若干幀來加大物體運動信息的方法提取出物體。 多幀法改善了對于非剛體僅用兩幀難于提取的問題，但是多幀法同時也增加了對于幀數的要求和復雜性，而且對剛體和非剛體的檢測也有一定的難度。 從上面介紹的算法來看，基于空間分割，由于沒有考慮運動信息，往往造成過分分割，把一些我們不需要的信息也提取出來;在基于運動信息的分割中，對稱差

24、分法在準確度和分割速度上有很大的優(yōu)勢，因此很適合像監(jiān)控視頻這樣的實時視頻壓縮，但是當運動信息不夠或者消失時容易造成對象的“漏檢”。 基于對稱差分的視頻分割算法能夠快速準確的檢測出運動物體，使得該算法在實時性要求很高的視頻壓縮算法中具有很大的優(yōu)勢，但是，由于視頻序列的多樣性，使得該算法在某些情況下不能取得較好的效果。例如，算法要求相鄰的三幀之間物體都要有運動，而很多情況下，運動物體只有一部分是運動的，連續(xù)的兩幀之間沒有運動，甚至在有些情況下運動物體已經不在視頻序列中，那么對稱差分就檢測不到物體，需要一些輔助的算法來解決這個問題。文獻【18提出了一個算法，用上一幀檢測出的物體作平移來解決只有部分物

25、體和兩幀之間沒有運動時的情況，如圖所示。 該方法考慮了三種情況: 當相鄰的兩幀只有部分物體運動時，將缺少的部分用上一幀中的物體的相應部分補充完整; 當只有k-1幀到k幀有變化時，將上一幀分割得到的結果T(k-1)通過k-1幀到k幀的運動矢量得到在k幀的止點，然后添加到對稱差分結果二值圖像B(k)中; 當只有k到k+l幀有變化時，這時直接把上一幀分割得到的最后結果T(k-1)拷貝為k幀分割的最后結果T (k)，跳過后續(xù)的模板填充過程。 但是，實際的視頻中不可能只有這三種情況，例如連續(xù)三幀及以上沒有變化等等時。并且，在進行添加時采用的運動矢量是平均運動矢量，但是對于非剛體來說利用平均矢量來進行整體

26、的平移，會和實際相差很遠，該算法就起不到相應的效果，即沒有普遍的適應性。3.3 特征提取技術特征提取在整個檢測或者識別過程中是至關重要的。圖像的特征集合是通過提取最有利于目標檢測或者識別的元素而得到。3.3.1 霍夫變換基本原理霍夫變換的思想是認為屬于同一個物體的觀測，在霍夫空間中，所映射的假設是相同的。其大體方法是利用每一個觀測數據，對霍夫空間中所有可能的假設做投票累積，在檢測物體的時候，最常用的就是對投票結果進行閾值分析，得到最后的檢測物體。在利用霍夫變換進行直線檢測之前，需要利用邊緣檢測的方法對圖片進行邊緣特征的提取，本文主要采用Canny算子。首先利用Canny算子對原始圖像進行邊緣檢

27、測，得到邊緣圖。邊緣圖是一個二值圖片，其中像素強度不為0的都可能是邊上的店，二這些點都對霍夫圖像中的假設有貢獻。在直線檢測的問題中，霍夫空間通常是由和組成，其中表示霍夫圖像中原點到直線的距離，表示由距離垂線和x軸形成的夾角，這樣霍夫空間中的一對(，)就可以唯一確定原始圖像中的一條直線。根據上段的霍夫空間定義可以發(fā)現，邊緣圖中的特征點(x,y)和霍夫空間中的點(，)有如下關系：在實驗中，通常會把霍夫空間中的離散化，霍夫投票時，每個特征點會遍歷所有的離散利用上式計算出對應的，這樣點(，)的權值就會增加。當霍夫投票結束的時候，就產生了霍夫圖像，可以利用簡單的閾值截斷法或者更魯棒的方法選擇可能的直線集

28、合。綜合上面的內容，利用霍夫變換檢測直線的算法流程如下所示：3.3.2 隨機森林隨機森林算法在2001年由Leo Breiman提出，可以作為分類或者回歸模型。隨機森林是由多個決策樹組成的強分類器，可以通過收集很多決策樹的子節(jié)點對各個類別的投票，然后選擇獲得最多投票的類別作為輸出結果。隨機森林在很多領域都有廣泛的應用，比如人臉識別、指紋識別、文本分類、圖像理解等。隨機森林是由一系列的決策樹組成，每棵決策樹都是一個分類器，像Adaboost那樣，隨機森林最后的輸出是由這些決策樹的綜合，這就是隨機森林的基本思想。顯然這樣構建的隨機森林會比單棵決策樹的精度要提高很多，當隨機森林構造每棵樹的時候，需要

29、保證每棵樹有很大不同，這樣才能解決過擬合問題。為了避免隨機森林中所有的樹很相似，隨機森林在樹的建立過程中隨機選擇特征子集，例如，一個目標識別樹可以有很多可能的特征：顏色、紋理、梯度等。樹的每個節(jié)點可以從這些特征中隨機的選擇子集來決定怎么最好的分裂數據。每個后來的節(jié)點獲得新的、隨機選擇的特征子集來分裂。通常隨機森林的構建需要經過以下步驟：（1） 初始化隨機森林相關參數，確定需要構建的個數；（2） 為每棵決策樹隨機重采樣輸入樣本；（3） 利用重采樣的輸入樣本集，構建每棵樹；（4） 構建每棵樹的時候會隨機選擇特征子集，進行樹的分裂。在構建每棵樹之間，會對訓練樣本進行隨機重采樣，最后的訓練樣本是整個樣

30、本空間的子集，而它的補集，也就是沒有被選作訓練樣本的集合，稱為袋外樣本。這個袋外樣本最后可以用來估計構件好的決策樹的錯誤率，這個錯誤率，稱為袋外錯誤率。通過這種重采樣的方法，可以減緩每棵樹的過擬合問題，因為袋外樣本往往占據了樣本空間的1/3，而且采樣時隨機的，所以往往很多噪聲會被剔除，這樣平均下，每棵決策樹的訓練樣本空間噪聲和錯誤更少一些。隨機森林有兩個重要的指標：相關度和強壯度。相關度用來衡量兩棵樹之間的相似性，當相關度越大，隨機森林的效果越差；強壯度是用來衡量每棵樹的準確性，若某棵樹的錯誤率很低的話，就可以認為是一個強分類器，顯然，隨機森林的效果隨著強壯度的增強而變好。在隨機選擇特征子集的

31、時候，這個子集的大小變化直接影響著相關度和強壯度。當子集擴充是，相關度和強壯度同時變大，所以子集的選擇是找到相關度和強壯度的平衡，而衡量這種平衡的方法是利用袋外錯誤率作為參考。綜上所述，可以看出隨機森林作為分類器，非常健壯和靈活，可以和很多方法結合，下面正式介紹霍夫變換和隨機森林的結合。3.3.3 霍夫森林霍夫森林的構建過程和通常的隨機森林基本一樣，是隨機森林的一個特例。在霍夫森林中，我們定義一個訓練樣本元素Pi=(Ii,ci,di)，其中Ii為提取到的特征，ci表示柵格所屬的類別，di表示柵格和所在檢測框的中心的偏移量。在進行目標識別的時候，通?？醋魇嵌悊栴}，即背景和目標的區(qū)分。這樣ci為

32、1表示目標，否則是背景。除了樣本的定義，另外一個重要的因素是決策樹葉子節(jié)點保存的信息，這里我們保存了兩種信息，PT和DT,其中PT表示在這個節(jié)點上，目標物體所占的比例，而DT表示葉節(jié)點中所有目標物體離檢測窗口偏移的集合。這樣，當一個訓練樣本到達某個決策樹的葉子節(jié)點，葉子節(jié)點就會更新這兩個信息。在定義完霍夫森林的結構信息之后，我們需要給出節(jié)點分裂的方式，即如何選擇特征子集對節(jié)點的樣本進行二分，即f(Ii)->0,1。 f(Ii)的選擇可以是多種多樣的，文中定義一個像素級別簡單分類器，這個分類器的參數有，指定特征通道，兩個坐標(p,q)和(r,s)，兩個坐標都屬于指定柵格上的像素點：3.4

33、目標跟蹤技術3.4.1 目標跟蹤簡介 運動目標的跟蹤是確定同一(或不同)物體在不同幀中位置的過程。運動目標跟蹤算法隨著研究的深入，這幾年有了突飛猛進的發(fā)展。針對不同系統(tǒng)不同環(huán)境已經有很多不同的跟蹤算法。但大體一上可分為基于區(qū)域的跟蹤算法(region-based tracking algorithm)、基于模型的跟蹤算法(model-based tracking algorithm)、基于特征的跟蹤算法(feature-based tracking algorithm)、基于主動輪廓的跟蹤算法(active contour-based tracking algorithm)。常用的數學算法也很

34、多，有卡爾曼濾波器(Kalman filter), Mean shift,粒子濾波器(particle filter)、動態(tài)貝葉斯網絡等算法，以及其他一些改進算法。3.4.2 基于區(qū)域的跟蹤算法基于區(qū)域的跟蹤算法里面用的最頻繁的就是外接矩形算法。這個外接矩形可以人為設定也可以通過對運動區(qū)域掃描來實現外接矩形的確定，通常外接矩形都要略大于被跟蹤的運動目標。在確定好外接矩形后再運用相關的算法進行跟蹤。 這種跟蹤算法的優(yōu)點是:在運動目標單一、運動方式簡單且沒有遮擋的情況下，跟蹤效果非常好。缺點是:在運動目標多、運動形式復雜、有遮擋的情況下這種算法就失去了優(yōu)勢，很容易出現跟蹤精度下降，在有遮擋的情況下

35、一也很容易造成運動目標的跟蹤丟失。其次這種算法還要求被跟蹤的目標不能有較大形變。3.4.3 基于模型的跟蹤算法基于模型的跟蹤算法，首先要通過先驗知識建立起運動目標的模型，通過預測算法劉一建立起來的模型進行時時的更新來滿足跟蹤的要求。對于剛體運動目標而一言，山于不會發(fā)生較大形變所以模型建立起來比較簡單，所以模型跟蹤算法對于跟蹤剛體的運動效果非常好。但是對于大多數的跟蹤系統(tǒng)而言跟蹤的目標往往是非剛體目標，因此jain等人提出了變形模型的概念，其中自由式變形模型和參數式變形模型是變形模型的兩種形式。這種算法的優(yōu)點是:算法具有很強的魯棒性，即使運動目標間相互有遮擋也能有很好的跟蹤性能，跟蹤的準確性高。

36、缺點是:由于建立模型需要大量的運算所以系統(tǒng)的實時性比較差，模型更新的速度慢，所以系統(tǒng)實時性不高。3.4.4 基于特征的跟蹤算法 基于特征的跟蹤算法，放棄了對運動目標的最直觀的整體特征而選取運動目標的幾個基本特征并將它們作為高級特征在圖像之間進行匹配(計算特征的相關度函數)，從而進行跟蹤?；趨^(qū)域的跟蹤算法分兩步。 第一步:提取運動目標的特征。從圖像中，提取運動目標的特征信息。這些特性應具有如下特點:(1)具有代表性，能將運動目標完全表示出來，不至于與其他運動目標混淆。(2)具有簡易性，這些特征的計算應相對簡單，畢竟大量的計算會影響系統(tǒng)跟蹤的實時性。(3)具有不變性，特征應是運動目標的基本屬性，

37、應在不同幀的圖像中都具有不變性。(4)具有直觀性，特征的選取應直觀，符合運動的物理特性?；谔卣鞯幕咎匦赃\動目標特征的選取常用的是:質心、面積、顏色、紋理等。第二步:運動目標特征的匹配。運動目標特征的選取的目的是在不同幀圖像間進行匹配。匹配是通過設定的相似度函數判定的，即可以選擇單一特征進行匹配也可以選擇多個特征進行匹配。單一特征匹配計算量小，但是對于復雜背景的跟蹤系統(tǒng)往往會出現跟蹤精度不高效果不好的情況。多個特征匹配，為不同的特征人工分配不同的重要性權值，只要掌握好各個權值之間的關系就能提高系統(tǒng)的跟蹤精度。目標跟蹤是根據一組給定的圖像序列，對圖像中物體的運動形態(tài)進行分析。好的跟蹤方法已經有

38、了不少的應用：運動的捕捉：如果可以精確地跟蹤一個運動的人，就可以得到運動的精確記錄。一旦有了這個記錄，就能夠使用它生成一個模擬程序，例如我們能夠控制一個卡通人物、數以千計的群眾場面、甚至虛擬一個精靈。更進一步，甚至能夠通過更改運動記錄來獲得一些不同的運動。從運動中識別物體：物體的運動是特征化的。我們能夠根據運動的特征確認物體，并能確定物體正在進行的動作。監(jiān)視：知道物體在做什么是很有用的。舉個例子：機場中不同的卡車以不同的確定方式運動，如果他們不是這樣運動，就可以確認出了問題。類似的，存在一些在特定的環(huán)境中不該發(fā)生的運動特征。跟蹤能夠幫助計算機系統(tǒng)監(jiān)視行為并在檢測到問題時發(fā)出警報。定位：跟蹤研究的一個重要部分是明確導彈的射擊目標和擊中目標。一般來說，雷達或者紅外信號跟蹤技術比