視頻目標(biāo)跟蹤報(bào)告x

專業(yè)碩士研究生實(shí)踐訓(xùn)練環(huán)節(jié)視頻運(yùn)動(dòng)目標(biāo)檢測與跟蹤學(xué)院：信息科學(xué)與工程學(xué)院專業(yè)：姓名:學(xué)號(hào)：授課老師:日期：2017目錄TOC\o"1-5"\h\z\o"CurrentDocument"1課程設(shè)計(jì)的目的和意義11.1課程設(shè)計(jì)的目的11.2課程設(shè)計(jì)的意義1\o"CurrentDocument"2系統(tǒng)簡介及說明2\o"CurrentDocument"3設(shè)計(jì)內(nèi)容和理論依據(jù)2基于MeanShift的跟蹤算法3RGB顏色直方圖33.1.2基于顏色和紋理特征的MeanShift跟蹤算法3\o"CurrentDocument"3.2基于顏色特征的粒子濾波跟蹤算法43.2.1貝葉斯重要性采樣43.2.2序列重要性采樣53.2.3粒子退化現(xiàn)象和重采樣63.2.4基本粒子濾波算法6\o"CurrentDocument"4流程圖7MeanShift跟蹤算法流程圖74.2粒子濾波跟蹤算法流程圖7\o"CurrentDocument"5實(shí)驗(yàn)結(jié)果及分析討論85.1基于MeanShift的跟蹤算法仿真結(jié)果8\o"CurrentDocument"5.2基于顏色特征的粒子濾波算法仿真結(jié)果9\o"CurrentDocument"6思考題10\o"CurrentDocument"7課程設(shè)計(jì)總結(jié)10\o"CurrentDocument"8參考文獻(xiàn)101課程設(shè)計(jì)的目的和意義1.1課程設(shè)計(jì)的目的隨著計(jì)算機(jī)技術(shù)的飛速發(fā)展、信息智能化時(shí)代的到來，安防、交通、軍事等領(lǐng)域?qū)τ谥悄芤曨l監(jiān)控系統(tǒng)的需求量逐漸增大。視頻運(yùn)動(dòng)目標(biāo)跟蹤是計(jì)算機(jī)視覺領(lǐng)域的一個(gè)研究熱點(diǎn)，它融合了人工智能、圖像處理、模式識(shí)別以及計(jì)算機(jī)領(lǐng)域的其他先進(jìn)知識(shí)和技術(shù)。在軍事視覺制導(dǎo)、安全監(jiān)測、交通管理、醫(yī)療診斷以及氣象分析等許多方面都有廣泛應(yīng)用。同時(shí)，隨著視頻攝像機(jī)的普及化，視頻跟蹤有著廣泛的應(yīng)用前景，對(duì)城市安全起到了防范作用，并且和我們的生活息息相關(guān)。從目前國內(nèi)外研究的成果來看，對(duì)于運(yùn)動(dòng)目標(biāo)的跟蹤算法和技術(shù)主要是針對(duì)于特定環(huán)境提出的特定方案，大多數(shù)的跟蹤系統(tǒng)不能適應(yīng)于場景比較復(fù)雜且運(yùn)動(dòng)目標(biāo)多變的場景。并且在視頻圖像中目標(biāo)的遮擋、光照對(duì)顏色的影響、柔性剛體的輪廓變化等將嚴(yán)重影響目標(biāo)的檢測與跟蹤。因此如何實(shí)現(xiàn)一個(gè)具有魯棒性、實(shí)時(shí)性的視覺跟蹤系統(tǒng)仍然是視覺跟蹤技術(shù)的主要研究方向。MeanShift算法的主要優(yōu)點(diǎn)體現(xiàn)在：計(jì)算簡單、便于實(shí)現(xiàn)；對(duì)目標(biāo)跟蹤中出現(xiàn)的變形和旋轉(zhuǎn)、部分遮擋等外界影響，具有較強(qiáng)的魯棒性。缺點(diǎn)在于：算法不能適應(yīng)光線變化等外界環(huán)境的影響；當(dāng)目標(biāo)尺度發(fā)生變化時(shí)，算法性能受到較大的影響。粒子濾波適用于非線性、非高斯系統(tǒng)，在諸如機(jī)動(dòng)目標(biāo)跟蹤、狀態(tài)監(jiān)視、故障檢測及計(jì)算機(jī)視覺等領(lǐng)域有其獨(dú)到優(yōu)勢(shì)，并得到了廣泛研究。但粒子濾波算法本身還不夠成熟，存在粒子匱乏、收斂性等問題。因?yàn)楦櫃C(jī)動(dòng)目標(biāo)需要對(duì)目標(biāo)的運(yùn)動(dòng)特性有一定了解，因此，目標(biāo)跟蹤的難點(diǎn)之一在于目標(biāo)模型的建立及其與跟蹤方法的匹配上，這是提高跟蹤性能的關(guān)鍵。1.2課程設(shè)計(jì)的意義圖像處理(imageprocessing)，用計(jì)算機(jī)對(duì)圖像進(jìn)行分析，以達(dá)到所需結(jié)果的技術(shù)。又稱影像處理。圖像處理一般指數(shù)字圖像處理。數(shù)字圖像是指用數(shù)字?jǐn)z像機(jī)、掃描儀等設(shè)備經(jīng)過采樣和數(shù)字化得到的一個(gè)大的二維數(shù)組，該數(shù)組的元素稱為像素，其值為一整數(shù)，稱為灰度值。圖像處理技術(shù)的主要內(nèi)容包括圖像壓縮，增強(qiáng)和復(fù)原，匹配、描述和識(shí)別3個(gè)部分。常見的處理有圖像數(shù)字化、圖像編碼、圖像增強(qiáng)、圖像復(fù)原、圖像分割和圖像分析等。圖像處理一般指數(shù)字圖像處理。雖然某些處理也可以用光學(xué)方法或模擬技術(shù)實(shí)現(xiàn)，但它們遠(yuǎn)不及數(shù)字圖像處理那樣靈活和方便，因而數(shù)字圖像處理成為圖像處理的主要方面。隨著計(jì)算機(jī)的發(fā)展，數(shù)字圖像處理已成為電子信息、通信、計(jì)算機(jī)、自動(dòng)化、信號(hào)處理等專業(yè)的重要課程。數(shù)字圖像處理課程設(shè)計(jì)是在學(xué)習(xí)完數(shù)字圖像處理的相關(guān)理論后，進(jìn)行的綜合性訓(xùn)練課程。其目的是進(jìn)一步鞏固數(shù)字圖像的基本概念、理論、分析方法和實(shí)現(xiàn)方法。通過本次課程設(shè)計(jì)增強(qiáng)應(yīng)用matlab編寫熟悉圖像處理的應(yīng)用程序及分析問題解決實(shí)際問題的能力，同時(shí)對(duì)綜合運(yùn)用專業(yè)基礎(chǔ)知識(shí)及軟件設(shè)計(jì)能力也會(huì)有較大提高。2系統(tǒng)簡介及說明視頻跟蹤的目的就是從復(fù)雜的背景中檢測出跟蹤目標(biāo)，通過對(duì)圖像序列進(jìn)行處理和分析研究，從而實(shí)現(xiàn)對(duì)目標(biāo)的準(zhǔn)確跟蹤。目標(biāo)跟蹤的原理就是在每一幀的圖像序列中找出目標(biāo)的確切位置。一般的跟蹤方法是首先提取被跟蹤目標(biāo)的圖像，建立一個(gè)模板，然后在下一幀圖像中進(jìn)行全圖匹配，搜索目標(biāo)圖像，直到找到匹配的位置。盡管不同的應(yīng)用場合和需求對(duì)應(yīng)了不同的跟蹤系統(tǒng)，但是它們的基本原理、關(guān)鍵技術(shù)和核心算法大同小異。實(shí)現(xiàn)目標(biāo)跟蹤的關(guān)鍵在于如何有效的分割目標(biāo)、合理的提取目標(biāo)特征和準(zhǔn)確、穩(wěn)定地識(shí)別目標(biāo)，同時(shí)還要考慮目標(biāo)跟蹤算法實(shí)現(xiàn)的時(shí)間，保證跟蹤的實(shí)時(shí)性和魯棒性。一般的，視頻目標(biāo)跟蹤系統(tǒng)通常包括以下幾個(gè)部分：視頻圖像采集，運(yùn)動(dòng)目標(biāo)檢測，目標(biāo)跟蹤以及行為理解與分析。如圖3.1所示。圖2-1視頻目標(biāo)跟蹤系統(tǒng)通過視頻采集設(shè)備進(jìn)行圖像采集，并通過A/D轉(zhuǎn)換將視頻信號(hào)轉(zhuǎn)換成數(shù)字圖像序列。運(yùn)動(dòng)目標(biāo)檢測是把跟蹤場景中發(fā)生變化的區(qū)域檢測出來，并將運(yùn)動(dòng)目標(biāo)從背景圖像中提取出來，正確的檢測對(duì)目標(biāo)跟蹤的后期處理非常重要。目標(biāo)跟蹤是指在一段序列圖像中找出感興趣的運(yùn)動(dòng)目標(biāo)在連續(xù)幀圖像中的位置序列，它是目標(biāo)行為理解與分析的前提；目標(biāo)行為理解與分析是指對(duì)目標(biāo)模式進(jìn)行分析識(shí)別，并且可以用自然語言等對(duì)其進(jìn)行描述，它屬于高級(jí)處理部分。3設(shè)計(jì)內(nèi)容和理論依據(jù)運(yùn)動(dòng)目標(biāo)跟蹤領(lǐng)域的兩個(gè)熱點(diǎn)算法是MeanShift算法和粒子濾波算法，本次設(shè)計(jì)是對(duì)這兩種算法進(jìn)行探討。針對(duì)基于單一顏色模型的MeanShift跟蹤算法易受復(fù)雜環(huán)境以及相似背景干擾的影響，采用一種基于顏色和紋理特征的MeanShift跟蹤算法，提高跟蹤效率。將改進(jìn)的MeanShift算法與粒子濾波算法進(jìn)行比較。

3.1基于MeanShift的跟蹤算法RGB顏色直方圖RGB顏色直方圖：在運(yùn)動(dòng)目標(biāo)跟蹤領(lǐng)域里，顏色直方圖是一種典型的描述目標(biāo)特征的手段，它應(yīng)用計(jì)算和統(tǒng)計(jì)學(xué)規(guī)律，能夠反映視頻序列幀中顏色的組合結(jié)構(gòu)和比例分布情況，任何一副圖像都有與之唯一對(duì)應(yīng)的顏色直方圖。RGB彩色模型三維坐標(biāo)系的每個(gè)坐標(biāo)軸分別由R、G、B三基色組成，其中坐標(biāo)軸最小值為0，最大值為255。任何一種顏色都能夠在這個(gè)三維坐標(biāo)系中找到自己的位置，坐標(biāo)的原點(diǎn)(0，0，0)表示黑色，而坐標(biāo)(255，255，255)表示白色。計(jì)算圖像顏色直方圖的目的是為了獲取顏色概率分布圖像，因此需要顏色量化過程即將顏色空間劃分為若干個(gè)小的顏色區(qū)間，每個(gè)區(qū)間稱為直方圖的一個(gè)直方格bin，然后計(jì)算圖片顏色落在每個(gè)顏色區(qū)間內(nèi)的像素?cái)?shù)量就可以得到顏色直方圖。計(jì)算直方圖的方法可以簡單的描述為：給定一個(gè)圖像的m區(qū)間的直方圖，定義圖像的像素位置為*.}和直方圖{q}，同時(shí)給定一個(gè)表示像素x*的ii=1,...,nu=1,...,mi直方圖索引為cG*九勺函數(shù)c:R2r{1,...,m}，因此直方圖可以用下式計(jì)算：iq=況5i=1其中將直方圖區(qū)間的值量化到二維概率分布圖像的離散像素范圍內(nèi)可以用下式計(jì)算：(3q=況5i=1其中將直方圖區(qū)間的值量化到二維概率分布圖像的離散像素范圍內(nèi)可以用下式計(jì)算：(3-1)(3-2)q,255"max(q)uu=1,...,m即直方圖區(qū)間的值從［0,max(q)］量化到新的范圍［0,255］內(nèi)。3.1.2基于顏色和紋理特征的MeanShift跟蹤算法顏色是一種有效的視覺特征，它對(duì)目標(biāo)的旋轉(zhuǎn)、物體的遮擋及非剛體變換都比較魯棒，但是它容易受到光照變化及相似背景顏色的干擾。因此基于單一特征的跟蹤算法很難適應(yīng)環(huán)境的變化，而多特征聯(lián)合起來可以有效的互補(bǔ)克服單一線索的缺陷。本文采用基于顏色和紋理特征的MeanShift跟蹤算法，在對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行顏色特征匹配之后，進(jìn)一步進(jìn)行LBP紋理統(tǒng)計(jì)特征匹配，有效的提高了匹配效率，避免基于單一顏色特征的MeanShift跟蹤算法易受到光照變化及相似背景顏色干擾的缺點(diǎn)。用于跟蹤的MeanShift算法是一種半自動(dòng)跟蹤算法.在跟蹤序列的初始幀，通過人工或其他識(shí)別算法確定目標(biāo)窗并構(gòu)建目標(biāo)模型；然后，在序列第N幀對(duì)應(yīng)位置計(jì)算候選目標(biāo)模型；比較兩個(gè)模型的相似度，以相似度最大化為原則移動(dòng)跟蹤窗，從而定位目標(biāo)的真實(shí)位置。p(丫p(丫)二2^eu=1+12u=1\PuY目標(biāo)定位問題轉(zhuǎn)化為最大化相似度函數(shù)p(Y)的問題，以前一幀的搜索窗中心Y為起始點(diǎn)，將p(Y)在Y附近Taylor展開，取前兩項(xiàng)。即：00因此要使得p(Y)向最大值迭代，只要Y的搜索方向與梯度方向一致即可，通過求導(dǎo)可得到Y(jié)的梯度方向。從而可以推導(dǎo)出MeanShift向量：YXwgiikiYXwgiiki=1X-Y—i0Hh-匕(3-4)m(Y)=Y-Y="hg010其中，Y1是目標(biāo)的新中心坐標(biāo)；g3)=-k'(X)，是函數(shù)k(x)的影子核。通過反復(fù)迭代，當(dāng)Mean-Shift向量m〃，g(Y)的模值小于給定常量^時(shí)，則認(rèn)為完成了目標(biāo)定位。3.2基于顏色特征的粒子濾波跟蹤算法-匕(3-4)粒子濾波是蒙特卡羅方法和貝葉斯估計(jì)理論結(jié)合的產(chǎn)物，它通過非參數(shù)化的蒙特卡羅模擬方法從時(shí)域?qū)崿F(xiàn)遞推貝葉斯估計(jì)。粒子濾波算法其思想是利用一系列隨機(jī)抽取的樣本以及樣本的權(quán)重來計(jì)算狀態(tài)的后驗(yàn)概率密度。從而實(shí)現(xiàn)目標(biāo)的跟蹤。粒子濾波算法通過狀態(tài)-空間模型中不斷演化的具有權(quán)值的粒子來估計(jì)目標(biāo)狀態(tài)，不用滿足系統(tǒng)為線性、噪聲高斯分布，適用于任何能用狀態(tài)空間模型表示的非線性系統(tǒng)，但是基本的粒子濾波算法會(huì)出現(xiàn)粒子退化現(xiàn)象，使跟蹤的精確性大大降低。3.2.1貝葉斯重要性采樣在粒子濾波算法中，重要性采樣是一個(gè)重要環(huán)節(jié)。它解決的問題是在隨機(jī)變量難以采樣的情況下，求取隨機(jī)變量X的數(shù)學(xué)期望值。由前面討論可知，后驗(yàn)概率密度可由一組采樣加權(quán)的粒子來近似，但是在實(shí)際情況中，后驗(yàn)概率密度是未知的，所以不能直接對(duì)后驗(yàn)概率密度采樣獲得粒子。要解決這個(gè)問題的常見做法是對(duì)一個(gè)容易獲得的建議分布q(x。」常)進(jìn)行采樣，于是期望的計(jì)算可以轉(zhuǎn)化為：E[g(x)]=jg(x)氣1q(xz)dx0：t0：tq(xz)0：t1：t0：t「P(zx)p(x),Iw(3-5)=Jg(x)1t0t—0：t—q(xz)dx0:tp(z)q(x|z)心1:t0:t=Jg(x)改(％)q(x|z)dx0:tp(z)0:t1:t0:t其中W(tx)為重要性權(quán)值，計(jì)算公式如下：0:tw(x)=「(U%”("

t0:tq(x0|z1)將w(x)代入式(3-5)中可得：t0：t珥g(x.)：=占1:tE,、=q^x,k.t)q(xotzi：t』g(x)w(x^q(xz)dx(w(x)g(x))t(w(x)^0)t0:ti：t0：t(3-7)其中，E表示根據(jù)建議分布獲得的期望，因此期望E「g(x0t)]可以近似表示為:E「g(x)]=Wg(xi)wJ)0:t0：：tt0：：ti=i式中，x0t表示從qG0(3-8)zi：t)中獲得的獨(dú)立隨機(jī)樣本，w(xi)表示標(biāo)準(zhǔn)化權(quán)值，t0:tw(,.)=wt"t0:tE()乙w\xi/~t0:ti=i(3-9)3.2.2序列重要性采樣為了序貫估計(jì)后驗(yàn)分布，建議分布的表達(dá)式重新寫為:q(x0：tx0：t-i,zi：t-i)假設(shè)狀態(tài)變量與觀測變量相互獨(dú)立，且遵循一階馬爾科夫過程，則:p(x)=p(x)rfp(xx)kt)=q°°：t-J(3-10)0jj=ij-i(3-11)p(zx)=口p(zx)0：tjj=i重要性權(quán)值的遞推公式可以表示為：(3-12)wt(x0：t)=wt-i(x0：t)Pqvxt(小)p(x|x「t1—x0：t-i,Zit(3-13)上式表明，只要選擇合適的建議分布獲取采樣粒子，就可以遞推計(jì)算粒子重要性權(quán)值。理想的建議分布選擇應(yīng)該使得重要性權(quán)值的方差最小，在實(shí)際情況中，通常建議取建議分布為狀態(tài)先驗(yàn)分布，即:(3-14)(3-15))=p(x|x)(3-14)(3-15)(x)=w(x)pQX(x)=w(x)pQX)上式表明，采用狀態(tài)先驗(yàn)先驗(yàn)分布作為建議分布，重要性權(quán)值正比于似然函數(shù)。3.2.3粒子退化現(xiàn)象和重采樣序貫重要性采樣最大的問題就是粒子退化現(xiàn)象，退化現(xiàn)象是指經(jīng)過若干次的遞推之后，少數(shù)粒子會(huì)具有較大的權(quán)值，而其它的粒子的權(quán)值都變得很小，以此類推，大量的計(jì)算量就會(huì)浪費(fèi)在這些權(quán)值較小的粒子上，相應(yīng)的粒子權(quán)值方差會(huì)隨著時(shí)間的推移不斷增大，那么此時(shí)的粒子集就無法準(zhǔn)確地對(duì)后驗(yàn)概率分布進(jìn)行描述。為了避免這個(gè)問題，最常用的做法是重采樣。重采樣的核心思想是在重要性采樣的基礎(chǔ)之上，加入重采樣，以淘汰權(quán)值較小的粒子，而集中于權(quán)值較大的粒子。粒子的退化程度可以用有效粒子數(shù)N盼來度量，有效粒子數(shù)可以用下式近似估計(jì)得到：6eff(xeff(x)]20:t(3-16)i=1........■■一一一人目前比較常用的判斷準(zhǔn)則是給定閾值Nh，一般Nh設(shè)為2N/3,若NfNh,1:t則進(jìn)行粒子重采樣，否則不進(jìn)行重采樣。重采樣的算法一般可以描述為從近似描述p(xz)分布的粒子集，(，)}中重新抽樣N次，以產(chǎn)生新的粒子集{(i)}，并且把粒子的權(quán)重全部重新設(shè)為1/N。i=1,...,n1:t{(i)}，并且把粒子的權(quán)重全部重新設(shè)為1/N。通過對(duì)以上基礎(chǔ)知識(shí)的了解，基本粒子濾波算法一般包含初始化、狀態(tài)轉(zhuǎn)移、系統(tǒng)觀測、狀態(tài)估計(jì)及重采樣五個(gè)步驟，具體步驟如下：初始化：t=0，根據(jù)先驗(yàn)分布p(X)，采樣初始粒子集(X(i)}~p(x)；tr.,ti=1,...,N重要性采樣：t>1時(shí)，進(jìn)行重要性采樣，從建議分布采樣，XG)~qIlf,七)；

重要性加權(quán):1)更新粒子權(quán)值w(D=w(x)p(zX)；2)對(duì)權(quán)值進(jìn)行歸一化處理W(D=w(D丈w(Dttt1-i=13)狀態(tài)估計(jì):X=研WGXG)；ttti=1(4)重米樣：如果N<N(4)重米樣：如果N<N,

effth則進(jìn)行重采樣產(chǎn)生新的粒子集Ko,n-1t}~{x(i),W(i)}；ttt=t+1,返回步驟(2)。4流程圖4.1MeanShift跟蹤算法流程圖圖4.1MeanShift跟蹤算法系統(tǒng)框圖4.2粒子濾波跟蹤算法流程圖開始結(jié)束初始化條件：粒子數(shù)，各參數(shù)值是-■_否讀取圖像幀::.是否最后一幀:，1r初始化粒子，計(jì)算目標(biāo)模版更新目標(biāo)模版1r狀態(tài)轉(zhuǎn)移輸出目標(biāo)估計(jì)r計(jì)算粒子區(qū)域模版粒子重采樣1r計(jì)算似燃性—>粒子權(quán)值更新圖4.2粒子濾波跟蹤算法系統(tǒng)框圖5實(shí)驗(yàn)結(jié)果及分析討論5.1基于MeanShift的跟蹤算法仿真結(jié)果本節(jié)分別給出基于顏色特征的MeanShift跟蹤算法以及基于顏色和紋理特征的MeanShift跟蹤算法的實(shí)驗(yàn)結(jié)果。通過自拍室外視頻對(duì)不同算法在相似背景干擾的情況下進(jìn)行測試，視頻的大小為1280720，視頻長度為223幀，幀速率為25fps，以頻中運(yùn)動(dòng)的人為跟蹤目標(biāo)，實(shí)驗(yàn)結(jié)果如圖5-1、圖5-2所示。

圖5-2基于顏色和紋理特征的MeanShift跟蹤算法的實(shí)驗(yàn)結(jié)果由實(shí)驗(yàn)結(jié)果可以看出，在背景顏色與人物顏色相似的情況下，基于顏色特征的MeanShift跟蹤算法發(fā)生了較大偏差，無法準(zhǔn)確地跟蹤目標(biāo)；而基于顏色和紋理特征的MeanShift跟蹤算法，由于加入了紋理特征，跟蹤性能較為穩(wěn)定，出現(xiàn)的偏差