數(shù)字圖像處理課程設(shè)計

1、1設(shè)計目的數(shù)字圖像處理，就是用數(shù)字計算機(jī)及其他有關(guān)數(shù)字技術(shù)，對圖像進(jìn)行處理，以達(dá)到預(yù)期的目的。隨著計算機(jī)的發(fā)展，圖像處理技術(shù)在許多領(lǐng)域得到了廣泛應(yīng)用，數(shù)字圖像處理已成為電子信息、通信、計算機(jī)、自動化、信號處理等專業(yè)的重要課程。數(shù)字圖像處理課程設(shè)計是在學(xué)習(xí)完數(shù)字圖像處理的相關(guān)理論后，進(jìn)行的綜合性訓(xùn)練課程，其目的是：使學(xué)生進(jìn)一步鞏固數(shù)字圖像處理的基本概念、理論、分析方法和實(shí)現(xiàn)方法：增強(qiáng)學(xué)生應(yīng)用Matlab編寫數(shù)字圖像處理的應(yīng)用程序及分析、解決實(shí)際問題的能力：嘗試所學(xué)的內(nèi)容解決實(shí)際工程問題，培養(yǎng)學(xué)生的工程實(shí)踐能力。運(yùn)動目標(biāo)檢測是數(shù)字圖像處理技術(shù)的一個主要部分，近些年來，隨著多媒體技術(shù)的迅猛發(fā)展和計算

2、機(jī)性能的不斷提高，動態(tài)圖像處理技術(shù)口益受到人們的青睞，并且取得了豐碩的成果，廣泛應(yīng)用于交通管理、軍事目標(biāo)跟蹤、生物醫(yī)學(xué)等領(lǐng)域。目前，以數(shù)字圖像處理技術(shù)為核心的視頻監(jiān)視系統(tǒng)越來越廣泛地應(yīng)用到交通監(jiān)管中,它利用攝像機(jī)來獲取圖像，由計算機(jī)完成對運(yùn)動目標(biāo)的H動檢測，如果年輛交通違規(guī)時，自動發(fā)出預(yù)警，記錄全程違章視頻，這在很大程度上減輕了監(jiān)控人員的勞動強(qiáng)度，克服可能的人為失誤，而且節(jié)約大量存儲空間，使存儲的數(shù)據(jù)更為有效，為交通違規(guī)的后續(xù)處理提供了客觀依據(jù)。因此，基于光流法，實(shí)現(xiàn)交通場景中運(yùn)動目標(biāo)的檢測是本文的研究對象。結(jié)合圖書館書籍、網(wǎng)上資料以及現(xiàn)有期刊雜志，初步建立起交通場景中運(yùn)動目標(biāo)檢測的整體思路和

3、方法。2總體設(shè)計方案通過MATLAB軟件中的圖像、視頻處理模塊(VideoandImageProcessingBlockset),來實(shí)現(xiàn)利用光流法檢測并追蹤視頻中的動態(tài)汽車。該模型通過光流法估計視頻幀中的運(yùn)動向量，并對運(yùn)動向量進(jìn)行閾值和形態(tài)學(xué)閉操作，計算出二進(jìn)制圖像，再定位出二進(jìn)制圖像中的汽車信息，在經(jīng)過白線的汽不上繪制綠色矩形圖，統(tǒng)計感興趣區(qū)域的汽車數(shù)量。Simulink模型如圖2.1：圖2.1模型框圖3具體設(shè)計實(shí)現(xiàn)3.1 光流法實(shí)現(xiàn)運(yùn)動目標(biāo)檢測的基本原理3.1.1 光流法介紹（1）光流與光流場的概念光流是指空間運(yùn)動物體在觀測成像面上的像素運(yùn)動的瞬時速度，它利用圖像序列像素強(qiáng)度數(shù)據(jù)的時域變化

4、和相關(guān)性來確定各自像素位置的“運(yùn)動”，即反映圖像灰度在時間上的變化與景物中物體結(jié)構(gòu)及其運(yùn)動的關(guān)系。將二維圖像平面特定坐標(biāo)點(diǎn)上的灰度瞬時變化率定義為光流矢量光流場是指圖像灰度模式的表觀運(yùn)動，它是一個二維矢量場，所包含的信息就是各個像素點(diǎn)的瞬時運(yùn)動速度矢量信息。光流場每個像素都有一個運(yùn)動矢量，因此可以反映相鄰幀之間的運(yùn)動。（2）光流場計算的基本原理視覺心理學(xué)認(rèn)為人與被觀察物體發(fā)生相對運(yùn)動時，被觀察物體表面帶光學(xué)特征的部位的移動給人們提供了運(yùn)動和結(jié)構(gòu)的信息。當(dāng)相機(jī)與場景目標(biāo)間有相對運(yùn)動時所觀察到的亮度模式運(yùn)動稱之為光流（opticalflow）,或者說物體帶光學(xué)特征部位的移動投影到視網(wǎng)膜平面（也即圖

5、像平面）上就形成了光流。光流場的計算一般分為四類：基于梯度的方法（Horn-Schunck和Lucas-Kanade算法）；基于匹配的方法；基于能量的方法；基于相位的方法?；谔荻鹊姆椒ɡ脠D像灰度的梯度來計算光流，是研窕最多的方法。基于梯度的方法根據(jù)運(yùn)動前后圖像灰度保持不變這個基本假設(shè)，導(dǎo)出光流約束方程。由于光流約束方程并不能唯一的確定光流，因此需要導(dǎo)入其他的約束。根據(jù)引入的約束不同，基于梯度的方法乂可以分為全局約束方法和局部約束方法。全局約束的方法假定光流在整個圖像范圍內(nèi)滿足一定的約束條件；而局部約束的方法假定在給定點(diǎn)周圍的一個小區(qū)域內(nèi)，光流滿足一定的約束條件。基于匹配的方法，這類方法是將

6、速度v,定義為視差d=（dx,dy），使得兩個時刻的圖像區(qū)域的匹配最佳。為了找到最佳匹配，我們可以對定義在d上的相似度量，如規(guī)一化的互相關(guān)系數(shù)，進(jìn)行最大化，也可以對某一距離度量，如光強(qiáng)度差的平方和，進(jìn)行最小化。在此僅介紹基于梯度的光流場算法梯度光流法乂分為全局約束方法和局部約災(zāi)方法。全局約束方法假定光流在整個圖像范圍內(nèi)滿足一定的約束條件，而局部約束的方法假定在給定點(diǎn)周圍的一個小區(qū)域內(nèi),光流滿足于一定的約束條件。下面先導(dǎo)出光流約束方程。然后給出兩種比較典型的基于梯度的方法。<1>、光流約束方程假定圖像上點(diǎn)w(x,y),在時刻t的灰度值為I(x,y,t),經(jīng)過時間間隔dt后，對應(yīng)點(diǎn)的灰

7、度為I(x+dx,y+dy,t+dt),當(dāng)時，可以認(rèn)為兩點(diǎn)的灰度不變，也就是：I(x+dx,y+dy,t+dt)=I(x,y,t)(3.1)如果圖像灰度隨X,y,t緩慢變化，可以將式左邊泰勒級數(shù)展開：I(x+dx,y+dy,t+dt)=I(x,y,t)+?dx+dy+£(3.2)dxdy，dt其中£代表二階無窮小項(xiàng)。由于dt-O,忽略£,可以得到：T-dx+-dy+dt=0(3.3)dxdy"dt令u*V哼代表x,y方向上的光流，/Ik2L糕分別代表圖像灰度相dtataxoydt對于x,y,t的偏導(dǎo)，式(3.3)可以寫成：Ixu+Lv+L=0(3.4)此

8、式即光流場的基本方程。寫成向量形式，即：VI-V=+L=0(3.5)其中VI=(Ix,LJ是圖像在點(diǎn)m處的梯度，V<U,V)是點(diǎn)m的光流。上式稱為光流約束方程，是所有基于梯度的光流計算方法的基礎(chǔ)。圖3.1基本等式所確定的約束線考慮U和V組成的二維空間，那么式(3.5)定義了一條直線，所以滿足約束方程的匕都在該直線上，圖3.1,該直線和圖像梯度VI垂直，因而僅僅能夠解決沿梯度方向的分量，也就是等灰度輪廓的法線分量V“=S*N,其中：(實(shí)際上，式5)光流約束方程產(chǎn)生的是恒值亮度輪廓圖像運(yùn)動的法向分量V=S*N)S=-It/|Vl|,N=VI/|VI|(3.6)光流約束方程包含u和V兩個未知量

9、，顯然由一個方程并不能唯一確定，這就1丸子向厘一為解於兒役問也,必為、找新的34。此鼠介？用到的HornSciiunck算法。<2>Horn-Schunck算法Horn-Schunck算法提出了光流的平滑性約束。即：圖像上任一點(diǎn)的光流并不是獨(dú)立的，光流在整個圖像范圍內(nèi)平滑變化。因此Horn-Schunck算法是一種全局約束的方法。設(shè)平滑性約束項(xiàng)為極小化：(3.7)(3.8)Es=0(u；+u；+q+)dxdy由基本等式，顯然要求極小化：Ec=JJ(IxU+IyV+lJdxdy+11；+q+¥)+(中+1/+于是，由(3.7)和(3.8)式可知,最后求得光流應(yīng)滿足式:(3.

10、9)這里人的取值要考慮圖中的噪聲情況，如果噪聲較強(qiáng)，說明圖像數(shù)據(jù)本身的置信度較低，需要更多的依賴光流約束，所以尤可以取較大的值：反之，取較小的值。為了滿足(3.9),可將該式對u和v分別求導(dǎo)，并取導(dǎo)數(shù)為0。這樣就得到：I口i+L1vV=2-Vu-IJt(3.10)(3.11)ayxiI；v+IxIyu=-22Vv-IyIt以上兩式也稱為Euler方程。如果令Q和V分別表示u鄰域和v鄰域中的均值(可用圖像平滑算子求得)，并令=和v=vT,則式(3.10)和(3.11)改寫成:L=:Uijk+l+上+1)：(1,_),k+I+Lj.k+】i,j+Lk+【i+lj+Lk)44(3.12)(3.13)

11、(I；+A2)u+IxIyv=/l2u-IxIt(I;+22)v+IxIyu=/l2v-IyIt從上式解得:1(夏+1/+L)萬+1；+1xy(3.14)Iy”+Iy*+L)萬+丫+1；(3.15)式(3.14)和(3.15)提供了用迭代法求解u和v的基礎(chǔ)。實(shí)際中，常用松弛迭方程進(jìn)行求解：U(k+D_a)I，'+I尸")+ItU'UfE+I：XJ(3.16)3f(k)IIxu(k)+Iyv(k)+It(3.17)其中k是循環(huán)數(shù)，u和,°)是初始值，可以取為0。五和是局部平均，%為權(quán)重系數(shù)，根據(jù)導(dǎo)數(shù)求取的精確度確定。上述迭代過程有一個簡單的幾何解釋，參考圖3.

12、2所示:圖3.2用迭代法求解光流的幾何解釋在實(shí)際求解過程中，需要估計亮度的時間和空間微分。這可在圖像點(diǎn)的一個2X2X2立方鄰域中估計，如果下標(biāo)i"，k分別對應(yīng)&y,t,那么3個一階偏導(dǎo)分別是:X=T(i+l,j,k+i+l,j+l,k+i+l.jjc+l+L+l.j+l,k+l)一；(lj上+Ijk+l+ij+l,k+l)44(3.18)ly=T(i.j+l,k+L+l.j+l,k+%,j+l,k+l+1訐1"1上+1)一+£+l,j*+5,j上+1+L+l,j,k+l)，4(3.19)I=T(i,j,k+1+i+l,j,k+l+kj+l,k+l+i+l,

13、j+l.k+l)-7(i,j,k+i+l.j.k+i,j+l.k+i+l,j+l.k),一八、44(3.20)也就是用一階差分來替代灰度I關(guān)于“yJ軸的偏導(dǎo)。上述算法的實(shí)現(xiàn)相對簡單，計算復(fù)雜性較低。但是這種技術(shù)存在著嚴(yán)重缺陷。首先，圖像灰度保持假設(shè)對于許多自然圖像序列來講都是不合適的，尤其是在圖像的遮合邊緣處和(或)當(dāng)運(yùn)動速度較高時，基于灰度保持假設(shè)的約束存在較大誤差。其次，在圖像的遮合區(qū)域，速度場是突變的，而總體平滑約束則迫使所估計的光流場平滑地穿過這一區(qū)域,此過程平滑掉了有關(guān)物體形狀的非常重要的信息。第二,微分技術(shù)的一個要求是I(X,y,t)必須是可微的，這暗示著需對圖像數(shù)據(jù)進(jìn)行時空預(yù)平滑

14、，以避免混疊效應(yīng)；而且數(shù)值微分的求取具有病態(tài)性，如果處理不當(dāng)將對最終的速度估計產(chǎn)生顯著影響。3.1.2光流法檢測運(yùn)動目標(biāo)物體的基本原理概述給圖像中的每一個像素點(diǎn)賦予一個速度矢量，這就形成了一個圖像運(yùn)動場，在運(yùn)動的一個特定時刻，圖像上的點(diǎn)與三維物體上的點(diǎn)一一對應(yīng)，這種對應(yīng)關(guān)系可由投影關(guān)系得到，根據(jù)各個像素點(diǎn)的速度矢量特征，可以對圖像進(jìn)行動態(tài)分析。如果圖像中沒有運(yùn)動物體，則光流矢量在整個圖像區(qū)域是連續(xù)變化的。當(dāng)圖像中有運(yùn)動物體時，目標(biāo)與圖像背景存在相對運(yùn)動，運(yùn)動物體所形成的速度矢量:必然與鄰域背景速度矢量不同，從而檢測出運(yùn)動物體及位置。光流法的優(yōu)點(diǎn)：光流不僅攜帶了運(yùn)動物體的運(yùn)動信息，血且攜帶了有關(guān)

15、景物三維結(jié)構(gòu)的豐富信息，它能夠在不知道場景的任何信息的情況下，檢測出運(yùn)動對象。3.2Simulink模型介紹如方案所示：optical_flow_tracking模型分為視頻輸入模塊、色彩空間轉(zhuǎn)換模塊、光流估計模塊、閾值和區(qū)域?yàn)V波模塊、視頻輸出顯示模塊。該模型通過光流估計技術(shù)，估計了視頻幀中的運(yùn)動向量，并對運(yùn)動向量進(jìn)行閾值和形態(tài)學(xué)閉運(yùn)算操作，計算出二進(jìn)制圖像，再通過BlobAnalysis模塊定位出每個二進(jìn)制圖像中的汽不信息，然后通過繪圖圖形模塊給經(jīng)過白線的汽軍.添加綠色矩形框，同時在左上角，用計數(shù)器窗口統(tǒng)計感興趣區(qū)域的汽車數(shù)量。（1）視頻輸入模塊模型以viptraffic.avi為視頻輸入端

16、，視頻幀圖像大小為120*160,視頻幀頻率為15fps圖3.3輸入視頻截圖（2）色彩空間轉(zhuǎn)換模塊設(shè)置色彩空間轉(zhuǎn)換模塊中的Conversion參數(shù)為"R'G'B'tointensity*',Imagesignal為“OnemultidimensionalsignalM（3）光流估計模塊通過Horn-Schunck方法，估計兩幀視頻間的光流。（4）閾值與區(qū)域?yàn)V波模塊RegionFjltenng圖3.4閾值與區(qū)域?yàn)V波模塊如上圖所示，通過上一模塊得到的光流信息，計算出速度的閾值，并對運(yùn)動向量進(jìn)行中值濾波和形態(tài)學(xué)閉操作，得到視頻幀中的光流信息的閾值。模塊的另一

17、輸出端口為通過區(qū)域?yàn)V波模塊得到的感興趣區(qū)域。所包含的子模塊還有MeanvelocityperframeaaowtimeMeanvelocityperframe圖3.5子模塊1圖3.6子模塊2（5）視頻輸出顯示模塊OpticalFlowLines圖3.7視頻輸出顯示模塊如上圖所示，視頻輸出端口1顯示了上述視頻幀中圖像光流信息的閾值視頻；通過邊界框和汽車數(shù)量統(tǒng)計模塊，將感興趣區(qū)域中的帶有邊界框汽車及其數(shù)量通過端口2輸出；端口3輸出原始視頻：端口4輸出帶有光流線的運(yùn)動汽車視頻包含的子模塊還有KZ)VideoOut圖3.8子模塊14仿真結(jié)果與分析圖4.1圖4.2二圖4.4四圖4.3三第一幅圖為原始視頻

18、幀第二幅圖則通過光流線，繪制出了運(yùn)動中的汽車背景是不變的，所以它的光流矢量是連續(xù)變化的。運(yùn)動的汽車速度矢量與鄰域背景速度矢量不同，所以顯示的光流矢量呈上圖所示第三幅圖得到了視頻幀中的光流信息閾值圖，運(yùn)動中的汽車用二進(jìn)制圖像中的白色圖像表示這是對運(yùn)動向量進(jìn)行閾值和形態(tài)學(xué)閉運(yùn)算，計算出二進(jìn)制圖像，然后顯示得到的！第四幅圖得到了視頻幀中感興趣區(qū)域的汽車數(shù)量以及汽車的綠色矩形框標(biāo)定這是通過BlobAnalysis模塊定位出每個二進(jìn)制圖像中的汽車信息，然后通過繪制圖形模塊給經(jīng)過白線的汽車添加綠色矩形框，同時在左上角，用計數(shù)器窗口統(tǒng)計感興趣區(qū)域的汽車數(shù)量得到的。5結(jié)論光流法是對運(yùn)動序列圖像進(jìn)行分析的一個重

19、要方法，光流不僅包含圖像中目標(biāo)的運(yùn)動信息，而且包含了三維物理結(jié)構(gòu)的豐富信息，因此可用來確定目標(biāo)的運(yùn)動情況，反映圖像的其他信息?；诠饬鞣梢詫?shí)現(xiàn)在軍事航天、交通監(jiān)管、信息科學(xué)、氣象、醫(yī)學(xué)等多個領(lǐng)域的重要應(yīng)用。例如，利用光流場可以非常有效地對運(yùn)動目標(biāo)進(jìn)行檢測和分割，這對地對空導(dǎo)彈火控系統(tǒng)的精確制導(dǎo)、自動飛行器精確導(dǎo)航與著陸、戰(zhàn)場的動態(tài)分析、軍事偵察的航天或衛(wèi)星圖片的H動分析系統(tǒng)、醫(yī)學(xué)上異常器官細(xì)胞的分析與診斷系統(tǒng)、氣象中對云圖的運(yùn)動分析、城市交通的車流量進(jìn)行監(jiān)管等都具有重要價值。參考文獻(xiàn)1于慧敏，徐藝，劉繼忠等.基于水平集的多目標(biāo)運(yùn)動時標(biāo)分割與跟蹤.中國圖形圖像學(xué)報J,2007,12(7);1218-12232李俊韜，張海，范躍祖.復(fù)雜交通場號中多運(yùn)動目標(biāo)分割算法.北京航天航空大學(xué)學(xué)報J,2006,32(3)：297-300,3李晴，徐群.復(fù)雜場景下多運(yùn)動