運(yùn)動估計與高斯混合模型的圖象穩(wěn)定技術(shù)研究-碩士論文答辯稿

1、運(yùn)動估計與高斯混合模型的運(yùn)動估計與高斯混合模型的圖像穩(wěn)定技術(shù)研究圖像穩(wěn)定技術(shù)研究 Motion estimation and Gaussian mixture models for image stabilization視覺與智能系統(tǒng)實(shí)驗(yàn)室 趙 猛 指導(dǎo)老師：朱玉文 副教授賈云得 教 授2003.2.28提綱國內(nèi)外發(fā)展現(xiàn)狀數(shù)字圖像穩(wěn)定運(yùn)動估計運(yùn)動補(bǔ)償研究背景基于運(yùn)動平臺的視頻監(jiān)控可穿戴系統(tǒng)視頻傳輸編碼日用的視頻獲取設(shè)備國內(nèi)外發(fā)展現(xiàn)狀基于遠(yuǎn)方地平線特征基于DFT濾波基于色彩配準(zhǔn)基于2.5D運(yùn)動估計和惰性濾波概率估計框架下的卡爾曼濾波提綱研究背景國內(nèi)外發(fā)展現(xiàn)狀運(yùn)動估計運(yùn)動補(bǔ)償數(shù)字圖像穩(wěn)定(解決方案

2、)運(yùn)動估計圖像合成運(yùn)動補(bǔ)償視頻輸入視頻輸出 一般的數(shù)字圖像穩(wěn)定系統(tǒng)首先估計攝像機(jī)的運(yùn)動參數(shù)，再根據(jù)這些運(yùn)動參數(shù)進(jìn)行運(yùn)動補(bǔ)償，最后通過圖像的合成得到平滑的視頻序列。圖像序列的幀間運(yùn)動估計(Motion Estimation)；運(yùn)動補(bǔ)償(Motion Compensation)，或運(yùn)動濾波；圖像合成(Image Composition)。數(shù)字圖像穩(wěn)定(關(guān)鍵技術(shù))運(yùn)動估計運(yùn)動估計是估計幀間的運(yùn)動參數(shù)，主要是運(yùn)動模型的選擇和圖像運(yùn)動的檢測。首先需要選擇一定的運(yùn)動模型，然后在此基礎(chǔ)上計算和估計攝像機(jī)的運(yùn)動參數(shù)。運(yùn)動補(bǔ)償運(yùn)動補(bǔ)償是根據(jù)運(yùn)動估計的結(jié)果計算出全局的變換參數(shù)，或者說是去除不想要的(unwante

3、d)運(yùn)動，使觀察者看起來有攝像機(jī)的晃動已被消除或減弱的感覺。圖像合成圖像合成是根據(jù)運(yùn)動補(bǔ)償模塊的全局變換參數(shù)來改變當(dāng)前幀，即得到了穩(wěn)定的圖像序列，如果需要，也可以完整的合成圖像。數(shù)字圖像穩(wěn)定(結(jié)構(gòu)框圖)視頻輸入預(yù)處理特征點(diǎn)灰度積分特征跟蹤聚類配準(zhǔn)更新模型先驗(yàn)知識錯誤報警GMM濾波平滑濾波圖像合成視頻輸出補(bǔ)償參數(shù)先驗(yàn)知識運(yùn)動估計運(yùn)動補(bǔ)償提綱研究背景國內(nèi)外發(fā)展現(xiàn)狀數(shù)字圖像穩(wěn)定運(yùn)動補(bǔ)償運(yùn)動估計(成像模型)透視投影成像模型透視投影成像模型：透視投影(Perspective Projection)可以用針孔(Pinhole)成像模型來近似表示。透視投影成像模型的特點(diǎn)是所有來自場景的光線均通過一個投影中心

4、，它對應(yīng)于透鏡的中心，經(jīng)過投影中心且垂直于圖像平面的直線稱為光軸。運(yùn)動估計(成像模型) 假設(shè)攝像機(jī)的光軸與場景平面垂直，場景是靜止的。以運(yùn)動攝像機(jī)為參考建立坐標(biāo)系，設(shè)攝像機(jī)的光軸中心為坐標(biāo)原點(diǎn)，則在攝像機(jī)的不同狀態(tài)下同一點(diǎn)的三維坐標(biāo)關(guān)系為： 10011100111000cossinsincos1000cossin0sincoszzSYXYXSYXzyxzyxzyx運(yùn)動估計(旋轉(zhuǎn)角) 通過小波變換法提取特征點(diǎn)及其方向角，直接采用對兩幅圖像中特征點(diǎn)之間的角度差進(jìn)行聚類得到： 建立角度直方圖，最大值用來估計兩幅圖像之間的角度差。 ,.,N,),i,p(ppFfiyixif1121,.,N,),i,q

5、(qqFfiyixif2221)()(,ijjipAqA),(/ ),(tan),(),(),(2),(2 , 1),(),(2),(2 , 1)2/,2/(41),()2 , 1 , 0(2)2 , 1)(,(),(),(,),(),(122212122222221yxfWyxfWyxyxfWyxMyxiyxfyxfWyxfiyxyxkiyxyyxgyxxyxgyxkkkkkkkiikiikkkikiki處的方向角為：點(diǎn)圖像的突變點(diǎn)的位置，其局部最大值點(diǎn)代表了時梯度的模為：處在尺度則點(diǎn)下的小波變換為：在尺度任意圖像函數(shù)時：度被看作小波函數(shù)，在尺征點(diǎn)及方向角：通過小波變換法提取特運(yùn)動估計(平移

6、量) 利用區(qū)域灰度變化曲線的匹配獲取平移運(yùn)動參數(shù)，該方法是將二維空間內(nèi)的搜索轉(zhuǎn)化為一維曲線間的配準(zhǔn)，減少了計算的復(fù)雜性和計算量。通過曲線配準(zhǔn)估計整幅圖像的平移運(yùn)動情況，也可以在三通道空間內(nèi)改進(jìn)算法，提高其精確度。),(1)(, ),(1)(yxIDygyxIDxfxyxyyyyyyDDDyDyDyxDDyyyxIxygyxIyxfMdyMDdyyxIyxIDdyyxIyyxIyxfxfNMDDRRyxyxyxyxydyxIyxfdyyxIyxfxfxYyxIyxIDDyy),()()(:),()()(1),(),(1),()(),()()()(),max(21(),(),(11),()()()

7、,()()(: )(),(),(,/1)(1)(同理在離散情況下表示為：有則，若由連續(xù)函數(shù)的性質(zhì)，對其中后，可表示為：旋轉(zhuǎn)較小的角度記為的曲線，一條關(guān)于自變量方向加權(quán)積分，則得到沿，將設(shè)連續(xù)圖像函數(shù)。表示定義域區(qū)間的長度的平滑函數(shù)，實(shí)驗(yàn)中令為定義域內(nèi)積分為運(yùn)動估計(視頻演示)運(yùn)動估計(性能分析)測試數(shù)據(jù)：共測試了31個視頻流，其中室外場景20個，室 內(nèi)場景11個；圖像大小352 288像素，目標(biāo)窗口112 128像素；平均統(tǒng)計結(jié)果。統(tǒng)計結(jié)果PC運(yùn)動估計(ms)旋轉(zhuǎn) 平移求解時間(ms)幀速(幀/秒)聚類配準(zhǔn)P3/450 11 15235.7特征跟蹤P3/45030330.3提綱研究背景國內(nèi)外發(fā)

8、展現(xiàn)狀數(shù)字圖像穩(wěn)定運(yùn)動估計運(yùn)動補(bǔ)償(分類方法)運(yùn)動補(bǔ)償?shù)姆椒煞譃?類：以圖像中的特征作為參考，來穩(wěn)定當(dāng)前圖像。例如在空中拍攝的圖像序列，建筑物可以作為標(biāo)志物；把當(dāng)前圖像變形映射（warping）到參考幀，使觀察者感到攝像機(jī)的晃動被消除或減弱；平滑攝像機(jī)的運(yùn)動，通過消除高頻率的運(yùn)動來穩(wěn)定圖像序列。上述3種分類方法對應(yīng)的算法：幀到幀算法 (Frame-to-Frame Algorithm)幀到參考幀算法 (Frame-to-Reference Algorithm)幀到合成幀算法 (Frame-to-Mosaic Algorithm)運(yùn)動補(bǔ)償(FFA、FRA、FMA)幀到幀算法(Frame-to-

9、Frame Algorithm)以相鄰幀間的運(yùn)動為準(zhǔn)，累加的結(jié)果用來補(bǔ)償幀間的運(yùn)動;沒有考慮累計誤差的問題。由于后續(xù)幀的運(yùn)動估計可能存在誤差，會影響穩(wěn)定的效果.幀到參考幀算法(Frame-to-Reference Algorithm)采用一個參考幀，直接用來估計每一幀的全局運(yùn)動;參考幀隨著時間逐漸孤立，需要限制參數(shù)，并自動重置。幀到合成幀算法(Frame-to-Mosaic Algorithm)與FRA相比較，F(xiàn)MA是利用多幀信息合成一個參考幀；合成幀隨時間變化。運(yùn)動補(bǔ)償(平滑濾波SF)濾波和均值濾波。實(shí)驗(yàn)中應(yīng)用了一維高斯為平滑因子，且其中權(quán)值向量示為：當(dāng)前幀的補(bǔ)償參數(shù)可表圖像分析目標(biāo)的運(yùn)動，

10、幀。若用前幀的補(bǔ)償參數(shù)向量為設(shè)當(dāng)前幀的第前種分類方法，即屬于第平滑濾波器. 1,),(.3)(0210niinnkktktktktktktIInYXIkFMAFilterSmoothtI1tIntItI運(yùn)動補(bǔ)償(視頻演示)運(yùn)動補(bǔ)償(SF性能分析)時稱為絕對晃動半徑。若下的晃動半徑。的值被稱為在時，所得到若滿足條件對給定值且集合標(biāo)是運(yùn)動特征的中心點(diǎn)坐令全集1),10(),(,| ),(),( | ),(22RUAUyxRyxyxAyxyxUFFAFRAFMA0.8穩(wěn)定前9.19.19.1穩(wěn)定后7.88.16.21穩(wěn)定前29.529.529.5穩(wěn)定后18.621.313.5運(yùn)動補(bǔ)償(GMM濾波)高

11、斯混合模型(Gaussian Mixture Models)運(yùn)動濾波器：屬于第三類補(bǔ)償方法，即FMA； 通過分析攝像機(jī)不規(guī)則運(yùn)動的統(tǒng)計學(xué)規(guī)律，建立高斯混合模型。GMM是一種直觀的概率密度模型，反映了某段時間內(nèi)圖像運(yùn)動的統(tǒng)計特征；系數(shù)的自適應(yīng)性。通過分析前N幀圖像運(yùn)動的統(tǒng)計特征，更新GMM參數(shù)；相對于平滑濾波器，更有效的利用先驗(yàn)知識。其它若其它若其它若其它若時刻狀態(tài)的概率為：的概率分布，則狀態(tài)集模型表示最近高斯混合若用多元狀態(tài)集為時刻圖像的最近令幀的圖像狀態(tài)為前時刻圖像的狀態(tài)為假定21212111,1,111,2,2)()()1 (2,2)1 ()1 (2,2)()(),()(.,),(),(1

12、ttttTttttttttttittitiititniitnjjtittttKititittitIIIIIIIPIHIPIIIIPtAnKtIntIAntYXSntInYXStIt運(yùn)動補(bǔ)償(視頻演示)運(yùn)動補(bǔ)償(GMM性能分析)測試數(shù)據(jù)：共測試了15個視頻流，其中10個室外場景，5個室內(nèi)場景；統(tǒng)計量：引入隨機(jī)變量 ，分別表示相鄰幀間圖像位移的橫縱坐標(biāo)(像素)及旋轉(zhuǎn)角(弧度)差的絕對值，來統(tǒng)計實(shí)驗(yàn)數(shù)據(jù)；部分統(tǒng)計結(jié)果。、YX運(yùn)動補(bǔ)償(GMM性能分析)原始值高斯濾波均值濾波GMM濾波E(X)3.782.312.302.01E(Y)3.572.012.081.62D(X)3.912.212.191.92

13、D(Y)4.241.621.711.43 E(X) E(Y) E( ) D(X) D(Y) D( )濾波前 3.51 3.85 0.005 3.87 4.35 0.006濾波后 2.18 2.24 0.003 1.98 2.11 0.004GMM濾波的統(tǒng)計結(jié)果不同濾波的統(tǒng)計結(jié)果主要工作和創(chuàng)新點(diǎn)提出了一種基于配準(zhǔn)技術(shù)與聚類技術(shù)相結(jié)合的運(yùn)動估計方法。通過對基于整幅圖像的灰度積分曲線間的配準(zhǔn)進(jìn)行平移量運(yùn)動估計，利用小波變換來提取特征點(diǎn)，通過聚類方法來估計旋轉(zhuǎn)角度。提出了一種基于自適應(yīng)高斯混合模型（GMM）的運(yùn)動濾波器圖像穩(wěn)定方法。首先采用多分辨率金字塔技術(shù)，通過特征跟蹤進(jìn)行運(yùn)動估計；然后分析前 幀圖象的統(tǒng)計特征，求取GMM參數(shù)；最后利用GMM運(yùn)動濾波器對運(yùn)動參數(shù)進(jìn)行濾波。開發(fā)了一套數(shù)字圖像穩(wěn)定系統(tǒng)。可以完成圖像預(yù)處理、特征提取、運(yùn)動估計、運(yùn)動補(bǔ)償以及圖像合成等操作