多視角圖像配準(zhǔn)方法研究

1、東北師范大學(xué)碩士學(xué)位論文多視角圖像配準(zhǔn)方法研究姓名：劉楨宏申請學(xué)位級別：碩士專業(yè)：計算機(jī)應(yīng)用技術(shù)指導(dǎo)教師：孔俊20090501摘要數(shù)字圖像配準(zhǔn)是計算機(jī)視覺中的一個基本問題，它在三維圖像重構(gòu)、目標(biāo)識別、對象分類、相機(jī)自校正等方面都有廣泛的應(yīng)用。數(shù)字圖像配準(zhǔn)通常是數(shù)字圖像處理的一個預(yù)處理階段，比如數(shù)字圖像融合，數(shù)字拼接等。數(shù)字圖像配準(zhǔn)技術(shù)可以對同一場景在不同的成像條件下獲取的不同的圖像進(jìn)行匹配與疊加，生成一個新的有關(guān)此場景的解釋，而這個解釋是從單一拍攝的圖像信息中無法獲得的。我們?yōu)榱双@得更加豐富與詳細(xì)的圖像信息，對同一場景往往是從不同的角度進(jìn)行拍攝的，通過這種拍攝我們就獲得了多個不同視角的圖像，即

2、多視角圖像。本文所要研究的就是對從不同視角拍攝的有關(guān)同一場景的多個不同視角的圖像進(jìn)行匹配的問題，即多視角圖像配準(zhǔn)問題。多視角圖像配準(zhǔn)問題的研究對推進(jìn)數(shù)字圖像配準(zhǔn)技術(shù)的發(fā)展有著重要的意義與價值。本文提出了一種適用于多視角圖像的配準(zhǔn)方法。該方法是將由特征檢測方法衍生出來的仿射不變的特征檢測方法應(yīng)用于多視角圖像的特征提取中，然后將提取的特征點(diǎn)鄰域的特征不變區(qū)域進(jìn)行歸一化以便使多視角圖像的配準(zhǔn)問題轉(zhuǎn)變成為局部發(fā)生剛性變換的圖像配準(zhǔn)問題，并采用了一種改進(jìn)的描述子對特征進(jìn)行描述，最后采用距離函數(shù)進(jìn)行相似度計算得到特征匹配點(diǎn)對。文中分別用該方法與方法對多視角圖像進(jìn)行匹配實(shí)驗(yàn)，證明了該方法比方法在處理視角變換

3、較大的圖像配準(zhǔn)問題上可以得到更好的匹配效果。關(guān)鍵詞：數(shù)字圖像配準(zhǔn)；多視角圖像配準(zhǔn)；特征點(diǎn)檢測；特征描述子，：；獨(dú)創(chuàng)性聲明本人鄭重聲明：所提交的學(xué)位論文是本人在導(dǎo)師指導(dǎo)下獨(dú)立進(jìn)行研究工作所取得的成果。據(jù)我所知，除了特別加以標(biāo)注和致謝的地方外，論文中不包含其他人已經(jīng)發(fā)表或撰寫過的研究成果。對本人的研究做出重要貢獻(xiàn)的個人和集體，均已在文中作了明確的說明。本聲明的法律結(jié)果由本人承擔(dān)。學(xué)位論文作者簽名：學(xué)位論文使用授權(quán)書本學(xué)位論文作者完全了解東北師范大學(xué)有關(guān)保留、使用學(xué)位論文的規(guī)定，即：東北師范大學(xué)有權(quán)保留并向國家有關(guān)部門或機(jī)構(gòu)送交學(xué)位論文的復(fù)印件和電子版，允許論文被查閱和借閱。本人授權(quán)東北師范大學(xué)可以

4、將學(xué)位論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫進(jìn)行檢索，可以采用影印、縮印或其它復(fù)制手段保存、匯編本學(xué)位論文。（保密的學(xué)位論文在解密后適用本授權(quán)書）學(xué)位論文作者簽名：日期：指導(dǎo)教師簽名：日期：學(xué)位論文作者畢業(yè)后去向：工作單位：通訊地址：電話：郵編：東北師范大學(xué)碩士學(xué)位論文引言圖像配準(zhǔn)已經(jīng)被廣泛地應(yīng)用于遙感數(shù)據(jù)分析、計算機(jī)視覺、圖像處理等領(lǐng)域。年自動化圖像協(xié)會關(guān)于機(jī)器視覺的報告中指出，大約有的機(jī)器視覺應(yīng)用中需要用到圖像配準(zhǔn)技術(shù)。它是數(shù)字圖像處理領(lǐng)域的一個重要分支，它往往出現(xiàn)在數(shù)字圖像處理的預(yù)處理階段，比如數(shù)字圖像融合，數(shù)字圖像拼接等。經(jīng)過數(shù)字圖像配準(zhǔn)，可以使多幅圖像之間建立對應(yīng)關(guān)系，使獲得的圖像信息更

5、加豐富。我們在對一個場景進(jìn)行拍攝時，為了獲得更多的圖像信息，往往是從多個角度進(jìn)行拍攝。本文所要研究的多視角圖像配準(zhǔn)問題就是對從多個視角拍攝的同一場景的圖像進(jìn)行配準(zhǔn)，這樣做可以使我們獲得更加豐富的圖像信息。在軍事方面，對敵軍武器進(jìn)行拍攝時，從不同視角獲取同一武器場景圖像，對其進(jìn)行配準(zhǔn)后可以使我們獲得更詳細(xì)的武器資料；在經(jīng)濟(jì)方面，我們對比較長的場景拍攝時，比如在遠(yuǎn)處拍攝山岳、江河風(fēng)光，在近處拍攝墻上的畫等，在這種情況下，往往場景十分寬，但是高度卻有限，采用大底片用昂貴的器材拍攝，會拍攝到過多的天空和地面，沒有意義還造成浪費(fèi)，這時可以使用價格比較低廉的家用數(shù)碼機(jī)，從不同的視角拍攝兩張或兩張以上的圖像

6、，后期將其進(jìn)行圖像配準(zhǔn)并將其拼接到一起，形成超寬幅高分辨率的圖像。在科技方面，對多視角圖像配準(zhǔn)的研究能夠推動數(shù)字圖像配準(zhǔn)技術(shù)的發(fā)展并進(jìn)一步促進(jìn)數(shù)字圖像處理領(lǐng)域的發(fā)展。國內(nèi)外對圖像配準(zhǔn)方面的研究已經(jīng)有大量且有效的方法，但是大多數(shù)方法都是針對圖像之間發(fā)生平移、旋轉(zhuǎn)、尺度縮放等問題的，對圖像發(fā)生視角變換的配準(zhǔn)問題研究還比較少。目前對數(shù)字圖像配準(zhǔn)的方法中最常被采用的是基于特征點(diǎn)的配準(zhǔn)技術(shù)，在特征點(diǎn)的配準(zhǔn)技術(shù)中特征點(diǎn)的提取與特征點(diǎn)的描述是關(guān)鍵，準(zhǔn)確的特征點(diǎn)提取與好的特征點(diǎn)的描述，為匹配的成功進(jìn)行提供了保障。因此，對我所要研究的多視角圖像的配準(zhǔn)問題來說，尋求具有良好不變性的特征點(diǎn)提取方法以及好的特征點(diǎn)描述

7、算子，對于匹配精度至關(guān)重要。本文主要是針對不同視角的圖像之問存在著視角差異的匹配問題，對特征點(diǎn)的提取方法以及特征點(diǎn)的描述算子進(jìn)行了研究與分析。提出了一種適用于不同視角圖像的配準(zhǔn)方法。東北師范大學(xué)碩士學(xué)位論文圖像，不同季節(jié)拍攝的圖像，不同取景器材拍攝的圖像，不同視角拍攝的圖像，不同焦距拍攝的圖像等。我們對這種不同的成像條件下拍攝的圖像進(jìn)行配準(zhǔn)后可以使該場景的圖像信息更加的完整與豐富，這就是數(shù)字圖像配準(zhǔn)的目的。圖像配準(zhǔn)的主流方法圖像配準(zhǔn)的根本問題是找出一種圖像的變換方法。圖像變換形式的多樣性決定了多種多樣的圖像配準(zhǔn)方法。圖像配準(zhǔn)的方法雖然很多，但目前沒有哪一種方法適用于所有的圖像配準(zhǔn)，因此，根據(jù)所

8、應(yīng)用的圖像找到適合其特點(diǎn)的配準(zhǔn)方法是圖像配準(zhǔn)技術(shù)研究中的重點(diǎn)。迄今為止，在國內(nèi)外圖像處理研究領(lǐng)域已經(jīng)報導(dǎo)了相當(dāng)多的圖像配準(zhǔn)研究工作，產(chǎn)生了不少圖像配準(zhǔn)方法，總的來說，各種方法都是面向一定范圍的應(yīng)用領(lǐng)域，并且具有各自的特點(diǎn)。圖像配準(zhǔn)的方法又可以分為手工配準(zhǔn)和自動配準(zhǔn)。手工配準(zhǔn)的方法需要選擇大量的位置控點(diǎn)，這是非?？菰?、費(fèi)時、且勞動密集性較強(qiáng)的工作。當(dāng)在有限的時間內(nèi)高精度、準(zhǔn)確地進(jìn)行圖像配準(zhǔn)時，就需要找到一種很少或幾乎不用手工的自動化技術(shù)來進(jìn)行圖像配準(zhǔn)。自動圖像配準(zhǔn)方法又可以分為三種：基于灰度信息的圖像配準(zhǔn)方法基于灰度信息的圖像配準(zhǔn)方法一般不需要對圖像進(jìn)行復(fù)雜的預(yù)先處理，而是利用圖像本身具有灰度的

9、一些統(tǒng)計信息來度量圖像的相似程度。主要特點(diǎn)是實(shí)現(xiàn)簡單，但應(yīng)用范圍較窄，不能直接用于校正圖像的非線性形變，往往需要巨大的運(yùn)算量。經(jīng)過幾十年的發(fā)展，人們提出了許多基于灰度信息的圖像配準(zhǔn)方法，大致可分為三類：互相關(guān)法舊（也稱模板匹配法）、序貫相似度檢測匹配法和交互信息法¨叫¨?；谧儞Q域的圖像配準(zhǔn)的方法最主要的基于變換域的圖像配準(zhǔn)方法是傅氏變換方法羽，它主要有以下一些優(yōu)點(diǎn)：圖像的平移、旋轉(zhuǎn)、仿射等變換在傅氏變換域中都有相應(yīng)的體現(xiàn)：利用變換域的方法還有可能有一定程度的抵抗噪聲的魯棒性；由于傅氏變換有成熟的快速算法和易于硬件實(shí)現(xiàn)的特點(diǎn)，因而在算法實(shí)現(xiàn)上有其獨(dú)特的優(yōu)勢?；谔卣鞯膱D像配

10、準(zhǔn)方法基于特征的匹配方法的共同之處是首先要對待配準(zhǔn)圖像進(jìn)行預(yù)處理，也就是圖像分割和特征提取的過程，再利用提取得到的特征完成兩幅圖像特征之間的匹配，通過特征的匹配關(guān)系建立圖像之間的配準(zhǔn)映射關(guān)系。由于圖像中有很多種可以利用的特征，因而產(chǎn)生了多種基于特征的方法。常用到的基于圖像特征的方法有：特征邊緣¨砌的方法，特東北師范大學(xué)碩士學(xué)位論文征點(diǎn)¨幅的方法和特征矩¨剮的方法。點(diǎn)特征是配準(zhǔn)中常用到的圖像特征之一，特征點(diǎn)的提取方法又分為：邊緣點(diǎn)提取方法，如：算子口別、算子蚪、基于小波變換的算法等：角點(diǎn)心仰提取算法，如：角點(diǎn)提取、角點(diǎn)提取等方法；各種興趣算子，如：算子、算子、算子等

11、。本文的主要工作本文通過對多視角圖像的配準(zhǔn)方法進(jìn)行研究，提出了一種適用于多視角圖像的配準(zhǔn)方法。該方法是將基于仿射不變的特征檢測方法和一種改進(jìn)描述子的方法應(yīng)用于多視角圖像的配準(zhǔn)中。首先是用基于仿射不變的特征點(diǎn)檢測方法提取多視角圖像的特征點(diǎn)以及它的特征區(qū)域，將提取出來的特征區(qū)域進(jìn)行歸一化操作使多視角圖像配準(zhǔn)問題轉(zhuǎn)化為局部區(qū)域發(fā)生旋轉(zhuǎn)與平移的圖像配準(zhǔn)的問題。然后利用改進(jìn)的描述子對歸一化后的特征區(qū)域進(jìn)行描述，將特征描述所獲得的特征向量進(jìn)行相似性計算得到特征匹配點(diǎn)對，最終計算變換矩陣得到配準(zhǔn)圖像。通過這個過程實(shí)現(xiàn)了多視角圖像的配準(zhǔn)。論文的結(jié)構(gòu)本文的組織結(jié)構(gòu)是如下：第一章，對圖像配準(zhǔn)的概念，目的，主流方法

12、等方面做概要介紹。第二章，對多視角圖像配準(zhǔn)的概念、理論基礎(chǔ)做簡單介紹，對多視角圖像配準(zhǔn)的具體方法進(jìn)行了詳細(xì)的研究。第三章，通過實(shí)驗(yàn)，分別用基于的配準(zhǔn)方法和本文提出的方法對多視角圖像的匹配結(jié)果進(jìn)行比較，說明本文的方法在多視角圖像的配準(zhǔn)方面所具有的優(yōu)越性?？偨Y(jié)全文，歸納工作要點(diǎn)，給出建議和展望。東北師范大學(xué)碩士學(xué)位論文圖像圖像圖像檢測特征點(diǎn)上上檢測特征點(diǎn)上檢測特征點(diǎn)歸一化區(qū)域歸一化區(qū)域歸一化區(qū)域描述特征點(diǎn)描述特征點(diǎn)描述特征點(diǎn)匹配特征點(diǎn)圖多視角圖像配準(zhǔn)流程第一步：初始輸入的圖像，圖像，圖像，是多視角圖像。第二步：檢測特征點(diǎn)。該步驟是將一種改進(jìn)的仿射不變的特征點(diǎn)檢測方法應(yīng)用于多視角圖像的特征點(diǎn)提取上，

13、用這種檢測方法檢測出來的多視角圖像的特征點(diǎn)不僅具有良好的穩(wěn)定性，并且在后續(xù)的步驟中也可以使用它檢測出來的鄰域的局部不變區(qū)域來進(jìn)行特征描述。第三步：歸一化特征不變的區(qū)域陽引。根據(jù)第一步檢測出來的特征點(diǎn)以及它的特征不變區(qū)域，將該局部區(qū)域進(jìn)行歸一化，歸一化的目的是使多視角圖像配準(zhǔn)問題轉(zhuǎn)化為局部區(qū)域內(nèi)只發(fā)生旋轉(zhuǎn)與平移的圖像配準(zhǔn)問題。第四步：描述特征點(diǎn)。對于第二步中歸一化的區(qū)域，本文將一種改進(jìn)的描述東北師范大學(xué)碩士學(xué)位論文方法應(yīng)用于對該區(qū)域進(jìn)行特征描述上。該方法可以解決原有的特征描述方法中對噪聲敏感的問題。第五步：匹配特征點(diǎn)洶¨圳。分別介紹用歐氏距離與馬氏距離來進(jìn)行特征點(diǎn)相似度的計算，以達(dá)到特

14、征匹配的目的。第六步：刪除誤匹配的點(diǎn)。本文采用方法來刪除誤匹配點(diǎn)。第七步：計算變換矩陣。采用幾何變換矩陣對待配準(zhǔn)圖像進(jìn)行矩陣變換。最終，得到配準(zhǔn)圖像。根據(jù)以上流程，下面我來將詳細(xì)的介紹多視角圖像配準(zhǔn)的各個步驟：檢測特征本文采用的特征檢測的方法是基于特征點(diǎn)的檢測方法。特征點(diǎn)通常是選取圖像內(nèi)容中的特殊點(diǎn)，比如：角點(diǎn)、直線交叉點(diǎn)、型交匯點(diǎn)等。特征點(diǎn)選取的好壞決定了配準(zhǔn)的精度與效率。多視角圖像的特征檢測就是要檢測局部視角不變特征，需要確定視角不變的特征點(diǎn)的位置和局部區(qū)域。我最早是采用方法對多視角圖像進(jìn)行特征提取的，但由于方法對視角變化較大的圖像進(jìn)行匹配時得不到好的匹配效果，因此考慮選用方法對圖像進(jìn)行特

15、征提取。方法在進(jìn)行特征點(diǎn)提取后，如果想找到一種好的特征點(diǎn)描述方法也是一個很困難的事情。最終，本文對多視角圖像的特征點(diǎn)提取采用了一種具有仿射不變的特征點(diǎn)檢測方法口，這種方法在檢測特征點(diǎn)的同時可以將其鄰域具有仿射不變的區(qū)域檢測出來，這樣為后續(xù)的特征描述提供了一個很好的保障。在本節(jié)中，通過介紹方法，以及由它衍變出來的尺度不變的特征點(diǎn)檢測方法，進(jìn)而延伸到適用于多視角圖像的仿射不變的特征點(diǎn)檢測方法。一、特征檢測方法算子是和年提出的一種點(diǎn)特征提取算子，它通過微分運(yùn)算和自相關(guān)矩陣來檢測角點(diǎn)。該算子的原理：如果某一點(diǎn)在任意一個方向的小小偏移都會引起灰度的很大變化，這認(rèn)定該點(diǎn)為角點(diǎn)，即我們所要找的特征點(diǎn)。角點(diǎn)檢

16、測方法是基于自相關(guān)矩陣的，該矩陣通常被用作特征檢測和局部圖像的特征描述。該檢測方法的自相關(guān)矩陣被定義為：（）（）【），（）（）（）其中，（），（），（）分別為圖像上的點(diǎn)在方向與），方向的偏導(dǎo)數(shù)以及二階混合偏導(dǎo)數(shù)。方法中的算子刀為：（）（）東北師范大學(xué)碩士學(xué)位論文疆珥下囊圈州算法分別為視角為，。，的圍像進(jìn)行角點(diǎn)檢測二、基于仿射不變的特征檢測方法對多視角的圖像用上節(jié)的方法檢測特征點(diǎn)不具有很好的穩(wěn)定性，因此我們需要尋找可以檢測出抗視角變抉并且容易進(jìn)行后續(xù)的特征描述的方法。在這一節(jié)里我們利用尺度空間的思想以及仿射不變的原理對多視角圖像進(jìn)行特征點(diǎn)的檢測，以達(dá)到視角不變的目的。該方法在檢測特征不變點(diǎn)的同時

17、可以檢測出該點(diǎn)鄰域的特征不變區(qū)域。這種方法是基于尺度不變與仿射不變的特征點(diǎn)檢測方法。尺度不變特征點(diǎn)檢測的關(guān)鍵問題是確定每個特征點(diǎn)的特征尺度使得特征尺度鄰域內(nèi)包含的圖像內(nèi)容不會隨著圖像分辨率的變化而變化。尺度不變特征檢測方法是建立在尺度一空間思想的基礎(chǔ)上的，尺度一空間思想是：提出的在年利用尺度一空間理論建立了自動的尺度選擇方法“并研究了采用歸一化的和算子尋找圖像空間和尺度上的局部極大值點(diǎn)作為尺度不變特征點(diǎn)。在年提出了”“（）特征點(diǎn)檢測方法。檢測方法與檢測方法類似，其優(yōu)點(diǎn)是該方法的效率高。另一種具有尺度選擇性質(zhì)的檢測方法“”是提出的通過局部描述符的熵極值定義特征尺度。也在年提出了檢測方法”“，該檢

18、測方法是在守問尋找算子的局部最大值點(diǎn)。該楦鍘方法是且前尺度不變特征點(diǎn)檢測方法中性能最好的算法。仿射不變特征點(diǎn)檢測法是尺度不變特征點(diǎn)檢測法的延伸與推廣。仿射變換是指經(jīng)過變換后的第一幅圖像上的直線映射到第二幅圖像仍然為直線，并且保持平衡關(guān)系。仿射不變特征點(diǎn)是指圖像經(jīng)過仿射變換后對躅像進(jìn)行檢測時仍然可以找到與變換前圖像中的點(diǎn)相同的點(diǎn)。年，研究了二階矩矩陣的性質(zhì)，并用選代法估計局部區(qū)域的仿射變換”?！案倪M(jìn)了這一算法，它首先在多個尺度上用函數(shù)檢測出感興趣點(diǎn)，然后用選代法估計點(diǎn)鄰域內(nèi)的形狀。分別在年和年提出了兩種仿射不變特征檢測算法，第種算法是在角點(diǎn)周圍尋找邊緣的方式構(gòu)造仿射不變特征區(qū)域”“，該算法的缺點(diǎn)

19、是需要可靠的邊緣提取方去；第種算法是是由扶度局部極值開始發(fā)散地向各方向?qū)ふ乙粋€函數(shù)的局部極值點(diǎn)輪廓“，然后用一個橢圓東北師范大學(xué)碩士學(xué)立論文表示該輪廓。在年利用分水嶺算法提出一種最大穩(wěn)定極值區(qū)域算法（）¨引，通過用不同閾值分割找到最穩(wěn)定的區(qū)域。和分別將和熵極值兩種尺度不變特征點(diǎn)算法進(jìn)行改進(jìn)，提出了、方法協(xié)和基于熵極值的仿射不變特征檢測算法嘞。由于多視角圖像的特征點(diǎn)需要具備抗視角變換的特征，抗視角變換的特征要求圖像的特征點(diǎn)具有抗仿射變換的性質(zhì)。本文針對多視角圖像的特點(diǎn)，經(jīng)過對多種圖像特征檢測方法的研究，發(fā)現(xiàn)采用基于仿射不變的特征檢測方法來對多視角圖像進(jìn)行特征檢測可以得到較穩(wěn)定的視角不變

20、特征。（一）尺度空間表示：尺度空間可以由圖像與高斯核函數(shù)卷積構(gòu)成。證明了高斯核是實(shí)現(xiàn)尺度變換的唯一變換核瞄¨。璐引、晦等人通過不同的推導(dǎo)進(jìn)一步證明高斯核是唯一的線性核。二維高斯函數(shù)定義為：（，回赤電）（）其中，仃代表了高斯正態(tài)分布的方差。對于二維圖像（），在不同尺度下的尺度空間表示（，弘）可由圖像（，）與高斯核（，）的卷積得到：（，）（，弘）木（，）（）其中，（，）代表圖像的像素位置，為尺度空間因子，其值越小則表征該圖像被平滑的越少，相應(yīng)的尺度也就越小。大尺度對應(yīng)于圖像的概貌特征，小尺度對應(yīng)于圖像的細(xì)節(jié)特征。（二）基于尺度空間的特征點(diǎn)檢測檢測算法有很好的角點(diǎn)檢測性能，但是，它對于尺度

21、縮放問題不能得到很好的解決。這一節(jié)將采用特征點(diǎn)檢測方法對圖像中的點(diǎn)進(jìn)行檢測，該方法可以檢測出尺度不變的點(diǎn)。算子的尺度空間表示：為了獲取算子的尺度空間表示，首先計算圖像上某點(diǎn)在和方向上的偏導(dǎo)數(shù)，然后與標(biāo)準(zhǔn)偏差為的高斯核的微分進(jìn)行卷積：，）（）木甌（，）（）（，）（）木嘭（，）（）在尺度空間表示中算子中的矩陣被表示成：奎！皇墮壟奎蘭堡主蘭篁笙塞鵬咖，隴黔們咖嘗咖（，爿）的度空間表示算子用式子（）表示：其中，是積分尺度，是微分尺度，是在方向的導(dǎo)數(shù)，（聽）為高斯函數(shù)。（，）一（¨（，）的局部最大值決定了感興趣點(diǎn)的位置。尺度的自動選擇算子（）給定圖像中一點(diǎn)和一個尺度選擇操作，對一系列的計算尺度

22、選擇操作的響應(yīng)值。特征尺度對應(yīng)于這些響應(yīng)值的局部極值。以該點(diǎn)為中心的不同的局部結(jié)構(gòu)對應(yīng)于幾個不同的特征尺度，該特征尺度與以該點(diǎn)為中心的局部結(jié)構(gòu)有關(guān)，與圖像的分辨率無關(guān)。在本節(jié)中我們采用算子來選擇特征尺度，該算子可以選擇出更多的下確的特征尺度。算子定義為：（，）掰（，）（，）檢測（）檢測是用多尺度檢測方法來初步定位感興趣點(diǎn)。然后計算算子達(dá)到最大值時的尺度，該尺度即為特征尺度。該檢測方法分為兩個步驟：第一步，初始點(diǎn)的檢測。用函數(shù)建立尺度空間，并由參數(shù)，（這里是一個約束因子，此處可將其設(shè)置為）來計算矩陣肛，）；設(shè)，其中是成功層的比例因子（通常設(shè)置為）。在每一層中提取角點(diǎn)，提取方法是檢測一個點(diǎn)的鄰域的

23、局部最大值。在這些具有最大值的角點(diǎn)中，用一個域值來剔除一些在圖像條件變化時不穩(wěn)定的點(diǎn)，這樣便可以得到初始的感興趣點(diǎn)。第二步，特征尺度選取與點(diǎn)的重新定位。對于中檢測出的每一個初始感興趣點(diǎn)，我們用一個迭代的算法來同時檢測感興趣點(diǎn)的位置和尺度。這里，我們用算子的最大值來確定感興趣點(diǎn)的特征尺度。對于那些用算子進(jìn)行極大值計算后，得不到極大值的點(diǎn)和那些小于一個給定的域值的點(diǎn)，我們將其去掉。對第一步中檢測出來的一個初始點(diǎn)以及它的對應(yīng)積分尺度，這種算法迭代的過程為：）在第步中，對點(diǎn)（），計算算子的局部極值，若沒有局部極值，該點(diǎn)就被剔除掉。如果該點(diǎn)處有極值，則用與（）對應(yīng)的（）來限定下一步中所要用到的尺度妁，其

24、中，】。）在第步中，我們用一系列的尺度吼分別計算算子的最大值，并在這東北師范大學(xué)碩士學(xué)位論文些最大值的點(diǎn)中測量出與（）最近的點(diǎn)，將這個最近的點(diǎn)作為該步檢測出來的點(diǎn)（）。）如果（）（并且（）（），該算法停止。通過以上的算法可以檢測出具有尺度不變的特征點(diǎn)。（三）仿射不變的特征檢測檢測方法適用于尺度縮放的問題，但是不同視角的圖像不單單是存在尺度縮放的問題，用單純的方法進(jìn)行特征點(diǎn)檢測不適用于多視角圖像特征點(diǎn)提取的問題。由于多視角圖像間存在著仿射變換的問題，所以，我很自然的聯(lián)想到用基于仿射不變的特征檢測方法來檢測多視角圖像的特征點(diǎn)。在這里我采用特征檢測方法。首先我們檢測特征點(diǎn)的空間位置。然后用一個迭代的

25、算法，在檢測出特征點(diǎn)后，用自動選擇出來的積分和微分尺度來計算第二時刻矩陣，以獲得特征的形狀。檢測步驟為：第一，用函數(shù)的局部最大值來決定一特征點(diǎn)的空間位置。第二，通過歸一化的尺度的極值來選擇積分尺度。第三，用歸一化的各向同性的最大值來選擇微分尺度。第四，用自相關(guān)矩陣來估計適應(yīng)性形狀矩陣，并用該形狀矩陣來歸一化點(diǎn)的鄰域。下面對該算法進(jìn)行較詳細(xì)的介紹：適應(yīng)性形狀矩陣：以特征點(diǎn)為中心的局部窗口，在第迭代算法的第步，應(yīng)用變換矩陣：（¨一言）（工（）進(jìn)行變換得到新形狀矩陣，我們稱此操作為變換。積分尺度選擇：在原始圖像中檢測的特征尺度變換后的圖像的特征尺度略有不同，因此，在進(jìn)行變換后進(jìn)行特征尺度的

26、重新選取是有必要的。用一個類似于檢測的方法，對于一個給定的空間中的點(diǎn)，計算局部最大值，將它獲得局部最大值的那個點(diǎn)的尺度作為積分尺度叨。微分尺度選擇：用矩陣的最小特征值與最大特征值的比值來進(jìn)行微分尺度選擇，由于（）與（“）越接近，與我們最終要獲得的歸一化圖像越接近，這是因?yàn)榭梢杂煤诘淖畲笾祦磉x定微分尺度。該微分選取的范圍限定為，其中，【，。坐標(biāo)的重新定位：在經(jīng)過變換后，初始點(diǎn)的坐標(biāo)會有一定的位移，我們需要重新定位初始點(diǎn)的坐標(biāo)。重新定位后點(diǎn)的坐標(biāo)計算式為：（）（）（一）（）一（一）（）東北師范大學(xué)碩士學(xué)位論文描述特征特征點(diǎn)被提取出來之后，我們用特征描述子來描述特征點(diǎn)。描述方法是目前最常被用來描述特

27、征點(diǎn)的方法。本節(jié)首先介紹原始的描述方法，然后采用等人提出的一種改進(jìn)描述子的方法對特征點(diǎn)進(jìn)行描述。特征描述子的計算首先，利用特征點(diǎn)鄰域像素的梯度方向分布特性為每個特征點(diǎn)指定方向，圖像的各像素梯度的幅值和方向的計算公式為：（，）（，）（，）（）（，）嬲其中，（，）（，）一（一，）（）（，）（，）一（，一）（）式子（）與（）的這種圖像差分的形式是用來計算圖像在方向與方向上的導(dǎo)數(shù)。用直方圖統(tǒng)計鄰域像素的梯度方向，梯度直方圖的范圍是。，其中每。一個柱，總共個柱。梯度方向直方圖的峰值作為該特征點(diǎn)的主方向。若梯度方向直方圖中存在另一個相當(dāng)于主峰值能量的峰值時，則將這個方向作為該特征點(diǎn)的輔方向。一個特征點(diǎn)除了

28、有一個主方向外，還可能有多個輔方向，這可以增強(qiáng)特征點(diǎn)匹配的魯棒性。然后，生成特征向量。特征向量的生成分為兩個步驟：第一步是將特征點(diǎn)周圍局部區(qū)域順時針旋轉(zhuǎn)角度，角度是特征點(diǎn)的方向，也就是把坐標(biāo)軸旋轉(zhuǎn)為特征點(diǎn)的方向，如圖中的，這種旋轉(zhuǎn)的目的是確保其具有旋轉(zhuǎn)不變性。卜。，一“謄？蕊，“乏：？，址、氣、月，。、呻、夕一、蔓、，一卜、：善遘（）坐標(biāo)軸旋轉(zhuǎn)一鐘”惜群；”茹一。，“卜一一？：立。二氣一。一”，工一盔一一鼉長弩氣少一、乏。（）鄰像素的梯度與幅值圖特征向量的生成（）特征向量一東北師范大學(xué)碩士學(xué)位論文第二步是在旋轉(zhuǎn)后的矩形區(qū)域內(nèi)，將以特征點(diǎn)為中心取×的窗口（特征點(diǎn)所在的行和列不取，圖的（

29、）只顯示了×的窗口），中央的黑點(diǎn)作為當(dāng)前特征點(diǎn)的位置，每個小格代表特征點(diǎn)鄰域所在尺度空間的一個像素，箭頭方向代表該像素的梯度方向，箭頭長度代表幅值，這×的窗口被均勻地分成個×的子區(qū)域（圖中只顯示了個子區(qū)域），并在每個子區(qū)域上繪個方向（、）的梯度方向直方圖，并計算累加值，繪制每個梯度方向累加值得到個子區(qū)域數(shù)據(jù)。個子區(qū)域一共得到個數(shù)據(jù)，這的向量即形成一個維的特征向量。此時，特征向量已經(jīng)去除了尺度變化、旋轉(zhuǎn)等幾何變形因素的影響，如果將其進(jìn)行歸一化，則可以進(jìn)一步減少光照變化的影響。改進(jìn)的特征描述子計算基于的方法提出后，后續(xù)研究者對其進(jìn)行了改進(jìn)：瞄鉑將特征區(qū)域劃分為

30、5;個子區(qū)域，在每個子區(qū)域內(nèi)用梯度構(gòu)造特征量，并用主成分分析（）方法降低特征維數(shù)，該特征量稱為，與相比，在旋轉(zhuǎn)和縮放變換、噪聲干擾、照度變化情況下的特征匹配率以及運(yùn)算速度方面有較大提高。嘲利用一種更有效的數(shù)據(jù)組織方式來近似計算，雖然近似的在特征性能方面有所下降，但計算速度較提高了近倍。本文是采用等人提出的一種基于光滑導(dǎo)數(shù)濾波器（濾波器）的描述子改進(jìn)方法嘲。現(xiàn)有的描述子在特征描述部分采用的是像素差分的方法（像素差分的方法對圖像起到高通濾波的作用），這種方法的缺點(diǎn)是使得特征描述方法對噪聲敏感，不具備抗噪性，影響后續(xù)匹配的效果。因此，這里采用基于光滑導(dǎo)數(shù)濾波器（濾波器）的描述子的改進(jìn)的方法，主要是解

31、決原有的特征描述方法中對噪聲敏感的問題。該方法用濾波器來替代像素差分法計算圖像的導(dǎo)數(shù)：函數(shù)定義如下：姍即一二二一甄二（一警一學(xué)，）（下（）、它是由橢圓高斯函數(shù)和復(fù)平面（函數(shù)）波的乘積構(gòu)成的。其中，（，）表示像素的空間位置，是濾波器方向，九是波長，和是高斯開口。我們用奇濾波器來近似計算圖像的一階導(dǎo)數(shù)和，即水平方向和垂直方向。令，我們得到下面的函數(shù)：（一書喵嚅）（）”其中，時，計算：導(dǎo)時，計算。東北師范大學(xué)碩士學(xué)位論文下面來介紹本文對濾波器尺度因子大小選擇的方法：在水平和垂直方向上分別使函數(shù)獲得最大能量值的尺度因子中的較小者作為函數(shù)的最終的尺度因子，計算過程如下：甌。（奉，：（）（）呀（木，：孚（

32、）（，）（，），（）（）（，）（木，（）（，）（）（神（氣。三（）（舢算法的其他部分與原始的特征描述方法相同。匹配特征（）其中，（，）是特征點(diǎn)鄰域的一個點(diǎn)，是在點(diǎn)（，）處的濾波器的開口大小。該在進(jìn)行特征向量相似性度量時，通常采用各種距離函數(shù)作為特征的相似性度量標(biāo)準(zhǔn)，如歐氏距離、馬氏距離等。歐氏距離（）對于兩個維特征：（口，口，）與（，如，），它們之間的歐氏距離公式為：（）（口，）馬氏距離對于維特征向量與，它們之間的馬氏距離公式為：良，盧）匹配方法（）首先，我們獲得各個特征向量的距離；然后，將這些特征距離按照由小到大順序進(jìn)行排序；最后，我們將最近特征點(diǎn)間的距離與次近特征點(diǎn)間的距離的進(jìn)行比值，如果

33、該距離比值小于一個閾值，則該最近距離的特征點(diǎn)對被選中，作為后選匹配點(diǎn)對。閾值越小，獲得的后選匹配點(diǎn)對越少，但圖像配準(zhǔn)的結(jié)果越穩(wěn)定。東北師范大學(xué)碩士學(xué)位論文消除誤匹配點(diǎn)對在尋找相似性特征點(diǎn)中，不可避免的會產(chǎn)生一些誤匹配的特征點(diǎn)對，因此我們需要用一些限制條件和一些約束來消除錯誤匹配的特征點(diǎn)對。常用的去外點(diǎn)方法是隨機(jī)抽樣一致性算法，常用的幾何約束是極線約束關(guān)系。計算變換矩陣?yán)玫玫降钠ヅ潼c(diǎn)對，確定幾何變換矩陣，根據(jù)變換矩陣，將待配準(zhǔn)的圖像變換成所需要的形式。常用的幾何變換有：剛性變換（，如旋轉(zhuǎn)、平移，也稱為簡單變換）、仿射變換、投影變換等。根據(jù)匹配圖像的特點(diǎn)可以利用不同的變換模型來進(jìn)行變換矩陣的計算

34、，這里我們采用最通用的幾何變換矩陣來進(jìn)行計算。入匿】三三，三耋三蘭】【季】入陡：】釜主，釜薹主陣】（，。，），。，確定其中的參數(shù)，由此可以得到幾何變換矩陣。，其中，（，）是變換后的圖像的像素點(diǎn)位置，（，）為待配準(zhǔn)圖像的像素點(diǎn)位置。我們可以根據(jù)已經(jīng)檢測出來的匹配點(diǎn)來計算出式（）中的參數(shù)，由此，可以得到我們需要對待配準(zhǔn)圖像進(jìn)行變換的幾何變換矩陣。比如我們用匹配點(diǎn)對（，），（，），哆，？，（）如果，則該矩陣有個自由度，因此只需要對或者是對以上的匹配點(diǎn)，就可以根據(jù)得到的幾何變換矩陣可以將待配準(zhǔn)圖像進(jìn)行變換，得到一幅新的圖像。將新圖像與參考圖像的對應(yīng)點(diǎn)進(jìn)行配準(zhǔn)得到一幅配準(zhǔn)后的圖像，這樣我們便完成了多視角圖像東北師范大學(xué)碩士學(xué)位論文第三章實(shí)驗(yàn)與實(shí)驗(yàn)結(jié)果比較本文的實(shí)驗(yàn)都是在系統(tǒng)下，利用來實(shí)現(xiàn)舊的。本章的實(shí)驗(yàn)是分別采用方法和本文提出的方法對多視角圖像進(jìn)行匹配。用方法對多視角圖像進(jìn)行匹配圖像匹配方法特征匹配算法嘞刪是在年總結(jié)了現(xiàn)有的基于不變量技術(shù)的特征檢測方法的基礎(chǔ)上，提出的一種基于尺度空間的的方法，對圖像縮放、旋轉(zhuǎn)甚至仿射變換都保持不變性的特征匹配算法。在使用本文的方法之前我采用了方法對不同視角的圖像進(jìn)行了匹配實(shí)驗(yàn)。特征是圖像的局部特征，該特征對