基于單應(yīng)矩陣的圖像拼接算法

目錄摘要 錯(cuò)誤!未定義書(shū)簽。ABSTRACT 錯(cuò)誤!未定義書(shū)簽。1緒論 41.1研究目的與意義 41.2研究現(xiàn)狀 61.3研究?jī)?nèi)容 122算法描述及特征點(diǎn)匹配 122.1特征點(diǎn)提取描述 122.2特征點(diǎn)提取算子 142.2.1Moravec算子 142.2.2FAST算子 162.2.3SIFT算子 172.2.4Harris算子 242.3特征匹配 272.3.1基于灰度區(qū)域的匹配 272.3.2基于特征匹配 282.3.3匹配約束 292.4誤匹配點(diǎn)消除 302.4.1景象誤匹配分析 312.4.2RANSAC誤匹配消除 313基于單應(yīng)矩陣的圖像拼接算法 353.1單應(yīng)矩陣 353.2單應(yīng)矩陣求解 374基于特征點(diǎn)的圖像拼接技術(shù)研究 404.1圖像融合算法 404.2基于低層特征的拼接方法 404.3加權(quán)融合 415實(shí)驗(yàn)結(jié)果和分析 43參考文獻(xiàn) 1

摘要特征點(diǎn)特征匹配就是以影像上提取的具有某種局部特殊性質(zhì)的點(diǎn)(稱(chēng)為特征點(diǎn))不變矩及角度等特征參數(shù)。相似性測(cè)度可以采用歸一化相關(guān)系數(shù)(如以特征點(diǎn)周?chē)幕叶戎底鳛槠ヅ鋵?shí)體的情形)，也可以采用經(jīng)過(guò)設(shè)計(jì)的度量函數(shù),然后再結(jié)合其他各種約束性條件。匹配特征點(diǎn)是特征匹配方法中較簡(jiǎn)單并且有效的匹配方法，在數(shù)字?jǐn)z影測(cè)量(如相對(duì)定向、DEM生成等)、計(jì)算機(jī)視覺(jué)(如3維場(chǎng)景恢復(fù)、運(yùn)動(dòng)目標(biāo)檢測(cè)等)許多領(lǐng)域都是一個(gè)非常重要的基本過(guò)程。根據(jù)不同的算子我們發(fā)現(xiàn)Moravec功能性太差對(duì)邊緣點(diǎn)反應(yīng)太過(guò)強(qiáng)烈，導(dǎo)致誤差很大，F(xiàn)AST算子雖然操作簡(jiǎn)單方便快捷，但特征點(diǎn)選取會(huì)比較集中沒(méi)有全局性，但是經(jīng)管如此因?yàn)閳D像局部可能存在的相似性，會(huì)有一對(duì)多甚至多對(duì)一的現(xiàn)象產(chǎn)生，這時(shí)我們引入RANSAC剔除這些誤匹配點(diǎn)可以得到更精確的同名點(diǎn)這樣我們?cè)?D中得到了高精度的點(diǎn)再使用單應(yīng)矩陣來(lái)得到3D下的高精度圖像，最后使用圖像融合技術(shù)，有針對(duì)性的得到滿意的實(shí)驗(yàn)數(shù)據(jù)。關(guān)鍵詞：特征點(diǎn)，圖像拼接，Moravec，F(xiàn)AST，圖像配準(zhǔn)AbstractFeaturepointfeaturematchingistouseapoint(calledfeaturepoint)withcertainlocalspecialpropertiesextractedfromtheimageastheconjugateentity,andtheattributeparameterofthefeaturepoint,thatis,thefeaturedescription,isusedasthematchingentity,andtheconjugateiscalculatedbycalculatingthesimilaritymeasure.Imagematchingmethodforentityregistration.Suchfeaturepointsmaybecornerpoints.Intersectionpoints,edgepointsaresometimesalsoreferredtoasedgepixelsandpointsextractedbyotherinterestoperators.Theattributeparameterordescriptionfeatureofthefeaturepointmaybethegrayvalueanddistributionoftheimagearoundthefeaturepoint,ormaybeacharacteristicparametersuchasarelationshipwiththesurroundingfeaturepoint,aconstantmomentandanangle.Thesimilaritymeasurecanuseanormalizedcorrelationcoefficient(suchasthecasewherethegrayvaluearoundthefeaturepointisusedasthematchingentity),oradesignedmetricfunction,andthencombinevariousotherconstraintconditions.MatchingfeaturepointsaresimplerandmoreeffectivematchingmethodsinfeaturematchingmethodsTheyareaveryimportantbasicprocessinmanyfieldssuchasdigitalphotogrammetry(suchasrelativeorientation,DEMgeneration,etc.)andcomputervision(suchas3dscenerestoration,movingtargetdetection,etc.).AccordingtodifferentoperatorwefoundpoorMoravecfunctionalresponsetoedgepointsistoostrong,causeerrorislarge,FASToperatoralthoughtheoperationissimpleandconvenientandquick,butthereisnooverallfeatureclickgetmoreconcentrated,butmanagementsuchaslocalpossiblesimilarity,therewillbeamuchmoreevenonaphenomenon,thenweintroducetheRANSACeliminatethesefalsematchingpointscangetamoreaccuratenamesothatweinthe2dprecisionpointsusingthehomographicmatrixtogethighprecisionunderthe3dimage,finallyusefigurelikefusiontechnology,Satisfactoryexperimentaldatawereobtained.Keywords:featurepoints,imageMosaic,Moravec,FAST,imageregistration1緒論1.1研究目的與意義目標(biāo)：通過(guò)計(jì)算機(jī)平臺(tái)從圖像中去除噪聲，增強(qiáng)，恢復(fù)，分割和特征提取的過(guò)程稱(chēng)為數(shù)字圖像處理。航空航天，生物醫(yī)學(xué)工程，通信工程，工業(yè)，工程，軍事安全，視頻及多媒體系統(tǒng)，機(jī)器人等重要性：隨著科學(xué)技術(shù)，圖像匹配和圖像拼接技術(shù)的發(fā)展定位為圖像信息處理。一個(gè)非常重要的手段。圖像匹配是獲得具有相同場(chǎng)景的兩個(gè)或更多個(gè)圖像的相同特征并確定它們之間的關(guān)系的過(guò)程。這些圖像可以在不同的時(shí)區(qū)，不同的傳感器和不同的視圖拍攝。隨著科學(xué)技術(shù)的進(jìn)步，圖像匹配在醫(yī)學(xué)圖像判斷，遙感數(shù)據(jù)分析，模式識(shí)別和計(jì)算機(jī)視覺(jué)等諸多方面具有重要的應(yīng)用價(jià)值。圖像處理不是一步就能完成的過(guò)程?？蓪⑺殖芍T多步驟，必須一個(gè)接一個(gè)地執(zhí)行這些步驟，直到從被觀察的景物中提取出有用的數(shù)據(jù)。依據(jù)這種方法，一個(gè)層次化的處理方案如圖12-1所示，該圖給出了圖像處理不同階段的概觀。圖像處理首先是以適當(dāng)?shù)牡灰欢ㄊ枪鈱W(xué)的采集系統(tǒng)對(duì)圖像進(jìn)行采集。在技術(shù)或科學(xué)應(yīng)用中，可以選擇一個(gè)適當(dāng)?shù)某上裣到y(tǒng)。此外，可以建立照明系統(tǒng)，選擇最佳波長(zhǎng)范圍，以及選擇其他方案以便用最好的方法在圖像中獲取有用的對(duì)象特征。一旦圖像被檢測(cè)到，必須將其變成數(shù)字計(jì)算機(jī)可處理的形式，這個(gè)過(guò)程稱(chēng)之為數(shù)字化。特征點(diǎn)特征匹配就是以影像上提取的具有某種局部特殊性質(zhì)的點(diǎn)(稱(chēng)為特征點(diǎn))作不變矩及角度等特征參數(shù)。特征提取是圖像處理中一重要操作，就是圖像的一個(gè)操作處理。如果他是屬于較大算法一部分，那么食欲這個(gè)法通檢查圖像的區(qū)域。成為特征提前提操作輸入圖像通常由高斯模糊內(nèi)核在比例空間中平滑然后，經(jīng)過(guò)少部導(dǎo)數(shù)運(yùn)算計(jì)算圖像的一個(gè)或多特征點(diǎn)邊緣。一般來(lái)說(shuō)，邊的形狀可以是任意的，也可以包括交相似性測(cè)度可以采用歸一化相關(guān)系數(shù)(如以特征點(diǎn)周?chē)幕叶戎底鳛槠ヅ鋵?shí)體的情形)，也可以采用經(jīng)過(guò)設(shè)計(jì)的度量函數(shù),然后再結(jié)合其他各種約束性條件。匹配特征點(diǎn)是特征匹配方法中較簡(jiǎn)單并且有效的匹配方法，在數(shù)字?jǐn)z影測(cè)量(如相對(duì)定向、DEM生成等)、計(jì)算機(jī)視覺(jué)(如3維場(chǎng)景恢復(fù)、運(yùn)動(dòng)目標(biāo)檢測(cè)等)許多領(lǐng)域都是一個(gè)非常重要的基本過(guò)程。全景攝像機(jī)的價(jià)格相對(duì)較高且不易使用，無(wú)法進(jìn)行推廣，滿足不了普通用戶(hù)的要求。全景相機(jī)或者魚(yú)眼透鏡都是在有限的成像平面上獲取更豐富的信息(如圖1.1(b))，點(diǎn)都是圓形的斑狀，它們能夠通過(guò)閾值的調(diào)整在一定范圍內(nèi)避免該問(wèn)題對(duì)于特征點(diǎn)目前尚無(wú)明確的定義。在有些文獻(xiàn)中又被稱(chēng)為興趣點(diǎn)、顯著點(diǎn)、關(guān)鍵點(diǎn)等等。雖然通過(guò)該方式獲取的圖像能夠提供較好場(chǎng)景的全局影像，但是許多景物缺少細(xì)節(jié)處的紋理信息使得可視化應(yīng)用不適合該技術(shù)。(a)反射折射鏡(b)魚(yú)眼鏡頭當(dāng)前大量的圖像采集設(shè)備捕獲每幅圖像的視野場(chǎng)景的范圍是有限的，圖像拼接的過(guò)程是在某些應(yīng)用場(chǎng)合把多幅有重復(fù)區(qū)域的圖塊拼接成一幅較為完整的圖像，(如圖1.2)，圖像拼接技術(shù)是通過(guò)多幅圖像快速地拼接成一幅具有一定高分辨率、清晰的圖像，由于輸入的原始圖像受光照條件的變化或者相機(jī)拍攝時(shí)的自動(dòng)曝光等外在因素的影響造成拼接圖像時(shí)常會(huì)出現(xiàn)縫隙，通常出現(xiàn)的這一類(lèi)現(xiàn)象可以借助一系列圖像處理手段得到減弱或者消除。圖1.2拼接合成的全景圖像通常，圖像拼接技術(shù)可以通過(guò)機(jī)器人雙筒望遠(yuǎn)鏡收集的信息來(lái)縫合，這不僅增加了捕獲的可見(jiàn)性，而且還便于視覺(jué)導(dǎo)航系統(tǒng)。在虛擬現(xiàn)實(shí)研究，研究人員可以利用技術(shù)來(lái)增加圖像拼接的圖像或全景圖像更寬視角施加到虛擬場(chǎng)景播放死路[3,4,5,6]在醫(yī)學(xué)圖像處理領(lǐng)域[7，8,9,10]，因?yàn)獒t(yī)學(xué)顯微鏡的視覺(jué)范圍由醫(yī)生引起的微型醫(yī)療設(shè)備或超聲波無(wú)法通過(guò)獲得的圖像信息的準(zhǔn)確性來(lái)確定，咨詢(xún)[11]的主要功能鏈接是具有類(lèi)似功能的鏈接。另外，通過(guò)本領(lǐng)域的遙感信息在使用接合技術(shù)加入圖像匹配技術(shù)來(lái)比較兩個(gè)或更多個(gè)圖像，并具有廣泛的應(yīng)用[12，13]其特征在于，它可以在相同的區(qū)域進(jìn)行分析，數(shù)據(jù)的基礎(chǔ)上作為研究和基礎(chǔ)設(shè)施。軍事防御等領(lǐng)域。[14]晚成像技術(shù)被限制，并成功地在可以做或不黑暗中或紅外成像裝置中使用的由微弱發(fā)光，你不能把寬的視場(chǎng)的照片拍攝的圖像拼接為照相機(jī)設(shè)備的結(jié)果技術(shù)允許觀察者觀察周?chē)鷪?chǎng)景中的每個(gè)場(chǎng)景，進(jìn)一步增強(qiáng)紅外警報(bào)的作用。1.2研究現(xiàn)狀通常人們所熟知的圖像配準(zhǔn)技術(shù)是圖像融合的基礎(chǔ)，在召開(kāi)的IFIP會(huì)議上，計(jì)算機(jī)圖形學(xué)創(chuàng)始人并有虛擬現(xiàn)實(shí)先鋒人稱(chēng)號(hào)的IvanSutherland[15,16]發(fā)表了題為“TheUelimateDisplay”的學(xué)術(shù)報(bào)告，開(kāi)創(chuàng)性的提出了一項(xiàng)富有現(xiàn)實(shí)意義以及挑戰(zhàn)性的有關(guān)計(jì)算機(jī)圖形研究的課題。報(bào)告內(nèi)容指出今后人們可以?xún)H僅通過(guò)一個(gè)顯示屏來(lái)觀察虛擬世界，把它當(dāng)作一個(gè)窗口讓觀察者仿佛身處其中的真實(shí)感。圖像融合在現(xiàn)實(shí)世界中有著廣泛的應(yīng)用，現(xiàn)有的圖像融合算法通常在特征級(jí)，像素級(jí)和決策級(jí)進(jìn)行。在圖像拼接中，由于存在著拼接縫，和亮度不均衡的問(wèn)題，我們需要采用一種平滑過(guò)渡的方式，將拼接處的斷裂，亮度不均的問(wèn)題解決，常常采用像素級(jí)別進(jìn)行融合，像素級(jí)別融合圖像的RGB信息經(jīng)過(guò)某種方式平滑過(guò)渡，得到更好的視覺(jué)效果。我們都知道的一些所謂的拼接方法，例如邊界，邊緣，顏色等，通常描述全文的大規(guī)模存儲(chǔ)分布，并且由于該區(qū)域的充分表示而值得測(cè)量。有幾種方法可以測(cè)量，但有幾種方法可以拼接Harris邊緣和快速特征。用RANSAC算法得到高精度同名點(diǎn)，并以高精度同名點(diǎn)作為計(jì)算單應(yīng)矩陣H的依據(jù)，我們可以直接利用單應(yīng)矩陣，以左影像為參考影像，右影像為拼接影像直接進(jìn)行圖像的拼接。多尺度算法就是其中之一突出的問(wèn)題是當(dāng)圖像的局部特征位于一定的尺度空間時(shí)，會(huì)在這些尺度空間中檢測(cè)到特征點(diǎn)，即在尺度和位置上使用多個(gè)特征表示相同的局部特征[在立體視覺(jué)領(lǐng)域，同時(shí)解決了一對(duì)攝像機(jī)的匹配點(diǎn)問(wèn)題和基矩陣的計(jì)算。＃nbsp;二，刪除不一致的應(yīng)用程序RANSAC＃nbsp;在特征點(diǎn)配對(duì)中，模型是從一個(gè)平面中的特征點(diǎn)到另一個(gè)平面中的特征點(diǎn)的投影關(guān)系。反應(yīng)是投影矩陣H.H是包含八個(gè)自由度的3×3矩陣，可以從至少四個(gè)對(duì)的匹配點(diǎn)在兩個(gè)平面中計(jì)算的，但在同一平面上的三個(gè)點(diǎn)應(yīng)該不共面。直接拼接即通過(guò)設(shè)定一個(gè)參考影像，計(jì)算參考影像與拼接影像之間的單應(yīng)矩陣，然后通過(guò)拼接影像的R，G，B三通道的值，與單應(yīng)矩陣進(jìn)行拼接，由于在拼接過(guò)程中，像素在圖像中不可再分，所以與單應(yīng)矩陣的乘積往往會(huì)有小數(shù)，這是我們采用取整的方法得到轉(zhuǎn)換后的影像，得到拼接影像。Harris邊緣特征的使用速度很快，但它具有節(jié)省大量時(shí)間的優(yōu)點(diǎn)。您需要犧牲所選圖像的隨機(jī)性來(lái)輕松選擇堆疊在一起的點(diǎn)集?，F(xiàn)在可以通過(guò)降低算法的計(jì)算復(fù)雜度來(lái)解決該問(wèn)題?，F(xiàn)象在Harris空間聚類(lèi)算法之后增加了亮度加權(quán)算法。與其他低級(jí)特征相比，快速特征提取方法是最快的提取速度，并且通常用于實(shí)時(shí)圖像處理應(yīng)用。圖像融合在現(xiàn)實(shí)世界中有著廣泛的應(yīng)用，現(xiàn)有的圖像融合算法通常在特征級(jí)，像素級(jí)和決策級(jí)進(jìn)行。在圖像拼接中，由于存在著拼接縫，和亮度不均衡的問(wèn)題，我們需要采用一種平滑過(guò)渡的方式，將拼接處的斷裂，亮度不均的問(wèn)題解決，常常采用像素級(jí)別進(jìn)行融合，像素級(jí)別融合圖像的RGB信息經(jīng)過(guò)某種方式平滑過(guò)渡，得到更好的視覺(jué)效果，此種方法僅僅作用于了圖像的方向，并可以在方向上作平滑處理，未對(duì)方向進(jìn)行處理，這是由于在一般的圖像拼接中僅需要對(duì)方向進(jìn)行相應(yīng)的平滑處理。由于該方法原理簡(jiǎn)單，效果較好所以常常用作于圖像拼接的后期處理的圖像融合當(dāng)中，本文同樣采用該方法在完成圖像直接拼接后的圖像融合處理當(dāng)中。相位相關(guān)的原理主要由傅里葉變換產(chǎn)生，并且可以應(yīng)用于交叉功率譜的頻域中的圖像轉(zhuǎn)換峰值，因?yàn)楦盗⑷~通過(guò)原始圖像處理轉(zhuǎn)換到頻域。1987年，提出了一種相關(guān)方法，擴(kuò)展相位相關(guān)方法可以實(shí)現(xiàn)圖像旋轉(zhuǎn)和變換變換的圖像配準(zhǔn)。然后，基于快速傅立葉變換，可以用來(lái)解決縮放，平移，旋轉(zhuǎn)，ReadyChatterji等因此正確的圖像變換注冊(cè)。伯特P.J.1984年，首次提出了一種基于拉普拉斯金字塔變換的圖像融合算法。圖像處理算法集成的主要思想是對(duì)圖像拉普拉斯金字塔進(jìn)行變換。左片上以目標(biāo)為中心的目標(biāo)區(qū),右片相應(yīng)位置上取擴(kuò)大1倍(或更大)的搜索區(qū),在搜索區(qū)中按先行后列順序計(jì)算兩個(gè)區(qū)域中各相應(yīng)位置之間的相關(guān)系數(shù),其中最大值所對(duì)應(yīng)的位置即為同名目標(biāo),稱(chēng)為二維的影像匹配法;如果先將右片影像按核線進(jìn)行重采樣,就可以作沿著核線的一維的影像匹配。后一種方法可大量縮減運(yùn)算工作量。一些所謂的拼接方法，如邊框、邊緣、顏色等，通常描述了全文的一個(gè)大的存儲(chǔ)分布，由于該區(qū)域有足夠的表示，因此值得測(cè)量。有幾種方法可以測(cè)量，但也有幾種方法可以拼接Harris邊緣和快速特性。Harrisedge功能使用起來(lái)很快，但它的優(yōu)點(diǎn)是節(jié)省了很多時(shí)間。您需要犧牲所選圖像的隨機(jī)性，以便輕松地選擇堆疊的點(diǎn)集?，F(xiàn)在可以通過(guò)降低算法的計(jì)算復(fù)雜度來(lái)解決這個(gè)問(wèn)題。在Harris空間聚類(lèi)算法的基礎(chǔ)上，加入亮度加權(quán)算法。與其他底層特征相比，快速特征提取速度最快，通常用于實(shí)時(shí)圖像處理應(yīng)用。圖像融合在現(xiàn)實(shí)世界中得到了廣泛的應(yīng)用?，F(xiàn)有的圖像融合算法通常在特征層、像素層和決策層進(jìn)行。在圖像匹配,因?yàn)橛衅纯p,和亮度的不平衡問(wèn)題,我們需要采取的平穩(wěn)過(guò)渡,骨折將拼接,亮度不均勻的問(wèn)題解決方案,經(jīng)常與像素級(jí)融合,平穩(wěn)過(guò)渡的圖像像素級(jí)融合,RGB信息通過(guò)某種方式得到一個(gè)更好的視覺(jué)效果,這種方法只適用于圖像的方向,方向和可以平滑處理,不處理方向,這是因?yàn)樵谝话愕膱D像拼接中只需要相應(yīng)的平滑處理方向。該方法原理簡(jiǎn)單，效果良好，常用于圖像融合的圖像拼接后處理。該方法也適用于直接拼接后的圖像融合處理?；诨叶扔跋衿ヅ淇蛇_(dá)到很高的精度,但它沒(méi)有充分利用影像所包含的全部信息,對(duì)初始值要求高,且需解決質(zhì)量控制和成果自動(dòng)診斷等問(wèn)題。該方法是為了取得良好的效果，美國(guó)將其劃分為不同尺度的圖像。因此，基于拉普拉斯金字塔圖像融合算法，其可以修改原始圖像采集的多尺度性質(zhì)，處理在最終效果融合中起重要作用，1988年，哈里斯提出了一種Harris探測(cè)器，并使用了探測(cè)點(diǎn)?？梢詫?shí)現(xiàn)算法的子像素精度以提取將抵抗諸如沖擊噪聲，光和更好韌性的圖像條件的圖像。#nbsp，被稱(chēng)為全景圖像拼接技術(shù)的創(chuàng)始人RichardSzelisky[17]?；?996年教授Hosting模型的全景圖像拼接運(yùn)動(dòng)而設(shè)計(jì)。它們主要用于從圖像的低水平(像素)信息中檢測(cè)和提取高水平信息。這些算法計(jì)算量大，其純軟件實(shí)現(xiàn)遠(yuǎn)遠(yuǎn)不能達(dá)到實(shí)時(shí)性能，特別是在計(jì)算能力有限的嵌入式系統(tǒng)13上。本文提出了一種適用于實(shí)時(shí)圖像處理的SIFT算法的專(zhuān)用集成電路(ASIC)實(shí)現(xiàn)。在高斯尺度空間生成步驟中，除了常用的子表達(dá)式消去算法外，還采用了多種技術(shù)來(lái)大幅度降低硬件復(fù)雜度:無(wú)多倍性的多重常數(shù)乘法、高斯掩模的對(duì)稱(chēng)性。通過(guò)對(duì)SIFT128個(gè)值的重新排列，實(shí)現(xiàn)了一種新的多端口存儲(chǔ)器，減小了內(nèi)存大小。在此基礎(chǔ)上，提出了一種新穎的動(dòng)態(tài)窗口連續(xù)監(jiān)測(cè)機(jī)制。模型使用LM算法[18]在縫合過(guò)程中使用的模型具有與實(shí)際場(chǎng)景中沒(méi)有連接，其結(jié)果是精確到像素你可以。全景結(jié)果圖像是全景圖像馬賽克領(lǐng)域的經(jīng)典算法，具有高圖像質(zhì)量，快速收斂速度和通用性。2000年，ShmuelPeleg、BennyRousso、AlexRav.Acha和AssafZomet相繼提出了一種能夠根據(jù)相機(jī)拍攝的不同運(yùn)動(dòng)軌跡來(lái)選擇具體模型的圖像拼接算法。該算法是在運(yùn)動(dòng)的全景圖拼接模型的基礎(chǔ)上提出運(yùn)行的。匹茲堡大學(xué)的SerketGumustekin博士[19,20]針對(duì)全景圖拼接時(shí)相機(jī)的旋轉(zhuǎn)形成的圖像透視變形等問(wèn)題，做了大量的研究。實(shí)驗(yàn)證明完成的圖像拼接的效果好，該類(lèi)方法的可靠性高。#nbsp，2003，一個(gè)基于RichardSuzelski的全景圖像鑲嵌模型的融合算法ShmuleBeleck[21,22,23]，BennyRousso提出的自適應(yīng)全景圖像。2004年，ShmulePeleg，BennyRousso和AlexRav完成了圖像拼接過(guò)程，將圖像分割為多個(gè)投影的窄片。M.Brown和D.G.全景行文檔[24]，提出的基于尺度不變特征（SIFT）識(shí)別算法的圖像拼接技術(shù)采用多分辨率圖像合成自動(dòng)分配并獲得更滿意的結(jié)果。SIFT算法在1999年創(chuàng)建基于DGlowe提出的第一個(gè)缺點(diǎn)和2004年的完美總結(jié)，實(shí)驗(yàn)證明了SIFT2005年描述大腸桿菌的臉頰和施密特性能的優(yōu)越性，當(dāng)前流行的馬賽克區(qū)域最形象算法。在立體視覺(jué)領(lǐng)域，同時(shí)解決了一對(duì)攝像機(jī)的匹配點(diǎn)問(wèn)題和基矩陣的計(jì)算。＃nbsp;二，刪除不一致的應(yīng)用程序RANSAC＃nbsp;在特征點(diǎn)配對(duì)中，模型是從一個(gè)平面中的特征點(diǎn)到另一個(gè)平面中的特征點(diǎn)的投影關(guān)系。反應(yīng)是投影矩陣H.H是包含八個(gè)自由度的3×3矩陣，可以從至少四個(gè)對(duì)的匹配點(diǎn)在兩個(gè)平面中計(jì)算的，但在同一平面上的三個(gè)點(diǎn)應(yīng)該不共面。2006年10月，以不同的方式理查德的果凍滑雪呈現(xiàn)，圖像預(yù)處理圖像配準(zhǔn)的新理論登記圖像之前提升形象，一個(gè)點(diǎn)的特征點(diǎn)，然后清晰明確地從游戲圖像的精度不同改進(jìn)[25]。一種使用概率模型完成對(duì)齊圖像拼接以獲得正確順序的噪聲檢測(cè)圖像以實(shí)現(xiàn)自適應(yīng)圖像之間的自動(dòng)拼接的方法，并提出了一條新的發(fā)展路徑和方向[27]。能譜技術(shù)這種方法是用于去除基于重影圖像拼接技術(shù)的能量值，并且通過(guò)比較實(shí)驗(yàn)結(jié)果計(jì)算出的斜率值的好方法很大程度上表明，有可能消除關(guān)注人眼針跡的圖像的特征之后的圖像之間的幽靈[28]。#nbsp，這是圖像特征點(diǎn)的基礎(chǔ)上，提取的現(xiàn)有規(guī)范哈里斯具有拉普拉斯算子的基礎(chǔ)上具有決定性的影響的完整圖像拼接技術(shù)馬賽克效果的特征點(diǎn)，一個(gè)重大的改進(jìn)，發(fā)現(xiàn)存在缺陷哈里斯-拉普拉斯算子，該算法創(chuàng)新旨在有效減少圖像復(fù)制的特征點(diǎn)。并且局部局部特征提取是不變的，因此局部實(shí)際處理僅在一個(gè)尺度空間中發(fā)生，但是在一定范圍的尺度內(nèi)。提出了一種尺度不變性方法。LOG運(yùn)營(yíng)商和使用尺度空間標(biāo)準(zhǔn)化的局部特征操作器本體提取最好考慮來(lái)代替?zhèn)鹘y(tǒng)的標(biāo)度空間LOG運(yùn)營(yíng)商一般使用操作子DOG提取過(guò)程設(shè)置，一個(gè)確定的權(quán)重的空間的操作者通常高斯圖像用于獲得差異并形成差異尺度空間。本身被施加到操作者，采取嚴(yán)格測(cè)量具有穩(wěn)定性好，計(jì)算機(jī)視覺(jué)中，每個(gè)現(xiàn)有技術(shù)的，哈里斯-拉普拉斯聯(lián)合多尺度特征被呈現(xiàn)使用基點(diǎn)在拉普拉斯檢測(cè)算法拉普拉斯函數(shù)極值大腸桿菌臉頰和Hessian矩陣的特性確定點(diǎn)的比例轉(zhuǎn)換。陶貓貪加權(quán)平均哈里斯提出[29]基于拉普拉斯算子具有計(jì)算速度提高的缺點(diǎn)，但進(jìn)一步減少檢測(cè)到的特征點(diǎn)的重復(fù)率。然后，由于子波，角邊緣檢測(cè)尺然而哈里斯是，使用復(fù)雜的計(jì)算過(guò)程，因?yàn)樾〔ㄒ垣@得多尺度變換和可靠性的多尺度Harris角點(diǎn)[31]為了解決上述改進(jìn)的重新轉(zhuǎn)換的算法有一個(gè)不便之處。多尺度算法面臨的瓶頸是在類(lèi)的尺度空間中檢測(cè)特定尺度范圍內(nèi)的局部特征的特征點(diǎn)，從而產(chǎn)生具有不同尺度和位置的多個(gè)特征點(diǎn)。表達(dá)相同的局部特征[32]對(duì)后續(xù)特征點(diǎn)匹配有顯著影響。Harris-Laplace算子代表了這個(gè)問(wèn)題，Hessian-Laplace算法在一定范圍內(nèi)調(diào)整。防止此問(wèn)題的閾值。像對(duì)中兩幅影像間的相對(duì)方位已知，那么對(duì)其中一幅影像上重疊范圍內(nèi)的某一點(diǎn)，其在另一張影像上的相應(yīng)核線就可以計(jì)算出來(lái)，而且該點(diǎn)的同名像點(diǎn)(共軛點(diǎn))如果存在，也必定位于該條相應(yīng)核線上。這樣影像匹配問(wèn)題就從一個(gè)2維問(wèn)題轉(zhuǎn)化為1維問(wèn)題。這種從2維到1維的約束條件稱(chēng)為核線幾何約束(epipolargeometryconstraint)。這一約束不僅縮小了搜索空間，簡(jiǎn)化了匹配算法，提高了匹配速度,而且還可以增加可靠性。影像匹配研究和生產(chǎn)中都采用了這一限制條件，幾乎所有的商業(yè)化數(shù)字?jǐn)z影測(cè)量軟件系統(tǒng)及數(shù)字?jǐn)z影測(cè)量工作站都具有核線幾何糾正和核線影像生成的功能模塊。圖像配準(zhǔn)技術(shù)是其中的重要組成部分計(jì)算機(jī)視覺(jué)的應(yīng)用程序。圖像配準(zhǔn)的目的是為了找到圖像之間可靠的對(duì)應(yīng)關(guān)系嗎同一場(chǎng)景(圖像在不同位置獲取)時(shí)間，不同的視角或不同的傳感器)。的圖像配準(zhǔn)的應(yīng)用主要包括圖像配準(zhǔn)拼接，遠(yuǎn)程圖像配準(zhǔn)，紅外圖像配準(zhǔn)，醫(yī)學(xué)圖像配準(zhǔn)，三維重建，等。圖像配準(zhǔn)主要存在三種變體:配準(zhǔn)基于圖像特征，配準(zhǔn)基于灰度相關(guān)和基于變換域的配準(zhǔn)?；谔卣鞯膱D像配準(zhǔn)是最早的研究表明，的適應(yīng)性最廣。研究人員為此做出了不懈的努力。Featurebased圖像配準(zhǔn)算法，如Moravec,Harris，SUSAN和SIFT被提議。SIFT已經(jīng)被被證明是當(dāng)?shù)刈钣需b別力的不變特征描述符。但是它的描述符是a168?128維向量和主要設(shè)計(jì)為灰度圖像。要克服這個(gè)缺點(diǎn)，就得廣下功夫已經(jīng)提出了各種各樣的檢測(cè)器和描述符在文獻(xiàn)中。ca-sift減小了描述符向量從128到36，但是它被證明是更小的與眾不同。GLOH被證明是更加獨(dú)特的具有相同的維數(shù)，但它是計(jì)算的更加昂貴。SURF是在基于SIFTbyBay等人在2006年的研究。與篩選相比,SURF算法的運(yùn)算速度得到了顯著提高由于較低的維度空間而得到了巧妙的改進(jìn)向量(只有64維)。雖然它保持良好結(jié)果，它也沒(méi)有整合顏色信息。色彩信息在服裝設(shè)計(jì)中起著至關(guān)重要的作用世界，及其重要組成部分的區(qū)別對(duì)象之間。許多物體如果它們的顏色內(nèi)容被忽略。CSIFT使用顏色信息基于顏色不變性模型。圖像配準(zhǔn)是許多方法的一個(gè)基本方面計(jì)算機(jī)視覺(jué)的問(wèn)題。的主要步驟之一圖像配準(zhǔn)是檢測(cè)和描述圖像的特征圖像。我們將特征提取算法分為兩類(lèi):形狀描述符和關(guān)鍵點(diǎn)描述符。在下面我們將簡(jiǎn)要回顧一下相關(guān)算法。然后對(duì)其不足之處進(jìn)行了揭示，以澄清其不足之處我們算法的必要條件。鍵值描述符的代表性方法是Scale不變特征變換(SIFT)、仿射SIFT等。這些方法首先檢測(cè)關(guān)鍵點(diǎn)(例如角點(diǎn))和然后用一些直方圖(例如梯度)來(lái)描述它們柱狀圖)。眾所周知的形狀表示算法包括主動(dòng)形狀模型(ASM)，相鄰等高線段(ka、蛇等?；谥鞒煞址治?PCA)，ASM是特定于類(lèi)的，因?yàn)樗哪Ｐ褪菑念?lèi)中學(xué)到的特定的類(lèi)別(例如面部)。蛇由適當(dāng)?shù)男螤钛苌鴣?lái)的能量。ka是最先進(jìn)的形狀描述方法大約由幾個(gè)相互聯(lián)系的小組組成直線輪廓段。但上述方法是獨(dú)立的利用形狀信息或關(guān)鍵點(diǎn)信息。它是認(rèn)為這兩種信息的結(jié)合是有助于提高性能。我們的實(shí)驗(yàn)結(jié)果表明，所提取的關(guān)鍵字(如關(guān)鍵字在SIFT中)是局部的，可能處于不穩(wěn)定和無(wú)語(yǔ)義狀態(tài)的位置。盡管形狀描述符(例如ka)更高語(yǔ)義層次比關(guān)鍵點(diǎn)，它只編碼輪廓或邊，從而丟棄重要信息，如紋理。以補(bǔ)充形狀和關(guān)鍵點(diǎn)在本文中，我們建議將描述符集成到a中優(yōu)雅的方式。本文的貢獻(xiàn)如下:(1)我們提出了集成ka和SIFT的框架。(2)我們修改SIFT，使其適合所提議的框架。改進(jìn)后的SIFT稱(chēng)為篩狀篩描述符。(3)提出的描述符具有較高的語(yǔ)義的水平。此外，建議的描述符更加稀疏健壯的和獨(dú)特的。注意，雖然活動(dòng)外觀模型(AAM)還結(jié)合了形狀和紋理信息及其應(yīng)用是有限的，因?yàn)樗贿m用于形狀和紋理遵循高斯分布。通過(guò)相比之下，該建議對(duì)于更復(fù)雜的情況也是通用的的情況。隱式形狀模型主要依賴(lài)SIFT描述符，只隱式地利用形狀信息。但該方法顯式地利用了形狀信息使我們的方法更加獨(dú)特和健壯。圖像的特征點(diǎn)也稱(chēng)為感興趣點(diǎn)，擠出點(diǎn)和感興趣點(diǎn)。它表示基于所述特征點(diǎn)的位置的圖像特征是表示圖像特征的最簡(jiǎn)單和最有效的方法之一。實(shí)際上，特征點(diǎn)用于指示圖像特征的位置，并且還指示特征點(diǎn)的外圍具有某些規(guī)則特征。在[33]中，作者的觀點(diǎn)是暫時(shí)將細(xì)節(jié)分為兩類(lèi)。一種是窄特征點(diǎn)，另一種是廣義特征點(diǎn)。窄特征點(diǎn)表示圖像的邊緣，交叉點(diǎn)等，并且位置本身通常是現(xiàn)有屬性有意義的點(diǎn)。1.3研究?jī)?nèi)容本文基于對(duì)Moravec和FAST等算子進(jìn)行特征點(diǎn)提取的與匹配，并且剔除誤匹配點(diǎn)得到高精度同名點(diǎn)，根據(jù)高精度同名點(diǎn)計(jì)算得到單應(yīng)矩陣H，最后進(jìn)行影像的拼接及其后期處理。利用Moravec，F(xiàn)AST，SIFT，Harris等算子進(jìn)行特征點(diǎn)提取，利用相應(yīng)的匹配算法得到初始同名點(diǎn)，再利用RANSAC剔除誤匹配點(diǎn)得到高精度同名點(diǎn)，根據(jù)高精度同名點(diǎn)計(jì)算得到單應(yīng)矩陣H，最后進(jìn)行影像的拼接及加權(quán)融合處理根據(jù)不同的算子發(fā)現(xiàn)Moravec算子功FAST算子雖然操作簡(jiǎn)單方便快捷，但特征點(diǎn)選取會(huì)比較的差別，并且圖像局部可能存在的相似性，會(huì)有一對(duì)多甚至多對(duì)一的現(xiàn)象產(chǎn)生，Harris算子對(duì)于閾值反應(yīng)過(guò)于強(qiáng)烈所以我們采用SIFT算子進(jìn)行特征點(diǎn)的提取，并利用歐式最短距離進(jìn)行匹配，由于在進(jìn)行特征點(diǎn)匹配時(shí)會(huì)因?yàn)槟承﹩?wèn)題得到了誤匹配點(diǎn)，這時(shí)我們引入RANSAC方法剔除這些誤匹配點(diǎn)并得到更精確的同名點(diǎn)，這樣我們?cè)诖ヅ溆跋裰械玫搅烁呔鹊耐c(diǎn)數(shù)據(jù)，并根據(jù)高精度同名點(diǎn)計(jì)算得到單應(yīng)矩陣，再使用單應(yīng)矩陣來(lái)進(jìn)行圖像的拼接，由于直接拼接存在著相應(yīng)的誤差，即在圖像拼接處存在著某些“拼接縫”的現(xiàn)象，我們采用加權(quán)融合方法得到拼接效果更好的拼接影像。2算法描述及特征點(diǎn)匹配2.1特征點(diǎn)提取描述特征提取是圖像處理的主要操作。也就是說(shuō)，對(duì)圖像執(zhí)行第一操作。如果這是較大算法的一部分，則算法通常僅檢查圖像的特征區(qū)域。作為特征提取的前提，通常由高斯模糊核在尺度空間中平滑輸入圖像。特征提取是圖像處理中一重要操作，就是圖像的一個(gè)操作處理。如果他是屬于較大算法一部分，那么食欲這個(gè)法通檢查圖像的區(qū)域。成為特征提前提操作輸入圖像通常由高斯模糊內(nèi)核在比例空間中平滑然后，經(jīng)過(guò)少部導(dǎo)數(shù)運(yùn)算計(jì)算圖像的一個(gè)或多特征點(diǎn)邊緣。一般來(lái)說(shuō)，邊的形狀可以是任意的，也可以包括交點(diǎn)。任何對(duì)象都包含許多功能，如交叉功能，模糊，內(nèi)角，方向，清晰度，對(duì)比度等，可以提取有關(guān)對(duì)象的大量有用信息。當(dāng)處理對(duì)象的圖像時(shí)，各種對(duì)象中的像素總數(shù)要少得多，有效地減少了信息中的信息量，同時(shí)保持了對(duì)象在圖像中的重要特征信息，大大增加了圖像處理所需的計(jì)算量。邊緣:邊緣是構(gòu)成兩個(gè)圖像區(qū)域之間的邊界（或邊緣）的像素。一些常用的算法將點(diǎn)連接到更高的梯度以更完整地描述邊緣。這些算法也可以對(duì)邊緣施加一些限制。部分邊緣是一維結(jié)構(gòu)。角度:角度是圖像中的點(diǎn)狀特征，在局部部分具有二維結(jié)構(gòu)。區(qū)域檢測(cè)可以被認(rèn)為是折疊圖像然后對(duì)折疊圖像執(zhí)行角度檢測(cè)。長(zhǎng)條狀物體稱(chēng)為脊。實(shí)際上，凸脊可以被看作是一維曲線，它表示的對(duì)稱(chēng)軸，并且還存在于每個(gè)脊局部的像素的脊的寬度。脊柱攝影通常用于航空攝影，以區(qū)分用于區(qū)分船只和醫(yī)療照片的道路。一般采用的是自動(dòng)剔除差錯(cuò)功能的穩(wěn)健估計(jì)法。優(yōu)點(diǎn)有:不需要很精確的初始值并可在較大范圍內(nèi)尋找特征;可用一些快速算法,且出錯(cuò)和失去匹配的可能性較小。缺點(diǎn)是:精度較低,為粗一級(jí)的影像匹配。一般為基于灰度影像匹配提供初始值?；谔卣髌ヅ洌ㄟ^(guò)提取原始圖像中的點(diǎn)特征、行特征、面部區(qū)域特征等突出特征作為匹配基元來(lái)進(jìn)行特征匹配。基于特征的圖像匹配分為三個(gè)步驟：在第一步中，在圖像上提取特征（例如角特征，邊緣特征，區(qū)域特征等）。在第二步中，參數(shù)化地描述所提取的特征（例如顏色特征）。第三步是根據(jù)特征的參數(shù)值搜索同名特征，然后獲取同名圖像點(diǎn)。特征的相似性可以用邊緣線的形狀和邊緣13的灰度來(lái)衡量，梯度變化的正負(fù)參數(shù)都可以。根據(jù)圖像信息處理的另一種方法，特征點(diǎn)檢測(cè)一般分為：基于模板的方法:基于模板的方法主要使用參數(shù)模型或模板來(lái)檢測(cè)特征點(diǎn)。常用于檢測(cè)特定類(lèi)型的特征點(diǎn)，因?yàn)槟阈枰獎(jiǎng)?chuàng)建一個(gè)不同的參數(shù)，型號(hào)，模板是普遍較快的計(jì)算速度。缺點(diǎn)是它不適合具有更復(fù)雜形式的模板。邊緣為基礎(chǔ)的方法:基于邊緣的方法是對(duì)多邊形的頂點(diǎn)的邊緣使用點(diǎn)，或者使用對(duì)象具有大曲率細(xì)節(jié)。細(xì)節(jié)上有一組對(duì)象的邊緣提取算法的檢測(cè)結(jié)果的影響顯著邊緣需要一定程度，并改變角的方向。空間轉(zhuǎn)換方法基于:的空間轉(zhuǎn)換方法使用空間變換來(lái)獲得易于識(shí)別的特征點(diǎn)，然后檢測(cè)轉(zhuǎn)換空間中的極值點(diǎn)。通常，空間分為比例空間，頻率空間和小波空間。標(biāo)度空間指的是在曲線標(biāo)度空間或近似標(biāo)度空間中檢索的絕對(duì)值的絕對(duì)值是最小值或最大值的點(diǎn)。頻率空間用作計(jì)算的局部相位或用作特定相位最大值的特征點(diǎn)。小波變換使用小波系數(shù)或模數(shù)的局部最大值來(lái)使用最適合極值點(diǎn)檢測(cè)的尺度。#nbsp，＃nbsp;角點(diǎn)檢測(cè)是包括模式識(shí)別和運(yùn)動(dòng)檢測(cè)在內(nèi)的許多圖像處理過(guò)程的核心。例如，后者主要依賴(lài)于執(zhí)行空間分析的角點(diǎn)，通常是(可能是實(shí)時(shí)的)視頻或圖像的時(shí)間流。因此，高效的角點(diǎn)檢測(cè)是滿足相關(guān)應(yīng)用實(shí)時(shí)性要求的關(guān)鍵。本文考慮了Harris提出的角點(diǎn)檢測(cè)算法，該算法的主要工作流程是由基本算子組成，這些算子用3×3矩陣的近似來(lái)表示。相應(yīng)的數(shù)據(jù)訪問(wèn)模式遵循一個(gè)模板模型，眾所周知，該模型需要仔細(xì)的內(nèi)存組織和管理。2.2特征點(diǎn)提取算子2.2.1Moravec算子該算法檢測(cè)圖像中的每個(gè)像素，使用像素周?chē)泥徲蜃鳛榇翱?，并檢測(cè)該窗口與其周?chē)钠渌翱谥g的相關(guān)性。該相關(guān)性被測(cè)量為兩個(gè)窗口（SSD）之間的差異的平方和.SSV值越小，相似性越大。當(dāng)像素位于邊緣時(shí)，周?chē)翱谠诖怪庇谶吘壍姆较蛏戏浅２煌⑶腋悠叫杏谶吘墶Ｈ绻袼厥窃谒蟹较蛏献兓奶卣鼽c(diǎn)，則并非所有周?chē)翱诙挤浅Ｏ嗨?。Moravec算法的主要思想是基于圖像的四個(gè)關(guān)鍵區(qū)域的最小梯度來(lái)創(chuàng)建像素和相鄰像素的灰度響應(yīng)。有些要點(diǎn)非常重要，非常特別和優(yōu)秀。我們稱(chēng)他們?yōu)榕d趣點(diǎn)。Step2：閾值時(shí)固定的，所以，我們就以此為參考把大于之歌數(shù)值的一切數(shù)字點(diǎn)記作候選點(diǎn)。而這個(gè)所謂的基礎(chǔ)點(diǎn)就要是那些在脫氨上比較突出且有明顯特征的點(diǎn)，包括上面說(shuō)的那些候選點(diǎn)，原則上來(lái)說(shuō)不能包含有過(guò)多的不是興趣點(diǎn)的點(diǎn)。Step3：那么在這些候選點(diǎn)又會(huì)有那么一些點(diǎn)在這些點(diǎn)中顯得更加重要且突出，我們就把這種點(diǎn)看做是興趣點(diǎn)。在一個(gè)可以除了上文說(shuō)的那些具有十分明顯特征的興趣點(diǎn)刪除去掉所有不是最大興趣值的候選點(diǎn)，只保留興趣值的最大者，這個(gè)像素我們就可以將他選取過(guò)來(lái)。Moravec角點(diǎn)檢測(cè)算法缺點(diǎn)：1.對(duì)邊緣點(diǎn)的反應(yīng)比較強(qiáng)烈如果邊緣方向超過(guò)八個(gè)方向，則將其視為一個(gè)角。2.不具備旋轉(zhuǎn)不變性可能會(huì)出現(xiàn)原來(lái)的一條邊緣在這8個(gè)方向之上而旋轉(zhuǎn)之后卻不在了，也有可能是相反的情況。2.2.2FAST算子將上帶有人才出，先人們用他們的智慧開(kāi)發(fā)了一個(gè)個(gè)優(yōu)秀的特征提取算法。各種加工合成的算法很多，卻會(huì)浪費(fèi)我們很多時(shí)間，但是就值個(gè)過(guò)程而論，人們已經(jīng)不會(huì)單單滿足于此，接下來(lái)進(jìn)行諸如配準(zhǔn)、提純、融合等后續(xù)算法都要進(jìn)行推進(jìn)。然而時(shí)間的拖慢，實(shí)物的瞬息萬(wàn)變，讓我們呢不能觀測(cè)到一個(gè)物體實(shí)時(shí)的信息。EdwardRosten和TomDrummond兩位大神經(jīng)過(guò)研究，歷數(shù)載經(jīng)得出了這一算法。1、從圖中我們可以看出，如果我們把點(diǎn)當(dāng)做中心，r為3的一個(gè)模擬圓那么這個(gè)圓是就可以出現(xiàn)4*4個(gè)像素點(diǎn)。2、給定一個(gè)固定的數(shù)作為閾值。計(jì)算p1、p9與點(diǎn)p的兩個(gè)像素之間的差值，若果他們的絕對(duì)值都普遍小于這個(gè)給定的數(shù)值，那么我們就不能將點(diǎn)P做為興趣點(diǎn)來(lái)做參照，我們就要進(jìn)行刪除；不然，就只能把這些還不太正規(guī)的興趣點(diǎn)做為特征點(diǎn)，再進(jìn)行下一步的檢測(cè)和審查；3、如果我們?cè)O(shè)點(diǎn)P是興趣點(diǎn)，那么我們就把3p1、p9、p5、p13的數(shù)值和點(diǎn)p的之間的差做計(jì)算，若它們少說(shuō)3個(gè)比閾值高，則當(dāng)做候選點(diǎn)，4、若這些數(shù)值中至少有9個(gè)數(shù)超過(guò)了給定的數(shù)值，就可以進(jìn)行使用；不然就要進(jìn)行刪除。5、對(duì)上圖進(jìn)行非極大值抑制上面的算法同樣有一些不可忽視的缺點(diǎn)：1.我們現(xiàn)在給定一個(gè)區(qū)間n<12n<12那我們就不可以使用這個(gè)算法來(lái)篩選非角點(diǎn)上的點(diǎn)；2.通過(guò)排查和檢測(cè)我們發(fā)現(xiàn)篩選出來(lái)的點(diǎn)不是最具有代表性的那個(gè)點(diǎn)，這是因?yàn)樗麄兊南群箜樞蛉Q于系統(tǒng)選擇到他們的時(shí)間的先后順序；3.角方向上的點(diǎn)集被刪除掉了；4.量很多的一些興趣點(diǎn)扎堆擠在了一起。2.2.3SIFT算子SIFT算法是一種提取局部特征的算法，在尺度空間尋找極值點(diǎn)，提取位置，尺度，旋轉(zhuǎn)不變量。本文對(duì)普通的SIFT做了改進(jìn)，我們采用了forstner征提取算子優(yōu)化了SIFT特征點(diǎn)的匹配。SIFT算法在1999年創(chuàng)建基于DGlowe提出的第一個(gè)缺點(diǎn)和2004年的完美總結(jié)，實(shí)驗(yàn)證明了SIFT2005年描述大腸桿菌的臉頰和施密特性能的優(yōu)越性，當(dāng)前流行的馬賽克區(qū)域最形象算法。2006年10月，以不同的方式理查德的果凍滑雪呈現(xiàn)，圖像預(yù)處理圖像配準(zhǔn)的新理論登記圖像之前提升形象，一個(gè)點(diǎn)的特征點(diǎn)，然后清晰明確地從游戲圖像的精度不同改進(jìn)。一種使用概率模型完成對(duì)齊圖像拼接以獲得正確順序的噪聲檢測(cè)圖像以實(shí)現(xiàn)自適應(yīng)圖像之間的自動(dòng)拼接的方法，并提出了一條新的發(fā)展路徑和方向。能譜技術(shù)這種方法是用于去除基于重影圖像拼接技術(shù)的能量值，并且通過(guò)比較實(shí)驗(yàn)結(jié)果計(jì)算出的斜率值的好方法很大程度上表明，有可能消除關(guān)注人眼針跡的圖像的特征之后的圖像之間的幽靈。局部特征檢測(cè)和描述算法，如尺度不變特征變換(SIFT)算法，是計(jì)算機(jī)視覺(jué)中最常用的技術(shù)之一。它們主要用于從圖像的低水平(像素)信息中檢測(cè)和提取高水平信息。這些算法計(jì)算量大，其純軟件實(shí)現(xiàn)遠(yuǎn)遠(yuǎn)不能達(dá)到實(shí)時(shí)性能，特別是在計(jì)算能力有限的嵌入式系統(tǒng)上。本文提出了一種適用于實(shí)時(shí)圖像處理的SIFT算法的專(zhuān)用集成電路(ASIC)實(shí)現(xiàn)。在高斯尺度空間生成步驟中，除了常用的子表達(dá)式消去算法外，還采用了多種技術(shù)來(lái)大幅度降低硬件復(fù)雜度:無(wú)多倍性的多重常數(shù)乘法、高斯掩模的對(duì)稱(chēng)性。通過(guò)對(duì)SIFT128個(gè)值的重新排列，實(shí)現(xiàn)了一種新的多端口存儲(chǔ)器，減小了內(nèi)存大小。在此基礎(chǔ)上，提出了一種新穎的動(dòng)態(tài)窗口連續(xù)監(jiān)測(cè)機(jī)制。該方法不僅提高了SIFT實(shí)現(xiàn)的性能，而且保持了與軟件實(shí)現(xiàn)完全相同的特征提取精度。主要特點(diǎn)有：如尺度不變特征變換(SIFT)，被廣泛應(yīng)用于自動(dòng)駕駛汽車(chē)和人機(jī)交互等領(lǐng)域。它們通常是計(jì)算密集型的，在傳統(tǒng)的單核處理器上需要很長(zhǎng)的處理時(shí)間。篩選方法的不完善問(wèn)題,（1）構(gòu)建Hessian矩陣#nbsp是確定H矩陣的矩陣：#nbsp，判定值是一個(gè)唯一的矩陣H，符號(hào)判定結(jié)果可被用于所有點(diǎn)的分類(lèi)，加或如何確定的判定是否是極值點(diǎn)減去值。沖浪算法代替像素圖像L階高斯濾波器，特別地，函數(shù)f（X，Y）在H矩陣在太將所述（X，Y）的值作為由所述鐵心之間的卷積計(jì)算的二次偏導(dǎo)數(shù)的選擇的第二函數(shù)計(jì)算三個(gè)矩陣元素L.L.k，并計(jì)算H矩陣：＃nbsp;L是計(jì)算的。在誤差的實(shí)際值和硼比例變化權(quán)重的近似值之間引入適當(dāng)?shù)钠胶狻Ｅ袆e矩陣H可表示為：（2）構(gòu)建尺度空間（2）建立尺度空間#nbsp，并且可以從等式（4）看到該圖像在擴(kuò)展空間圖像的不同分辨率下的表示?？梢酝ㄟ^(guò)高斯核G（rho）的卷積來(lái)實(shí)現(xiàn)不同分辨率下的圖像j（X）的表示，高斯核G（rho）是圖像的尺度。它通常用高斯標(biāo)準(zhǔn)差表示[6]。這種方法主要用于實(shí)現(xiàn)選擇算法，但每個(gè)層的形狀取決于該層中的先前的圖像，并且圖像復(fù)位的大小上，以便增加SURF算法應(yīng)用程序核心的圖像大小，計(jì)算大的計(jì)算量使用SURF算法的SIFT算法金字塔原理可能會(huì)有所不同。覆膜算法尺度空間圖像同時(shí)允許，無(wú)需對(duì)圖像處理進(jìn)行二次采樣，從而提高了算法的性能。圖1（a）也是使用圖像迭代高斯函數(shù)平滑子層層次的各種英寸和透射（1）的圖示，其產(chǎn)生傳統(tǒng)方法中所示的金字塔結(jié)構(gòu)。（1）（b）說(shuō)明Surf算法僅更改濾鏡大小而不更改原始圖像。圖1（a）是如圖所示構(gòu)建金字塔結(jié)構(gòu)的傳統(tǒng)方法。圖像大小改變，操作（1）重復(fù)使用功能高斯平滑子層。圖1（b）顯示surf算法保持原始圖像不變，只改變過(guò)濾器的大小。（3）精確定位特征點(diǎn)#nbsp（3）的確切位置細(xì)節(jié)#nbsp，低于預(yù)定極限值的任何值將被丟棄更極端的特征點(diǎn)的檢測(cè)降低最終一些細(xì)節(jié)最強(qiáng)，已經(jīng)發(fā)現(xiàn)數(shù)量太多增加。三次檢測(cè)處理，通過(guò)使用對(duì)應(yīng)于檢測(cè)過(guò)濾器的大小，尺度層圖像的分辨率，如第三濾波器也下列九個(gè)像素一八點(diǎn)的兩個(gè)本身殘留在圖像9的上方尺度層的故事特征點(diǎn)檢測(cè)尺度層在比較點(diǎn)時(shí)，26個(gè)點(diǎn)的總像素的特征值也用'X'表示。如果可以確定多于2個(gè)周?chē)袼兀瑒t該點(diǎn)是該區(qū)域的特征點(diǎn)。檢測(cè)過(guò)程使用與比例層圖像分辨率相對(duì)應(yīng)的大小的濾波器來(lái)檢測(cè)3次，在圖2中，如果標(biāo)記為'm'的像素的特征值大于周?chē)南袼?，可以確定該點(diǎn)是該區(qū)域的特征點(diǎn)。（4）主方向確定（4）兩周方向判定#nbsp半徑6S計(jì)算出的旋轉(zhuǎn)不變中心作為第一特征點(diǎn)，以確保O，Y方向上，Haar小波（Haar小波上升一側(cè)長(zhǎng)度4S）響應(yīng)（特征點(diǎn)S位于的刻度值）并且Z中的點(diǎn)對(duì)分配給響應(yīng)值的加權(quán)因子高斯權(quán)重的響應(yīng)很小。這些響應(yīng)特征點(diǎn)的貢獻(xiàn)遠(yuǎn)離特征點(diǎn)，這是60歲。響應(yīng)于在新矢量的范圍內(nèi)形成的步驟，選擇通過(guò)整個(gè)圓形區(qū)域特征點(diǎn)的主方向的長(zhǎng)矢量。因此，單獨(dú)計(jì)算特征點(diǎn)以獲得每個(gè)特征點(diǎn)的主要方向。以半徑6S計(jì)算的旋轉(zhuǎn)不變中心作為第一個(gè)特征點(diǎn)，保證了Haar小波(Haar小波在O和Y方向上均上升1響應(yīng)值(特征點(diǎn)S的標(biāo)度值)和Z點(diǎn)對(duì)賦給響應(yīng)值的加權(quán)因子高斯權(quán)值的響應(yīng)較小。這些響應(yīng)特征點(diǎn)的貢獻(xiàn)還很遙遠(yuǎn)特征點(diǎn)。這是60年前的照片。根據(jù)新向量范圍內(nèi)所形成的步驟，選擇一個(gè)長(zhǎng)向量通過(guò)整個(gè)圓形區(qū)域特征點(diǎn)的主方向。因此，特征點(diǎn)分別計(jì)算獲取每個(gè)特征點(diǎn)的主方向。為了保證旋轉(zhuǎn)的不變性，首先以特征點(diǎn)為中心，計(jì)算半徑為6s(S為特征點(diǎn)的比例尺值)的鄰域內(nèi)的在z、y方向上，Haar小波(Haar小波邊長(zhǎng)4s)響應(yīng)，并對(duì)這些響應(yīng)值賦高斯權(quán)系數(shù)，使得特征點(diǎn)附近的響應(yīng)貢獻(xiàn)較大，而遠(yuǎn)離特征點(diǎn)的響應(yīng)貢獻(xiàn)較大響應(yīng)貢獻(xiàn)很小，其次是60。范圍內(nèi)的響應(yīng)相位形成一個(gè)新的向量，遍歷整個(gè)圓形區(qū)域，選擇最長(zhǎng)向量的方向作為特征點(diǎn)的主方向。這樣，每個(gè)特征點(diǎn)的主方向可以通過(guò)逐個(gè)計(jì)算特征點(diǎn)得到。（5）特征點(diǎn)描述子生成SIFT(ScaleconstantFeatureTransform，尺度不變特征變換)適用于匹配同一物體或場(chǎng)景的不同圖像。的SIFT特征對(duì)圖像縮放和旋轉(zhuǎn)是不變的部分不受視角和光照變化的影響。從典型特征中可以提取出大量的特征圖像與此有效的算法。此外,功能是高度獨(dú)特的，這允許一個(gè)單一的功能與大概率正確匹配數(shù)據(jù)庫(kù)的特點(diǎn)，為對(duì)象和場(chǎng)景提供了基礎(chǔ)識(shí)別。步驟如下:關(guān)鍵點(diǎn)檢測(cè):第一步是全面搜索在尺度空間中尋找極值點(diǎn)它是用高斯差分法構(gòu)造的。這方法確?？梢灾貜?fù)找到關(guān)鍵點(diǎn)。關(guān)鍵點(diǎn)定位和定位分配:一次檢測(cè)到極值后，可在每個(gè)極值處進(jìn)行定標(biāo)可以指定候選位置和方向每個(gè)關(guān)鍵點(diǎn)的定位都基于局部圖像梯度方向。（5）創(chuàng)建功能點(diǎn)描述符＃nbsp;在圖的左側(cè)部分中央黑點(diǎn)顯示當(dāng)前關(guān)鍵點(diǎn)的位置。每個(gè)小方塊表示一個(gè)像素酒店尺度空間KIPO附近，梯度大小和由像素的高斯權(quán)重的在該圖中，點(diǎn)是由2次，2是總共四個(gè)點(diǎn)是種子具有用于每個(gè)種子點(diǎn)8個(gè)的方向矢量信息。在SIFT方法中，關(guān)鍵點(diǎn)的尺度為確定何時(shí)找到局部最大點(diǎn)。規(guī)模主要取決于哪個(gè)八度和哪個(gè)層是一個(gè)關(guān)鍵點(diǎn)是發(fā)現(xiàn)。定義任意點(diǎn)的尺度感覺(jué)，下面的方法是使用。這里用來(lái)確定一個(gè)點(diǎn)的比例尺的方法類(lèi)似于SIFT中使用的方法。輸入圖像為依次用高斯核進(jìn)行平滑并采樣。得到了-高斯表示法的差分減去兩個(gè)連續(xù)平滑的圖像。因此,所有的狗的水平是由組合平滑和子采樣。對(duì)于給定的點(diǎn)提取類(lèi)篩子特征打開(kāi)，找到每個(gè)八度的位置，并比較像素在每個(gè)級(jí)別(用X標(biāo)記)對(duì)應(yīng)3x3區(qū)域中的26個(gè)鄰居在當(dāng)前和相鄰的刻度上(用圓圈和X標(biāo)記)在圖6中)。對(duì)于相鄰的26個(gè)像素大于點(diǎn)的像素為M，小于點(diǎn)的個(gè)數(shù)為N，M+N=26。如果M=26,N=0或者M(jìn)=0,N=26，這個(gè)點(diǎn)是an極值。如果在任何水平上這個(gè)點(diǎn)都不是極值，那么我們就會(huì)發(fā)現(xiàn)最接近極值點(diǎn)的水平，即M與N之差的絕對(duì)值最大(例如M=1,N=25)現(xiàn)在縮放已經(jīng)確定，局部紋理特征可以像SIFT那樣計(jì)算:computerthe方向和描述符。2.2.4Harris算子任何對(duì)象都包含許多功能，如交叉功能，模糊，內(nèi)角，方向，清晰度，對(duì)比度等，可以提取有關(guān)對(duì)象的大量有用信息。當(dāng)處理對(duì)象的圖像時(shí)，各種對(duì)象中的像素總數(shù)要少得多，有效地減少了信息中的信息量。由于使用了特征信息，對(duì)象識(shí)別，圖像匹配和圖像重建的角點(diǎn)是至關(guān)重要的。角點(diǎn)具有豐富的特征信息，可實(shí)現(xiàn)實(shí)時(shí)處理，有利于圖像的可靠匹配，角點(diǎn)對(duì)光照條件影響很小或沒(méi)有影響，因?yàn)樗鼈兙哂行D(zhuǎn)不變性。角點(diǎn)在計(jì)算機(jī)視覺(jué)領(lǐng)域中起著重要作用，如三維場(chǎng)景重建，運(yùn)動(dòng)估計(jì)，目標(biāo)跟蹤，目標(biāo)識(shí)別，圖像配準(zhǔn)和匹配。我們都知道的一些所謂的拼接方法，例如邊界，邊緣，顏色等，通常描述全文的大規(guī)模存儲(chǔ)分布，并且由于該區(qū)域的充分表示而值得測(cè)量。有幾種方法可以測(cè)量，但有幾種方法可以拼接Harris邊緣和快速特征。Harris邊緣特征的使用速度很快，但它具有節(jié)省大量時(shí)間的優(yōu)點(diǎn)。您需要犧牲所選圖像的隨機(jī)性來(lái)輕松選擇堆疊在一起的點(diǎn)集?，F(xiàn)在可以通過(guò)降低算法的計(jì)算復(fù)雜度來(lái)解決該問(wèn)題?，F(xiàn)象在Harris空間聚類(lèi)算法之后增加了亮度加權(quán)算法。與其他低級(jí)特征相比，快速特征提取方法是最快的提取速度，并且通常用于實(shí)時(shí)圖像處理應(yīng)用。#nbsp如果梯度方向的絕對(duì)值位于像素的兩個(gè)位置，則Harris算子認(rèn)為M通過(guò)計(jì)算梯度矩陣的大小來(lái)計(jì)算角位置。確定是一個(gè)角點(diǎn)。因?yàn)镠arris算子的公式只包括圖像的一階導(dǎo)數(shù)，所以算子是一種簡(jiǎn)單，復(fù)雜，簡(jiǎn)單，可靠的算法。只有哈里斯算子的原算子①簡(jiǎn)單算法:哈里斯算子具有以下特征，即灰度差值和高斯濾波斜率，操作簡(jiǎn)單。2.所提取的點(diǎn)特征一致、合理。Harris算子:計(jì)算圖像中每個(gè)點(diǎn)的利益值，然后選擇鄰域中最有利的利益。在圖像紋理信息豐富的區(qū)域，Harris算子可以提取出許多有用的特征點(diǎn)，但在紋理信息較少的圖像中，提取出的特征點(diǎn)較少。博士論文，哈里斯算子。3.特征點(diǎn)可以定量提取。Harris算子的最后一步是對(duì)所有的局部極點(diǎn)進(jìn)行排序，并根據(jù)需要提取特定數(shù)的最佳可能收益。4.Harris角點(diǎn)檢測(cè)對(duì)對(duì)角點(diǎn)指數(shù)進(jìn)行非最大抑制。在確定局部最大值時(shí)，角點(diǎn)提取的效果完全取決于一個(gè)閾值的設(shè)置。雖然5Harris角檢測(cè)采用了可調(diào)窗口的高斯平滑函數(shù)，但在實(shí)際應(yīng)用中很難確定高斯窗口的大小。博士論文，哈里斯算子。如果選擇小窗的高斯平滑函數(shù)，由于噪聲干擾會(huì)出現(xiàn)很多偽邊緣點(diǎn)，如果使用大窗的高斯平滑函數(shù)，卷積的舍入效果會(huì)偏向于角點(diǎn)的位置。移動(dòng)它。Harris角點(diǎn)檢測(cè)算法是由ChrisHarris和MikeStephens于1988年提出的。該算法基于Moravec算法。Moravec算法檢查在圖像的另一個(gè)方向發(fā)生小偏移后窗口亮度值的平均變化。#1(1)如果圖像在窗口區(qū)域的亮度值是恒定的，其他方向的偏移量幾乎不會(huì)改變#2;(2)當(dāng)窗口穿過(guò)邊緣時(shí)，邊緣的偏移量基本不變，但垂直于邊緣的偏移量變化較大。(3)如果窗戶(hù)有孤立的點(diǎn)或角度，所有不同方向的偏差都會(huì)發(fā)生顯著的變化。。#nbsp如Harris的檢測(cè)方法被認(rèn)為是移動(dòng)圖像窗口或高斯矩形窗口以獲得從2x2矩陣M的模板窗口的原始圖像導(dǎo)出的部分結(jié)構(gòu)：它是高斯平滑濾波器，目標(biāo)，消除圖像中的意外點(diǎn)作為特征點(diǎn);如果我用紅色像素表示，則有三個(gè)綠色和藍(lán)色分量，I={R，G，B}，其中I代表第一個(gè)階數(shù)的倒數(shù)。度量函數(shù)#nbsp獲得已建立的模板矩陣矩陣特征值lambda2;DET（M）是矩陣M的行列式，并且值Trace（M）是矩陣M的軌跡并且k=0.04。該點(diǎn)是否大于零以確定該點(diǎn)是否是邊緣點(diǎn)。該方法還涉及具有旋轉(zhuǎn)不變性，但是基于實(shí)際經(jīng)驗(yàn)，確定閾值R需要大角度檢測(cè)冗余。其中Cameraman圖rice圖算法優(yōu)缺點(diǎn)Harris邊緣特征的使用速度很快，但它具有節(jié)省大量時(shí)間的優(yōu)點(diǎn)。您需要犧牲所選圖像的隨機(jī)性來(lái)輕松選擇堆疊在一起的點(diǎn)集?，F(xiàn)在可以通過(guò)降低算法的計(jì)算復(fù)雜度來(lái)解決該問(wèn)題?，F(xiàn)象在Harris空間聚類(lèi)算法之后增加了亮度加權(quán)算法。與其他低級(jí)特征相比，快速特征提取方法是最快的提取速度，并且通常用于實(shí)時(shí)圖像處理應(yīng)用。沒(méi)有圖像比例變化的Harris角點(diǎn)檢測(cè)器具有比類(lèi)似檢測(cè)器更好的圖像旋轉(zhuǎn)，視角變化和圖像噪聲穩(wěn)定性，但Harris角點(diǎn)檢測(cè)器對(duì)圖像尺寸變化非常敏感。如果改變小規(guī)模，HarrisCorner的復(fù)發(fā)率會(huì)急劇下降。調(diào)整圖像的比例將無(wú)法再現(xiàn)Harris檢測(cè)器提取的特征。除了單個(gè)圖像的角點(diǎn)檢測(cè)之外，Harris算法圖像序列的角點(diǎn)檢測(cè)更好。2.3特征匹配2.3.1基于灰度區(qū)域的匹配影像匹配：以影像相關(guān)的手段由計(jì)算機(jī)來(lái)代替（或模擬）人眼進(jìn)行立體觀察，從而自動(dòng)確定同名像點(diǎn)的過(guò)程。確定不同影像上的同名像點(diǎn)、同名特征之間的對(duì)應(yīng)性關(guān)系。是自動(dòng)生成數(shù)字表面模型（DSM）等空間數(shù)據(jù)產(chǎn)品的基礎(chǔ)等空間數(shù)據(jù)產(chǎn)品的基礎(chǔ)，也是建筑物等人工地物目標(biāo)三維重建的基礎(chǔ)。數(shù)字影像匹配中影像灰度信息,自動(dòng)尋找最相似的同名目標(biāo)的方法。左片上以目標(biāo)為中心的目標(biāo)區(qū),右片相應(yīng)位置上取擴(kuò)大1倍(或更大)的搜索區(qū),在搜索區(qū)中按先行后列順序計(jì)算兩個(gè)區(qū)域中各相應(yīng)位置之間的相關(guān)系數(shù),其中最大值所對(duì)應(yīng)的位置即為同名目標(biāo),稱(chēng)為“二維的影像匹配法”;如果先將右片影像按核線進(jìn)行重采樣,就可以作沿著核線的一維的影像匹配。后一種方法可大量縮減運(yùn)算工作量。基于灰度影像匹配可達(dá)到很高的精度,但它沒(méi)有充分利用影像所包含的全部信息,對(duì)初始值要求高,且需解決質(zhì)量控制和成果自動(dòng)診斷等問(wèn)題。相似性測(cè)度可以采用歸一化相關(guān)系數(shù)(如以特征點(diǎn)周?chē)幕叶戎底鳛槠ヅ鋵?shí)體的情形)，也可以采用經(jīng)過(guò)設(shè)計(jì)的度量函數(shù),然后再結(jié)合其他各種約束性條件。匹配特征點(diǎn)是特征匹配方法中較簡(jiǎn)單并且有效的匹配方法，在數(shù)字?jǐn)z影測(cè)量(如相對(duì)定向、DEM生成等)、計(jì)算機(jī)視覺(jué)(如3維場(chǎng)景恢復(fù)、運(yùn)動(dòng)目標(biāo)檢測(cè)等)許多領(lǐng)域都是一個(gè)非常重要的基本過(guò)程?；叶绕ヅ洳捎玫南嗨菩远攘亢瘮?shù)有很多，較為常用的有相關(guān)函數(shù)、協(xié)方差函數(shù)、差平方和、差絕對(duì)值和等測(cè)度函數(shù)[34]。2.3.2基于特征匹配采用的是自動(dòng)剔除差錯(cuò)功能的穩(wěn)健估計(jì)法。優(yōu)點(diǎn)有:不需要很精確的初始值并可在較大范圍內(nèi)尋找特征;可用一些快速算法,且出錯(cuò)和失去匹配的可能性較小。缺點(diǎn)是:精度較低,為粗一級(jí)的影像匹配。一般為基于灰度影像匹配提供初始值。圖像匹配的關(guān)鍵問(wèn)題之一，是要選擇最有效的特征或描述代表原始圖像。由于機(jī)器人的運(yùn)動(dòng)，那些提取位置標(biāo)志的區(qū)域?qū)⒃谙袼丶?jí)內(nèi)改變。因此，選擇的描述或特征相應(yīng)于比例、旋轉(zhuǎn)和視角的變化應(yīng)該在一定范圍內(nèi)保持恒定不變，在本文中，我們使用社會(huì)上通常采用的四個(gè)特征，簡(jiǎn)單地描述如下：GO：漸變的方向。已經(jīng)證明光照和旋轉(zhuǎn)的變化可能對(duì)它有更少的影響。ASM和ENT：角二階矩和熵，這是兩個(gè)紋理描述符。H：色調(diào)，用來(lái)描述圖像的基本信息。匹配問(wèn)題的另一個(gè)關(guān)鍵問(wèn)題是選擇一個(gè)好的匹配方法或算法。通常近鄰方法（神經(jīng)網(wǎng)絡(luò)）是用來(lái)測(cè)量?jī)刹糠种g的相似性。但我們?cè)趯?shí)驗(yàn)中發(fā)現(xiàn)，神經(jīng)網(wǎng)絡(luò)不能充分展現(xiàn)個(gè)體描述或特征對(duì)相似性度量的作用。在數(shù)字影像匹配中,立體像對(duì)上利用影像分析法提取點(diǎn)、線、面特征,找出兩片間相匹配的同名特征,實(shí)現(xiàn)自動(dòng)立體量測(cè)的方法。左、右片特征點(diǎn)之間的匹配方法有多種,一般采用的是自動(dòng)剔除差錯(cuò)功能的穩(wěn)健估計(jì)法。優(yōu)點(diǎn)有:不需要很精確的初始值并可在較大范圍內(nèi)尋找特征;可用一些快速算法,且出錯(cuò)和失去匹配的可能性較小。缺點(diǎn)是:精度較低,為粗一級(jí)的影像匹配.歐幾里得最近距離是最常見(jiàn)的距離之一用于圖像匹配的方法。為了簡(jiǎn)單的利益計(jì)算時(shí)，本文還采用歐幾里德距離以匹配特征點(diǎn)。歐式距離匹配方法的工作原理如下:計(jì)算最近鄰距離和秒數(shù)最近鄰距離，得到之間的系數(shù)將系數(shù)與標(biāo)度因子進(jìn)行比較。如果系數(shù)小于給定的比例尺因子，即配對(duì)系數(shù)是實(shí)現(xiàn)。這種規(guī)模的因素是固定數(shù)量e0:60:8T這是由經(jīng)驗(yàn)決定的。不過(guò)，使用固定不提供特征點(diǎn)匹配的比例因子一個(gè)普遍的適用性?？紤]到各種圖像的變化(如不同的光照、對(duì)比度、紋理)，使用固定比例因子可能無(wú)法提供具有良好的匹配精度。因此，為了增加的普遍性算法設(shè)計(jì)了一種自適應(yīng)尺度提取方法因素，這是更靈活的各種圖像。它可以描述如下:步驟1:首先假設(shè)特征點(diǎn)Pi在圖像I1中我們計(jì)算歐幾里德最接近的距離dnt和second然后計(jì)算圖像I2中最近距離dnst它們之間的比值Ti。步驟2:重復(fù)步驟1，直到圖像I1中的所有特征點(diǎn)通過(guò)計(jì)算，我們可以得到N。然后計(jì)算平均值總而言之;助教?e1nNTPN我?1etiT。(N是圖像I1)中的特征點(diǎn)。第三步:實(shí)驗(yàn)表明Ta一般要大一點(diǎn)比平常。所以一個(gè)常數(shù)Me0:10:3T中減去從Ta的平均值。最后我們可以得到最終的比例尺因子T?TaM。2.3。設(shè)計(jì)特征點(diǎn)的雙向匹配兩個(gè)注冊(cè)的圖像將具有相同的or特征點(diǎn)描述符中的相似信息。圖像配準(zhǔn)的一個(gè)重要步驟是建立兩個(gè)圖像的一一對(duì)應(yīng)點(diǎn)。作為在3.1節(jié)中描述了改進(jìn)的SURF描述符具有特征點(diǎn)的信息，包括尺度，旋轉(zhuǎn),顏色等。常用的匹配方法特征點(diǎn)包括相位相關(guān)、Hausdorff距離、馬氏距離，歐幾里德最接近的距離，等。從過(guò)程中提取的描述符通過(guò)沖浪時(shí)，我們可以發(fā)現(xiàn)提取的描述符是通過(guò)特征點(diǎn)的鄰域信息，得到歐式最近的距離滿足匹配。的方法中通常使用單向匹配歐幾里得距離最近的。2.3.3匹配約束1)核線約束如果立體像對(duì)中兩幅影像間的相對(duì)方位已知，那么對(duì)其中一幅影像上重疊范圍內(nèi)的某一點(diǎn)，其在另一張影像上的相應(yīng)核線就可以計(jì)算出來(lái)，而且該點(diǎn)的同名像點(diǎn)(共軛點(diǎn))如果存在，也必定位于該條相應(yīng)核線上。這樣影像匹配問(wèn)題就從一個(gè)2維問(wèn)題轉(zhuǎn)化為1維問(wèn)題。這種從2維到1維的約束條件稱(chēng)為核線幾何約束(epipolargeometryconstraint)。[36]這一約束不僅縮小了搜索空間，簡(jiǎn)化了匹配算法，提高了匹配速度,而且還可以增加可靠性。幾乎所有的商業(yè)化數(shù)字?jǐn)z影測(cè)量軟件系統(tǒng)及數(shù)字?jǐn)z影測(cè)量工作站都具有核線幾何糾正和核線影像生成的功能模塊。2)灰度相似性約束計(jì)算灰度相似性的方法有很多，如CC(CrossCor-relation)、NCC(NormalizedCrossCorrelation)、ZNCC(Zero－meanNormalizedCrossCorrelation)、FNCC(FastNormalized-CrossCorrelation)等。下邊是計(jì)算立體像對(duì)上匹配點(diǎn)之間的灰度區(qū)域相關(guān)系數(shù)[37]。該限制條件用于數(shù)字?jǐn)z影測(cè)量圖像匹配的研究和生產(chǎn)。內(nèi)核約束的使用可以減少點(diǎn)匹配到一維搜索的二維搜索，即，將平面區(qū)域減少為線段，這極大地提高了匹配效率并降低了不匹配的可能性。3)雙向一致性約束影像匹配常規(guī)的做法是對(duì)左像上選定的點(diǎn)，在右像上尋找其可能的匹配點(diǎn)，這種策略可能會(huì)導(dǎo)致匹配的不對(duì)稱(chēng)。雙向一致性約束是指將對(duì)左像上的點(diǎn)在右像上尋找其匹配點(diǎn)的過(guò)程時(shí)，針對(duì)右像上的點(diǎn)也同樣對(duì)稱(chēng)地進(jìn)行一遍。2.4誤匹配點(diǎn)消除2.41景象誤匹配分析Ｉ２（ｘ，ｙ）＝ｇ（Ｉ１（ｆ（ｘ，ｙ）））。（１）式中：ｆ是一個(gè)二維空間的坐標(biāo)變換；ｇ是一個(gè)一維的灰度變換；ｘ、ｙ為像素坐標(biāo)由式（１）得：基準(zhǔn)圖與實(shí)時(shí)圖正確匹配點(diǎn)之間存在一一對(duì)應(yīng)關(guān)系；但是因?yàn)閷?shí)際中地形、地貌有時(shí)候會(huì)出現(xiàn)相似的地方，造成多個(gè)相似特征點(diǎn)，除匹配點(diǎn)對(duì)應(yīng)出錯(cuò)外，也會(huì)出現(xiàn)一對(duì)多、多對(duì)一現(xiàn)象。由于基準(zhǔn)圖的地理坐標(biāo)位置（或與目標(biāo)的相對(duì)位置）是事先知道的，那么實(shí)時(shí)圖中橫縱坐標(biāo)與地理經(jīng)緯度坐標(biāo)之間也存在唯一的對(duì)應(yīng)關(guān)系；如果擬合出這種對(duì)應(yīng)關(guān)系，則不滿足對(duì)應(yīng)關(guān)系的點(diǎn)也屬于誤匹配點(diǎn)。2.4.2RANSAC誤匹配消除諸如經(jīng)典最小二乘的模型參數(shù)估計(jì)方法可以基于給定的目標(biāo)方程來(lái)估計(jì)和優(yōu)化模型參數(shù)，以最大化對(duì)所有給定數(shù)據(jù)集的適應(yīng)。這些方法不包括檢測(cè)和排除異常數(shù)據(jù)的方法，并且始終具有足夠大的精確數(shù)據(jù)值，以忽略給定數(shù)據(jù)集的大小并消除異常數(shù)據(jù)的影響。然而，在許多實(shí)際情況中，無(wú)法建立平滑假設(shè)，并且數(shù)據(jù)可能包含無(wú)法糾正的嚴(yán)重錯(cuò)誤數(shù)據(jù)。此時(shí)，不使用模型參數(shù)估計(jì)方法。例如，如果給出7個(gè)點(diǎn)（參見(jiàn)圖1），則制定最佳擬合直線段的方法，使得從所有正確點(diǎn)到直線的距離不超過(guò)0.8。顯然不可能以與最小二乘法相同的方式進(jìn)行擬合。\

圖1RANSAC代表RANdomSAmpleConsensus，該算法通過(guò)基于包含異常數(shù)據(jù)的樣本數(shù)據(jù)集收集有效樣本數(shù)據(jù)來(lái)計(jì)算數(shù)據(jù)的有效數(shù)學(xué)模型參數(shù)。它最初由Fischler和Bolles于1981年提出。#nbsp在測(cè)量數(shù)據(jù)中正確包含RANSAC算法的異常假設(shè)，即作為數(shù)據(jù)集，異常數(shù)據(jù)（數(shù)學(xué)模型不能應(yīng)用于數(shù)據(jù)的遠(yuǎn)程正常范圍之外的異常值）該模型可在此描述）。這些不尋常的數(shù)據(jù)可能是由于測(cè)量不正確，假設(shè)不正確或計(jì)算錯(cuò)誤造成的。描述以下RANSAC基本概念：#nbsp，考慮最小樣本集（1）的潛在模型（初始化模型參數(shù)所需的N個(gè)樣本的最小數(shù)量）和P（n）樣本數(shù)（P）>N是P的隨機(jī)子集，M是M的隨機(jī)子集。②電流ISC=S樣本集P\SM誤差模型S*，閾值t和S設(shè)定。＃NBSP;③＃（S*）≥N是使用正確模型參數(shù)S的*（內(nèi)點(diǎn)指示符）的集合構(gòu)成一致集S（共識(shí)集）的點(diǎn)集。該法則用于重新計(jì)算新模型M*，隨機(jī)提取新S并重復(fù)上述過(guò)程。④完成一定數(shù)量的樣本后，如果算法能找到一致的，則選擇由同一組內(nèi)部和外部判斷的相同集合獲得的最大樣本，算法將被終止?？梢允褂脙煞N算法優(yōu)化策略。①當(dāng)選擇特定程序或隨機(jī)選擇的源是完全隨機(jī)的時(shí)，替代子集S在選擇S時(shí)受到某些樣本的已知特征的限制，②模型M*的S*通過(guò)計(jì)算P*是一致的可以將所有樣本添加到S*，模型M*小于t的誤差，然后可以重新計(jì)算M*。＃？RANSAC算法包括三個(gè)輸入?yún)?shù)。1確定樣本是否滿足模型的誤差容限t。t需要手動(dòng)干預(yù)作為適當(dāng)?shù)念A(yù)定閾值，以將不同輸入數(shù)據(jù)的噪聲方差視為估計(jì)的中間點(diǎn)，并且該參數(shù)對(duì)RANSAC的性能具有顯著影響。主要是由于外部隨機(jī)采樣點(diǎn)的影響，測(cè)試參數(shù)直接影響模型參數(shù)的樣本集SC的數(shù)量，從而影響算法的效率。通過(guò)表征，均勻集通常應(yīng)足夠大以獲得表征數(shù)據(jù)集P的正確模型，并且使用足夠一致的樣本可以使得重新估計(jì)的模型參數(shù)更準(zhǔn)確。＃nbsp;RANSAC算法主要用于計(jì)算機(jī)視覺(jué)。例如，在立體視覺(jué)領(lǐng)域，同時(shí)解決了一對(duì)攝像機(jī)的匹配點(diǎn)問(wèn)題和基矩陣的計(jì)算。＃nbsp;二，刪除不一致的應(yīng)用程序RANSAC＃nbsp;在特征點(diǎn)配對(duì)中，模型是從一個(gè)平面中的特征點(diǎn)到另一個(gè)平面中的特征點(diǎn)的投影關(guān)系。反應(yīng)是投影矩陣H.H是包含八個(gè)自由度的3×3矩陣，可以從至少四個(gè)對(duì)的匹配點(diǎn)在兩個(gè)平面中計(jì)算的，但在同一平面上的三個(gè)點(diǎn)應(yīng)該不共面。圖2和圖3是當(dāng)通過(guò)手動(dòng)選擇和Harris角位置和匹配點(diǎn)選擇的兩個(gè)圖像的匹配點(diǎn)手動(dòng)選擇修改的外分支到顯示實(shí)驗(yàn)失配去除RANSAC，的結(jié)果。兩幅圖中的綠點(diǎn)是RANSAC認(rèn)為正確匹配的點(diǎn)對(duì)，紅點(diǎn)是不精確點(diǎn)對(duì)。

圖2

圖33基于單應(yīng)矩陣的圖像拼接算法3.1單應(yīng)矩陣下面來(lái)證明不在同一個(gè)平面上的點(diǎn)也滿足同一個(gè)F約束。平面和都已經(jīng)存在，F(xiàn)表示平面上的點(diǎn)都滿足的基礎(chǔ)矩陣。下面證明點(diǎn)A也滿足同一個(gè)約束。由于A點(diǎn)投影時(shí)一定能夠經(jīng)過(guò)平面上的一點(diǎn)（這里剛好是B點(diǎn)），由于A點(diǎn)也在平面上，因此平面上的像點(diǎn)必然也在直線上。則有根據(jù)式可知：也就是A點(diǎn)的兩個(gè)像點(diǎn)也滿足F約束。單應(yīng)矩陣在計(jì)算機(jī)視覺(jué)中的解決方案在相機(jī)校準(zhǔn)過(guò)程中起著重要作用。單應(yīng)矩陣包含相機(jī)的內(nèi)部參數(shù)矩陣，旋轉(zhuǎn)矢量和平移矢量。計(jì)算機(jī)視覺(jué)的單應(yīng)性重要性通過(guò)相機(jī)校準(zhǔn)方法解決，包括相機(jī)單應(yīng)矩陣變換向量和旋轉(zhuǎn)向量的參數(shù)。我們?cè)O(shè)置三維空間（均勻坐標(biāo)系）與Q=XYZ1]T[XY1]T映射矩陣H單應(yīng)性設(shè)置（S）是比例系數(shù)。Q和Q之間的關(guān)系是Q=SHQ＃NBSP;點(diǎn)映射過(guò)程表示轉(zhuǎn)換坐標(biāo)集物理W=[RT]，R是平移向量，可以通過(guò)反向旋轉(zhuǎn)指向物理變化.T是平移向量。然后投影過(guò)程是Q=sMWQ，因?yàn)樗怯蓴z像機(jī)獲得的內(nèi)部參考矩陣M，因此單應(yīng)矩陣H=SMW＃1NBSP;單應(yīng)矩陣:的CvFindHomography（）具有OpenCV計(jì)算功能，將計(jì)算出的點(diǎn)擊源圖像平面的位置與目標(biāo)圖像平面中的飛越點(diǎn)擊的位置相關(guān)聯(lián)。您可以使用OpenCV的視圖字段，多個(gè)圖像，計(jì)算單應(yīng)矩陣，并解決相機(jī)的內(nèi)部參數(shù)（內(nèi)部參數(shù)不可變?yōu)閿z像機(jī)的視野）。#nbsp，＃nbsp，＃nbsp，＃nbsp，坐標(biāo)系的定義：世界坐標(biāo)系世界坐標(biāo)系世界坐標(biāo)系圖像坐標(biāo)系由相機(jī)捕獲的圖像通過(guò)高速圖像采集系統(tǒng)以標(biāo)準(zhǔn)電視信號(hào)的形式轉(zhuǎn)換為數(shù)字圖像并輸入到計(jì)算機(jī)。每個(gè)數(shù)字圖像是計(jì)算機(jī)中的M*N陣列，并且M行和N列圖像中的每個(gè)元素（稱(chēng)為像素，像素）的值是圖像點(diǎn)的亮度（或灰度）。（u，v）僅表示數(shù)組中的像素?cái)?shù)和行數(shù)，因此不使用實(shí)際的單個(gè)數(shù)。相機(jī)坐標(biāo)系＃nbsp;攝像機(jī)坐標(biāo)系的原點(diǎn)是攝像機(jī)的光學(xué)中心，x和y軸平行于圖像的X和Y軸，z軸是攝像機(jī)垂直于圖像平面的光軸。作為圖像坐標(biāo)系原點(diǎn)的光軸和像平面的交點(diǎn)稱(chēng)為相機(jī)坐標(biāo)系。Ou攝像機(jī)坐標(biāo)系xyOu攝像機(jī)坐標(biāo)系xyv圖像坐標(biāo)系3.2單應(yīng)矩陣求解假設(shè)在齊次坐標(biāo)中，p（XIYi，1）用于透視變換H，通常使變換矩陣H的P'（XI'Y'，1），即P'=H*p，有八個(gè)矩陣是免費(fèi)的，因此至少可以解決四個(gè)特征點(diǎn)?？梢越⑺膫€(gè)特征點(diǎn)臂方程。接下來(lái)，對(duì)于n個(gè)特征點(diǎn)（冗余確定的方程）的情況，可以將Pof=H*變換為方程（p）=0軸次方向的解的解。另一方面，ax=0||轉(zhuǎn)換非線性?xún)?yōu)化問(wèn)題2分鐘||Ax（通過(guò)最小二乘擬合冗余確定的方程得到的近似解）。在齊次坐標(biāo)中，假設(shè)一點(diǎn)p(xi,yi,1)經(jīng)過(guò)H矩陣的變換變?yōu)閜(xi',yi',1)，即p'=H*p，通常，對(duì)于透視變換，H矩陣有8個(gè)自由度，轉(zhuǎn)化為min||Ax||2的非線性?xún)?yōu)化問(wèn)題（超定方程，通過(guò)最小二乘擬合得到近似解）。

對(duì)于某一點(diǎn)(xi,yi)，其變換可表述為

p'=H*p，代入展開(kāi)可得：

(1)

那么可得：

(2)

進(jìn)一步變換為：

(3)

這樣便可構(gòu)造系數(shù)矩陣：

(4)

通過(guò)系數(shù)矩陣我們可以構(gòu)造出齊次線性方程組(Ax=0)：

(5)

即：

(6)

[V,D]=eig(A'*A)

(7)

采用RANSAC算法得到高精度同名點(diǎn)，并以高精度同名點(diǎn)作為計(jì)算單應(yīng)矩陣H的依據(jù)，我們可以直接利用單應(yīng)矩陣，以左影像為參考影像，右影像為拼接影像直接進(jìn)行圖像的拼接。直接拼接即通過(guò)設(shè)定一個(gè)參考影像，計(jì)算參考影像與拼接影像之間的單應(yīng)矩陣，然后通過(guò)拼接影像的R，G，B三通道的值，與單應(yīng)矩陣進(jìn)行拼接，由于在拼接過(guò)程中，像素在圖像中不可再分，所以與單應(yīng)矩陣的乘積往往會(huì)有小數(shù)，這是我們采用取整的方法得到轉(zhuǎn)換后的影像，得到拼接影像。4基于特征點(diǎn)的圖像拼接技術(shù)研究4.1圖像融合算法在本文上述小節(jié)中，我們得到了初始同名點(diǎn)，并采用RANSAC算法得到高精度同名點(diǎn)，并以高精度同名點(diǎn)作為計(jì)算單應(yīng)矩陣H的依據(jù)，我們可以直接利用單應(yīng)矩陣，以左影像為參考影像，右影像為拼接影像直接進(jìn)行圖像的拼接。直接拼接即通過(guò)設(shè)定一個(gè)參考影像，計(jì)算參考影像與拼接影像之間的單應(yīng)矩陣，然后通過(guò)拼接影像的R，G，B三通道的值，與單應(yīng)矩陣進(jìn)行拼接，由于在拼接過(guò)程中，像素在圖像中不可再分，所以與單應(yīng)矩陣的乘積往往會(huì)有小數(shù)，這是我們采用取整的方法得到轉(zhuǎn)換后的影像，得到拼接影像。4.2基于低層特征的拼接方法我們都知道的一些所謂的拼接方法，例如邊界，邊緣，顏色等，通常描述全文的大規(guī)模存儲(chǔ)分布，并且由于該區(qū)域的充分表示而值得測(cè)量。有幾種方法可以測(cè)量，但有幾種方法可以拼接Harris邊緣和快速特征。Harris邊緣特征[50]的使用速度很快，但它具有節(jié)省大量時(shí)間的優(yōu)點(diǎn)。您需要犧牲所選圖像的隨機(jī)性來(lái)輕松選擇堆疊在一起的點(diǎn)集?，F(xiàn)在可以通過(guò)降低算法的計(jì)算復(fù)雜度來(lái)解決該問(wèn)題?，F(xiàn)象[52]在Harris空間聚類(lèi)算法之后增加了亮度加權(quán)算法。與其他低級(jí)特征相比，快速特征提取方法是最快的提取速度，并且通常用于實(shí)時(shí)圖像處理應(yīng)用。由于最佳閾值的選擇是FAST特征檢測(cè)中的一個(gè)重要問(wèn)題，因此穩(wěn)健閾值選擇算法的組合為FAST特征提供了最佳閾值，而FAST本身不足以支持角度變化[53]。SURF基于尺度空間理論提取特征點(diǎn)，但與SIFT不同，它使用Hessian矩陣來(lái)估計(jì)不同尺度空間的最大值。Bind等人[55]提出了使用基于SIFT和SURF的特征檢測(cè)算子獲得互補(bǔ)優(yōu)勢(shì)的圖像拼接.Kang和Zhu[56,57,58]提出了Harris角和SIFT的組合您已使用執(zhí)行圖像針跡的功能匹配。圖像融合技術(shù)得到了廣泛的應(yīng)用。根據(jù)融合處理的不同階段和數(shù)據(jù)提取的程度，現(xiàn)有的圖像融合算法通常分為以下三個(gè)層次:像素，特征層和決策層。4.3加權(quán)融合在4.1小節(jié)中我們直接進(jìn)行拼接得到拼接影像，拼接后的圖像往往在拼接處存在著拼接縫，圖像間亮度不均衡的現(xiàn)象，所以我們采用圖像融合的方式消除此類(lèi)現(xiàn)象。圖像融合在現(xiàn)實(shí)世界中有著廣泛的應(yīng)用，現(xiàn)有的圖像融合算法通常在特征級(jí)，像素級(jí)和決策級(jí)進(jìn)行。在圖像拼接中，由于存在著拼接縫，和亮度不均衡的問(wèn)題，我們需要采用一種平滑過(guò)渡的方式，將拼接處的斷裂，亮度不均的問(wèn)題解決，常常采用像素級(jí)別進(jìn)行融合，像素級(jí)別融合圖像的RGB信息經(jīng)過(guò)某種方式平滑過(guò)渡，得到更好的視覺(jué)效果，目前來(lái)說(shuō)，圖像融合算法常常采用平均值融合，加權(quán)融合，基于HIS變換的圖像融合等。本文主要介紹圖像加權(quán)融合。圖像加權(quán)融合法，是以對(duì)重疊區(qū)域的像素值加權(quán)后平均，如公式所示：f其中w1，w2。分別是參考影像圖影像及其待拼接影像中重疊區(qū)域中RGB的權(quán)值，并且存在著w1在選擇權(quán)值的大小有以下方法：（1）帽子加權(quán)平均法權(quán)值采取帽子函數(shù)：w其中widthi，heighti（2）漸入漸出法假設(shè)f1，f2為兩幅待拼接的兩幅影像，將兩張圖像在空間疊加，則融合后的像素ff其中d1，d2表示權(quán)重值，且存在著d1+d2=1，ddxr，xl，xi分別代表著重疊區(qū)域右邊界，重疊區(qū)域左邊界，當(dāng)前像素的橫坐標(biāo)，此種方法僅僅作用于了圖像的x方向，并可以在x方向上作平滑處理，未對(duì)y由于該方法原理簡(jiǎn)單，效果較好所以常常用作于圖像拼接的后期處理的圖像融合當(dāng)中，本文同樣采用該方