計算機視覺12 6 基于特征的圖像對準課件

第六章基于特征的圖像對準計算機視覺126基于特征的圖像對準主要內容圖像對準(Image

Alignment)位姿估計-增強現(xiàn)實（AugmentedReality）攝像機標定（CameraCalibration）2023/11/262計算機視覺126基于特征的圖像對準圖像對準-Imagealignment計算機視覺126基于特征的圖像對準Alookintothepast計算機視覺126基于特征的圖像對準AlookintothepastLeningradduringtheblockade計算機視覺126基于特征的圖像對準Bingstreetsideimages計算機視覺126基于特征的圖像對準圖像對準的應用全景拼接Panoramastitching目標識別計算機視覺126基于特征的圖像對準圖像拼接的困難小區(qū)域重疊遮擋,

混亂亮度變化計算機視覺126基于特征的圖像對準圖像對準兩大類方法:直接對準(基于像素)以大多數像素匹配為準則對準基于特征的對準以提取的特征匹配為準則對準可以通過基于像素的方法進行驗證計算機視覺126基于特征的圖像對準基于擬合的對準之前章節(jié):在單幅圖像內對提取的特征(點、邊緣段等)進行擬合，得到輪廓模型

FindmodelMthatminimizesMxi計算機視覺126基于特征的圖像對準基于擬合的對準之前章節(jié):在單幅圖像內對提取的特征(點、邊緣段等)進行擬合，得到輪廓模型

FindmodelMthatminimizesMxi對準:對于兩幅圖像特征對間的變換關系進行數據擬合FindtransformationT

thatminimizesTxixi'計算機視覺126基于特征的圖像對準2D轉換模型Similarity

(translation,

scale,rotation)

Affine

Projective

(homography)

計算機視覺126基于特征的圖像對準從仿射變換開始簡單的數據擬合程序(線性最小二乘法)對于近似平面表面的物體和近似正交的相機可以近似看作是視點變化可以作為更復雜模型的初始擬合結果計算機視覺126基于特征的圖像對準擬合仿射變換假如已知對應關系，怎樣得到轉換模型？計算機視覺126基于特征的圖像對準6個未知數的線性方程組每一對匹配的特征點能夠建立兩個獨立的線性方程:這樣就至少需要三對匹配的特征點解出全部參數擬合仿射變換計算機視覺126基于特征的圖像對準基于特征的圖像對準的過程計算機視覺126基于特征的圖像對準提取特征基于特征的圖像對準的過程計算機視覺126基于特征的圖像對準提取特征特征匹配基于特征的圖像對準的過程計算機視覺126基于特征的圖像對準提取特征特征匹配迭代:選擇三個特征點對，得到初始變換T基于特征的圖像對準的過程計算機視覺126基于特征的圖像對準提取特征特征匹配迭代:選擇三個特征點對，得到初始變換T利用其它特征點對，驗證變換T基于特征的圖像對準的過程計算機視覺126基于特征的圖像對準提取特征特征匹配迭代:選擇三個特征點對，得到初始變換T利用其它特征點對，驗證變換T基于特征的圖像對準的過程計算機視覺126基于特征的圖像對準建立特征點對?計算機視覺126基于特征的圖像對準對比興趣點鄰域范圍的圖像塊的特征描述子()()=?feature

descriptorfeature

descriptor?建立特征點對計算機視覺126基于特征的圖像對準特征描述子假設每個圖像塊已經被歸一化，怎樣描述各個圖像塊的相似性?特征描述需要具有對光照變化，噪聲，圖像模式的不變性計算機視覺126基于特征的圖像對準最簡單的描述子：圖像灰度向量怎樣比較兩個向量的相似性?Sumofsquareddifferences(SSD)

不具有光照不變性

Normalizedcorrelation

具有光照仿射不變性特征描述子計算機視覺126基于特征的圖像對準特征描述子直接將圖像塊作為描述子的不足:小的改變就會影響匹配結果

解決辦法:直方圖02p計算機視覺126基于特征的圖像對準描述子計算過程:將每個圖像塊分成4x4個子塊在每個子塊內計算方向梯度直方圖(8個參考方向)最終生成的描述子:4x4x8=128維DavidG.Lowe."Distinctiveimagefeaturesfromscale-invariantkeypoints.”

IJCV60(2),pp.91-110,2004.特征描述子:SIFT計算機視覺126基于特征的圖像對準描述子計算過程:將每個圖像塊分成4x4個子塊在每個子塊內計算方向梯度直方圖(8個參考方向)最終生成的描述子:4x4x8=128維

與直接用像素值相比的優(yōu)勢梯度對于光照變化不敏感實現(xiàn)了對于小變化的魯棒性,仍然保留了空間信息DavidG.Lowe."Distinctiveimagefeaturesfromscale-invariantkeypoints.”

IJCV60(2),pp.91-110,2004.特征描述子:SIFT計算機視覺126基于特征的圖像對準特征匹配?生成特征點對:對于圖像中每個子塊，在其它圖像中找到和它相似的一系列候選匹配塊計算機視覺126基于特征的圖像對準特征空間內外點的排除怎樣判斷哪些特征點對是可靠的？啟發(fā)式:比較特征空間內最近鄰的距離和次近鄰的距離對于那些不太明確的特征隊而言，最近鄰的距離和次近鄰的距離的比值通常會比較大DavidG.Lowe."Distinctiveimagefeaturesfromscale-invariantkeypoints.”

IJCV60(2),pp.91-110,2004.Thresholdof0.8providesgoodseparation計算機視覺126基于特征的圖像對準外點的處理幾何擬合方法:RANSACHoughtransform計算機視覺126基于特征的圖像對準RANSACRANSACloop:RandomlyselectaseedgroupofmatchesComputetransformationfromseedgroupFindinlierstothistransformationIfthenumberofinliersissufficientlylarge,re-computeleast-squaresestimateoftransformationonalloftheinliers

Keepthetransformationwiththelargestnumberofinliers計算機視覺126基于特征的圖像對準RANSACexample:TranslationPutativematches計算機視覺126基于特征的圖像對準Selectonematch,countinliersRANSACexample:Translation計算機視覺126基于特征的圖像對準Selectonematch,countinliersRANSACexample:Translation計算機視覺126基于特征的圖像對準SelecttranslationwiththemostinliersRANSACexample:Translation計算機視覺126基于特征的圖像對準RANSAC的問題在許多實際應用中，外點所占的比例很高(90%以上)另一種改進方法:Houghtransform計算機視覺126基于特征的圖像對準HoughtransformRecall:GeneralizedHoughtransformB.Leibe,A.Leonardis,andB.Schiele,CombinedObjectCategorizationandSegmentationwithanImplicitShapeModel,ECCVWorkshoponStatisticalLearninginComputerVision2004modelvisualcodewordwith

displacementvectorstestimage計算機視覺126基于特征的圖像對準Houghtransform假如提取的特征具有尺度和旋轉不變性這樣單個特征匹配就能提供一種可能的對準(translation,scale,orientation)DavidG.Lowe."Distinctiveimagefeaturesfromscale-invariantkeypoints.”

IJCV60(2),pp.91-110,2004.model計算機視覺126基于特征的圖像對準假如提取的特征具有尺度和旋轉不變性這樣單個特征匹配就能提供一種可能的對準(translation,scale,orientation)當然這種對準是不可靠的解決辦法:將各種可能的對準映射到Hough空間中投票，選擇得分最高的DavidG.Lowe."Distinctiveimagefeaturesfromscale-invariantkeypoints.”

IJCV60(2),pp.91-110,2004.modelHoughtransform計算機視覺126基于特征的圖像對準基于幾何不變量的標注基于不變量描述子的匹配能夠生成一個可能的變換關系modelindex計算機視覺126基于特征的圖像對準基于幾何不變量的標注modeltestimageindex基于不變量描述子的匹配能夠生成一個可能的變換關系計算機視覺126基于特征的圖像對準仿射變換的處理單應性-Homography:

平面射影變換(使得一個四邊形變成另一個任意的四邊形)計算機視覺126基于特征的圖像對準單應性-Homography單相機不同視角

不同相機同一場景計算機視覺126基于特征的圖像對準應用:全景拼接計算機視覺126基于特征的圖像對準單應性擬合齊次坐標Convertingtohomogenenous

imagecoordinatesConvertingfromhomogenenous

imagecoordinates計算機視覺126基于特征的圖像對準單應性擬合齊次坐標Convertingtohomogenenous

imagecoordinatesConvertingfromhomogenenous

imagecoordinates單應性方程計算機視覺126基于特征的圖像對準單應性方程3equations,only2linearly

independent單應性擬合計算機視覺126基于特征的圖像對準直接線性變換H有8個自由度(9個參數,但尺度是任意的)一個匹配特征對能夠建立兩個獨立方程最少要4個匹配特征對一般需要多于4個點對:通過最小二乘擬合得到最優(yōu)解計算機視覺126基于特征的圖像對準Example:RecognisingPanoramasM.BrownandD.Lowe,UniversityofBritishColumbia計算機視覺126基于特征的圖像對準Why“RecognisingPanoramas”?計算機視覺126基于特征的圖像對準Why“RecognisingPanoramas”?1DRotations(q)Ordering

matchingimages計算機視覺126基于特征的圖像對準Why“RecognisingPanoramas”?1DRotations(q)Ordering

matchingimages計算機視覺126基于特征的圖像對準Why“RecognisingPanoramas”?1DRotations(q)Ordering

matchingimages計算機視覺126基于特征的圖像對準Why“RecognisingPanoramas”?2DRotations(q,f)Ordering

matchingimages1DRotations(q)Ordering

matchingimages計算機視覺126基于特征的圖像對準Why“RecognisingPanoramas”?1DRotations(q)Ordering

matchingimages2DRotations(q,f)Ordering

matchingimages計算機視覺126基于特征的圖像對準Why“RecognisingPanoramas”?1DRotations(q)Ordering

matchingimages2DRotations(q,f)Ordering

matchingimages計算機視覺126基于特征的圖像對準Why“RecognisingPanoramas”?計算機視覺126基于特征的圖像對準OverviewFeatureMatchingImageMatchingBundleAdjustmentMulti-bandBlendingResultsConclusions計算機視覺126基于特征的圖像對準RANSACforHomography計算機視覺126基于特征的圖像對準RANSACforHomography計算機視覺126基于特征的圖像對準RANSACforHomography計算機視覺126基于特征的圖像對準Probabilisticmodelforverification計算機視覺126基于特征的圖像對準Findingthepanoramas計算機視覺126基于特征的圖像對準Findingthepanoramas計算機視覺126基于特征的圖像對準Findingthepanoramas計算機視覺126基于特征的圖像對準Findingthepanoramas計算機視覺126基于特征的圖像對準ParameteriseeachcamerabyrotationandfocallengthThisgivespairwisehomographiesHomographyforRotation計算機視覺126基于特征的圖像對準