圖像匹配與拼接方法

1、圖像匹配與拼接 分匹配和拼接兩部分一、匹配    當(dāng)然匹配的方法，有sift，surf什么的，這里主要就介紹一下我自己的方法啦！    特征點(diǎn)提取是必須的，不然搜索范圍太大哇！并且可能不可靠，所以特征點(diǎn)提取是必須的。什么點(diǎn)適合做特征點(diǎn)呢？這方面的論文很多啦，主要還是看你用什么方法匹配了，如果是用互相關(guān)作為相似性準(zhǔn)則的話，那自相關(guān)系數(shù)隨各個(gè)方向變化大的點(diǎn)就適合作特征點(diǎn)了，當(dāng)然還要考慮穩(wěn)定性，即特征點(diǎn)應(yīng)該不太受光照、噪聲、縮放、旋轉(zhuǎn)等的影響，這樣的才是好的特征點(diǎn)。當(dāng)然，如果確定了應(yīng)用壞境，不一定要滿足不受上四個(gè)因素影響的，比如平行的雙目匹配、全景圖

2、的匹配等，具體問題具體分析吧！ 角點(diǎn)特征是個(gè)人比較喜歡的特征。這里我自己定義了一種局部特征，效果還行，匹配采用互相關(guān)為準(zhǔn)則的匹配，大概效果如下：      目測這幾個(gè)匹配點(diǎn)還是正確的哇！在一些應(yīng)用中，可能需要的匹配點(diǎn)數(shù)相當(dāng)多，這就需要較密集的匹配了。密集的匹配可以根據(jù)初始的匹配結(jié)果估計(jì)搜索范圍，這可以加速搜索，同時(shí)也要提取更多的特征點(diǎn)呀！話不多說了，下面是密集的匹配：     雖然這樣的密度對于三維重構(gòu)來說還不夠，但對于一般的圖像拼接來說足夠了。匹配完了，下面就要將第二步了。二、 矯正    匹

3、配好兩幅圖像了，接下來干啥呢？把它們對準(zhǔn)唄?？上Я耍瑑煞鶊D像之間不但存在平移，還存在旋轉(zhuǎn)縮放什么的，更復(fù)雜的，可能還存在所謂的3D變換，那就復(fù)雜啦！不管怎么樣，所謂的對準(zhǔn)，也就是矯正，總是基于一定的模型的，即基于相機(jī)拍攝兩幅圖像的相對姿態(tài)。對于全景圖拼接（個(gè)人覺得是最簡單的且較實(shí)用的拼接），需要根據(jù)相機(jī)焦距或者視場角投影到柱面上，然后兩幅圖像間的位置就只有一維的平移關(guān)系了。但是這對拍攝的相機(jī)也是有要求的，就是要保證拍攝兩幅圖像時(shí)，物防焦點(diǎn)是重合的，這樣才能根據(jù)稀疏的幾個(gè)點(diǎn)確定所有重疊區(qū)域內(nèi)點(diǎn)的相對位置呀！但實(shí)際中很難做到物方焦點(diǎn)重合，比如數(shù)碼相機(jī)或者所謂的智能手機(jī)的全景圖拍攝，一般人都是拿著相

4、機(jī)或者手機(jī)繞人旋轉(zhuǎn)，而非繞物方焦點(diǎn)旋轉(zhuǎn)拍攝的，這樣拼接起來是絕對有誤差的呀！特別是拼接近景，誤差就更大了，遠(yuǎn)景還好。怎么克服這個(gè)缺點(diǎn)呢？簡單的改進(jìn)方法就是繞著攝像頭旋轉(zhuǎn)吧，雖然這也不是嚴(yán)格繞物方焦距旋轉(zhuǎn)，但起碼誤差小得多啦，拼接的效果當(dāng)然也就好得多了，可以試一試哦！    不扯了，第二種模型就是認(rèn)為兩幅圖像間存在的變換關(guān)系是有2D旋轉(zhuǎn)、縮放、平移的，可以通過一個(gè)旋轉(zhuǎn)、縮放、平移矩陣來矯正，這個(gè)也不難，但是應(yīng)用范圍卻相當(dāng)有限，不詳說了。    第三種模型就是不用模型，或者說認(rèn)為兩幅圖像間的對應(yīng)點(diǎn)存在的是一種線性變換關(guān)系，這樣只要解一個(gè)線性方程組就可以了，似

5、乎也挺簡單的。但可惜的是，不是任給的兩幅圖像間都只存在線性變換呀！它可能是一個(gè)3D的線性變換，那就麻煩了，這個(gè)必須需要密匹配呀！不然就一定是有誤差的，即不能通過稀疏的匹配點(diǎn)來矯正兩幅圖像的所有對應(yīng)點(diǎn)的。    還有更多的模型，比如各方位的全景圖，需要投影到球面上的哇！不過這個(gè)模型也不難。最難的當(dāng)然是拍攝兩幅圖像時(shí)，相機(jī)不同，相機(jī)姿態(tài)也不同了，這個(gè)是很有挑戰(zhàn)的，我也很懼怕這個(gè)。下面展示三種矯正結(jié)果：1、2D線性模型：  2D矯正，認(rèn)為匹配點(diǎn)之間存在線性變換，X=ax+by+c，Y=dx+ey+e這樣的模型，業(yè)內(nèi)稱之放射變換，其中x，y是第一幅點(diǎn)的坐標(biāo)，X,

6、Y是對應(yīng)的第二幅圖像中的點(diǎn)坐標(biāo)，使用最小二乘法計(jì)算a、b、c、d、e、f，第二幅圖相對于第一幅圖矯正的結(jié)果就是這樣的了 2D線性變換的拼接，目測效果還行 2、2D平移、旋轉(zhuǎn)、縮放模型：2D矯正，認(rèn)為第二幅圖相對第一幅圖只存在平移、旋轉(zhuǎn)、放縮變換，當(dāng)然這里的平移沒體現(xiàn)出來，我把它的平移參數(shù)放在程序里面了，這也是利用最小二乘法解的放大系數(shù)、旋轉(zhuǎn)角度和平移參數(shù)的，分別解的，矯正結(jié)果就是這樣了  2D旋轉(zhuǎn)矯正的拼接，目測效果也不是很好 3、柱面投影模型：       柱面投影，這兩幅是匹配前的柱面投影，

7、即把原始的兩幅圖像投影到柱面上，然后再匹配拼接，選擇的視場角為40°。當(dāng)然，實(shí)際上這兩幅圖并不是共物方焦點(diǎn)的關(guān)系，柱面投影是不太恰當(dāng)?shù)闹嫱队澳Ｐ偷钠唇?，顯然不太對啦     必須說明一下，拼接效果是跟拍攝的模型相關(guān)的，拍攝時(shí)相機(jī)間是什么模型，矯正時(shí)就用什么模型。這兩幅圖其實(shí)是3D變換，上面3種方法都是有誤差的，只是第一種2D線性變換比較接近實(shí)際模型而已，所以拼接效果就好一點(diǎn)啦！三、拼接縫消除     對于上面的兩幅圖像來說，矯正后直接放在一起就看不出拼接縫啦！但是一般情況下沒有這么理想，兩幅圖像的亮度總

8、是不一致，直接放在一起有一條很明顯的拼接線，怎么辦？消除。消除拼接線可不簡單啊，最簡單的是加權(quán)法，這種方法雖然能消除一條劇烈躍變的拼接線，但同時(shí)可能引入一條較寬的拼接條，下圖就很好地說明這一點(diǎn)了。 矯正后直接放在一起的，拼接線很明顯 用加權(quán)法融合拼接線附近，拼接線展成拼接條了         如果消除上圖中的拼接條？當(dāng)然方法還是很多的，我也不太清楚了，這里用了一種叫做多分辨率融合的方法，即在拼接縫附近，在不同范圍內(nèi)對不同的頻帶進(jìn)行融合，然后再把個(gè)頻帶的融合結(jié)果加在一起，就變成下面的結(jié)果了，由圖看出，這方法

9、的效果還是比較好的。 多分辨率融合結(jié)果 總結(jié)     上面基本描述了拼接的過程了，還給出了一些示例。拼接是個(gè)難題，首先需要知道拍攝兩幅圖像相機(jī)的具體模型、內(nèi)外參數(shù)等，匹配也是個(gè)難題，目前還沒有一種方法能保證在任意情況下匹配得好啊！并且匹配一般較慢，這里用的匹配方法還好了，800*600的普通圖像的匹配大概0.5s左右，當(dāng)然是在沒有任何先驗(yàn)知識、匹配過程中沒有降分辨率的情況下，如果知道兩幅圖像的大概相對位置，那么匹配會快很多了。誤匹配的消除也是個(gè)麻煩，搞不好就沒消除完，或者多消除了。RANSAC算法能較好地消除誤匹配，不過這里消除誤匹配時(shí)沒有用到

10、RANSAC算法，這個(gè)算法還是有較多的缺陷的，個(gè)人覺得消除誤匹配的方法還是根據(jù)具體模型來設(shè)計(jì)具體的方法好，這里的誤匹配消除是我自己搞的，效果還行，基本能將所有誤匹配消除，也基本不會消除正確的匹配，還是比較滿意的，速度也快。消除拼接縫也是個(gè)問題，實(shí)際上拼接線是引入的高頻噪聲信號，但是拼接線附近的很多高頻信號是有用的，噪聲是高頻，有用信號也有高頻，怎么辦？這就不可能通過濾波器來濾除噪聲同時(shí)保留有效信號了。加權(quán)法有一個(gè)妙處，它不引入高頻信號，引入中頻信號，這從倒數(shù)第二個(gè)圖可以看出來。這就比較好辦了，在圖像的拼接條附近，不同尺度采用不同截止頻率的濾波器，能較好地把這些中頻噪聲濾掉。對低頻的融合，還可以補(bǔ)償兩幅圖像的整體光照?？上У氖?，這種方法也不是完美的，因?yàn)槿匀挥幸恍┯杏玫闹蓄l信號被濾除或者被衰減了。幸運(yùn)的是，對于人來說，敏感的是那些低頻和高頻呀！中頻顯得沒那么重要，因此在局部減掉一些中頻影響并不大。當(dāng)然，融合方法還有很多，例如基于梯度域的融合，都是些不錯的方法。    補(bǔ)充一點(diǎn)，這里用的都是灰度圖拼接。其實(shí)對于彩色圖，有了灰度圖的拼接就簡單了，對亮度進(jìn)行拼接