圖像融合技術(shù)中英文對(duì)照外文翻譯文獻(xiàn)

1、中英文資料對(duì)照外文翻譯使用不變特征的全景圖像自動(dòng)拼接摘要本文研究全自動(dòng)全景圖像的拼接問(wèn)題，盡管一維問(wèn)題（單一旋轉(zhuǎn)軸）很好研究，但二維或多行拼接卻比較困難。以前的方法使用人工輸入或限制圖像序列，以建立匹配的圖像，在這篇文章中，我們假定拼接是一個(gè)多圖像匹配問(wèn)題，并使用不變的局部特征來(lái)找到所有圖像的匹配特征。由于以上這些，該方法對(duì)輸入圖像的順序、方向、尺度和亮度變化都不敏感；它也對(duì)不屬于全景圖一部分的噪聲圖像不敏感，并可以在一個(gè)無(wú)序的圖像數(shù)據(jù)集中識(shí)別多個(gè)全景圖。此外，為了提供更多有關(guān)的細(xì)節(jié)，本文通過(guò)引入增益補(bǔ)償和自動(dòng)校直步驟延伸了我們以前在該領(lǐng)域的工作。1.簡(jiǎn)介全景圖像拼接已經(jīng)有了大量的研究文獻(xiàn)和一

2、些商業(yè)應(yīng)用。這個(gè)問(wèn)題的基本幾何學(xué)很好理解，對(duì)于每個(gè)圖像由一個(gè)估計(jì)的3x3的攝像機(jī)矩陣或?qū)?yīng)矩陣組成。估計(jì)處理通常由用戶輸入近似的校直圖像或者一個(gè)固定的圖像序列來(lái)初始化，例如，佳能數(shù)碼相機(jī)內(nèi)的圖像拼接軟件需要水平或垂直掃描，或圖像的方陣。在自動(dòng)定位進(jìn)行前，第4版的REALVIZ拼接軟件有一個(gè)用戶界面，用鼠標(biāo)在圖像大致定位，而我們的研究是有新意的，因?yàn)椴恍枰峁┻@樣的初始化。根據(jù)研究文獻(xiàn)，圖像自動(dòng)對(duì)齊和拼接的方法大致可分為兩類一一直接的和基于特征的。直接的方法有這樣的優(yōu)點(diǎn)，它們使用所有可利用的圖像數(shù)據(jù)，因此可以提供非常準(zhǔn)確的定位，但是需要一個(gè)只有細(xì)微差別的初始化處理?；谔卣鞯呐錅?zhǔn)不需要初始化，但

3、是缺少不變性的傳統(tǒng)的特征匹配方法（例如，Harris角點(diǎn)圖像修補(bǔ)的相關(guān)性）需要實(shí)現(xiàn)任意全景圖像序列的可靠匹配。在本文中，我們描述了一個(gè)基于不變特征的方法實(shí)現(xiàn)全自動(dòng)全景圖像的拼接，相比以前的方法有以下幾個(gè)優(yōu)點(diǎn)。第一，不變特征的使用實(shí)現(xiàn)全景圖像序列的可靠匹配，盡管在輸入圖像中有旋轉(zhuǎn)、縮放和光照變化。第二，通過(guò)假定圖像拼接是一個(gè)多圖像匹配問(wèn)題，我們可以自動(dòng)發(fā)現(xiàn)這些圖像間的匹配關(guān)系，并且在無(wú)序的數(shù)據(jù)集中識(shí)別出全景圖。第三，通過(guò)使用多波段融合呈現(xiàn)無(wú)縫輸出的全景圖，可以產(chǎn)生高質(zhì)量的結(jié)果。本文通過(guò)-0(3)i引入增益補(bǔ)償和自動(dòng)校直步驟延伸了我們以前在該領(lǐng)域的工作，我們還描述了一個(gè)高效的捆綁調(diào)整實(shí)現(xiàn)并展示對(duì)任

4、意數(shù)量波段的多個(gè)重疊圖像如何進(jìn)行多波段融合。本文其余部分的結(jié)構(gòu)如下。第二部分說(shuō)明所研究問(wèn)題的幾何學(xué)和我們選擇不變特征的原因。第三部分介紹了圖像匹配方法（RANSAC）和驗(yàn)證圖像匹配的概率模型。第四部分中，我們描述了圖像對(duì)準(zhǔn)算法（捆綁調(diào)整），即共同優(yōu)化每個(gè)攝像頭的參數(shù)。五到七部分描述了處理過(guò)程，包括自動(dòng)校直、增益補(bǔ)償和多波段融合。第九部分中，我們給出了結(jié)論和對(duì)未來(lái)工作的展望。特征匹配全景識(shí)別算法的第一步是在所有圖像之間提取和匹配SIFT特征檢測(cè)點(diǎn)。SIFT特征檢測(cè)子位于不同尺度空間高斯插值函數(shù)的極值點(diǎn)處，對(duì)每一個(gè)特征點(diǎn)，特征尺度和方向被確定，這為測(cè)量提供了一個(gè)相似不變的結(jié)構(gòu)。盡管在這個(gè)結(jié)構(gòu)中簡(jiǎn)單

5、的采樣強(qiáng)度值是相似不變的，但是不變描述子實(shí)際上是通過(guò)對(duì)方向直方圖的局部梯度值進(jìn)行累積計(jì)算得到的，這樣就允許邊緣有輕微的移動(dòng)而不會(huì)改變描述子的矢量，對(duì)仿射變換提供了一定的魯棒性?？臻g累積計(jì)算對(duì)平移不變性同樣重要，因?yàn)楦信d趣點(diǎn)位置通常僅在03個(gè)像素的范圍內(nèi)是精確的。為了實(shí)現(xiàn)亮度不變性可以使用梯度（消除偏差）和對(duì)描述子矢量歸一化（消除增益）。由于SIFT特征在旋轉(zhuǎn)和尺度變化時(shí)是不變的，我們可以處理具有變化的方向和大小的圖像（見(jiàn)圖8）。值得注意的是，這是傳統(tǒng)的特征匹配技術(shù)不能實(shí)現(xiàn)的，例如Harris角點(diǎn)圖像修補(bǔ)的相關(guān)性。傳統(tǒng)的相關(guān)性在圖像旋轉(zhuǎn)時(shí)是變化的，Harris角點(diǎn)在改變圖像尺度時(shí)也是變化的。假設(shè)

6、相機(jī)繞光學(xué)中心旋轉(zhuǎn)，圖像的變換群是一個(gè)對(duì)應(yīng)矩陣的特殊群。由一個(gè)旋轉(zhuǎn)矢量0，0，0和焦距f將每個(gè)攝像頭參數(shù)化，就給出了成對(duì)的對(duì)應(yīng)矩陣U.=HU.，(1)1231ijJ其中H=KRRtK-ijYijj并且u.,u.是均勻的圖像坐標(biāo)（u.=slu,11，其中u是二維的圖像坐標(biāo)）。4參數(shù)的相機(jī)iJ.iii模型定義為：(2)對(duì)旋轉(zhuǎn)使用指數(shù)表示:-0-0在這個(gè)變換群中，理想條件下將會(huì)使用不變的圖像特征。可是，在圖像坐標(biāo)中對(duì)于小的變換表示如下:u=ui+i0dudujAujui0（4）或者等價(jià)于u.=Au.，其中，LijJaaa111213A=aaa（5）j212223001是通過(guò)一個(gè)關(guān)于u的對(duì)應(yīng)線性化得到

7、的仿射變換。這意味著每個(gè)小的圖像修補(bǔ)經(jīng)過(guò)一i0次仿射變換，并且合理利用了在仿射變換下局部不變的SIFT特征。一旦從所有n個(gè)圖像中提取特征點(diǎn)后（線性時(shí)間內(nèi)），需對(duì)特征點(diǎn)進(jìn)行匹配。由于多個(gè)圖像可能重疊在一個(gè)單一的光線上，在特征空間內(nèi)每個(gè)特征點(diǎn)需和它最近的k個(gè)領(lǐng)域點(diǎn)匹配（k=4）,通過(guò)使用k-d樹算法找到近似最近的領(lǐng)域點(diǎn)，時(shí)間復(fù)雜度為0（nlogn）。k-d樹是一種軸對(duì)齊的二進(jìn)制空間劃分，它在平均最高方差維遞歸劃分特征空間。圖像匹配圖像匹配的目標(biāo)是找到所有匹配（例如重疊）圖像，稍后圖像匹配連通集會(huì)成為全景圖。由于每個(gè)圖像可能和任意其他一個(gè)匹配，這個(gè)問(wèn)題一開始就呈現(xiàn)是出圖像數(shù)的二次方。為了得到一個(gè)好的

8、拼接結(jié)果，對(duì)于圖像幾何而言，每個(gè)圖像只需要和少數(shù)重疊的圖像來(lái)匹配。從特征匹配這個(gè)步驟中，我們已找出圖像間有大量匹配點(diǎn)的圖像。對(duì)于當(dāng)前圖像，我們將m幅圖像作為可能的匹配圖像（m=6），這m幅圖像與當(dāng)前圖像有最大數(shù)量的特征匹配點(diǎn)。首先，使用RANSAC算法選擇一系列和圖像間對(duì)應(yīng)矩陣兼容的內(nèi)點(diǎn)，然后應(yīng)用概率模型做進(jìn)一步的驗(yàn)證。3.1使用RANSAC算法的魯棒對(duì)應(yīng)矩陣估計(jì)RANSAC（隨機(jī)抽樣一致性算法）算法是使用最少的一組隨機(jī)采樣匹配點(diǎn)的一種魯棒估計(jì)過(guò)程，用來(lái)估計(jì)圖像變換參數(shù)，并找到與數(shù)據(jù)具有最好一致性的解決方案。在全景圖的情況下，我們選擇r=4對(duì)匹配特征點(diǎn)，使用直接線性變換（DLT）方法計(jì)算圖像間

9、的對(duì)應(yīng)矩陣H。重復(fù)500次試驗(yàn)，選擇內(nèi)點(diǎn)數(shù)最大的解決方案（在像素誤差范圍內(nèi)，其預(yù)測(cè)和H是一致的）。假設(shè)一對(duì)匹配圖像間的特征匹配點(diǎn)是正確的概率（內(nèi)點(diǎn)概率）為p，in次試驗(yàn)后找到正確變換的概率為：p（Hiscorrect）二1-（1-（p）r）n（6）i經(jīng)過(guò)大量試驗(yàn)后，找到正確對(duì)應(yīng)矩陣的概率非常大。例如，對(duì)于內(nèi)點(diǎn)概率p二0.5，在i500次試驗(yàn)后，未找到正確對(duì)應(yīng)矩陣的概率為1x10-14。RANSAC算法本質(zhì)上是一種估計(jì)H的采樣方法，如果用對(duì)數(shù)似然和的最大化代替內(nèi)點(diǎn)數(shù)量的最大化，結(jié)果是最大似然估計(jì)（MLE）。此外，如果變換參數(shù)的先驗(yàn)值是有效的，可以計(jì)算出最大后驗(yàn)概率（MAP）。這些算法被分別稱為M

10、LESAC和MAPSACo3.2圖像匹配關(guān)系驗(yàn)證的概率模型對(duì)兩兩圖像間是否存在匹配關(guān)系，我們使用一系列幾何一致的特征匹配點(diǎn)（RANSAC內(nèi)點(diǎn)）和一系列在重疊區(qū)域內(nèi)，但不一致的特征點(diǎn)（RANSAC外點(diǎn)）來(lái)驗(yàn)證。驗(yàn)證模型通過(guò)比較這些正確匹配產(chǎn)生的一系列內(nèi)點(diǎn)和錯(cuò)誤匹配產(chǎn)生的一系列外點(diǎn)的概率來(lái)進(jìn)行驗(yàn)證。對(duì)于一幅給定的圖像，重疊區(qū)域內(nèi)總的匹配特征點(diǎn)數(shù)為nf，內(nèi)點(diǎn)數(shù)為n。圖像是否有效匹配通過(guò)二進(jìn)制變量mw,1表示。第i個(gè)匹配特征點(diǎn)fC）e,1是否為內(nèi)點(diǎn)被假定，；nf,p1)pfGf)m=0)=BC;n,p)if0(7)(8)為獨(dú)立的貝努力分布，以便于內(nèi)點(diǎn)總數(shù)服從貝努力分布:p丿其中，p1是可以正確匹配圖像

11、時(shí)特征點(diǎn)為內(nèi)點(diǎn)的概率，pQ是不能實(shí)現(xiàn)圖像匹配時(shí)特征點(diǎn)為內(nèi)點(diǎn)的概率；fnf）表示特征匹配點(diǎn)變量的集合fc）,i=1,2,.,n，內(nèi)點(diǎn)數(shù)n=丫nff0，B（.）是貝努力分布，表示如下：ii=1B(x;n,p)=npx(1-pn-xx心x)我們選擇p1=0.6,的先驗(yàn)概率。p=0.1，則可以使用貝葉斯規(guī)則（式10、11）計(jì)算正確圖像匹配0)_(10)nf+（i：nf）m=-p=丫1Bn;n,p)p(m=0)pminB(n;npif,1我們可以實(shí)現(xiàn)圖像匹配。假定p（m=1）=10-6,p=0.999，進(jìn)一步得出正確圖像匹配min的判定條件：七；爲(wèi)匹配點(diǎn)2盪&殆雀-兀-57(a)圖一na+Bn（13）其

12、中a=8.0,B=0.3。盡管在這我們選擇了p,p,pCn=0）,p（m=1）和p的值，01min但在原理上可以從數(shù)據(jù)中進(jìn)一步確定這些值。例如，可以通過(guò)在大的數(shù)據(jù)集中計(jì)算一部分匹配點(diǎn)和正確的對(duì)應(yīng)矩陣相一致來(lái)估計(jì)p。1一旦圖像間的匹配點(diǎn)對(duì)確定，我們可以找到全景序列作為連接匹配圖像集，它可以識(shí)別圖像集中的多個(gè)全景，拒絕不匹配的噪聲圖像（見(jiàn)圖2）。(e)RANSAC內(nèi)點(diǎn)1(c)SIFT匹配點(diǎn)1(f)RANSAC內(nèi)點(diǎn)2圖1,從所有圖像中提取SIFT特征點(diǎn)。使用k-d樹匹配所有特征點(diǎn)后，對(duì)于一個(gè)給定圖像，用有最多特征匹配點(diǎn)的m幅圖像進(jìn)行圖像匹配。首先執(zhí)行RANSAC算法計(jì)算出對(duì)應(yīng)矩陣，然后調(diào)用概率模型驗(yàn)

13、證基于內(nèi)點(diǎn)數(shù)的圖像匹配，在這個(gè)例子中，輸入圖像是517x374像素，有247個(gè)正確特征匹配點(diǎn)。(a)圖像匹配點(diǎn)(b)圖像匹配點(diǎn)的連接分量(c)輸出全景圖圖2,可識(shí)別全景圖。考慮一個(gè)特征匹配點(diǎn)的噪聲集，我們使用RANSAC算法和概率驗(yàn)證過(guò)程找到(18)致的圖像匹配（a）,每個(gè)圖像對(duì)間的箭頭表示在圖像對(duì)間找到一致的特征匹配點(diǎn)集，圖像匹配連接分量被找到（b）,拼接成全景圖（c）；注意到該算法對(duì)不屬于全景圖的噪聲圖像不敏感。捆綁調(diào)整考慮到圖像間的幾何一致性匹配集，使用捆綁調(diào)整解決所有相機(jī)參數(shù)的問(wèn)題，這是重要的一個(gè)步驟，由于成對(duì)對(duì)應(yīng)矩陣拼接將會(huì)造成累計(jì)誤差，忽略圖像間的多重約束，如全景圖兩端應(yīng)聯(lián)合起來(lái)。

14、圖像一個(gè)接一個(gè)被添加到捆綁調(diào)節(jié)器，最佳匹配圖像（一致匹配數(shù)目最大）在每一步被添加，新圖像用與最佳匹配圖像具有相同的旋轉(zhuǎn)和焦距長(zhǎng)度初始化，然后相機(jī)參數(shù)使用L-M算法被更新。我們使用的目標(biāo)函數(shù)是一種抗差總和平方預(yù)測(cè)誤差。也就是說(shuō)，每個(gè)特征點(diǎn)被投影到所有與它匹配的圖像中，并且平方圖像距離的總和依據(jù)相機(jī)參數(shù)最小化?？紤]到對(duì)應(yīng)關(guān)系Uk呂ul（uk表示在圖像i中第k個(gè)特征點(diǎn)的位置），殘差表示為TOC o 1-5 h zijI(14)(15)(16)rk=ukpkijiij其中對(duì)應(yīng)到uk的點(diǎn)pk是對(duì)應(yīng)于uk點(diǎn)從圖像j到圖像i的投影iijiklp=KRRtK-iu.ijiiJJj誤差函數(shù)是所有圖像抗差剩余誤差

15、的和，表示如下：e=藝工工hOiji=1jwlC）kwf（i,j）(17)其中n是總的圖像數(shù),1（i）是和圖像i匹配的圖像集,f（i,j）是圖像i和圖像j的特征匹配集。我們使用Huber魯棒誤差函數(shù)，如下所示：h(x)=|嚴(yán)ifx1，+1)5ko0+11TOC o 1-5 h zIi=Ii*g(k+lbkoLW/=Wi*go（37）（k+1Joko其中設(shè)置高斯模糊內(nèi)核的標(biāo)準(zhǔn)偏差為o（2k+lb，如后續(xù)波段有相同波長(zhǎng)的范圍。對(duì)每一個(gè)波段，使用對(duì)應(yīng)的融合權(quán)值線性合并重疊的圖像，如下所示：工nBi,血0）Imulti10,0丿=koko（38）kO乙Wi（0,0丿i=1ko這會(huì)引起高頻段（小于ko）

16、在小范圍內(nèi)融合，而低頻段（大于ko）在較大的范圍內(nèi)融合（見(jiàn)圖6）。注意到我們選擇呈現(xiàn)的全景圖在參數(shù)為0，0的球面坐標(biāo)內(nèi)呈現(xiàn)全景圖，原則上從呈現(xiàn)的角度來(lái)看，我們可以選擇一個(gè)表面的任何二維參數(shù)。一個(gè)好的選擇將會(huì)呈現(xiàn)一個(gè)三角形球面，在圖像平面構(gòu)造融合權(quán)值，這樣會(huì)有統(tǒng)一處理所有圖像的優(yōu)勢(shì)，同時(shí)易于其它表面（在圖形硬件）的重采樣。0，0參數(shù)設(shè)置受極點(diǎn)的奇異性影響。算法：自動(dòng)全景拼接輸入：n個(gè)無(wú)序圖像從n幅圖像中提取SIFT特征。使用k-d算法為每個(gè)特征點(diǎn)找到k個(gè)最鄰近的匹配特征點(diǎn)。對(duì)于每一幅圖像：（1）選擇m個(gè)候選匹配圖像，它們與要匹配的圖像有最多的特征匹配點(diǎn)；（2）使用RANSAC算法找到幾何一致的特

17、征匹配來(lái)得到圖像對(duì)間的對(duì)應(yīng)矩陣；（3）使用概率模型驗(yàn)證圖像匹配。找到圖像匹配的連接分量。對(duì)于每個(gè)連接分量：（1）執(zhí)行捆綁調(diào)整解決所有相機(jī)的旋轉(zhuǎn)角0，0，1203和焦距f；（2）呈現(xiàn)使用多波段融合拼接的全景圖。輸出：全景圖像(a)原始圖像和拼接結(jié)果(b)波段1(從0到b)(c)波段2(從b到2o)(d)波段3(小于2o)圖6,多波段融合。左邊顯示的為k=1,2,3的帶通圖像B(0,申)，右邊為對(duì)應(yīng)的融合權(quán)值W(0,p)o最初的融合權(quán)值指定為1是每個(gè)圖像的最大權(quán)值。為了獲得每一個(gè)融合函數(shù)，在空間頻率b中，權(quán)值是模糊的，并形成相同空間頻率的帶通圖像。使用基于融合權(quán)值的加權(quán)和將帶通圖像融合在一起(a)

18、線性融合拼接圖像(b)多波段融合拼接圖像圖7,線性和多波段融合拼接的比較。右邊的圖像使用多波段融合，其中使用了5個(gè)波段，=5個(gè)像素。左邊的圖像是線性融合拼接。關(guān)于運(yùn)動(dòng)中的人的圖像匹配會(huì)引起圖像間小的錯(cuò)誤配準(zhǔn)，線性融合拼接的結(jié)果會(huì)導(dǎo)致圖像模糊，而多波段融合拼接圖像是清晰的。(a)(b)圖8,具有旋轉(zhuǎn)和縮放的圖像拼接。盡管在輸入圖像中有旋轉(zhuǎn)、縮放和亮度變化，使用不變特征點(diǎn)可以實(shí)現(xiàn)圖像拼接。塔頂和塔底的插像是其它圖像尺寸的4倍。（a）特征匹配點(diǎn)數(shù)隨（b）k=0.5時(shí)，兩幅圖（c）先前數(shù)據(jù)顯示未k的變化關(guān)系像拼接的例子配準(zhǔn)的細(xì)節(jié)圖像(d)k=-0.5(e)k=-0.25(f)k=0(g)k=0.25(

19、h)k=0.5圖9,存在徑向畸變的圖像拼接。圖像顯示了一階徑向畸變x二1+kX2x對(duì)圖像拼接的影響（圖像的高度歸一化為單位長(zhǎng)度），其中kwL0.5,0.5。注意到徑向畸變沒(méi)有在我們的算法中建模，我們使用了44幅圖像序列測(cè)試并應(yīng)用于20個(gè)不同k值的徑向畸變圖像，畸變圖像的例子示于圖（d）-（h）中。為了評(píng)估拼接的性能，我們計(jì)算了RANSAC算法后一致匹配點(diǎn)的個(gè)數(shù)，結(jié)果示于圖（a）。雖然在最壞的情況下，每個(gè)特征的匹配點(diǎn)數(shù)量下降了約三分之一，正確特征匹配點(diǎn)的數(shù)量仍然非常高（大約每個(gè)圖像500個(gè)），因此圖像仍可正確匹配。盡管徑向畸變?cè)诔尸F(xiàn)的圖像中會(huì)引起明顯的重影，見(jiàn)圖（b）-（c）,但會(huì)在捆綁調(diào)整和成

20、像階段修正，這對(duì)于高質(zhì)量全景圖拼接非常重要。結(jié)果圖2顯示了典型的全景識(shí)別算法操作，輸入4個(gè)全景圖像和4個(gè)噪聲圖像。該算法檢測(cè)匹配圖像和未匹配圖像的連接分量，輸出4個(gè)混合全景圖。圖5顯示了一個(gè)較大的例子，使用相機(jī)的自動(dòng)模式攝取這個(gè)圖像序列，這將容許改變孔徑和曝光時(shí)間，并對(duì)一些圖片使用閃光燈。盡管亮度改變了，SIFT特征穩(wěn)健地匹配和多波段融合策略可以產(chǎn)生一個(gè)無(wú)縫的全景圖。輸出是360ox100。度，并在球形坐標(biāo)系）中呈現(xiàn)。57個(gè)圖像完全自動(dòng)匹配而無(wú)用戶介入，對(duì)于最后的匹配，4x57二228個(gè)參數(shù)最優(yōu)化問(wèn)題被解決。2272x1704像素的輸入圖像在60秒內(nèi)匹配和配準(zhǔn)，15分鐘后呈現(xiàn)了一個(gè)8908x2

21、552（23萬(wàn)像素）的全景圖，57秒內(nèi)，呈現(xiàn)一個(gè)2000 x573像素的預(yù)覽，該測(cè)試在1.6GHz的奔騰M上進(jìn)行。結(jié)論本文為全自動(dòng)全景圖像拼接提供了一種新的系統(tǒng)。不變的局部特征的使用和驗(yàn)證圖像匹配的概率模型允許我們?cè)跓o(wú)序圖像集中識(shí)別多個(gè)全景圖，并實(shí)現(xiàn)全自動(dòng)圖像拼接而無(wú)用戶介入。這個(gè)方法在相機(jī)變焦，輸入圖像的方向，由于閃光燈和曝光/光圈設(shè)置引起的亮度改變方面是穩(wěn)健的。盡管圖像間有亮度差異，多波段融合方案確保圖像間的平滑過(guò)渡，同時(shí)保留了高頻細(xì)節(jié)。以后的工作：今后工作的領(lǐng)域可能包括相機(jī)和場(chǎng)景中的運(yùn)動(dòng)補(bǔ)償，攝像機(jī)幾何和光學(xué)性能更先進(jìn)的建模。攝像機(jī)運(yùn)動(dòng)：全景圖經(jīng)常受到光中心微小運(yùn)動(dòng)引起的視差錯(cuò)誤，這些可

22、通過(guò)從一個(gè)中心位置重新呈現(xiàn)前，調(diào)節(jié)相機(jī)成像和場(chǎng)景深度來(lái)消除。使用一個(gè)好的表示形式可能是一個(gè)無(wú)窮大的視差平面。拍攝期間小的運(yùn)動(dòng)會(huì)導(dǎo)致運(yùn)動(dòng)模糊，同時(shí)大的相機(jī)運(yùn)動(dòng)會(huì)引起視差。使用附近聚焦的圖像可以改善運(yùn)動(dòng)模糊圖像，類似的技術(shù)也可以用于產(chǎn)生超分辨率圖像。場(chǎng)景運(yùn)動(dòng)：雖然多波段融合策略在很多情況下非常有效，當(dāng)多個(gè)圖像間融合時(shí)，場(chǎng)景中大動(dòng)作的對(duì)象會(huì)引起明顯的重疊（見(jiàn)圖10）。另一種方法基于圖像間的差異部分自動(dòng)尋找最佳接縫線。先進(jìn)的相機(jī)模型：不包括在投影相機(jī)模型（保持直線）中的大多數(shù)相機(jī)有一個(gè)重要的特征，即徑向畸變，雖然沒(méi)有明確的算法建模，在適度的徑向畸變下我們已經(jīng)測(cè)試了其性能（見(jiàn)圖9）。在我們的實(shí)驗(yàn)中，雖然

23、全景識(shí)別和近似校準(zhǔn)非常有效，在顯示的結(jié)果中仍有明顯的重疊，因此，高質(zhì)量的圖像拼接應(yīng)用中需要有徑向畸變參數(shù)，至少在捆綁調(diào)整和成像階段。理想的圖像拼接應(yīng)該也支持多個(gè)運(yùn)動(dòng)模式，例如，關(guān)于一點(diǎn)的旋轉(zhuǎn)（如全景圖），觀察平面（如白板）和歐式變換（如調(diào)整掃描圖像）；也可以呈現(xiàn)多表面類型，如球形，圓柱形，平面。光度建模：理論上應(yīng)盡可能多的估計(jì)相機(jī)測(cè)光參數(shù)，暗角（沿圖像邊緣強(qiáng)度下降）是每個(gè)鏡頭都不可避免的，特別是在色澤均勻區(qū)域，如天空；從重疊圖像區(qū)域也可以獲得高動(dòng)態(tài)范圍信息，并呈現(xiàn)色調(diào)映射或合成曝光圖像。我們已經(jīng)開發(fā)了一個(gè)C+實(shí)現(xiàn)本文中描述的算法，稱為自動(dòng)縫合，這個(gè)方案的演示可以從網(wǎng)站下載，網(wǎng)址為 HYPERL

24、INK 。圖10,一個(gè)困難的拼接問(wèn)題。這個(gè)例子（紐約時(shí)代廣場(chǎng)）包含許多移動(dòng)的物體和圖像間亮度的巨大變化。盡管存在這些挑戰(zhàn)，我們的方法仍可以找到一致的不變特征集，正確的配準(zhǔn)圖像。未來(lái)的自動(dòng)圖像拼接器可以檢測(cè)到移動(dòng)的物體，并計(jì)算出高動(dòng)態(tài)范圍場(chǎng)景的輻射地圖。這將使用戶重新攝取選擇不同曝光設(shè)定和移動(dòng)物體的場(chǎng)景。AutomaticPanoramicImageStitchingusingInvariantFeaturesAbstractThispaperconcernstheproblemoffullyautomatedpanoramicimagestitching.ThoughtheIDproblem(

25、singleaxisofrotation)iswellstudied,2Dormulti-rowstitchingismoredifficult.Previousapproacheshaveusedhumaninputorrestrictionsontheimagesequenceinordertoestablishmatchingimages.Inthiswork,weformulatestitchingasamulti-imagematchingproblem,anduseinvariantlocalfeaturestofindmatchesbetweenalloftheimages.Be

26、causeofthisourmethodisinsensitivetotheordering,orientation,scaleandilluminationoftheinputimages.Itisalsoinsensitivetonoiseimagesthatarenotpartofapanorama,andcanrecognisemultiplepanoramasinanunorderedimagedataset.Inadditiontoprovidingmoredetail,thispaperextendsourpreviousworkintheareabyintroducinggai

27、ncompensationandautomaticstraighteningsteps.IntroductionPanoramicimagestitchinghasanextensiveresearchliteratureandseveralcommercialapplications.Thebasicgeometryoftheproblemiswellunderstood,andconsistsofestimatinga3x3cameramatrixorhomographyforeachimage.Thisestimationprocessneedsaninitialisation,whic

28、histypicallyprovidedbyuserinputtoapproximatelyaligntheimages,orafixedimageordering.Forexample,thePhotoStitchsoftwarebundledwithCanondigitalcamerasrequiresahorizontalorverticalsweep,orasquarematrixofimages.REALVIZStitcherversion4hasauserinterfacetoroughlypositiontheimageswithamouse,beforeautomaticreg

29、istrationproceeds.Ourworkisnovelinthatwerequirenosuchinitialisationtobeprovided.Intheresearchliteraturemethodsforautomaticimagealignmentandstitchingfallbroadlyintotwocategories一directandfeaturebased.Directmethodshavetheadvantagethattheyusealloftheavailableimagedataandhencecanprovideveryaccurateregis

30、tration,buttheyrequireacloseinitialisation.Featurebasedregistrationdoesnotrequireinitialisation,buttraditionalfeaturematchingmethods(e.g.,correlationofimagepatchesaroundHarriscorners)lacktheinvariancepropertiesneededtoenablereliablematchingofarbitrarypanoramicimagesequences.Inthispaperwedescribeanin

31、variantfeaturebasedapproachtofullyautomaticpanoramicimagestitching.Thishasseveraladvantagesoverpreviousapproaches.Firstly,ouruseofinvariantfeaturesenablesreliablematchingofpanoramicimagesequencesdespiterotation,zoomandilluminationchangeintheinputimages.Secondly,byviewingimagestitchingasamulti-imagem

32、atchingproblem,wecanautomaticallydiscoverthematchingrelationshipsbetweentheimages,andrecognisepanoramasinunordereddatasets.Thirdly,wegeneratehigh-qualityresultsusingmulti-bandblendingtorenderseamlessoutputpanoramas.Thispaperextendsourearlierworkintheareabyintroducinggaincompensationandautomaticstrai

33、ghteningsteps.Wealsodescribeanefficientbundleadjustmentimplementationandshowhowtoperformmulti-bandblendingformultipleoverlappingimageswithanynumberofbands.Theremainderofthepaperisstructuredasfollows.Section2developsthegeometryoftheproblemandmotivatesourchoiceofinvariantfeatures.Section3describesouri

34、magematchingmethodology(RANSAC)andaprobabilisticmodelforimagematchverification.Insection4wedescribeourimagealignmentalgorithm(bundleadjustment)whichjointlyoptimisestheparametersofeachcamera.Sections5-7describetherenderingpipelineincludingautomaticstraightening,gaincompensationandmulti-bandblending.I

35、nsection9wepresentconclusionsandideasforfuturework.FeatureMatchingThefirststepinthepanoramicrecognitionalgorithmistoextractandmatchSIFTfeaturesbetweenalloftheimages.SIFTfeaturesarelocatedatscale-spacemaxima/minimaofadifferenceofGaussianfunction.Ateachfeaturelocation,acharacteristicscaleandorientatio

36、nisestablished.Thisgivesasimilarity-invariantframeinwhichtomakemeasurements.Althoughsimplysamplingintensityvaluesinthisframewouldbesimilarityinvariant,theinvariantdescriptorisactuallycomputedbyaccumulatinglocalgradientsinorientationhistograms.Thisallowsedgestoshiftslightlywithoutalteringthedescripto

37、rvector,givingsomerobustnesstoaffinechange.Thisspatialaccumulationisalsoimportantforshiftinvariance,sincetheinterestpointlocationsaretypicallyonlyaccurateinthe0-3pixelrange.Illuminationinvarianceisachievedbyusinggradients(whicheliminatesbias)andnormalisingthedescriptorvector(whicheliminatesgain).Sin

38、ceSIFTfeaturesareinvariantunderrotationandscalechanges,oursystemcanhandleimageswithvaryingorientationandzoom(seefigure8).NotethatthiswouldnotbepossibleusingtraditionalfeaturematchingtechniquessuchascorrelationofimagepatchesaroundHarriscorners.Ordinary(translational)correlationisnotinvariantunderrota

39、tion,andHarriscornersarenotinvarianttochangesinscale.Assumingthatthecamerarotatesaboutitsopticalcentre,thegroupoftransformationstheimagesmayundergoisaspecialgroupofhomographies.Weparameteriseeachcamerabyarotationvector0=0i0andfocallengthf.Thisgivespairwisehomographies3u=HuwhereijjH=KRRtK-1ijiijjU=sl

40、u,1,whereu1iiandu.,U.arethehomogeneousimagepositions(ij2-dimensionalimageposition).The4parametercameramodelisdefinedbyisthef00i0f0i001and(usingtheexponentialrepresentationforrotations)00i3-0i2-0i300i10i2-0訂0Ideallyonewoulduseimagefeaturesthatareinvariantunderthisgroupoftransformations.However,forsma

41、llchangesinimagepositionduu=u+i-Auii0dujjui0orequivalentlyu=Au,whereijja11a12a13A=aaaij212223001Q)isanaffinetransformationobtainedbylinearisingthehomographyaboutu.Thisimpliesi0thateachsmallimagepatchundergoesanaffinetransformation,andjustifiestheuseofSIFTfeatureswhicharepartiallyinvariantunderaffine

42、change.Oncefeatureshavebeenextractedfromallnimages(lineartime),theymustbematched.Sincemultipleimagesmayoverlapasingleray,eachfeatureismatchedtoitsknearestneighboursinfeaturespace(weusek=4).ThiscanbedoneinO(nlogn)timebyusingak-dtreetofindapproximatenearestneighbours.Ak-dtreeisanaxisalignedbinaryspace

43、partition,whichrecursivelypartitionsthefeaturespaceatthemeaninthedimensionwithhighestvariance.ImageMatchingAtthisstagetheobjectiveistofindallmatching(i.e.overlapping)images.Connectedsetsofimagematcheswilllaterbecomepanoramas.Sinceeachimagecouldpotentiallymatcheveryotherone,thisproblemappearsatfirstt

44、obequadraticinthenumberofimages.However,itisonlynecessarytomatcheachimagetoasmallnumberofoverlappingimagesinordertogetagoodsolutionfortheimagegeometry.Fromthefeaturematchingstep,wehaveidentifiedimagesthathavealargenumberofmatchesbetweenthem.Weconsideraconstantnumbermimages,thathavethegreatestnumbero

45、ffeaturematchestothecurrentimage,aspotentialimagematches(weusem=6).First,weuseRANSACtoselectasetofinliersthatarecompatiblewithahomographybetweentheimages.Nextweapplyaprobabilisticmodeltoverifythematch.3.1RobustHomographyEstimationusingRANSACRANSAC(randomsampleconsensus)isarobustestimationprocedureth

46、atusesaminimalsetofrandomlysampledcorrespondencestoestimateimagetransformationparameters,andfindsasolutionthathasthebestconsensuswiththedata.Inthecaseofpanoramasweselectsetsofr=4featurecorrespondencesandcomputethehomographyHbetweenthemusingthedirectlineartransformation(DLT)method.Werepeatthiswithn=5

47、00trialsandselectthesolutionthathasthemaximumnumberofinliers(whoseprojectionsareconsistentwithHwithinatoleranceepixels).Giventheprobabilitythatafeaturematchiscorrectbetweenapairofmatchingimages(theinlierprobability)isp,theprobabilityoffindingthecorrecttransformationafterntrialsisp(Hiscorrect)Afteral

48、argenumberoftrialstheprobabilityoffindingthecorrecthomographyisveryhigh.Forexample,foraninlierprobabilityp=0.5,theprobabilitythatthecorrecthomographyisnotfoundafter500trialsisapproximately1x10-14.RANSACisessentiallyasamplingapproachtoestimatingH.Ifinsteadofmaximisingthenumberofinliersonemaximisesthe

49、sumoftheloglikelihoods,theresultismaximumlikelihoodestimation(MLE).Furthermore,ifpriorsonthetransformationparametersareavailable,onecancomputeamaximumaposterioriestimate(MAP).ThesealgorithmsareknownasMLESACandMAPSACrespectively.3.2ProbabilisticModelforImageMatchVerificationForeachpairofpotentiallyma

50、tchingimageswehaveasetoffeaturematchesthataregeometricallyconsistent(RANSACinliers)andasetoffeaturesthatareinsidetheareaofoverlapbutnotconsistent(RANSACoutliers).Theideaofourverificationmodelistocomparetheprobabilitiesthatthissetofinliers/outlierswasgeneratedbyacorrectimagematchorbyafalseimagematch.

51、Foragivenimagewedenotethetotalnumberoffeaturesintheareaofoverlapnandfthenumberofinliersn.Theeventthatthisimagematchescorrectly/incorrectlyisrepresentedbythebinaryvariablemw,l.TheeventthattheithfeaturematchfC)e),1isaninlier/outlierisassumedtobeindependentBernoulli,sothatthetotalnumberofinliersisBinom

52、ialm=1)=B(i;n,p)if1pf(1:nf)m=0=B(;n,p)if0pf(1:nf)(7)wherep、istheprobabilityafeatureisaninliergivenacorrectimagematch,andistheprobabilityafeatureisaninliergivenafalseimagematch.Thesetoffeaturematch(),i=1,2,.,nisdenotedf(：nf).Thenumberofinliersn=工nffC)fii=1B(.)istheBinomialdistributionvariablesandn!B(

53、x;n,p)=()pxx!n-x/.(i-p)n-xWechoosevaluesp、=0.6andp=0.1.WecannowevaluatetheposteriorprobabilitythatanimagematchiscorrectusingBayesRule:n)m-fm=1p(m=1)pff)(10)m:n+-(1:nf)m=-Weacceptanimagematchifp(m=1|f(1:nf)pmin畀fP)pS=1)accept1bJ;np)p(m=0)a+卩“ifmin(13)foracorrectimagematch,wherea=&0and卩=0.3.Thoughinpr

54、acticewehavechosenvaluesforp,p,p(m=0),p(m=1),andp,theycouldinprinciplebelearntfromthe01mindata.Forexample,pcouldbeestimatedbycomputingthefractionofmatchesconsistentwithcorrecthomographiesoveralargedataset.Oncepairwisematcheshavebeenestablishedbetweenimages,wecanfindpanoramicsequencesasconnectedsetso

55、fmatchingimages.Thisallowsustorecognisemultiplepanoramasinasetofimages,andrejectnoiseimageswhichmatchtonootherimages(seefigure(2).R(d)SIFTmatches2(e)RANSACinliers1(c)SIFTmatches1(a)Image1tree,themimageswiththegreatestnumberoffeaturematchestoagivenimagearecheckedforanimagematch.FirstRANSACisperformed

56、tocomputethehomography,thenaprobabilisticmodelisinvokedtoverifytheimagematchbasedonthenumberofinliers.Inthisexampletheinputimagesare517x374pixelsandthereare247correctfeaturematches.(a)Imagematches(b)Connectedcomponentsofimagematches(c)OutputpanoramasFigure2.Recognisingpanoramas.Givenanoisysetoffeatu

57、rematches,weuseRANSACandaprobabilisticverificationproceduretofindconsistentimagematches(a).Eacharrowbetweenapairofimagesindicatesthataconsistentsetoffeaturematcheswasfoundbetweenthatpair.Connectedcomponentsofimagematchesaredetected(b)andstitchedintopanoramas(c).Notethatthealgorithmisinsensitivetonoi

58、seimagesthatdonotbelongtoapanorama(connectedcomponentsofsize1image).BundleAdjustmentGivenasetofgeometricallyconsistentmatchesbetweentheimages,weusebundleadjustmenttosolveforallofthecameraparametersjointly.Thisisanessentialstepasconcatenationofpairwisehomographieswouldcauseaccumulatederrorsanddisrega

59、rdmultipleconstraintsbetweenimages,e.g.,thattheendsofapanoramashouldjoinup.Imagesareaddedtothebundleadjusteronebyone,withthebestmatchingimage(maximumnumberofconsistentmatches)beingaddedateachstep.Thenewimageisinitialisedwiththesamerotationandfocallengthastheimagetowhichitbestmatches.Thentheparameter

60、sareupdatedusingLevenberg-Marquardt.Theobjectivefunctionweuseisarobustifiedsumsquaredprojectionerror.Thatis,eachfeatureisprojectedintoalltheimagesinwhichitmatches,andthesumofsquaredimagedistancesisminimisedwithrespecttothecameraparameters.Givenacorrespondenceuk導(dǎo)ui(ukdenotesthepositionofthekthfeature