基于BRISK和改進(jìn)RANSAC算法的圖像拼接

1、基于BRISK和改進(jìn)RANSAC算法的圖像拼接圖像拼接是圖像處理的一個(gè)重要領(lǐng)域，指的是將兩張或多張有重疊像素的圖像經(jīng)過(guò)一系列操作組成一張廣角圖像1，目前廣泛應(yīng)用于遙感影像配準(zhǔn)、計(jì)算機(jī)視覺(jué)、醫(yī)學(xué)圖像處理、視覺(jué) SLAM 以及嵌入式設(shè)備等領(lǐng)域，如相機(jī)在拍攝時(shí)由于拍攝空間和相機(jī)視角局限性的影響，導(dǎo)致單張圖像獲取信息有限，需要利用圖像拼接的方式獲得包含信息更加豐富圖像。圖像拼接主要分為基于頻域的拼接方法和基于時(shí)域的拼接方法兩類(lèi)。基于頻域的拼接方法是通過(guò)傅里葉變換將圖像變換至頻域，然后根據(jù)圖像間的互功率譜求解出平移矢量，最后根據(jù)平移矢量實(shí)現(xiàn)圖像拼接2。基于時(shí)域的拼接方法又分為基于灰度拼接和基于圖像特征點(diǎn)

2、拼接兩類(lèi)方法，基于灰度的理論研究較早但實(shí)際應(yīng)用相對(duì)較少，主要是通過(guò)驗(yàn)證圖像的灰度相關(guān)性來(lái)實(shí)現(xiàn)圖像拼接，該方法在解決圖像畸變大、不連續(xù)等問(wèn)題時(shí)存在困難，因此，基于灰度的拼接方法難以獲得較好的拼接結(jié)果3；基于圖像特征點(diǎn)的拼接方法主要通過(guò)計(jì)算圖像特征點(diǎn)的位置關(guān)系求解出圖像的變換關(guān)系，再根據(jù)變換關(guān)系實(shí)現(xiàn)圖像拼接，該方法具有計(jì)算速度快、魯棒性強(qiáng)的優(yōu)勢(shì)，可以獲得較好的拼接結(jié)果4。目前，圖像拼接主要是基于特征點(diǎn)拼接實(shí)現(xiàn)的。常用的特征點(diǎn)提取方法有SIFT （Scale Invariant Feature Transform）5-6、SURF（Speeded Up Robust Features）7-8以及OR

3、B （Oriented FAST and Rotated BRIEF）9-10等方法。SIFT算法是由Lowe等人提出的，文獻(xiàn)11-12將該方法結(jié)合RANSAC13算法應(yīng)用在圖像拼接中，該算法對(duì)尺度縮放、旋轉(zhuǎn)、亮度變化保持不變性，對(duì)仿射變換、視角變化、噪聲也保持一定程度的穩(wěn)定性，但是因?yàn)槭褂枚啻蔚母咚咕矸e，使得其存在運(yùn)算量較大，運(yùn)行時(shí)間較長(zhǎng)的缺點(diǎn)，尤其是在算力有限的嵌入式設(shè)備上很難滿足實(shí)時(shí)性。SURF算法是由Bay等人提出的，文獻(xiàn)3，14 將該方法分別結(jié)合PROSAC15算法和RANSAC算法應(yīng)用在圖像拼接中。SURF算法是SIFT算法的一種改進(jìn)，它使用盒狀濾波器代替高斯卷積，再配合上積分圖像

4、，大幅減小了特征點(diǎn)的提取時(shí)間，但其檢測(cè)到的特征點(diǎn)比SIFT算法要多，因此其進(jìn)行特征點(diǎn)匹配時(shí)相對(duì)耗時(shí)，依然存在運(yùn)行時(shí)間較長(zhǎng)的缺點(diǎn)，同樣無(wú)法較好地在算力有限的嵌入式設(shè)備上滿足實(shí)時(shí)性。ORB算法是由Rublee等人提出的，文獻(xiàn)4將該方法結(jié)合RANSAC算法應(yīng)用在圖像拼接中。該算法是一種較為簡(jiǎn)單的利用二進(jìn)制特征描述符進(jìn)行特征點(diǎn)提取的算法，其顯著特點(diǎn)是速度超快，具有旋轉(zhuǎn)不變性，在一定程度上不受噪聲和圖像變換的影響，雖然在算力較低的嵌入式設(shè)備上滿足實(shí)時(shí)性，但存在不具備尺度不變性且特征點(diǎn)匹配準(zhǔn)確率較低的問(wèn)題。為了解決這些問(wèn)題，本文提出了一種基于BRISK和改進(jìn)RANSAC算法的方法來(lái)實(shí)現(xiàn)圖像拼接。首先，針對(duì)

5、特征點(diǎn)的檢測(cè)速度問(wèn)題，本文使用BRISK（Binary Robust Invariant Scalable Keypoints）16算法進(jìn)行特征點(diǎn)檢測(cè)。然后，為了在特征點(diǎn)精匹配中得到更多的特征點(diǎn)匹配對(duì)數(shù)，本文提出了一種基于RANSAC算法的改進(jìn)算法：（1）先隨機(jī)地從粗匹配點(diǎn)對(duì)中選擇4個(gè)點(diǎn)對(duì)計(jì)算單應(yīng)性矩陣H，再根據(jù)單應(yīng)性矩陣H計(jì)算統(tǒng)計(jì)出內(nèi)點(diǎn)數(shù)，再根據(jù)內(nèi)點(diǎn)擬合出新的單應(yīng)性矩陣，以此循環(huán)，直至內(nèi)點(diǎn)的個(gè)數(shù)不再增加為循環(huán)的結(jié)束，將此操作執(zhí)行多次，內(nèi)點(diǎn)數(shù)最大所對(duì)應(yīng)的單應(yīng)性矩陣為最終結(jié)果；（2）對(duì)RANSAC的內(nèi)點(diǎn)將歐氏距離判斷改成面積判斷。實(shí)驗(yàn)結(jié)果證明，本文提出的方法可以縮短特征點(diǎn)檢測(cè)的運(yùn)行時(shí)間且得到更多

6、的內(nèi)點(diǎn)數(shù)，從而提高準(zhǔn)確度。2 實(shí)驗(yàn)原理圖像拼接的原理為找到兩幅圖像中相對(duì)應(yīng)的位置，然后經(jīng)過(guò)對(duì)待拼接圖像的投影變換，將兩幅圖像置于同一圖像坐標(biāo)系中，從而完成圖像拼接。本文中尋找對(duì)應(yīng)位置使用到BRISK算法；投影變換關(guān)系需使用單應(yīng)性矩陣表示。2.1特征檢測(cè)算法BRISKBRISK算法是由Stefan等人提出的，該方法和SURF算法、SIFT算法一樣，具有尺度不變性和旋轉(zhuǎn)不變性，但運(yùn)行速度優(yōu)于SURF算法、SIFT算法。該方法在運(yùn)行速度上的優(yōu)勢(shì)，主要?dú)w結(jié)于采用基于FAST方法進(jìn)行特征點(diǎn)檢測(cè)和使用類(lèi)似于BRIEF方法的二值位字符串描述符。BRISK方法構(gòu)建了由n 個(gè)組層和 n 個(gè)組間層組成的尺度空間金

7、字塔（n值一般為4），這樣保證了BRISK方法的尺度不變性。若用t表示圖像的尺度，則各層的尺度公式可由式（1）表示：t(ci)=2i,t(di)=2i1.5（1）式中：ci 表示第i個(gè)組層，di 為第i個(gè)組間層，i = 0，1，n-1。BRISK方法先使用FAST9-1617方法和FAST5-818方法進(jìn)行特征點(diǎn)提取，然后對(duì)特征點(diǎn)的得分值在相鄰的兩個(gè)尺度空間上進(jìn)行非極大值抑制，其中得分值為角點(diǎn)響應(yīng)值。最后，再使用最小二乘法結(jié)合得分值擬合得到特征點(diǎn)的亞像素坐標(biāo)以及對(duì)應(yīng)的尺度。BRISK方法的特征點(diǎn)描述符創(chuàng)建是以特征點(diǎn)為中心，圍繞特征點(diǎn)有4個(gè)同心圓，每個(gè)同心圓的圓周上分布著數(shù)量不同的采樣像素，從內(nèi)

8、而外分別為10，14，15，20，加上特征點(diǎn)一共是60個(gè)采樣點(diǎn)，將這60個(gè)采樣點(diǎn)兩兩進(jìn)行組合，可得到1 770個(gè)組合。所對(duì)應(yīng)的數(shù)學(xué)表示形式見(jiàn)式（2）：A=(Pi,Pj)R2R2iN,ji,N=60（2）式中，R2代表二元組，Pi、Pj為60個(gè)采樣點(diǎn)中的一個(gè)。在BRISK中，根據(jù)采樣點(diǎn)間的距離長(zhǎng)短，從A中取出集合S和L。S和L的定義見(jiàn)式（3）：S=(Pi,Pj)Adi,js,L=(Pi,Pj)Adi,jL,di,j=pipj=(xixj)2+(yiyj)2（3）式中，Pi的坐標(biāo)為(xi,yi)，Pj的坐標(biāo)為(xj,yj)，S=9.75t，L=13.67t，t表示尺度。集合L用于構(gòu)建特征點(diǎn)的角度屬

9、性。設(shè)(Pi,Pj)L，則這兩個(gè)采樣像素的局部梯度x,y可由式（4）表示：x=(xixj)(I(pi,i)I(pj,j)d2i,jy=(yiyj)(I(pi,i)I(pj,j)d2i,j（4）式中：Pi的坐標(biāo)為(xi,yi)，Pj的坐標(biāo)為(xj,yj)，I(pi,i)為采樣像素Pi高斯平滑后的灰度值，I(pj,j)為采樣像素Pj高斯平滑后的灰度值，i、j為高斯平滑時(shí)使用的標(biāo)準(zhǔn)差。令gx=1lLx,gy=1lLy,（5）則特征點(diǎn)的角度可由式（6）表示：=arctan(gygx)（6）集合S用于構(gòu)建特征點(diǎn)的描述符，BRISK算法的描述符是基于二值位字符串形成的，字符串的每一位b見(jiàn)式（7）：b=1,

10、0,I(pj,j)I(pi,i)其他（7）式中，pj和pi為經(jīng)過(guò)旋轉(zhuǎn)以后的采樣模板中集合S中的一對(duì)采樣點(diǎn)，這樣保證了旋轉(zhuǎn)不變性。2.2單應(yīng)性矩陣的求解單應(yīng)性矩陣H 為一個(gè)33的矩陣19。設(shè)H=h1h4h7h2h5h8h3h6h9（8）則有xbybwb=h1h4h7h2h5h8h3h6h9xayawa（9）xbwb=h1xa+h2ya+h3wah7xa+h8ya+h9wa=h1xawa+h2yawa+h3h7xawa+h8yawa+h9（10）ybwb=h4xa+h5ya+h6wah7xa+h8ya+h9wa=h4xawa+h5yawa+h6h7xawa+h8yawa+h9（11）令ua=xaw

11、a,va=yawa,ub=xbwb,vb=ybwb（12）則b=h1ua+h2va+h3h7ua+h8va+h9vb=h4ua+h5va+h6h7ua+h8va+h9（13）在單應(yīng)性矩陣H中，h9 是尺度，且恒為1，故共有8個(gè)未知數(shù)。由上述式（8）（13）知，一對(duì)映射點(diǎn)對(duì)可推導(dǎo)出兩個(gè)等式，則至少需要4對(duì)點(diǎn)就可以解出單應(yīng)性矩陣H。換言之，要將一副圖像投影變換為另一幅圖像，至少需要知道投影變換前后4對(duì)點(diǎn)的映射關(guān)系。在計(jì)算單應(yīng)性矩陣H時(shí)，如果已知的映射點(diǎn)對(duì)只有4對(duì)時(shí)，可通過(guò)上述公式直接求解出H的值；但當(dāng)對(duì)應(yīng)點(diǎn)超過(guò)4對(duì)時(shí)，可使用最小二乘法，使得反向投影錯(cuò)誤率的值最小，來(lái)擬合求解單應(yīng)性矩陣H，反向投影錯(cuò)

12、誤率的求解過(guò)程見(jiàn)式（14）：f=i(xih1xi+h2yi+h3h7xi+h8yi+h9)2+(yih4xi+h5yi+h6h7xi+h8yi+h9)2（14）式中：h1h9為對(duì)應(yīng)的單應(yīng)性矩陣H的9個(gè)值，xi、yi為變換后的特征點(diǎn)坐標(biāo)值，xi為橫坐標(biāo)，yi為縱坐標(biāo)。xi、yi為變換前的特征點(diǎn)坐標(biāo)值，xi為橫坐標(biāo)，yi為縱坐標(biāo)。2.3加權(quán)融合由于輸入的兩幅圖像存在亮度等方面的差異，在完成圖像拼接后，新生成的圖像會(huì)存在明顯的拼接痕跡，影響視覺(jué)直觀效果，需要采用加權(quán)平滑算法來(lái)實(shí)現(xiàn)兩幅圖像間的融合過(guò)渡。融合方法見(jiàn)公式（15）：f(x,y)=f1(x,y),d1f1(x,y)+d2f2(x,y),f2(

13、x,y),(x,y)R1(x,y)R2(x,y)R3（15）式中：R1、R3表示兩幅圖像的非重合區(qū)域，R2為兩幅圖像的重合區(qū)域，f1(x,y)、f2(x,y)為兩幅圖像(x,y)處的灰度值，d1、d2為加權(quán)系數(shù)且d1+d2=1。3 基于RANSAC算法的改進(jìn)3.1傳統(tǒng)的RANSAC算法RANSAC算法的主要作用是剔除掉特征點(diǎn)錯(cuò)誤匹配對(duì)，算法所對(duì)應(yīng)的流程圖如圖1（a）所示。其主要步驟為：圖1改進(jìn)前后的RANSAC算法Fig. 1RANSAC algorithm before and after improvement（1）從粗匹配結(jié)果中，隨機(jī)的選取4對(duì)非線性特征點(diǎn)匹配對(duì)組成集合M；（2）使用集合

14、M計(jì)算出單應(yīng)性矩陣H；（3）使用H對(duì)粗匹配結(jié)果中的所有匹配對(duì)進(jìn)行驗(yàn)證，統(tǒng)計(jì)內(nèi)點(diǎn)個(gè)數(shù)（內(nèi)點(diǎn)為小于預(yù)設(shè)閾值的匹配對(duì)）；（4）若當(dāng)前內(nèi)點(diǎn)數(shù)大于當(dāng)前最優(yōu)單應(yīng)性矩陣的內(nèi)點(diǎn)數(shù)，則對(duì)當(dāng)前最優(yōu)單應(yīng)性矩陣進(jìn)行更新，反之，不更新；（5）根據(jù)當(dāng)前最優(yōu)單應(yīng)性矩陣的內(nèi)點(diǎn)數(shù)更新迭代總次數(shù)，若當(dāng)前迭代次數(shù)小于總迭代次數(shù)，返回執(zhí)行步驟（1），反之，則當(dāng)前最優(yōu)單應(yīng)性矩陣為最終結(jié)果。3.2改進(jìn)的RANSAC算法根據(jù)上述的RANSAC算法可知，在粗匹配的結(jié)果中匹配到的內(nèi)點(diǎn)數(shù)越多，則認(rèn)為當(dāng)前模型越好，所以可以通過(guò)循環(huán)增大集合M，使其可以擬合更多的匹配點(diǎn)對(duì)，從而使得最終結(jié)果可以計(jì)算到更多的匹配對(duì)，故將算法做以下改進(jìn)， 算法所對(duì)應(yīng)的流程

15、圖如圖1（b）所示。（1）從粗匹配結(jié)果中，隨機(jī)的選取4對(duì)非線性特征點(diǎn)匹配對(duì)組成集合M；（2）使用集合M計(jì)算出單應(yīng)性矩陣H；（3）使用H對(duì)粗匹配結(jié)果中的所有匹配對(duì)進(jìn)行驗(yàn)證，將內(nèi)點(diǎn)加入到集合M中；（4）若集合M的點(diǎn)對(duì)數(shù)增加，則返回步驟（2）繼續(xù)執(zhí)行；若集合M保持不變，則執(zhí)行步驟（5）；（5）若集合M的點(diǎn)對(duì)數(shù)大于當(dāng)前最優(yōu)單應(yīng)性矩陣的點(diǎn)對(duì)數(shù)，則對(duì)當(dāng)前最優(yōu)單應(yīng)性矩陣進(jìn)行更新，反之，不更新；（6）根據(jù)當(dāng)前最優(yōu)單應(yīng)性矩陣的內(nèi)點(diǎn)數(shù)更新迭代總次數(shù)，若當(dāng)前迭代次數(shù)小于總迭代次數(shù)，返回執(zhí)行步驟（1），反之，則當(dāng)前最優(yōu)單應(yīng)性矩陣為最終結(jié)果。3.3RANSAC算法中閾值的選擇在RANSAC算法中，判斷一個(gè)匹配對(duì)是否為內(nèi)

16、點(diǎn)（正確匹配對(duì)）的依據(jù)是：像素點(diǎn)（X，Y）經(jīng)過(guò)單應(yīng)性矩陣H投影變換得到的值與實(shí)際值的差應(yīng)小于等于閾值。當(dāng)閾值取到足夠大，接近無(wú)窮，那么此時(shí)任意選擇的4個(gè)初值所求出來(lái)的結(jié)果都將使匹配對(duì)滿足情況，均被置成內(nèi)點(diǎn)，無(wú)法達(dá)到將錯(cuò)誤匹配對(duì)剔除的目的，從而導(dǎo)致最終拼接效果不佳。當(dāng)閾值取到足夠小，甚至是等于0時(shí)，則此時(shí)將會(huì)使絕大部分匹配對(duì)都不滿足情況，滿足情況的匹配對(duì)將會(huì)變得寥寥無(wú)幾，并且將大部分正確匹配對(duì)剔除，使得最終內(nèi)點(diǎn)結(jié)果占實(shí)際正確匹配對(duì)的比例太低，得到的內(nèi)點(diǎn)將無(wú)法代表整體正確匹配對(duì)，使得結(jié)果的偶然性增大，導(dǎo)致拼接效果不佳。當(dāng)閾值取到合適值時(shí)，此時(shí)錯(cuò)誤匹配對(duì)將會(huì)被剔除，正確匹配對(duì)被置成內(nèi)點(diǎn)保留，且內(nèi)點(diǎn)結(jié)

17、果占實(shí)際正確匹配對(duì)的比例較高，可用得到的內(nèi)點(diǎn)代表整體正確匹配對(duì)，使得最終效果更佳。為了提高單應(yīng)性矩陣的準(zhǔn)確度，必須選擇合適的閾值。由于在特征點(diǎn)檢測(cè)BRISK算法中得到的特征點(diǎn)的像數(shù)值是近似值而非精確值，所以此時(shí)就必須允許誤差的存在。雖然得到的像數(shù)值是近似值，但由BRISK算法可知，該近似值與精確值的差距在一個(gè)像素之內(nèi)，故將閾值設(shè)置為1，且需將原內(nèi)點(diǎn)判定方法由歐式距離改為面積判斷，即將式（16）：d2x+d2y=1（16）改成式（17）：|dx|=1|dy|=1（17）其中：dx 為實(shí)際值與計(jì)算值的橫坐標(biāo)差，dy 為實(shí)際值與計(jì)算值的縱坐標(biāo)差。4 實(shí)驗(yàn)方案與分析實(shí)驗(yàn)在Python3.7 和 Ope

18、ncv3.4.5 下完成，硬件環(huán)境為：Windows10操作系統(tǒng)，主頻 2.20 GHz 的 Core i7-8750H 處理器、 內(nèi)存為 8 GB 的筆記本電腦。本文共設(shè)計(jì)了3組實(shí)驗(yàn)：實(shí)驗(yàn)一用于驗(yàn)證BRISK算法相對(duì)于SURF算法、SIFT算法以及ORB算法在特征點(diǎn)檢測(cè)時(shí)間以及特征點(diǎn)匹配準(zhǔn)確率上的優(yōu)勢(shì)；實(shí)驗(yàn)二用于驗(yàn)證本文改進(jìn)的RANSAC算法相對(duì)于傳統(tǒng)RANSAC算法以及PROSAC算法在特征點(diǎn)匹配對(duì)和平均反向投影誤差上的優(yōu)勢(shì)；實(shí)驗(yàn)三用于驗(yàn)證本文所使用的算法相對(duì)于其他常用算法的整體執(zhí)行時(shí)間優(yōu)勢(shì)。4.1實(shí)驗(yàn)數(shù)據(jù)本文的實(shí)驗(yàn)數(shù)據(jù)來(lái)源包括兩部分：自主拍攝和網(wǎng)上收集。實(shí)驗(yàn)數(shù)據(jù)共有18幅圖像，分為9組，

19、內(nèi)容包括人物、樓宇、道路、自然風(fēng)景等。4.2實(shí)驗(yàn)流程首先讀入一組圖像，對(duì)圖像使用BRISK算法進(jìn)行特征點(diǎn)提取，對(duì)得到的特征點(diǎn)使用KNNmatch進(jìn)行初始匹配，由于粗匹配的結(jié)果中依然含有錯(cuò)誤匹配對(duì)，無(wú)法直接使用最小二乘法來(lái)計(jì)算單應(yīng)性矩陣H，因此還需將匹配結(jié)果通過(guò)RANSAC算法進(jìn)行錯(cuò)誤匹配對(duì)剔除，再將精匹配結(jié)果使用最小二乘法求得單應(yīng)性矩陣H，最后根據(jù)求得的矩陣H對(duì)圖像 進(jìn)行轉(zhuǎn)換拼接融合。流程圖如圖2所示。圖2實(shí)驗(yàn)流程Fig. 2Experimental process4.3匹配精度評(píng)價(jià)指標(biāo)4.3.1特征點(diǎn)的正確匹配對(duì)的數(shù)量使用RANSAC算法進(jìn)行特征點(diǎn)錯(cuò)誤匹配對(duì)剔除時(shí)，不僅會(huì)剔除掉錯(cuò)誤的匹配對(duì)，

20、同時(shí)也會(huì)將部分正確的匹配對(duì)進(jìn)行剔除，尤其是在閾值要求嚴(yán)格的情況下，更容易將正確的匹配對(duì)進(jìn)行誤剔除。即在計(jì)算單應(yīng)性矩陣H時(shí)，使用到的正確匹配對(duì)是整體的一部分，這一部分正確匹配對(duì)的數(shù)量越大，越可以代表整體正確匹配對(duì)，所以相對(duì)保留的正確匹配對(duì)越多越好。所以在閾值要求嚴(yán)格的情況下，特征點(diǎn)的正確匹配對(duì)數(shù)量越多，得到的單應(yīng)性矩陣H越準(zhǔn)確。4.3.2平均反向投影錯(cuò)誤率平均反向投影錯(cuò)誤率可用來(lái)評(píng)估算法的匹配精度。平均反向投影錯(cuò)誤率的計(jì)算式見(jiàn)式（18）：K=1ni(xih1xi+h2yi+h3h7xi+h8yi+h9)2+(yih4xi+h5yi+h6h7xi+h8yi+h9)2（18）式中：K為平均反向投影錯(cuò)

21、誤率，n為精匹配的正確匹配對(duì)的總數(shù)，h1h9為對(duì)應(yīng)的單應(yīng)性矩陣H的9個(gè)值，xi、yi為變換后的特征點(diǎn)坐標(biāo)值。xi、yi為變換前的特征點(diǎn)坐標(biāo)值。顯然，平均反向投影錯(cuò)誤率越小，單應(yīng)性矩陣H的結(jié)果越精確。4.4實(shí)驗(yàn)結(jié)果分析4.4.1實(shí)驗(yàn)一該實(shí)驗(yàn)的設(shè)計(jì)目的為驗(yàn)證BRISK算法相對(duì)于SURF算法、SIFT算法以及ORB算法的優(yōu)勢(shì)。實(shí)驗(yàn)結(jié)果如圖3、圖4所示。圖3各算法提取特征點(diǎn)的時(shí)間對(duì)比Fig. 3Time comparison of feature points extracted by each algorithm圖4各算法的特征點(diǎn)匹配準(zhǔn)確率Fig. 4Matching accuracy of eac

22、h keypoint detection algorithm圖3的折線圖是由BRISK算法、SURF算法、SIFT算法以及ORB算法對(duì)圖像進(jìn)行特征點(diǎn)檢測(cè)所需時(shí)間的比較，各種算法的運(yùn)行時(shí)間為10次執(zhí)行時(shí)間取平均值為結(jié)果。由圖3的各種特征點(diǎn)檢測(cè)算法的時(shí)間對(duì)比結(jié)果可以發(fā)現(xiàn)，ORB算法的執(zhí)行時(shí)間最少，BRISK算法的執(zhí)行時(shí)間低于SURF算法、SIFT算法，為次優(yōu)結(jié)果。圖4的柱狀圖是由BRISK算法、SURF算法、SIFT算法以及ORB算法對(duì)圖像進(jìn)行特征點(diǎn)匹配后，得到的特征點(diǎn)匹配準(zhǔn)確率，其中特征點(diǎn)匹配準(zhǔn)確率為經(jīng)過(guò)RANSAC算法得到的匹配對(duì)個(gè)數(shù)除以粗匹配對(duì)個(gè)數(shù)。由圖4可知，在當(dāng)前閾值下，ORB算法的匹配

23、準(zhǔn)確率最低，尤其在第2、8組數(shù)據(jù)上，匹配準(zhǔn)確率僅有0.02；BRISK算法的匹配準(zhǔn)確率在各組數(shù)據(jù)上均優(yōu)于SURF算法、ORB算法，在第3、4、7組數(shù)據(jù)上優(yōu)于SIFT算法。由圖3、圖4可知，雖然BRISK算法的執(zhí)行時(shí)間稍弱于ORB算法，但其在匹配準(zhǔn)確率上有著更為優(yōu)秀的結(jié)果。BRISK算法在執(zhí)行時(shí)間和匹配準(zhǔn)確率上均優(yōu)于SURF算法。與SIFT算法相比，BRISK算法雖然只有3組數(shù)據(jù)在匹配準(zhǔn)確率上占優(yōu)勢(shì)，但是在執(zhí)行時(shí)間上各組數(shù)據(jù)均優(yōu)于SIFT算法，總體上可認(rèn)為BRISK算法優(yōu)于SIFT算法。綜上，在當(dāng)前閾值下，BRISK算法相對(duì)于SURF算法、SIFT算法以及ORB算法具有明顯的優(yōu)勢(shì)。4.4.2實(shí)驗(yàn)

24、二該實(shí)驗(yàn)的設(shè)計(jì)目的為驗(yàn)證本文改進(jìn)的RANSAC算法相對(duì)于傳統(tǒng)RANSAC算法以及PROSAC算法的優(yōu)勢(shì)，實(shí)驗(yàn)結(jié)果如圖5和表1所示。圖5特征點(diǎn)的正確匹配對(duì)數(shù)目的比較結(jié)果Fig. 5Comparison of the number of correct matching pairs of keypoints表1平均反向投影錯(cuò)誤率的比較結(jié)果Tab.1Comparison of the average back-projection error rate組數(shù)傳統(tǒng)的RANSAC算法改進(jìn)后的RANSAC算法PROSAC算法10.6040.5270.56620.4760.4280.45830.5300.49

25、30.51140.3330.3330.33350.4910.4590.49360.5530.5100.62570.5840.5361.02380.5340.5260.56590.7250.5900.940圖5柱狀圖是經(jīng)過(guò)剔除錯(cuò)誤匹配對(duì)算法后保留的特征點(diǎn)最終匹配對(duì)數(shù)。粗匹配為經(jīng)過(guò)KNNmatch匹配算法得到的匹配結(jié)果，傳統(tǒng)的RANSAC算法、改進(jìn)的RANSAC算法、PROSAC算法分別為將粗匹配結(jié)果經(jīng)過(guò)對(duì)應(yīng)的算法得到的最終正確匹配對(duì)個(gè)數(shù)。從圖5中數(shù)據(jù)可以發(fā)現(xiàn)，在每一組中，都剔除掉了大量的錯(cuò)誤匹配對(duì)，但改進(jìn)后的RANSAC算法所保留的正確匹配對(duì)的個(gè)數(shù)大于傳統(tǒng)的RANSAC算法的結(jié)果，也大于PROS

26、AC算法的結(jié)果。表1是經(jīng)過(guò)剔除錯(cuò)誤匹配對(duì)算法后計(jì)算得到單應(yīng)性矩陣H，再利用其求得平均反向投影錯(cuò)誤率的結(jié)果，傳統(tǒng)的RANSAC算法、改進(jìn)的RANSAC算法、PROSAC算法分別為經(jīng)過(guò)對(duì)應(yīng)算法求得的平均反向投影錯(cuò)誤率。從表1中數(shù)據(jù)可以發(fā)現(xiàn)，在每一組中，改進(jìn)后的RANSAC算法得到的平均反向投影錯(cuò)誤率小于傳統(tǒng)的RANSAC算法，同時(shí)也小于PROSAC算法的結(jié)果。由實(shí)驗(yàn)數(shù)據(jù)可知：相對(duì)于傳統(tǒng)的RANSAN算法，本文改進(jìn)的RANSAC算法在平均反向投影錯(cuò)誤率減少了約10%。如圖5、表1所示，改進(jìn)的RANSAC算法的在特征點(diǎn)的正確匹配對(duì)數(shù)目和平均反向投影錯(cuò)誤率上都具有優(yōu)越性。以圖像組數(shù)1為例，其對(duì)應(yīng)的圖像處

27、理過(guò)程如圖6所示。圖6圖像拼接比較Fig. 6Image mosaicing comparison由圖6（d）可以發(fā)現(xiàn)，經(jīng)過(guò)特征點(diǎn)粗匹配后，匹配結(jié)果中存在部分錯(cuò)誤匹配對(duì)；圖6（e）、（f）、（g）分別為粗匹配結(jié)果使用改進(jìn)后的RANSAC算法、傳統(tǒng)的RANSAC算法以及PROSAC算法進(jìn)行剔除后的結(jié)果，括號(hào)內(nèi)的數(shù)值為匹配對(duì)個(gè)數(shù)。可以發(fā)現(xiàn)，改進(jìn)后的RANSAC算法得到的結(jié)果均為正確匹配對(duì)，且數(shù)量上優(yōu)于傳統(tǒng)的RANSAC算法和PROSAC算法；由圖6（c）可知，最終得到的拼接結(jié)果過(guò)渡較為自然，無(wú)明顯接縫。4.4.3實(shí)驗(yàn)三為了驗(yàn)證本文算法在時(shí)間方面的有效性，本實(shí)驗(yàn)將本文所用方法與較為常用的SIFT+RANSAC方法、SIFT+PROSAC方法、SURF+RANSAC方法、SURF+PROSAC方法進(jìn)行圖像拼接的整體時(shí)間比較，整體時(shí)間主要包括特征點(diǎn)檢測(cè)時(shí)間、特征點(diǎn)粗匹配時(shí)間、精匹配時(shí)間以及圖像投影變換時(shí)間。實(shí)驗(yàn)結(jié)果如表2所示，其中各拼接方法執(zhí)行時(shí)間為10次執(zhí)行時(shí)間取平均值的結(jié)果。表2各拼接方法執(zhí)行時(shí)間比較Tab.2Compariso