《基于特征方法和opencv的圖像拼接系統(tǒng)設計》7600字（論文）

PAGEPAGE6基于特征方法和opencv的圖像拼接系統(tǒng)設計摘要圖像拼接的工作內容是將多個重復區(qū)域的圖像拼接成一張過渡自然的圖像。這樣得到的圖像具有更寬視野和更高的圖像分辨率。對這些優(yōu)勢的需求在市場上并沒有趨于飽和，反而隨著研究的深入具有更大的研究價值。從早期遙感圖像的簡單拼接，到機器視覺的持續(xù)應用；從平面掃描的圖像，到3D重建。目前，關于圖像拼接的方法可分為基于灰度信息、基于特征和基于頻域的方法。本文以基于特征的方法，用opencv進行圖像拼接系統(tǒng)的設計。其中配準方法選擇了SURF和ORB，并采用k-dtree和RANSAC方法得到變換矩陣，采用加權平均對圖像進行了最后的融合。該系統(tǒng)采用多圖拼接的形式，實驗結果顯示，兩個算法對亮度差異以及旋轉變幻的反應都較為良好。關鍵詞：圖像拼接SURFORBRANSAC加權平均融合法目錄TOC\o"1-3"\f\h\u140511緒言 1296411.1研究背景與意義 1189141.2本文研究內容 133691.3論文結構 1283682圖像拼接技術的相關理論背景 248232.1圖像拼接的基本步驟 2106222.2投影模型 210892.2.1平面模型 2253422.2.2球體模型 2225702.2.3立方體模型 2269282.2.4柱面模型 3139332.3配準算法分類 461432.4變換模型 4309403配準算法的研究 6139333.1SURF 461433.2ORB 4139333.2.1FAST算法 461433.2.2BRIEF算法 4139333.3FLANN圖像匹配算法 461433.4RANSAC匹配點提純算法 4309404圖像的拼接與融合 6139334.1融合算法 461434.2拼接系統(tǒng)設計 461434.2.1界面設計 461434.2.2拼接流程 4524891總結與展望 1324891參考文獻 13PAGEPAGE61緒言1.1研究背景與意義一般拍照時，往往需要調整焦距來選取遠近距離。這是因為使用的相機分辨率是固定的，當拍攝場景越宏大，圖像的分辨率就越低。但在一定距離下，縮放鏡頭就會受到限制，廣角鏡頭視角大、視野廣，一度被認為是一個不錯的選擇，但除價格昂貴外，還有畸變失真等現(xiàn)象的缺陷。分辨率與視野場景的要求越來越高，如何拍攝一張寬視野的圖像轉變?yōu)榱巳绾蔚玫竭@樣一張圖像的問題，而在圖像處理這一領域中，圖像拼接技術滿足了高分辨率與寬視野的問題。圖像拼接就是將有重疊區(qū)域的圖像銜接在一起，本文將會采用固定照相機轉軸并繞轉軸旋轉拍攝的方式獲取圖像。在軍事領域夜成像技術上，由于設備自身局限而無法得到更寬視野的圖像，典型的例如夜視微光和紅外成像設備，圖像拼接利用軟件的辦法將多個圖像拼接成一個大視角的全景圖，在紅外預警上十分具有價值；在視覺機器人上，采用圖像拼接完成了從單目視覺到雙目視覺的視野拓寬，為機器人的視覺導航提供了方便。圖像拼接實現(xiàn)全景圖像同樣可以應用于醫(yī)學和勘測中，在大型影像合成和地下水形測繪上也具有重要的實用價值。綜上，拼接技術的研究具有很好的應用市場和極大的應用價值。1.2本文研究內容本文基于目前對圖像拼接的研究，概述了相關的理論以及常用的算法。對設計的圖像拼接系統(tǒng)所涉及到的兩種著名算法進行了主要介紹，對系統(tǒng)的圖像拼接做出了流程介紹。本文以兩種算法ORB和SURF作為系統(tǒng)的核心算法，基于opencv復現(xiàn)該算法進行圖像拼接，并對圖像拼接做出總結與展望。1.3論文結構第一章，從圖像拼接的原因以及應用的角度出發(fā)，揭示圖像拼接的必要性。第二章，對圖像拼接的主要工作步驟進行闡述，并對目前現(xiàn)有的理論進行概述。第三章，對系統(tǒng)采用的兩種核心配準算法的原理作出說明。第四章，對拼接流程做出介紹，對所選擇的融合方法進行了遠離說明。并對系統(tǒng)的界面與功能做出了展示。2圖像拼接技術的相關理論背景2.1圖像拼接的基本步驟圖像預處理，圖像配準和圖像融合是圖像拼接的標準步驟。其中，配準與融合是最為關鍵的兩個步驟。大致流程是先對數(shù)據(jù)集（圖像序列）進行投影變換來統(tǒng)一坐標，然后進行配準，最后拼接融合。根據(jù)需要，有選擇的進行預處理。圖像預處理的任務主要是抑制噪聲點，以降低信息干擾程度，降低了圖像配準時誤匹配的概率。圖像配準的工作是，對匹配信息進行算法篩選，并找出最佳匹配完成圖像的對齊?？上攵?，配準的精確性與準確性與圖像的拼接效果密切聯(lián)系，因此，好的配準算法對圖像拼接起到至關重要的作用。在圖像配準后，圖像拼接往往會因為兩邊亮度差異大存在拼接縫隙，即過度不自然的現(xiàn)象。所以在圖像配準后還需要圖像融合，將圖像邊界并進行平滑處理。2.2投影模型提取特征點后直接進行拼接會導致在視覺上的不一致，原因是實物投影在了不同坐標系下，因此對事物投影到同一坐標非常重要。當?shù)玫阶儞Q關系后即可進行投影變換，拼接融合成全景圖。常得到應用的模型有平面模型、球面模型、柱面模型和立方體模型。各個投影模型由于自身的獨特結構選用的投影到的面不同，也各有優(yōu)缺點。2.2.1平面模型拼接技術早期在遙感圖像方面進行試用，在這一方面，平面投影模型表現(xiàn)良好，因為在平面模型中相機焦距不變且平行于目標場景，則可看作圖像同處一個平面。其實不然，只是因為在該類應用場景是相機高度遠高于地面，從而滿足了前提條件。目前，這一模型的應用非常普遍。除航空遙感圖像外，還適用于文字識別、掃描圖像的合成等。2.2.2球體模型球體模型十分特殊，他對任意方向視線的處理一致。球體投影模型與人眼模型在形狀上的相似可以分析出其具有的相同特征。相機視點能以方向觀察所有場景，這是該模型最大的優(yōu)勢。球體模型的結構顯示，該模型含有多個鄰接圖像，像素點不以行列均勻排列且對景物的空間關系有著嚴格要求。因此，球體模型的工作任務就是將原始圖像在水平和垂直方向進行非線性變換。這樣做的直接效果就是，能將平面圖像投影到相應的球面。但該模型下像素點無法定位且圖像無法展開，所以存儲是球體模型的一大弊端。2.2.3立方體模型立方體模型具備了球體模型任意方向可觀察整體圖像的優(yōu)點。此外，在圖像采集時精確地間隔取景，避免了光學上的變形，還更方便了計算機存儲。但是這樣十分復雜，且個別位置不能準確地描述像素點的對應關系。2.2.4柱面模型目前，在圖像拼接算法中比較常用的是柱面投影模型。從圓柱結構可以看出，觀察視角收到了垂直方向的局限，但一般天空地面這類垂直方向信息較為有限，只需要插入個別點進行補充。因此，柱面模型既方便計算機存儲，也易于采集，同時，該模型可以水平方向環(huán)視，所以能被廣泛應用。在此，可以通過圖2-1對映射后的坐標進行計算。設觀察點為O，z軸為輸入圖像對應的觀察方向，要想做到水平環(huán)視則需要相機在ZOX平面上運動，原始圖像設為I，投影柱面為K,投影后的柱面圖像為J，如圖2-1(a)。圖2-1圓柱體模型下的投影目的是求出投影前后的映射關系。設圖像的寬為W，高為H，水平視角為θ，拍攝時焦距為f，則投影后圖像的高度H'和寬度W'為:(2-1)其中，(2-2)設P'(x,y)為P(x,y)映射出的點。過點P作直線PS平行于ZOX平面，如圖2-1(b)。在平面PSO內，可以求出：(2-3)其中α是PO與平面YOZ的夾角,可計算得到:(2-4)綜合式(2-3)和式(2-4),可以得到水平坐標的映射公式:(2-5)過點P作直線垂直于平面ZOX，交點為T，如圖2-1(c)。設直線PO與面ZOX的夾角為β，同理可求出垂直坐標的映射公式：(2-6)根據(jù)式(2-5)和(2-6)，就可以完成圖像的柱面投影。2.3配準算法分類圖像配準的目標是通過變換一張圖從而使得兩幅圖像相似度達到最大，在此過程上，配準的精度直接反映了圖像拼接的質量，圖像配準是拼接中的核心環(huán)節(jié)。圖像配準的方法基本可以劃分為三類，即基于灰度信息的、基于特征的和基于頻域的方法。在兩幅圖或多幅圖中，通常有參考圖和搜索圖之分。在基于灰度信息的方法中，在參考圖中選取一模板，在搜索圖中移動比較，尋找最佳配準位置。在基于特征的方法中，達到最好的配準效果的關鍵在于相似度最高的特征點?；谧儞Q域的配準算法，其核心是變換函數(shù)。這類算法的代表有相關相位法，相關相位法選擇變換函數(shù)為傅里葉變換函數(shù)。效果是將圖像從空間域變換至頻域。這類算法的變換能力該方法對于平移、旋轉和尺度的變換能力較為優(yōu)秀?；谔卣鞯呐錅蕪倪^程上看有特征抽取和特征配準兩個工作。一是獲取特征集，來源是灰度變化明顯的點、線以及區(qū)域。從特征集的劃分上，又可將方法分為基于特征點、基于特征區(qū)域和基于特征邊緣的配準方法。二是分別從特征集中篩選出具有變換關系的兩個特征。出于環(huán)境適應性以及配準質量的考慮，為系統(tǒng)采用了基于特征的配準方法。2.4變換模型在圖像配準前，需要根據(jù)變換模型確定變換矩陣的類型。本系統(tǒng)中確定的是基于柱面投影變換模型。投影變換的特點是，直線經過映射仍保留直線屬性，但基本不保持平行關系。投影變換后的點(x',y')可以用變換前的點(x,y)表示為：=(2-7)公式(2-7)代表的投影變換可以看為平移、旋轉、縮放、剪切等變換的組合。3配準算法的研究圖像配準算法是圖像拼接的重中之重，接下來將對本文中采用的兩個配準算法SURF和ORB的簡要原理及步驟進行概述。3.1SURF(SpeededUpRobustFeatures,加速穩(wěn)健特征)2006年的ECCV會議上，SURF首次現(xiàn)世。發(fā)展至今，SURF在計算機視覺領域已經是較為常見的算法。SURF算法的前身，是SIFT（尺度不變特征轉換）。Sift具有很強的匹配能力，SURF同樣繼承了這些特性，不會因為平移、旋轉或仿射變換影響到它穩(wěn)定的匹配能力。改進后，SURF憑借積分圖大大提高了運算速率。因此，即使SURF對比SIFT算法有大致相同的算法步驟，但SURF更加高效。SURF特征檢測與SIFT的檢測步驟工作一致，如圖3-1：圖3-1SURF特征檢測SURF算法使用不同大小的添加了權重的盒子濾波，其中快速積分特性的應用促使SURF在形成多尺度的空間函數(shù)上速度更快，然后得到候選極值點保證局部極值穩(wěn)定。SURF在特征點主方向與描述符的生成上采用了Harr小波，這是根據(jù)Haar小波可以查找水平與垂直方向上的濾波的作用進行的安排。為構造主方向需要做以下工作。一是，在圓域內分別對每一特征點x、y方向的Haar小波響應向量進行計算，前提要求該圓以特征點為圓心，六個尺度值大小作為半徑。二是，降低遠離圓心的特征點的影響，根據(jù)距離圓心遠近作為特征點高斯權重大小的依據(jù)。三是，以60°圓心角繞點心旋轉遍歷，在得到的六個矢量中以小波響應量的累計值大小為判斷條件，將主方向判定為矢量和最大的方向。以上得到的特征點具有尺度、旋轉和噪聲的不變性。3.2ORB（OrientedFASTRotatedBEIRF）ORB算法是對FAST特征檢測和BRIEF描述子的優(yōu)化，實現(xiàn)了在速度上優(yōu)越于SIFT和SURF算法。因此，雖然ORB綜合評價不高，但在實時特征檢測上十分突出。ORB特征檢測算法的不變性不只體現(xiàn)在尺度和旋轉上，還有噪聲和透視變化。以下對ORB的兩個內容，即FAST特征檢測和BRIEF特征描述做出簡介。3.2.1FAST算法ORB特征點提取通過FAST算法實現(xiàn)。對FAST角點，若一像素點與領域內足夠多的像素點灰度值差異大，則可能為角點。FAST算法原理敘述如下。以一像素點p為圓心，半徑賦為3，依據(jù)Bresenham畫圓算法原理作離散化的圓，且該點灰度值q，圓上有16個像素。對于上述條件，選取合適的閾值x用以判斷特征點。判斷規(guī)則如下，若這樣的圓上有n個連續(xù)像素點的灰度值在q-x到q+x范圍外，該點即可判斷為特征點(n的值可取12或9)。FAST算法具體執(zhí)行過程：先判斷位置1和9灰度值是否在q-x與q+x范圍外，若否則不可能是特征點；繼續(xù)對1，9，5，13位置的灰度值進行范圍判斷。是否有三個位置的灰度值不在q-x與q+x范圍外，若否則不可能是特征點；繼續(xù)判斷n個位置，是否其灰度值范圍不在q-x到q+x間。通過（1）和（2）可以加快FAST特征點檢測的速度。最后一步，構建圖像金字塔。分別對每層進行FAST特征點檢測，進而就得到特征點的尺度信息。在對特征點及其尺度范圍內，求質心的位置。由特征點指向質心的方向即為特征點主方向。3.2.2BRIEF算法BRIEF算法用二進制串描述局部特征。BEIRF在特征點周圍選擇一個窗口，在窗口內通過選定方法挑選出n個點對，RotatedBRIEF算法則是用統(tǒng)計學習的方法選擇位置對。對每個點對，比較兩個像素值，位置對為輸出0或1。因為單個像素點噪聲敏感，所以此前需要先進行平滑處理。BRIEF通過漢明距離對位數(shù)一致的兩二進制串進行異或運算計算特征，計算速度快，在計算機儲存上十分有優(yōu)勢。點對數(shù)n即維數(shù)，OpenCV默認是256。3.3FLANN圖像匹配算法FLANN（FastLibraryforApproximateNearestNeighbors），簡稱快速最近鄰搜索。FLANN這一最近鄰搜索的算法的集合在優(yōu)化過后，更適合大數(shù)據(jù)集及高維特征的對象。在面對大數(shù)據(jù)集上它的效果要好于opencv提供的另一個著名的匹配算法，暴力匹配算法。本文采用的是基于k-dtree的knn（KNearestNeighbors）算法，k取值2。knn的原理就是依據(jù)預測點最近的幾個點的類別來判定該點所屬。由knn可推至2nn，2nn算法通過最近距離與次近距離的比值，來判斷匹配點，公式4-1如下：i∈N,δ∈(0,1)(4-1) 因此，假若有兩個點同時滿足最近特征點，則將會被都舍棄，因此相較于暴力匹配，匹配點會減少，錯誤匹配就會更少。 3.4RANSAC匹配點提純算法RANSAC，稱為隨機抽樣一致性算法。RANSAC認為數(shù)據(jù)集中存在局內點，以迭代的方式達到對模型參數(shù)的準確估計的作用。對于RANSAC篩選提純匹配點的過程可以簡要描述成：隨機選取數(shù)據(jù)集中的剛好組成最小子集的數(shù)據(jù)點，作為局內點構成模型；對模型設置一個誤差閾值，將數(shù)據(jù)集中誤差在閾值內的樣本點判定為局內點；再依據(jù)新的內點集進行評估；對上述步驟迭代至內點數(shù)最大且不變。當然，除過RANSAC消除誤匹配外，還有一些優(yōu)化。緊接著RANSAC，光束平差法可繼續(xù)進行誤差彌補。公式表達為n個特征點在兩幅圖上投影誤差的最小化實現(xiàn)，是最小二乘法的原理。達到了精確參數(shù)、對旋轉矩陣重構的目標。此外，針對光束平差法帶來的波形效應，還可以通過全局的矩陣繼續(xù)波形校正。即使光束平差法對相機參數(shù)進行了優(yōu)化，但圖像的曝光差異同樣會在邊緣體現(xiàn)出來，影響了拼接效果。因此，系統(tǒng)采用曝光的增益補償方式，為兩幅圖像分別增益，以求重疊域達到同一曝光。4圖像得拼接與融合4.1融合算法經過匹配、提純匹配點和投影變換，圖像拼接基本完成，但仍存留一些問題，例如由于兩幅圖像灰度差異等原因產生的明顯接縫，這就需要圖像融合算法。融合是基于對圖像拼縫周圍像素的處理，將距離拼縫遠的這選擇一側的圖案，從而消除錯位等，達到好的效果。要想解決拼縫這一問題，首先得先計算出拼縫的位置。常用的查找方法有逐點法、動態(tài)規(guī)劃法以及圖割法。逐點法原理是基于距離的，將距離圖像最近的像素點使用對應圖像的像素值。逐點法在其中復雜性最低，效果最差。圖割法往往能達到最好的效果，但計算復雜度較高，耗時長。動態(tài)規(guī)劃法則是兩個算法的折衷方法。本文中設計的系統(tǒng)中通過調整代碼內的信號值來選擇方法，默認是逐點法。本文還從基于平滑過渡和基于最佳接縫中選擇了基于最佳接縫的的加權平均法。加權平均融合的原理非常簡單，就是給原圖像取相同權值然后加權平均得到像素值。4.2拼接系統(tǒng)設計前面介紹了圖像拼接的相關理論知識與本文系統(tǒng)將使用的算法，下面將展示利用上述的理論及算法設計出的系統(tǒng)。4.2.1界面設計系統(tǒng)界面如下：圖4-1二維圖像拼接系統(tǒng)界面如圖4-1，采用Windows10、visualstudio、opencv的環(huán)境為系統(tǒng)設計了基于C++的兩種拼接方法SURF和ORB，投影模型和尋找拼縫未給出選擇，分別默認為柱面模型以及簡單的逐點法，但可以在代碼中通過修改各自信號值來調用其他方法與模型。圖4-2加載圖片圖4-3加載完畢系統(tǒng)界面十分簡潔，操作流程比較清晰。首先選擇算法，然后加載需要拼接的圖片，選定圖片后會出現(xiàn)拼接數(shù)量的信息如圖4-3所示，確定完畢后即可點擊“開始拼接”，結果顯示如圖4-4，最后點擊“保存結果”就可以了。點擊“開始拼接前”，如果未加載圖片會彈出提示“請先加載圖片！”；如果點擊“開始拼接”卻沒有選擇圖片，則預期出現(xiàn)的圖4-3情況將變?yōu)椤皼]有選擇需要處理的圖像！”，這種情況下如果繼續(xù)點擊“開始拼接”，同樣會出現(xiàn)“請先加載圖片！”；加載單張圖片不允許拼接，將會出現(xiàn)“請不要選擇一張圖片！”；加載一張圖片以上卻沒有選擇拼接算法，即ORB或SURF時，如果點“開始拼接”則會出現(xiàn)“請先選擇圖像特征提取方式！”。圖4-4圖像拼接結果顯示4.2.2拼接流程二維圖像拼接系統(tǒng)實現(xiàn)過程如下圖所示：圖4-5系統(tǒng)拼接流程如圖系統(tǒng)對圖像灰度化處理以達到降噪效果，接下來檢測特征點采用SURF/ORB，隨后knn取值k=2，配上RANSAC方法有效降低了匹配對，也是降低了誤匹配。RANSAC方法進行迭代得到變換矩陣的解，柱面投影變換至同一坐標，最后選擇逐點法尋找到拼縫并進行加權融合。5總結與展望本文對目前圖像拼接從應用領域、相關步驟的理論和各類算法方面入手，進行了簡要概述。文章交代了設計的二維圖像拼接系統(tǒng)所采用的算法，F(xiàn)URF與ORB的配準算法，還有匹配、篩選匹配和融合的算法，對此進行了簡要的原理介紹以及步驟說明，并說明了算法流程，旨在對現(xiàn)有技術的復現(xiàn)與學習。兩個算法相比較可以發(fā)現(xiàn)，ORB算法計算速度更快，可以知道的是，F(xiàn)AST高效的特征點提取與BRIEF中漢明距離法支持了這一特點，且BRIEF中二進制串的形式在計算機存儲十分占有優(yōu)勢。理想的情況是，具有速度快，占內存小，亮度不敏感，尺度一致以及旋轉一致性的特點。但遺憾的是，ORB度變換的應對能力較低，那么綜合評價上來講就比不上SIFT/SURF。雖然ORB論文中未保證尺度一致性，但是OpenCV中可以提供圖像金字塔的方法，利用水平和垂直方向的梯度信息構建描述子。還可以在特征區(qū)域劃分大小子塊，分別達到提供更多信息與去噪的效果，但還會出現(xiàn)新的問題，如大子塊達到去噪效果同時卻對變化不敏感。對于尺度一致性，ORB還可以參考SURF這類算法，利用黑塞矩陣檢測特征點以求得尺度一致性的特性。除期望得到結合ORB的速度優(yōu)勢以及SURF尺度一致綜合性能能卓越的算法，在投影模型上也有許多發(fā)展空間，或許還有更多的應用場景不僅限于水平環(huán)視、對垂直方向有更高要求。參考文獻[1]馬明,梅帆.全景攝像在虛擬現(xiàn)實系統(tǒng)中的應用[J].計算機系統(tǒng)應用,1999(04):30-31.[2]盛明偉,唐松奇,萬磊,秦洪德.二維圖像拼接技術研究綜述[J].導航與控制,2019,18(01):27-34+96.[3]楊蕊,李雪.基于顯著特性的紅外全景圖像拼接[J].激光雜志,2020,41(06):98-101.[4]劉國華,孫寶佳.基于機器人視覺的坩堝缺陷檢測系統(tǒng)[J].機械設計,2019,36(02):40-45.[5]HuangYipo,ZhouYu,HuBo,etal.DIBR-synthesisedvideoqualityassessmentbymeasuringgeometricdistortionandspatiotemporalinconsistency.2020,56(24):1314-1317.[6]裴紅星,劉金達,葛佳隆,張斌.圖像拼接技術綜述[J].鄭州大學學報(理學版),2019,51(04):1-10+29.[7]李世進.數(shù)字圖像的平滑處理[J].湖南科技學院學報,2008(12):23-24.[8]趙夫群.基于灰度信息的圖像配準方法研究[J].計算機與數(shù)字工程,2019,47(10):2568-2572.[9]姚保琛,柏春松.基于特征的圖像配準技術綜述[J].現(xiàn)代計算機,2020(20):52-56.[10]王海鵬,么鴻原,林雪原,郭強.無人機遙感圖像融合算法綜述[J].海軍航空工程學院學報,2018,33(05):423-428+458.[11]劉桂雄,張瑜,蔡柳依婷.機器視覺檢測圖像拼接融合技術研究進展[J].中國測試,2020,46(01):1-6.[12]MuhammadShahidBhatti,SyedAsadHussain,AbdulQayyum,etal.UsingSab-IomhaforanAlphaChann