圖像拼接算法及實現(xiàn)

1、圖像拼接算法及實現(xiàn)    論文關(guān)鍵詞：圖像拼接圖像配準圖像融合全景圖論文摘要：圖像拼接(image mosaic)技術(shù)是將一組相互間重疊部分的圖像序列進行空間匹配對準,經(jīng)重采樣合成后形成一幅包含各圖像序列信息的寬視角場景的、完整的、高清晰的新圖像的技術(shù)。圖像拼接在攝影測量學、視覺、遙感圖像處理、圖像分析、計算機圖形學等領(lǐng)域有著廣泛的應(yīng)用價值。 一般來說,圖像拼接的過程由圖像獲取,圖像配準,圖像合成三步驟組成,其中圖像配準是整個圖像拼接的基礎(chǔ)。本文研究了兩種圖像配準算法:基于特征和基于變換域的圖像配準算法。 在基于特征的配準算法的基礎(chǔ)上,提出一種穩(wěn)健的基于

2、特征點的配準算法。首先改進Harris角點檢測算法,有效提高所提取特征點的速度和精度。然后利用相似測度NCC(normalized cross correlation歸一化互相關(guān)),通過用雙向最大相關(guān)系數(shù)匹配的方法提取出初始特征點對,用隨機采樣法RANSAC(Random Sample Consensus)剔除偽特征點對,實現(xiàn)特征點對的精確匹配。最后用正確的特征點匹配對實現(xiàn)圖像的配準。本文提出的算法適應(yīng)性較強,在重復(fù)性紋理、旋轉(zhuǎn)角度比較大等較難自動匹配場合下仍可以準確實現(xiàn)圖像配準。Abstract：Image mosaic is a technology that carries on the

3、 spatial matching to a series of image which are overlapped with each other, and finally builds a seamless and high quality image which has high resolution and big eyeshot. Image mosaic has widely applications in the fields of photogrammetry, computer vision, remote sensing image processing, medical

4、 image analysis, computer graphic and so on. 。In general, the process of image mosaic by the image acquisition, image registration, image synthesis of three steps, one of image registration are the basis of the entire image mosaic. In this paper, two image registration algorithm: Based on the charac

5、teristics and transform domain-based image registration algorithm. In feature-based registration algorithm based on a robust feature-based registration algorithm points. First of all, to improve the Harris corner detection algorithm, effectively improve the extraction of feature points of the speed

6、and accuracy. And the use of a similar measure of NCC (normalized cross correlation - Normalized cross-correlation), through the largest correlation coefficient with two-way matching to extract the feature points out the initial right, using random sampling method RANSAC (Random Sample Consensus) ex

7、cluding pseudo-feature points right, feature points on the implementation of the exact match. Finally with the correct feature point matching for image registration implementation. In this paper, the algorithm adapted, in the repetitive texture, such as relatively large rotation more difficult to au

8、tomatically match occasions can still achieve an accurate image registration.Key words: image mosaic, image registration, image fusion, panorama第一章  緒論 1.1 圖像拼接技術(shù)的研究背景及研究意義 圖像拼接(image mosaic)是一個日益流行的研究領(lǐng)域，他已經(jīng)成為照相繪圖學、計算機視覺、圖像處理和計算機圖形學研究中的熱點。圖像拼接解決的問題一般式，通過對齊一系列空間重疊的圖像，構(gòu)成一個無縫的、高清晰的圖像，它具有比單個圖像更高的分辨

9、率和更大的視野。早期的圖像拼接研究一直用于照相繪圖學，主要是對大量航拍或衛(wèi)星的圖像的整合。近年來隨著圖像拼接技術(shù)的研究和發(fā)展，它使基于圖像的繪制（IBR）成為結(jié)合兩個互補領(lǐng)域計算機視覺和計算機圖形學的堅決焦點，在計算機視覺領(lǐng)域中，圖像拼接成為對可視化場景描述（Visual Scene Representaions）的主要研究方法：在計算機形學中，現(xiàn)實世界的圖像過去一直用于貼圖，即合成靜態(tài)的背景和增加合成物體真實感的貼圖，圖像拼接可以使IBR從一系列真是圖像中快速繪制具有真實感的新視圖。在軍事領(lǐng)域網(wǎng)的夜視成像技術(shù)中，無論夜視微光還是紅外成像設(shè)備都會由于攝像器材的限制而無法拍攝視野寬闊的圖片，更不

10、用說360 度的環(huán)形圖片了。但是在實際應(yīng)用中，很多時候需要將360 度所拍攝的很多張圖片合成一張圖片，從而可以使觀察者可以觀察到周圍的全部情況。使用圖像拼接技術(shù)，在根據(jù)拍攝設(shè)備和周圍景物的情況進行分析后，就可以將通過轉(zhuǎn)動的拍攝器材拍攝的涵蓋周圍360 度景物的多幅圖像進行拼接，從而實時地得到超大視角甚至是360 度角的全景圖像。這在紅外預(yù)警中起到了很大的作用。微小型履帶式移動機器人項目中，單目視覺不能滿足機器人的視覺導(dǎo)航需要，并且單目視覺機器人的視野范圍明顯小于雙目視覺機器人的視野。利用圖像拼接技術(shù)，拼接機器人雙目采集的圖像，可以增大機器人的視野，給機器人的視覺導(dǎo)航提供方便。在虛擬現(xiàn)實領(lǐng)域中，

11、人們可以利用圖像拼接技術(shù)來得到寬視角的圖像或360 度全景圖像，用來虛擬實際場景。這種基于全景圖的虛擬現(xiàn)實系統(tǒng)，通過全景圖的深度信息抽取，恢復(fù)場景的三維信息，進而建立三維模型。這個系統(tǒng)允許用戶在虛擬環(huán)境中的一點作水平環(huán)視以及一定范圍內(nèi)的俯視和仰視，同時允許在環(huán)視的過程中動態(tài)地改變焦距。這樣的全景圖像相當于人站在原地環(huán)顧四周時看到的情形。在醫(yī)學圖像處理方面，顯微鏡或超聲波的視野較小，醫(yī)師無法通過一幅圖像進行診視，同時對于大目標圖像的數(shù)據(jù)測量也需要把不完整的圖像拼接為一個整體。所以把相鄰的各幅圖像拼接起來是實現(xiàn)遠程數(shù)據(jù)測量和遠程會診的關(guān)鍵環(huán)節(jié)圓。在遙感技術(shù)領(lǐng)域中，利用圖像拼接技術(shù)中的圖像配準技術(shù)可

12、以對來自同一區(qū)域的兩幅或多幅圖像進行比較，也可以利用圖像拼接技術(shù)將遙感衛(wèi)星拍攝到的有失真地面圖像拼接成比較準確的完整圖像，作為進一步研究的依據(jù)。從以上方面可以看出，圖像拼接技術(shù)的應(yīng)用前景十分廣闊，深入研究圖像拼接技術(shù)有著很重要的意義1.2圖像拼接算法的分類 圖像拼接作為這些年來圖像研究方面的重點之一，國內(nèi)外研究人員也提出了很多拼接算法。圖像拼接的質(zhì)量，主要依賴圖像的配準程度，因此圖像的配準是拼接算法的核心和關(guān)鍵。根據(jù)圖像匹配方法的不同仁闊，一般可以將圖像拼接算法分為以下兩個類型：（1) 基于區(qū)域相關(guān)的拼接算法。      這是最為傳統(tǒng)和最普遍的

13、算法?；趨^(qū)域的配準方法是從待拼接圖像的灰度值出發(fā)，對待配準圖像中一塊區(qū)域與參考圖像中的相同尺寸的區(qū)域使用最小二乘法或者其它方法計算其灰度值的差異，對此差異比較后來判斷待拼接圖像重疊區(qū)域的相似程度，由此得到待拼接圖像重疊區(qū)域的范圍和位置，從而實現(xiàn)圖像拼接。也可以通過FFT 變換將圖像由時域變換到頻域，然后再進行配準。對位移量比較大的圖像，可以先校正圖像的旋轉(zhuǎn)，然后建立兩幅圖像之間的映射關(guān)系。當以兩塊區(qū)域像素點灰度值的差別作為判別標準時，最簡單的一種方法是直接把各點灰度的差值累計起來。這種辦法效果不是很好，常常由于亮度、對比度的變化及其它原因?qū)е缕唇邮?。另一種方法是計算兩塊區(qū)域的對應(yīng)像素點灰度

14、值的相關(guān)系數(shù)，相關(guān)系數(shù)越大，則兩塊圖像的匹配程度越高。該方法的拼接效果要好一些，成功率有所提高。 (2) 基于特征相關(guān)的拼接算法。     基于特征的配準方法不是直接利用圖像的像素值，而是通過像素導(dǎo)出圖像的特征，然后以圖像特征為標準，對圖像重疊部分的對應(yīng)特征區(qū)域進行搜索匹配，該類拼接算法有比較高的健壯性和魯棒性?；谔卣鞯呐錅史椒ㄓ袃蓚€過程：特征抽取和特征配準。首先從兩幅圖像中提取灰度變化明顯的點、線、區(qū)域等特征形成特征集岡。然后在兩幅圖像對應(yīng)的特征集中利用特征匹配算法盡可能地將存在對應(yīng)關(guān)系的特征對選擇出來。一系列的圖像分割技術(shù)都被用到特征的抽

15、取和邊界檢測上。如canny 算子、拉普拉斯高斯算子、區(qū)域生長。抽取出來的空間特征有閉合的邊界、開邊界、交叉線以及其他特征。特征匹配的算法有：交叉相關(guān)、距離變換、動態(tài)編程、結(jié)構(gòu)匹配、鏈碼相關(guān)等算法。1.3本文的主要工作和組織結(jié)構(gòu) 本文的主要工作：(1) 了前人在圖像拼接方面的技術(shù)發(fā)展歷程和研究成果。(2) 學習和研究了前人的圖像配準算法。 (3) 學習和研究了常用的圖像融合算法。 (4) 用matlab實現(xiàn)本文中的圖像拼接算法(5) 總結(jié)了圖像拼接中還存在的問題，對圖像拼接的發(fā)展方向和應(yīng)用前景進行展望。本文的組織結(jié)構(gòu)：第一章主要對圖像拼接技術(shù)作了整體的概述，介紹了圖像拼接的研究背景和應(yīng)用前景，以及圖像拼接技術(shù)的大致過程、圖像拼接算法的分類和其技術(shù)難點。第二章主要介紹討論了圖像預(yù)處理中的兩個步驟，即圖像的幾何校正和噪聲點的抑制。第三章主要介紹討論了圖像配準的多種算法。第四