圖像拼接算法及實現(xiàn)

1、圖像拼接算法及實現(xiàn)論文關(guān)鍵詞：圖像拼接圖像配準(zhǔn)圖像融合全景圖論文摘要：圖像拼接(image mosaic)技術(shù)是將一組相互間重疊部分的圖像序列進(jìn)行空間匹配對準(zhǔn),經(jīng)重采樣合成后形成一幅包含各圖像序列信息的寬視角場景的、完整的、高清晰的新圖像的技術(shù)。圖像拼接在攝影測量學(xué)、視覺、遙感圖像處理、圖像分析、計算機(jī)圖形學(xué)等領(lǐng)域有著廣泛的應(yīng)用價值。 一般來說,圖像拼接的過程由圖像獲取,圖像配準(zhǔn),圖像合成三步驟組成,其中圖像配準(zhǔn)是整個圖像拼接的基礎(chǔ)。本文研究了兩種圖像配準(zhǔn)算法:基于特征和基于變換域的圖像配準(zhǔn)算法。 在基于特征的配準(zhǔn)算法的基礎(chǔ)上,提出一種穩(wěn)健的基于特征點的配準(zhǔn)算法。首先改進(jìn)Harris角點檢測算

2、法,有效提高所提取特征點的速度和精度。然后利用相似測度NCC(normalized cross correlation歸一化互相關(guān)),通過用雙向最大相關(guān)系數(shù)匹配的方法提取出初始特征點對,用隨機(jī)采樣法RANSAC(Random Sample Consensus)剔除偽特征點對,實現(xiàn)特征點對的精確匹配。最后用正確的特征點匹配對實現(xiàn)圖像的配準(zhǔn)。本文提出的算法適應(yīng)性較強(qiáng),在重復(fù)性紋理、旋轉(zhuǎn)角度比較大等較難自動匹配場合下仍可以準(zhǔn)確實現(xiàn)圖像配準(zhǔn)。Abstract：Image mosaic is a technology that carries on the spatial matching to a s

3、eries of image which are overlapped with each other, and finally builds a seamless and high quality image which has high resolution and big eyeshot. Image mosaic has widely applications in the fields of photogrammetry, computer vision, remote sensing image processing, medical image analysis, compute

4、r graphic and so on. 。In general, the process of image mosaic by the image acquisition, image registration, image synthesis of three steps, one of image registration are the basis of the entire image mosaic. In this paper, two image registration algorithm: Based on the characteristics and transform

5、domain-based image registration algorithm. In feature-based registration algorithm based on a robust feature-based registration algorithm points. First of all, to improve the Harris corner detection algorithm, effectively improve the extraction of feature points of the speed and accuracy. And the us

6、e of a similar measure of NCC (normalized cross correlation - Normalized cross-correlation), through the largest correlation coefficient with two-way matching to extract the feature points out the initial right, using random sampling method RANSAC (Random Sample Consensus) excluding pseudo-feature p

7、oints right, feature points on the implementation of the exact match. Finally with the correct feature point matching for image registration implementation. In this paper, the algorithm adapted, in the repetitive texture, such as relatively large rotation more difficult to automatically match occasi

8、ons can still achieve an accurate image registration.Key words: image mosaic, image registration, image fusion, panorama第一章 緒論 1.1 圖像拼接技術(shù)的研究背景及研究意義 圖像拼接(image mosaic)是一個日益流行的研究領(lǐng)域，他已經(jīng)成為照相繪圖學(xué)、計算機(jī)視覺、圖像處理和計算機(jī)圖形學(xué)研究中的熱點。圖像拼接解決的問題一般式，通過對齊一系列空間重疊的圖像，構(gòu)成一個無縫的、高清晰的圖像，它具有比單個圖像更高的分辨率和更大的視野。早期的圖像拼接研究一直用于照相繪圖學(xué)，主要是

9、對大量航拍或衛(wèi)星的圖像的整合。近年來隨著圖像拼接技術(shù)的研究和發(fā)展，它使基于圖像的繪制（IBR）成為結(jié)合兩個互補(bǔ)領(lǐng)域計算機(jī)視覺和計算機(jī)圖形學(xué)的堅決焦點，在計算機(jī)視覺領(lǐng)域中，圖像拼接成為對可視化場景描述（Visual Scene Representaions）的主要研究方法：在計算機(jī)形學(xué)中，現(xiàn)實世界的圖像過去一直用于貼圖，即合成靜態(tài)的背景和增加合成物體真實感的貼圖，圖像拼接可以使IBR從一系列真是圖像中快速繪制具有真實感的新視圖。在軍事領(lǐng)域網(wǎng)的夜視成像技術(shù)中，無論夜視微光還是紅外成像設(shè)備都會由于攝像器材的限制而無法拍攝視野寬闊的圖片，更不用說360 度的環(huán)形圖片了。但是在實際應(yīng)用中，很多時候需要將

10、360 度所拍攝的很多張圖片合成一張圖片，從而可以使觀察者可以觀察到周圍的全部情況。使用圖像拼接技術(shù)，在根據(jù)拍攝設(shè)備和周圍景物的情況進(jìn)行分析后，就可以將通過轉(zhuǎn)動的拍攝器材拍攝的涵蓋周圍360 度景物的多幅圖像進(jìn)行拼接，從而實時地得到超大視角甚至是360 度角的全景圖像。這在紅外預(yù)警中起到了很大的作用。微小型履帶式移動機(jī)器人項目中，單目視覺不能滿足機(jī)器人的視覺導(dǎo)航需要，并且單目視覺機(jī)器人的視野范圍明顯小于雙目視覺機(jī)器人的視野。利用圖像拼接技術(shù)，拼接機(jī)器人雙目采集的圖像，可以增大機(jī)器人的視野，給機(jī)器人的視覺導(dǎo)航提供方便。在虛擬現(xiàn)實領(lǐng)域中，人們可以利用圖像拼接技術(shù)來得到寬視角的圖像或360 度全景圖

11、像，用來虛擬實際場景。這種基于全景圖的虛擬現(xiàn)實系統(tǒng)，通過全景圖的深度信息抽取，恢復(fù)場景的三維信息，進(jìn)而建立三維模型。這個系統(tǒng)允許用戶在虛擬環(huán)境中的一點作水平環(huán)視以及一定范圍內(nèi)的俯視和仰視，同時允許在環(huán)視的過程中動態(tài)地改變焦距。這樣的全景圖像相當(dāng)于人站在原地環(huán)顧四周時看到的情形。在醫(yī)學(xué)圖像處理方面，顯微鏡或超聲波的視野較小，醫(yī)師無法通過一幅圖像進(jìn)行診視，同時對于大目標(biāo)圖像的數(shù)據(jù)測量也需要把不完整的圖像拼接為一個整體。所以把相鄰的各幅圖像拼接起來是實現(xiàn)遠(yuǎn)程數(shù)據(jù)測量和遠(yuǎn)程會診的關(guān)鍵環(huán)節(jié)圓。在遙感技術(shù)領(lǐng)域中，利用圖像拼接技術(shù)中的圖像配準(zhǔn)技術(shù)可以對來自同一區(qū)域的兩幅或多幅圖像進(jìn)行比較，也可以利用圖像拼接

12、技術(shù)將遙感衛(wèi)星拍攝到的有失真地面圖像拼接成比較準(zhǔn)確的完整圖像，作為進(jìn)一步研究的依據(jù)。從以上方面可以看出，圖像拼接技術(shù)的應(yīng)用前景十分廣闊，深入研究圖像拼接技術(shù)有著很重要的意義1.2圖像拼接算法的分類 圖像拼接作為這些年來圖像研究方面的重點之一，國內(nèi)外研究人員也提出了很多拼接算法。圖像拼接的質(zhì)量，主要依賴圖像的配準(zhǔn)程度，因此圖像的配準(zhǔn)是拼接算法的核心和關(guān)鍵。根據(jù)圖像匹配方法的不同仁闊，一般可以將圖像拼接算法分為以下兩個類型：（1) 基于區(qū)域相關(guān)的拼接算法。 這是最為傳統(tǒng)和最普遍的算法?；趨^(qū)域的配準(zhǔn)方法是從待拼接圖像的灰度值出發(fā)，對待配準(zhǔn)圖像中一塊區(qū)域與參考圖像中的相同尺寸的區(qū)域使用最小二乘法或者

13、其它方法計算其灰度值的差異，對此差異比較后來判斷待拼接圖像重疊區(qū)域的相似程度，由此得到待拼接圖像重疊區(qū)域的范圍和位置，從而實現(xiàn)圖像拼接。也可以通過FFT 變換將圖像由時域變換到頻域，然后再進(jìn)行配準(zhǔn)。對位移量比較大的圖像，可以先校正圖像的旋轉(zhuǎn)，然后建立兩幅圖像之間的映射關(guān)系。當(dāng)以兩塊區(qū)域像素點灰度值的差別作為判別標(biāo)準(zhǔn)時，最簡單的一種方法是直接把各點灰度的差值累計起來。這種辦法效果不是很好，常常由于亮度、對比度的變化及其它原因?qū)е缕唇邮?。另一種方法是計算兩塊區(qū)域的對應(yīng)像素點灰度值的相關(guān)系數(shù)，相關(guān)系數(shù)越大，則兩塊圖像的匹配程度越高。該方法的拼接效果要好一些，成功率有所提高。(2) 基于特征相關(guān)的拼

14、接算法。 基于特征的配準(zhǔn)方法不是直接利用圖像的像素值，而是通過像素導(dǎo)出圖像的特征，然后以圖像特征為標(biāo)準(zhǔn)，對圖像重疊部分的對應(yīng)特征區(qū)域進(jìn)行搜索匹配，該類拼接算法有比較高的健壯性和魯棒性?；谔卣鞯呐錅?zhǔn)方法有兩個過程：特征抽取和特征配準(zhǔn)。首先從兩幅圖像中提取灰度變化明顯的點、線、區(qū)域等特征形成特征集岡。然后在兩幅圖像對應(yīng)的特征集中利用特征匹配算法盡可能地將存在對應(yīng)關(guān)系的特征對選擇出來。一系列的圖像分割技術(shù)都被用到特征的抽取和邊界檢測上。如canny 算子、拉普拉斯高斯算子、區(qū)域生長。抽取出來的空間特征有閉合的邊界、開邊界、交叉線以及其他特征。特征匹配的算法有：交叉相關(guān)、距離變換、動態(tài)編程、結(jié)構(gòu)匹配、鏈碼相關(guān)等算法。1.3本文的主要工作和組織結(jié)構(gòu) 本文的主要工作：(1) 了前人在圖像拼接方面的技術(shù)發(fā)展歷程和研究成果。(2) 學(xué)習(xí)和研究了前人的圖像配準(zhǔn)算法。 (3) 學(xué)習(xí)和研究了常用的圖像融合算法。 (4) 用matlab實現(xiàn)本文中的圖像拼接算法(5) 總結(jié)了圖像拼接中還存在的問題，對圖像拼接的發(fā)展方向和應(yīng)用前景進(jìn)行展望。本文的組織結(jié)構(gòu)：第一章主要對圖像拼接技術(shù)作了整體的概述，介紹了圖像拼接的研究背景和應(yīng)用前景，以及圖像拼接技術(shù)的大致過程、圖像拼接算法的分類和其技