【畢業(yè)學(xué)位論文】基于圖像特征的拼接算法研究-計(jì)算機(jī)應(yīng)用技術(shù)

分類號 密級 編號 中國科學(xué)院研究生院 碩士學(xué)位論文 基于圖像特征的拼接算法研究 張霖 指導(dǎo)教師 焦建彬 教授 中國科學(xué)院研究生院 申請學(xué)位級別 工學(xué)碩士 學(xué)科專業(yè)名稱 計(jì)算機(jī)應(yīng)用技術(shù) 論文提交日期 2011 年 4 月 論文答辯日期 2011 年 5 月 培養(yǎng)單位 中國科學(xué)院研究生院 學(xué)位授予單位 中國科學(xué)院研究生院 答辯委員會(huì)主席 中國科學(xué)院研究生院直屬院系 研究生學(xué)位論文原創(chuàng)性聲明 本人鄭重聲明： 所呈交的學(xué)位論文是本人在導(dǎo)師的指導(dǎo)下獨(dú)立進(jìn)行研究工作所取得的成果。盡我所知，除文中已經(jīng)注明引用的內(nèi)容外，本論文不包含任何其他個(gè)人或集體已經(jīng)發(fā)表或撰寫過的研究成果。 對論文所涉及的研究工作做出貢獻(xiàn)的其他個(gè)人和集體，均已在文中以明確方式標(biāo)明或致謝。 作者簽名： 日 期： 中國科學(xué)院研究生院直屬院系 學(xué)位論文授權(quán)使用聲明 本人完全了解并同意遵守中國科學(xué)院有關(guān)保存和使用學(xué)位論文的規(guī)定， 即中國科學(xué)院有權(quán)保留送交學(xué)位論文的副本，允許該論文被查閱，可以公布該論文的全部或部分內(nèi)容，可以采用影印、縮印或其他復(fù)制手段保存、匯編本學(xué)位論文。 涉密的學(xué)位論文在解密后適用本聲明。 作者簽名： 導(dǎo)師簽名： 日 期： 日 期： 摘要 I 摘 要 普通數(shù)碼相機(jī)所拍攝的圖像具有大視場圖像分辨率低、 分辨率高的圖像視場小的特點(diǎn)。為了解決視場和分辨率的矛盾，人們提出了圖像拼接技術(shù)，將反映同一場景的多幅有重疊區(qū)域的圖像拼成一幅高分辨率大視野范圍的圖像。 該技術(shù)現(xiàn)已廣泛應(yīng)用在全景監(jiān)控、虛擬現(xiàn)實(shí)、遙感圖像處理、醫(yī)學(xué)圖像處理等領(lǐng)域。 本文研究基于圖像特征點(diǎn)的自動(dòng)拼接算法， 該算法可以實(shí)現(xiàn)多幅有序圖像的自動(dòng)拼接，最終得到環(huán)繞全景圖，可用于全景監(jiān)控系統(tǒng)。本文重點(diǎn)研究了基于特征點(diǎn)的全景圖生成的各個(gè)階段的技術(shù)，并針對其中的兩個(gè)階段提出了改進(jìn)。 在特征匹配階段，本文提出了改進(jìn)的最小費(fèi)用 K 流算法（ 法） 。該算法根據(jù)已有的最小費(fèi)用 K 流算法的思想，將圖論中的匹配知識(shí)同圖像匹配知識(shí)相結(jié)合，把圖像特征點(diǎn)匹配建模成最小費(fèi)用最大流問題，并用改進(jìn)的對偶算法進(jìn)行求解，可以自動(dòng)獲得有較高準(zhǔn)確率的圖像特征點(diǎn)匹配集。實(shí)驗(yàn)表明，在不需人工干預(yù)的情況下，和基于 最近鄰匹配算法相比，該算法可以提高匹配準(zhǔn)確率約 5%。 在變換估計(jì)階段，本文提出了基于類內(nèi)散布矩陣的改進(jìn)的 法，用于對圖像的特征點(diǎn)匹配集進(jìn)行提純。改進(jìn)的 法用類內(nèi)散布矩陣進(jìn)行初選，改變了原 法中匹配點(diǎn)對的隨機(jī)選取方式，有效減少了原法的迭代次數(shù)，提高了計(jì)算效率 。實(shí)驗(yàn)表明，在保證準(zhǔn)確率的條件下，本文算法的計(jì)算效率比原算法高出約 20%。 關(guān)鍵詞： 全景圖像拼接， 改進(jìn)最小費(fèi)用流， 對偶算法， 類內(nèi)散布矩陣， I In we by of is to a is in In we a a of by or a of in of a In an is in KP to of it as as KP of In an is in In of is in to of by 0 to KP 錄 錄 基于圖像特征的拼接算法研究 .摘 要 . 目錄 . 目錄 . 一章 緒論 .像拼接技術(shù)的研究背景及應(yīng)用領(lǐng)域 .究背景和意義 .用領(lǐng)域 .像拼接技術(shù)的研究現(xiàn)狀 .接方法 .于特征的方法 .文的研究內(nèi)容 .文的組織結(jié)構(gòu) .第二章 圖像拼接的基礎(chǔ)知識(shí) .像獲取 .像特征提取與匹配 .像特征提取 .像特征匹配 .像變換與融合 .像變換模型 .像融合 .考面選取與投影 .面投影模型 .面投影模型 .面投影模型 .結(jié) .第三章 基于改進(jìn)的最小費(fèi)用 K 流的特征點(diǎn)匹配算法 .論基礎(chǔ)知識(shí) .和二部圖 .絡(luò)流 .部圖的匹配 .取度量函數(shù) .進(jìn)的最小費(fèi)用 K 流匹配算法 .目錄 構(gòu)造最小費(fèi)用 K 流模型 .用改進(jìn)對偶算法求解模型 .進(jìn)的最小費(fèi)用 K 流匹配算法流程 .驗(yàn)對比與分析 .結(jié) .第四章 基于改進(jìn) 圖像拼接算法 .法 .法的基本思想 .于圖像拼接的 法 .法計(jì)算量分析 .進(jìn) 法 .內(nèi)散布矩陣 .用類內(nèi)散布矩陣改進(jìn) 法 .算時(shí)間分析 .驗(yàn)對比與分析 .確性 .算效率 .幅圖像拼接實(shí)驗(yàn)結(jié)果 .結(jié) .第五章 總結(jié)與展望 .參考文獻(xiàn) . 附錄 1 . 謝 . 51 圖目錄 V 圖目錄 圖 眼鏡頭拍攝圖像效果 . 拍圖像拼接效果圖 . 網(wǎng)膜拼接圖 . 景拼接圖（約 180 度） . 像拼接流程圖 . 種變換的示例圖 . 合前后對比效果圖 . 面投影示意圖 . 面投影示意圖 . 面投影 . 征示例圖 . 示例 . 部圖和完全二部圖 . 配和最大匹配 . 像對特征點(diǎn)的賦權(quán)完全二部圖 . 量網(wǎng)絡(luò)模型 . 加附加源點(diǎn)的網(wǎng)絡(luò) . 配結(jié)果 . 線擬合示例圖 . 線擬合示例圖 . 進(jìn)的 法流程 . 驗(yàn)結(jié)果比較圖 1 . 驗(yàn)結(jié)果比較圖 2 . 代次數(shù)對比 . 間對比 . 圖像 . 面投影 . 征點(diǎn)提取 . 征點(diǎn)匹配 . 終效果圖 .目錄 目錄 表 種方法的 較 . 機(jī)采樣次數(shù)隨內(nèi)點(diǎn)比例變化而變化的情況 .一章 緒論 1 第一章 緒論 像拼接技術(shù)的研究背景及應(yīng)用領(lǐng)域 圖像拼接是計(jì)算機(jī)圖形學(xué)、計(jì)算機(jī)視覺、圖像處理領(lǐng)域的重要研究內(nèi)容，并且已經(jīng)應(yīng)用于社會(huì)生活的各個(gè)方面。 圖像拼接技術(shù)研究的是如何對多幅有部分重疊區(qū)域的窄視角圖像進(jìn)行無縫拼接，得到寬視 角圖像來滿足人們的各種研究需要。這項(xiàng)技術(shù)為視場擴(kuò)展、圖像降噪、空間解析、模糊消除等提供了方法和可能性，現(xiàn)已應(yīng)用于許多領(lǐng)域，比如：全景圖像的合成、遙感圖像的拼合、基于圖像的繪制技術(shù)、物體的三維重建（虛擬現(xiàn)實(shí)技術(shù)、醫(yī)學(xué)圖像分析、遙感技術(shù)處理）等等。 究背景和意義 本課題受到下列項(xiàng)目的資助： 1. “天目 360 度智能監(jiān)控系統(tǒng)產(chǎn)業(yè)化開發(fā)” ，哈爾濱產(chǎn)業(yè)技術(shù)創(chuàng)新與育成專項(xiàng)資金項(xiàng)目， 研。 2. “基于多源數(shù)據(jù)的飛行器進(jìn)近威脅 目標(biāo)檢測跟蹤及行為預(yù)測” ，國家自然科學(xué)基金重點(diǎn)項(xiàng)目（課題編號： 61039003） ， 研。 在現(xiàn)實(shí)生活中， 人們常常需要用到寬視角的圖像， 比如獲取某城市的地形圖、得到某區(qū)域 360的環(huán)繞全景圖像、對某地的 360 度監(jiān)控圖像等。這些圖像都是超越人眼視野范圍的高分辨率大場景范圍圖像。然而，場景范圍和分辨率存在著矛盾，一般來說場景范圍越大，分辨率越低；分辨率越高，場景范圍越小。在使用普通數(shù)碼相機(jī)進(jìn)行拍攝時(shí)，人們必須調(diào)節(jié)相機(jī)的焦距才能拍攝較寬場景，這時(shí)獲取的圖片的分辨率相對較低，常滿足不了要求。另外，對于一些超大尺寸拍攝目標(biāo)，由于拍攝距離和普通數(shù)碼相機(jī)的視野范圍的限制，沒有辦法用一張照片拍攝出完整目標(biāo)，這一點(diǎn)在航空圖像拍攝時(shí)尤為突出。為了得到滿足要求的大視角范圍的圖像，人們發(fā)明了廣角鏡頭和掃描式相機(jī)。這些設(shè)備可以部分解決視角不足這個(gè)問題，但是它們價(jià)錢昂貴，使用復(fù)雜，而且其圖像邊緣常會(huì)難以避免的產(chǎn)生扭曲變形（如圖 示） ，在一些場合無法使用。于是為了在保證高質(zhì)量高分辨率的條件下獲取大視野范圍的場景圖像，人們提出了圖像拼接技術(shù)。圖像拼基于圖像特征的自動(dòng)拼接算法研究 2 接技術(shù)就是將一組重疊的局部圖像拼接合成一幅大型的無縫高分辨率圖像， 它使得人們可以通過手持或者支架固定照相機(jī)獲取 圖片，然后對其使用圖像拼接算法，獲得高分辨率大視野范圍的場景圖像。 圖 眼鏡頭拍攝圖像效果 用領(lǐng)域 目前圖像拼接技術(shù)可以廣泛應(yīng)用于諸多領(lǐng)域，歸納起來有以下四個(gè)方面： (1)碎片（多源）圖像的組合 在航空航天和宇宙探測、以及地質(zhì)和海洋勘測等領(lǐng)域，圖像拼接技術(shù)將探測器獲取的小范圍高分辨率照片拼接，組成大視野范圍的高分辨率圖像，如圖 樣可以用低精度的普通數(shù)碼相機(jī)來獲取高精度的圖片， 以此降低光學(xué)設(shè)備的成本和拍攝數(shù)據(jù)傳輸?shù)膹?fù)雜性；在刑偵領(lǐng)域，可將犯罪現(xiàn)場的照片、證物掃描圖片進(jìn)行拼接，得到完整現(xiàn)場圖片方便破案。 圖 拍圖像拼接效果圖1(2)醫(yī)學(xué)圖像處理 在醫(yī)學(xué)領(lǐng)域，現(xiàn)有的顯微鏡等醫(yī)療設(shè)備存在視野狹小的問題；另外，一種手段獲得的圖像信息可能會(huì)有所缺失，圖像拼接技術(shù)可將 X 射線斷層掃描技術(shù)、第一章 緒論 3 數(shù)字減影血管造影術(shù)、核磁共振、 X 光片等技術(shù)獲得的圖像組合，得到病人的完整信息，提高檢查的準(zhǔn)確性；利用圖像拼接中的匹配技術(shù)，可將病人的圖像樣本與解剖圖譜比較，用于安全監(jiān)控來實(shí)施對病人的治療情況進(jìn)行跟蹤；此外在核醫(yī)學(xué)領(lǐng)域， 可結(jié)合記錄解剖身體結(jié)構(gòu)的核磁共振圖像和檢測身體功能和代謝活動(dòng)的正電子發(fā)射斷層掃描技術(shù)獲得的圖片，將多方面圖片拼為一個(gè)整體進(jìn)行研究。如圖 應(yīng)用于視網(wǎng)膜激光手術(shù)領(lǐng)域的完整視網(wǎng)膜拼接圖。 圖 網(wǎng)膜拼接圖2(3)全景圖像的合成 全景攝影一般是指拍攝普通照相機(jī)無法拍攝的大視野范圍照片的攝影技術(shù)。一般得到兩種廣角照片：一種是全景照片（ ,也就是 180到 360的照片；另一種是超過普通照片視場范圍的廣角照片。全景圖片可通過全景照相機(jī)完成，也可以通過拼接技術(shù)完成。目前許多軟件和數(shù)碼相機(jī)都提供了圖像拼接功能，讓拍攝者可以將多幅照片拼成寬視場范圍的照片，用普通鏡頭獲得乃至超過廣角鏡頭所能拍攝照片的視場范圍，同時(shí)有著更好的視覺效果。另外，全景拼接可以用在視頻監(jiān)控領(lǐng)域，將多個(gè)攝像頭取到的場景拼成一幅全景場景，從而更有效率地進(jìn)行視頻監(jiān)控。 圖 景拼接圖（約 180 度） (4)虛擬現(xiàn)實(shí) 基于圖像特征的自動(dòng)拼接算法研究 4 傳統(tǒng)的計(jì)算機(jī)圖形學(xué)基于幾何模型， 用戶需要構(gòu)造出場景的幾何模型和光照及表面屬性等的建模來完成場景的繪制，場景復(fù)雜時(shí)過程非常繁瑣。近年來提出了基于圖像的場景繪制技術(shù) 從拍攝的多幅具有重疊關(guān)系的照片直接繪制場景，使用圖像拼接技術(shù)生成全景圖，用全景圖代替復(fù)雜的三維場景建模和繪制，來表示實(shí)景。 可以說，圖像拼接技術(shù)涉及計(jì)算機(jī)視覺、圖像處理、計(jì)算機(jī)圖形學(xué)等多個(gè)學(xué)科的知識(shí)，具有十分廣闊的應(yīng)用前景，深入研究這項(xiàng)技術(shù)有著重要的意義。 像拼接技術(shù)的研究現(xiàn)狀 根據(jù)目前的研究重點(diǎn)， 圖像拼接技術(shù)可以分成圖像配準(zhǔn)和圖像融合兩大主要部分。圖像配準(zhǔn)是根據(jù)幾何運(yùn)動(dòng)模型將同一場景拍攝的不同圖像進(jìn)行對齊，找出有重疊區(qū)域的兩幅或多幅圖像間的變換關(guān)系。 圖像融合是指將已經(jīng)配準(zhǔn)處理的圖像再經(jīng)過一定的處理，提取各自的信息，最后綜合成同一圖像，實(shí)現(xiàn)相鄰圖像間的自然過渡。圖像拼接的方法按配準(zhǔn)方法的不同，分為直接方法和基于特征的方法。 接方法 直接的方法一般直接利用圖像的信息進(jìn)行配準(zhǔn)，大致分為基于變換域、基于灰度、基于區(qū)域三類。基于變換域的方法提出較早， 在 1970 年就使用快速傅里葉技術(shù)估計(jì)圖像間的平移量； 4使用了快速傅里葉變換進(jìn)行旋轉(zhuǎn)和尺度變化的估計(jì)；后來，基于小波的配準(zhǔn)方法提出， 5在 1996 年使用小波分解的分量中取得特征點(diǎn)，之后迭代求得旋轉(zhuǎn)參數(shù)；基于灰度的方法方面， 6在 1997 年提出了直接像素亮度差優(yōu)化的方法； 7在 1995年提出引入互信息進(jìn)行配準(zhǔn)，開啟了基于信息理論的配準(zhǔn)研究，其中 8在 2000 年結(jié)合梯度信息改善了它的極值性能； 9在 2003 年使用了基于區(qū)域的方法。直接的方法一般直接用圖像本身信息計(jì)算，對于光照敏感，且不適于比較復(fù)雜的運(yùn)動(dòng)模型，計(jì)算量也比較大。而基于特征的方法使用的是圖像中的顯著特征，對圖像的噪聲、畸變有一定的魯棒性，因此，隨著特征檢測和匹配技術(shù)的發(fā)展，基于特征的配準(zhǔn)方法成為研究的熱點(diǎn)。 于特征的方法 基于特征的方法分為四步10，特征檢測、特征匹配、估計(jì)變換模型及圖像融第一章 緒論 5 合。 特征檢測方面， 1在 1981 年發(fā)表的一篇關(guān)于立體圖像的利用角點(diǎn)進(jìn)行配準(zhǔn)的論文 , 是基于特征的圖像配準(zhǔn)的技術(shù)的起源。 2對其進(jìn)行了改進(jìn)，在 1992 提出了 點(diǎn)檢測，并將其應(yīng)用于運(yùn)動(dòng)物體跟蹤和三維重建，從此 點(diǎn)檢測在圖像配準(zhǔn)的其它方面得到了廣泛應(yīng)用。在此基礎(chǔ)上 3在 1992 年研究出 征檢測，具有仿射不變的特性。趙向陽14在 2004 年將 點(diǎn)檢測運(yùn)用到圖像拼接中，取得了不錯(cuò)的效果。一些檢測算法將將特征檢測推廣到多尺度空間， 15在 1999 年將圖像 間中的極值點(diǎn)，并進(jìn)一步得到了具有尺度不變性和旋轉(zhuǎn)不變性的 征點(diǎn) . 16在2003 發(fā)表了一篇關(guān)于將 征檢測技術(shù)應(yīng)用于全景圖像自動(dòng)拼接的論文，實(shí)驗(yàn)中所采用的圖片是用同一架相機(jī)在等焦距上 圍繞固定軸旋轉(zhuǎn)一圈所拍攝的圖片的配準(zhǔn)和拼接。 對特征檢測后，可以直接進(jìn)行特征匹配， 17直接用特征周圍像素的相似性進(jìn)行比較，但這種方法不能保證穩(wěn)定，因此比較好的做法是對每個(gè)特征要賦予一定的描述字。 18在 1997 年采用高斯微分不變量，對 點(diǎn)構(gòu)造了了基于尺度空間和不變量理論的圖像特征描述算子 術(shù)，并將其應(yīng)用于圖像檢索。 1920使用在特征的領(lǐng)域內(nèi)進(jìn)行方向直方圖的統(tǒng)計(jì)來抽取特征的方向作為特征的描述。 21在 2004 年用 間中的極值點(diǎn)作為特征點(diǎn)，對特征點(diǎn)的鄰域?qū)ふ姨荻戎狈綀D的峰值，構(gòu)造了基于尺度和旋轉(zhuǎn)不變的描述算子 將其用于目標(biāo)識(shí)別。 22在 2005 年對 10 種通用的具有代表性的描述子，針對不同的場景、不同的形變、不同的光照變化、不同的模糊程度和不同分辨率等情況， 采用正確匹配率作為評價(jià)標(biāo)準(zhǔn)進(jìn)行了性能評價(jià)，實(shí)驗(yàn)結(jié)果表明：在以上各種情況下，基于 述子的性能最好，具有較高的辨析力，且不依賴于具體的特征檢測手段。 進(jìn)行特征檢測并對特征進(jìn)行描述后，便可進(jìn)行兩幅圖特征集間的特征匹配。對于高維的描述子，不易直接計(jì)算出最相近的描述子。因此匹配時(shí)需要使用不同的索引策略，其中很多方法是基于在高維空間找到最近鄰。 23在 1989年提出了 構(gòu)； 24在 1993 年提出使用優(yōu)先搜索 (行 的搜索，該算法在執(zhí)行過程中利用一個(gè)優(yōu)先隊(duì)列保存搜索過程中遇到的次近鄰兄弟節(jié)點(diǎn)，在搜索到葉子結(jié)點(diǎn)后先從優(yōu)先隊(duì)列里的節(jié)點(diǎn)出發(fā)繼續(xù)搜索，基于圖像特征的自動(dòng)拼接算法研究 6 另外，作者還提出增量距離計(jì)算的思想進(jìn)行加速搜索。 25在 1997 年提出了 法，給 法使用了改良的搜索順序； 26在 2006 年使用了 是對在每個(gè)等級的每個(gè)水平的少數(shù)的原型比較其特征描述符。何新英等27在 2009 年提出了基于網(wǎng)絡(luò)流的特征優(yōu)化匹配算法，即最小費(fèi)用 K 流算法，將特征點(diǎn)匹配問題轉(zhuǎn)化成為圖論中的 K 匹配的賦權(quán)圖問題，用圖論中的經(jīng)典算法最小費(fèi)用 K 流求解，在精度方面取得不錯(cuò)的匹配效果，但其 K 值需要手動(dòng)選取，不適合自動(dòng)圖像拼接算法。 找到初始匹配集之后，就要選取合 適的模型來估計(jì)模型的參數(shù)。 8在 1996 年提出將正交投影變換模型用于拼接，這個(gè)模型有 8 個(gè)參數(shù)，可以表征平移旋轉(zhuǎn)縮放等相機(jī)的多種運(yùn)動(dòng)，適用于許多情況，成為了經(jīng)典算法。對于估計(jì)參數(shù)方面，由經(jīng)過了匹配后仍可能存在錯(cuò)誤點(diǎn)，于是需要使用從含有錯(cuò)誤數(shù)據(jù)的集合中擬合模型的方法， 9在 1999 年將 0在 1984 年提出的法運(yùn)用到圖像拼接中 ,這個(gè)方法是將這個(gè)問題作為最小化問題，采用多次迭代，比較殘差的中值，選有最小均值的對應(yīng)矩陣作為運(yùn)動(dòng)估計(jì)； 31在 1981 年提出了 法 選取初始匹配集中的一個(gè)子集來計(jì)算運(yùn)動(dòng)估計(jì)，再計(jì)算所有匹配的剩余殘差，迭代多次，最后選取有最多相符合的內(nèi)點(diǎn)對的集合來最后估計(jì)模型參數(shù)，與法相比， 估計(jì)模型參數(shù)的同時(shí)，可以取得最終的匹配內(nèi)點(diǎn)集。 有許多改進(jìn)版本， 2005 年提出了 2,初始化就添加更有可能的匹配對，因此能夠加速找到最優(yōu)內(nèi)點(diǎn)集的過程； 出了 3，同樣采用有引導(dǎo)的采樣，減少迭代次數(shù)。本文將根據(jù)圖像拼接自身的特點(diǎn)，提出一種新的用于拼接的改進(jìn) 方法，可以有效減少迭代次數(shù)，提高計(jì)算效率。 求出圖像間的變換矩陣，下一步就可以對圖像進(jìn)行變換。變換即將圖像投影到同一坐標(biāo)系下，在計(jì)算過程中，很可能遇到算出的坐標(biāo)非整數(shù)的情況，使得圖像出現(xiàn)空洞，這是需要采用灰度級插補(bǔ)技術(shù)34來避免這種失真。 分析現(xiàn)有圖像技術(shù)， 我們可以發(fā)現(xiàn)圖像拼接相對于其他的圖像處理技術(shù)有其自身的特點(diǎn)，首先源圖像的獲取條件不同決定了有些拼接算法的針對性很強(qiáng)，一些特定條件下的算法可能完全不適合其他場景； 其次圖像內(nèi)容的多樣性和多變化性使得拼接技術(shù)多樣；最后拼接技術(shù)有多個(gè)環(huán)節(jié)，具有復(fù)雜性的特點(diǎn)。這些特點(diǎn)使得目前還很難出現(xiàn)一種拼接技術(shù)可以適用于所有場景， 現(xiàn)有的兩種拼接方法各第一章 緒論 7 有不足： 直接的方法中比較典型的是基于頻域的方法，它利用互相關(guān)函數(shù)對兩幅圖像進(jìn)行相似性計(jì)算。這種方法很難處理存在小比例縮放和小角度旋轉(zhuǎn)的圖像，通常計(jì)算復(fù)雜性較高，同時(shí)對噪聲也比較敏感； 基于特征的方法需要提取圖像的幾何或內(nèi)容特征，它依賴于圖像特征，若特征選取有誤，或特征間的匹配有誤，得到的結(jié)果會(huì)受較大影響； 總的來說，基于特征的方法更有效一些，而對于基于特征的方法來說，其研究方向是要找到更優(yōu)的特征檢測及描述方法，更準(zhǔn)確的特征點(diǎn)匹配方法，更優(yōu)化的變化估計(jì)方法， 來減少拼接系統(tǒng)的處理時(shí)間， 使得系統(tǒng)具有自動(dòng)性和自適應(yīng)性，使其可處理更復(fù)雜的照相機(jī)模型，本文主要研究基于特征的方法。 文的研究內(nèi)容 論文主要研究了基于圖像特征點(diǎn)的拼接算法， 基于特征點(diǎn)的圖像拼接主要包括特征提取、特征匹配、變換估計(jì)、圖像融合四個(gè)部分，其基本流程如圖 示。 本文主要針對其中兩個(gè)部分： 特征匹配和變換模型參數(shù)估計(jì)做了創(chuàng)新與改進(jìn)。 特征匹配方面，針對最小費(fèi)用 K 流算法（ 法）的局限性與不足，我們提出了改進(jìn)的最小費(fèi)用 K 流算法。此算法將 征點(diǎn)作為圖像的興趣點(diǎn)，采用新的度量函數(shù)來度量匹配度，建立最小費(fèi)用 K 流模型，通過改進(jìn)的對偶算法求解最小費(fèi)用 K 流，自動(dòng)求出有較小錯(cuò)誤率的匹配點(diǎn)集。改進(jìn) 法實(shí)現(xiàn)了匹配個(gè)數(shù)的自動(dòng)選取， 改進(jìn)了原 法中的匹配個(gè)數(shù)需要手動(dòng)選取的缺點(diǎn)，提高了 法在圖像拼接上的可用性，而且能獲得比常用匹配算法更高的準(zhǔn)確率。 變換估計(jì)方面，提出了一種針對圖像拼接的改進(jìn) 法。該算法利用了圖像拼接中的特征點(diǎn)的分布情況 對隨機(jī)樣本集進(jìn)行預(yù)處理，改進(jìn)了法中點(diǎn)對選取的隨機(jī)性，在獲得 同樣的計(jì)算精度的條件下，有效減少了變換估計(jì)的迭代次數(shù)，提高了變換參數(shù)的計(jì)算速度。 基于圖像特征的自動(dòng)拼接算法研究 8 圖 像拼接流程圖 文的組織結(jié)構(gòu) 第一章，緒論。主要論述了圖像拼接算法的研究背景和意義，分析了國內(nèi)外的研究現(xiàn)狀和現(xiàn)有算法的不足，總結(jié)了研究的難點(diǎn)和論文的研究方向，介紹了本文的主要研究內(nèi)容和貢獻(xiàn)。 第二章，圖像拼接基礎(chǔ)知識(shí)介紹。按照圖像拼接的基本步驟分別介紹了圖像獲取，特征點(diǎn)的提取與匹配，圖像變換與融合，全景圖像投影模型幾個(gè)方面的基礎(chǔ)知識(shí)。 第三章，基于最小費(fèi)用最大流的特征點(diǎn)匹配算法。據(jù)已有的最小費(fèi)用 K 流算法的思想，將圖論中的匹配知識(shí)同圖像匹配知識(shí)相結(jié)合，把圖像特征點(diǎn)匹配建模成最小費(fèi)用最大流問題，并用改進(jìn)的對偶算法進(jìn)行求解。將該算法在公共測試集合上進(jìn)行了測試和比較，實(shí)驗(yàn)表明這種改進(jìn)方法是可行的、有效的，在不需人+ 圖像投影與融合 變換模型參數(shù)估計(jì) 特征點(diǎn)匹配 特征點(diǎn)提取 圖像獲取及預(yù)處理 第一章 緒論 9 工干預(yù)的情況下，和基于 最近鄰匹配算法相比，該算法可以提高匹配準(zhǔn)確率約 5%。 第四章，基于改進(jìn) 圖像拼接算法。先介紹了 法和類內(nèi)散布矩陣，然后提出了基于類內(nèi)散度矩陣的改進(jìn) 法，對圖像的特征點(diǎn)匹配集提純之后進(jìn)行拼接。將該算法在公共測試集合上進(jìn)行了測試和比較，用實(shí)驗(yàn)表明改進(jìn) 法在保證拼接效果不變的情況下，提高了圖像拼接的速度約 20%；最后給出了應(yīng)用本文拼接算法的多幅圖像拼接效果圖。 基于圖像特征的自動(dòng)拼接算法研究 10 第二章 圖像拼接的基礎(chǔ)知識(shí) 圖像拼接技術(shù)是將有部分重疊區(qū)域的窄視角圖像進(jìn)行無縫拼接， 得到一幅寬視角圖像。基于特征點(diǎn)的圖像拼接技術(shù)因其較好的效果和魯棒性，現(xiàn)已成為拼接領(lǐng)域中的熱門技術(shù)?；谔卣鼽c(diǎn)的圖像拼接通常由這幾個(gè)階段組成：圖像獲取、特征點(diǎn)提取與匹配、圖像變換估計(jì)與融合。如果是多幅圖像或全景圖像拼接，有時(shí)還要加入?yún)⒖计矫孢x取與投影這一步。 本章將對各階段涉及的基本知識(shí)進(jìn)行介紹。 像獲取 拼接的第一步是獲取圖像， 現(xiàn)在用于拼接的圖像基本上是用數(shù)碼設(shè)備直接獲取的數(shù)碼照片或視頻圖片，一般來 說，圖像獲取的設(shè)備分兩類35，一類是數(shù)碼相機(jī)，一類是視頻采集卡和攝像頭的組合。 1) 照相機(jī)拍攝 一般來說使用照相機(jī)進(jìn)行圖像獲取的方式有三種情況： 旋轉(zhuǎn)照相機(jī)：這種情況是指將三腳 架固定在一個(gè)位置。拍攝時(shí)相機(jī)繞三腳架的垂直軸旋轉(zhuǎn)，每次旋轉(zhuǎn)一 定的角度拍一張照片，要求相鄰照片間有一定比例的重疊區(qū)域。這種 拍攝方法不需要更多相機(jī)參數(shù)，但是采集的圖片不在一個(gè)平面上，需 要投影到同一平面才能進(jìn)行拼接，這個(gè)平面通常是柱面或球面。 平移照相機(jī)：這種拍攝一般是將三 腳架固定在某個(gè)滑軌的滑車上，讓相機(jī)平行于成像平面移動(dòng)拍攝。 手持照相機(jī)：這是最簡單的一種圖 像的獲取方式，但是也是最難拼接的，因?yàn)樵谶@種情況下的拍攝過程 中，相機(jī)的運(yùn)動(dòng)情況最復(fù)雜，一般是平移運(yùn)動(dòng)、鏡頭縮放、水平掃動(dòng) 、垂直掃動(dòng)、旋轉(zhuǎn)運(yùn)動(dòng)等的綜合。但是目前基本上是要求獲取圖像時(shí) 站在原地繞轉(zhuǎn)拍攝或者沿照相機(jī)的光軸垂直方向走動(dòng)拍攝，這樣可以 使獲得的圖像基本符合變換模型，從而可以實(shí)現(xiàn)拼接。 第二章 圖像拼接的基礎(chǔ)知識(shí) 11 2) 采集卡獲取 是指用在現(xiàn)實(shí)的工程應(yīng)用中，使用采集卡和攝像頭配合來采集視頻圖像。這種采集方式大致分兩種情況，一種是多個(gè)攝像機(jī)位置固定，每個(gè)攝像機(jī)的采集場景相對位置不變，這種可以僅在初始化時(shí)計(jì)算變換模型參數(shù)，給后面的視頻幀直接使用，但是在攝像頭安裝時(shí)需要其光軸交匯，否則拼接效果一般，對硬件擺放有較高要求；第二種是攝像機(jī)位置變化，隨監(jiān)控目標(biāo)移動(dòng)，這種需要進(jìn)行實(shí)時(shí)變換參數(shù)計(jì)算，對于匹配的速度要求很高。 在圖像采集后，由于圖像采集過程中的各種不可控因素，使得圖像中的屬性發(fā)生變化，可能有失真、變形、對比度降低等畸變，有時(shí)會(huì)在拼接前加一步預(yù)處理，來完成待拼接圖像的畸變校正的工作，提高預(yù)處理提高圖像的質(zhì)量，有助于拼接過程的進(jìn)行。 像特征提取與匹配 由于待拼接的兩幅圖片存在空間變換和灰度變換，在將它們拼接起來之前，要先對他們進(jìn)行空間位置的對準(zhǔn)，找到它們重疊部分的相應(yīng)位置，確定它們之間的變換關(guān)系。基于特征的圖像拼接方法中，首先就是要對圖像進(jìn)行特征提取和匹配，通過得到特征點(diǎn)匹配點(diǎn)集，估計(jì)兩幅圖像間的變換關(guān)系。 像特征提取 特征點(diǎn)的提取一般分為特征檢測和特征描述。 征檢測 通常來說，我們希望用于拼接的圖像特征有如下特性36： 在兩幅圖中都出現(xiàn)，而且具備豐富的信息可用于后續(xù)匹配。 有較高的定位精度，可以比較均勻地分布在圖像的各個(gè)部分。 希望特征易于檢測，而且檢測算法對圖像的噪聲、幾何形變、灰度變化具有一定的適應(yīng)性和不變性。 有一定的物理意義，在圖中清晰可辨。 圖中常見的特征如點(diǎn)、線、面可部分滿足上面 的要求。現(xiàn)有常用檢測子有測子、 測子、 測子、 測子等，其中被廣泛應(yīng)用的是 測子，本文中也采用了這種檢測子，第三章會(huì)詳細(xì)的介紹它的提取過程。 基于圖像特征的自動(dòng)拼接算法研究 12 特征描述 特征描述是用特征描述子來表達(dá)圖像特征。得到表達(dá)圖像特征的描述子后，可使用算法尋找這些描述子之間的匹配關(guān)系，從而求