全景圖像拼接與漫游林曉澤

1、全景圖像的拼接與漫游 By 2010-12-061主要內(nèi)容研究背景與意義全景圖像拼接全景圖像漫游（虎溪虛擬校園系統(tǒng)）總結(jié)2研究背景與意義項目依托：科技攻關(guān)項目“全景圖像制作與基于嵌入式的漫游關(guān)鍵技術(shù)”；虎溪校區(qū)虛擬校園系統(tǒng)；國家大學(xué)生創(chuàng)新基金。意義建筑、規(guī)劃、園林景觀等各類大型場景的動態(tài)交互式立體展現(xiàn)；（上海世博會）相比三維建模，制作流程快，更真實，速度更快；現(xiàn)有的全景拼接軟件：版權(quán)，部分需要手工設(shè)置。3全景圖像拼接全景圖像拼接的定義： 全景圖像拼接是一種將一組相互間有重疊部分的圖像序列進(jìn)行空間匹配對準(zhǔn)，經(jīng)重采樣合成后形成一幅包含各圖像序列信息的360水平視角的、完整的、清晰的新圖像的技術(shù) 。

2、4領(lǐng)域人物Richard SzeliskiMicrosoft ResearchDavid G.LoweUBCRichard Szeliski. Image Alignment and Stitching: A Tutorial.M.Brown,D.G.Lowe. Recognising Panoramas.M.Brown,D.G.Lowe. Automatic Panoramic Image Stitching using Invariant Features.5全景圖像拼接-主要步驟圖像拍攝圖像預(yù)處理圖像配準(zhǔn)圖像融合輸出全景圖6步驟1：圖像拍攝What is fisheye?短焦距，球面鏡頭

3、，水平垂直視域1800Why is fisheye?圖像數(shù)量拼接復(fù)雜度和運(yùn)算時間7步驟2：圖像預(yù)處理魚眼圖像的校正8步驟3：圖像配準(zhǔn)圖像配準(zhǔn)的本質(zhì)是尋找一種圖像對之間的變換關(guān)系，在這種變換關(guān)系下，兩幅圖像之間可以建立像素點之間的對應(yīng)關(guān)系。我們使用特征匹配點建立這種變換關(guān)系。特征點的查找特征點的粗匹配匹配點的優(yōu)化幾何變換模型映射到同一基準(zhǔn)面特征點的查找特征點的粗匹配匹配點的優(yōu)化變換關(guān)系的求解同一基準(zhǔn)面的映射9二維圖像之間的位置變換關(guān)系可以通過一個3*3的8參數(shù)矩陣來表示。兩幅圖像的像素坐標(biāo)關(guān)系來表示。圖像配準(zhǔn)-變換關(guān)系10圖像配準(zhǔn)-變換關(guān)系使用仿射變換作為幾何變換模型。仿射變換的定義：經(jīng)過變換后

4、第一幅圖像上的直線映射到第二幅圖像后仍為直線，并且保持平衡關(guān)系，這樣的變換稱為仿射變換。如圖： 仿射變換6參數(shù)11RANSACRANSAC(Random sample consensus)：它是根據(jù)一組包含異常數(shù)據(jù)的樣本數(shù)據(jù)集，計算出數(shù)據(jù)的數(shù)學(xué)模型參數(shù)，得到有效樣本數(shù)據(jù)的算法。Step 1:將所有匹配點代入公式，采用最小二乘法解出H，進(jìn)入Step2；Step 2:設(shè)定一個閾值T，將滿足d( Pi,HPj )T(d為歐式距離)的點確定為內(nèi)點，其余的為外點，進(jìn)入Step3；Step 3:將所有內(nèi)點代入公式，采用最小二乘法解出H，如果Step3中沒有任何點改變，則進(jìn)入Step4；否則進(jìn)入Step3；

5、Step4：所有內(nèi)點是準(zhǔn)確匹配點，外點是誤匹配點，算法結(jié)束。12特征點匹配誤匹配點(外點)13H1H2H3H4如何投影？1241314怎么辦？選擇一張圖像作為基準(zhǔn)面，將所有圖像映射到面上。15存在俯仰變換的校正圖人工校正3俯仰變換166參數(shù)2參數(shù)17步驟4：圖像融合-線性融合 重疊區(qū)域范圍內(nèi)，從左到右，左圖像的像素對融合圖像的亮度貢獻(xiàn)率從100%線性減少到0%，右圖像像素對融合圖像的亮度貢獻(xiàn)率從0%線性增加到100%。 陰影部分為重疊區(qū)域100%100%0%0%左圖右圖18線性融合重影現(xiàn)象線性融合方法簡單，但存在問題。使用多段融合方法解決辦法19多段融合多段融合算法是一種多尺度、多分辨率的圖像融合方法。在不同尺度和空間分辨率上進(jìn)行融合。步驟1：建立圖像的高斯金字塔步驟2：由高斯金字塔建立圖像的拉普拉斯金字塔步驟3：對拉普拉斯金字塔的每層進(jìn)行融合步驟4：組合融合后的拉普拉斯金字塔20多段融合高斯金字塔1.第1層放大一倍得到圖像A2.第0層減去圖像A，得到拉普拉斯金字塔第0層。012321多段融合拉普拉斯金字塔亮度取平均取亮度大的點，保持輪廓012322多段融合線性融合多段融合消除重影現(xiàn)象23全景圖像漫游虎溪虛擬校園系統(tǒng)（前臺Flash+后臺JSP）全景瀏覽建筑物（單位，辦事