全景圖像拼接算法課件

內(nèi)容提要圖像拼接簡介圖像拼接的主要步驟攝像機(jī)運(yùn)動的投影模型（projectivemodel)圖像的對齊(registration)圖像的合成(blending)圖像拼接試驗(yàn)內(nèi)容提要圖像拼接簡介圖像拼接簡介什么是圖像拼接？將多幅在不同時(shí)刻、從不同視角或者由不同傳感器獲得的圖像經(jīng)過對齊然后無縫地融合在一起，從而得到一幅大視場、高分辨率圖像的處理過程。該圖像被稱為全景圖。圖像拼接簡介什么是圖像拼接？圖像拼接簡介傳統(tǒng)全景圖(panorama)是由在一個(gè)固定位置上以不同角度拍攝到的一系列圖像拼接而成的大視場圖像。特點(diǎn)：沒有或只有輕微的運(yùn)動視差多重投影拼接圖(multi-perspectivemosaic)是由在一些不同位置上拍攝到的一系列圖像拼接而成的大視場圖像。特點(diǎn)：存在較大的運(yùn)動視差（motionparallax)圖像拼接簡介傳統(tǒng)全景圖(panorama)圖像拼接簡介圖像拼接簡介圖像拼接簡介圖像拼接中的幾個(gè)主要問題：使用圖像數(shù)據(jù)和攝像機(jī)模型對幾何失真進(jìn)行校正。使用圖像數(shù)據(jù)及攝像機(jī)模型進(jìn)行圖像對齊。消除拼接圖像中的接縫。圖像拼接簡介圖像拼接中的幾個(gè)主要問題：攝像機(jī)運(yùn)動模型在拍攝過程中由于攝像機(jī)鏡頭的運(yùn)動，使得拍攝到的相鄰兩幅圖像中的景物會出現(xiàn)幾何形變。通過尋找能夠恰當(dāng)?shù)貙⒁环鶊D像與另一幅圖像對準(zhǔn)的幾何變換來將兩幅圖像對齊。這些變換被稱為對應(yīng)(homography)。換句話說，這些幾何變換是一種映射， 兩幅有重疊區(qū)域的圖像，其中一幅圖像重疊區(qū)域中的一個(gè)點(diǎn)經(jīng)過這種幾何變換將被映射到另外一幅圖像重疊區(qū)域中的某個(gè)點(diǎn)上。這樣這兩個(gè)點(diǎn)形成了對應(yīng)關(guān)系。在固定位置拍攝的條件下，我們通常使用8-參數(shù)運(yùn)動模型以及其簡化形式來概括或計(jì)算這些幾何變換。攝像機(jī)運(yùn)動模型在拍攝過程中由于攝像機(jī)鏡頭的運(yùn)動，使得拍攝到的攝像機(jī)運(yùn)動模型homography攝像機(jī)運(yùn)動模型homography攝像機(jī)的8-參數(shù)運(yùn)動模型常見的幾種幾何變換：平移（translation)旋轉(zhuǎn)(rotation)水平切變(horizontalshear)投影(projection)攝像機(jī)的8-參數(shù)運(yùn)動模型常見的幾種幾何變換：平移（trans8-參數(shù)運(yùn)動模型假設(shè)和分別是一個(gè)象素點(diǎn)的新舊坐標(biāo)，一個(gè)二維仿射變換可以寫為： 或是

尺度和旋轉(zhuǎn) 垂直切變 水平切變

8-參數(shù)運(yùn)動模型假設(shè)和8-參數(shù)運(yùn)動模型仿射變換在統(tǒng)一坐標(biāo)系下可以用一個(gè)矩陣相乘的形式來表示：

當(dāng)引進(jìn)尺度參數(shù)W后，就得到了8-參數(shù)模型： 8-參數(shù)運(yùn)動模型仿射變換在統(tǒng)一坐標(biāo)系下可以用一個(gè)矩陣相乘的形8－參數(shù)運(yùn)動模型平移、剛體、仿射以及透視變換對應(yīng)的變換矩陣M的形式：8－參數(shù)運(yùn)動模型平移、剛體、仿射以及透視變換對應(yīng)的變換矩陣M圖像對齊圖像對齊找出兩幅圖像之間最優(yōu)的空間位置和色彩之間的變換關(guān)系，使一幅圖像中的點(diǎn)最優(yōu)地映射到另一幅圖像中。它是圖像拼接過程中的主要任務(wù)。圖像對齊圖像對齊圖像對齊方法所使用的圖像特征特征點(diǎn)頻域灰度值優(yōu)化算法非線性最小二乘傅立葉變換小波變換動態(tài)規(guī)劃遺傳算法圖像對齊方法所使用的圖像特征對齊算法流程投影到統(tǒng)一坐標(biāo)系初始變換矩陣M最終變換矩陣M圖像合成非線性最小二乘法進(jìn)行優(yōu)化對齊算法流程投影到統(tǒng)一坐標(biāo)系初始變換矩陣M最終變換矩陣M圖像初始變換矩陣的獲取初始變換矩陣M可以通過提取特征點(diǎn)或者在頻域上計(jì)算兩幅圖像的相位相關(guān)等方法來得到。MATLAB中內(nèi)建有cpselect函數(shù)，該函數(shù)允許用戶在將要拼接的兩幅圖像的重疊區(qū)域中手工選取一定數(shù)量的匹配特征點(diǎn)對然后自動給出兩幅圖像之間的初始變換矩陣。初始變換矩陣的獲取初始變換矩陣M可以通過提取特征點(diǎn)或者在頻域優(yōu)化目標(biāo)函數(shù)假設(shè)I‘(x’,y‘)和I(x,y)是兩幅需要對齊的圖像。這種方法就是要使I(x,y)和I‘(x’,y‘)的重疊區(qū)域中所有相應(yīng)象素i的強(qiáng)度值之差的平方和最小，即：優(yōu)化目標(biāo)函數(shù)假設(shè)I‘(x’,y‘)和I(x,y)是兩幅需要對L-M非線性最小二乘算法1.對于未對齊圖像中（x,y）處的象素點(diǎn)，（a）計(jì)算它在基準(zhǔn)圖像中的位置L-M非線性最小二乘算法1.對于未對齊圖像中（x,y）處的L-M非線性最小二乘算法（cont.）（b）計(jì)算誤差梯度（c）計(jì)算Hessian矩陣A和加權(quán)梯度向量b,其中L-M非線性最小二乘算法（cont.）L-M非線性最小二乘算法（cont.）2.求解方程并且更新變換矩陣3.檢查誤差E的變化，如果增大，則適當(dāng)?shù)卦黾应?，重新?jì)算一個(gè)△m，然后重復(fù)步驟2；如果減小，則適當(dāng)?shù)販p小λ，重新計(jì)算△m，然后重復(fù)步驟2。4.不斷進(jìn)行迭代計(jì)算直到強(qiáng)度差E低于某一門限或執(zhí)行完一定的次數(shù)為止。L-M非線性最小二乘算法（cont.）拼接實(shí)驗(yàn)(1)拼接實(shí)驗(yàn)(1