幾何變換與圖像配準(zhǔn)(1)

1、第5講 幾何變換與圖像配準(zhǔn) 提出問(wèn)題： v如何對(duì)二維圖像進(jìn)行方向、尺寸和形狀 方面的變換 v如何方便地實(shí)現(xiàn)在顯示設(shè)備上對(duì)二維圖 像進(jìn)行觀(guān)察 圖像的幾何變換是指對(duì)圖像的幾何信息經(jīng)過(guò)平移、比 例、旋轉(zhuǎn)等變換后產(chǎn)生新的圖像，是圖像在方向、尺 寸和形狀方面的變換。 基本概念 幾何變換 二維圖像幾何變換 n平移變換 n旋轉(zhuǎn)變換 n比例變換 基本幾何變換都是相對(duì)于坐標(biāo)原點(diǎn)和坐標(biāo) 軸進(jìn)行的幾何變換 二維變換矩陣 sml qdc pba yxTyxyx D 111 2 T1：比例、旋轉(zhuǎn)、對(duì)稱(chēng)、錯(cuò)切 T2：平移 T3：投影 T4：整體縮放 T1T1T3T3 T2T2T4T4 平移是一種不產(chǎn)生變形而移動(dòng)物體的 剛

2、 體 變 換 （ r i g i d - b o d y transformation） Y X Tx Ty 圖6-1 平移變換 P P T 平移變換 平移是指將p點(diǎn)沿直線(xiàn)路徑從一個(gè)坐標(biāo)位置移到另一個(gè)坐標(biāo)位置的重定位過(guò)程。 Tyyy Txxx Tx，Ty稱(chēng)為平移矢量 1 010 001 yx TT 推導(dǎo)： 矩陣： 平移變換 sml qdc pba yxTyxyx D 111 2 x=x+Tx,y=y+Ty 比例變換 比例變換是指對(duì)p點(diǎn)相對(duì)于坐標(biāo) 原點(diǎn)沿x方向放縮Sx倍，沿y方 向放縮Sy倍。其中Sx和Sy稱(chēng)為比 例系數(shù)。 Y X 圖6-2 比例變換(Sx=2,Sy=3) P(4,3) P(2,

3、1) y x ysy xsx 推導(dǎo)： 矩陣： 100 00 00 y x S S 比例變換 sml qdc pba yxTyxyx D 111 2 x=Sx*X,y=Sy*Y (a) Sx=Sy比例 原圖 (b) SxSy比例 原圖 圖6-3 比例變換 SxSy Sx=Sy1 Sx=Sy1時(shí)縮還是放？ sml qdc pba yxTyxyx D 111 2 x y 1=x y s=x/s y/s s/s 旋轉(zhuǎn)變換 二維旋轉(zhuǎn)是指將p點(diǎn)繞坐標(biāo)原點(diǎn)轉(zhuǎn)動(dòng)某個(gè)角度（逆時(shí)針為正， 順時(shí)針為負(fù)）得到新的點(diǎn)p的重定位過(guò)程。 Y X 圖6-4 旋轉(zhuǎn)變換 P P r r X = rcos(a+) = rcosac

4、os-rsinasin = x cos -y sin y= rsin(a+) = rcosasin+rsinacos = x sin +y cos 推導(dǎo)： 矩陣：逆時(shí)針旋轉(zhuǎn)角 100 0cossin 0sincos 順時(shí)針旋轉(zhuǎn)角? 旋轉(zhuǎn)變換 sml qdc pba yxTyxyx D 111 2 X = rcos(a+) = rcosacos-rsinasin = x cos -y sin y= rsin(a+) = rcosasin+rsinacos = x sin +y cos 簡(jiǎn)化計(jì)算（很?。?100 01 01 11 yxyx 旋轉(zhuǎn)變換 對(duì)稱(chēng)變換 對(duì)稱(chēng)變換后的圖像是原圖像關(guān)于某一軸線(xiàn)或

5、原點(diǎn)的鏡像。 X Y (a)關(guān)于x軸對(duì)稱(chēng) X Y (b)關(guān)于y軸對(duì)稱(chēng) X Y (c)關(guān)于原點(diǎn)對(duì)稱(chēng) X Y (d)關(guān)于x=y對(duì)稱(chēng) X Y (e)關(guān)于x=-y對(duì)稱(chēng) 對(duì)稱(chēng)變換 對(duì)稱(chēng)變換后的圖像是原圖像關(guān)于某一軸線(xiàn)或原點(diǎn)的鏡像。 (1)關(guān)于x軸對(duì)稱(chēng) 100 010 001 Y X P(x,-y) P(x,y) (a)關(guān)于x軸對(duì)稱(chēng) 對(duì)稱(chēng)變換 X Y (a)關(guān)于x軸對(duì)稱(chēng) (2)關(guān)于y軸對(duì)稱(chēng) Y X P(-x,y) p(x,y) (b)關(guān)于y軸對(duì)稱(chēng) 100 010 001 對(duì)稱(chēng)變換 X Y (b)關(guān)于y軸對(duì)稱(chēng) (3)關(guān)于原點(diǎn)對(duì)稱(chēng) Y X P(x,y) (c)關(guān)于原點(diǎn)對(duì)稱(chēng) 100 010 001 X Y (c

6、)關(guān)于原點(diǎn)對(duì)稱(chēng) 對(duì)稱(chēng)變換 (4)關(guān)于y=x軸對(duì)稱(chēng) Y X p(x,y) p(y,x) x=y (d)關(guān)于x=y對(duì)稱(chēng) 100 001 010 對(duì)稱(chēng)變換 X Y (d)關(guān)于x=y對(duì)稱(chēng) (5)關(guān)于y=-x軸對(duì)稱(chēng) Y X P(-y,-x) P(x,y) x=-y (e)關(guān)于x=-y對(duì)稱(chēng) 100 001 010 對(duì)稱(chēng)變換 X Y (e)關(guān)于x=-y對(duì)稱(chēng) 錯(cuò)切變換 錯(cuò)切變換，也稱(chēng)為剪切、錯(cuò)位變換，用于產(chǎn)生彈性物體的變 形處理。 Y X Y X Y X (a) 原圖(b) 沿x方向錯(cuò)切 (c) 沿y方向錯(cuò)切 圖6-7 錯(cuò)切變換 其變換矩陣為： 100 01 01 b d(1)沿x方向錯(cuò)切 (2)沿y方向錯(cuò)切

7、 (3)兩個(gè)方向錯(cuò)切 錯(cuò)切變換 二維圖像幾何變換的計(jì)算 幾何變換均可表示成 P = P * T 的形式： 1. 點(diǎn)的變換 2. 直線(xiàn)的變換 3. 多邊形的變換 4. 曲線(xiàn)的變換 4.1.3 復(fù)合變換 復(fù)合變換是指： n圖像作一次以上的幾何變換，變換結(jié)果是每次的變換矩陣相乘。 n任何一復(fù)雜的幾何變換都可以看作基本幾何變換的組合形式。 復(fù)合變換具有形式： ) 1( )( 321 321 nTTTTP TTTTPTPP n n 6.3.1 二維復(fù)合平移 兩個(gè)連續(xù)平移是加性的。 6.3.2 二維復(fù)合比例 連續(xù)比例變換是相乘的。 6.3.3 二維復(fù)合旋轉(zhuǎn) 兩個(gè)連續(xù)旋轉(zhuǎn)是相加的?？蓪?xiě)為： )( 21)()

8、( 21 RRRR 4.1.3 復(fù)合變換 其它二維復(fù)合變換 100 0cos0 00cos 100 01 01 100 01 01 100 0cos0 00cos 100 0 cos sin 0 sincos tg tg tg tg R 4.1.3 復(fù)合變換 6.3.5 相對(duì)任一參考點(diǎn)的二維幾何變換 相對(duì)某個(gè)參考點(diǎn)(xF,yF)作二維幾何變換，其變換過(guò)程為： (1) 平移 (2) 針對(duì)原點(diǎn)進(jìn)行二維幾何變換。 (3) 反平移 復(fù)合變換 x y F(xF,yF) o P P 相對(duì)任一參考點(diǎn)的二維幾何變換 例1. 相對(duì)點(diǎn)(xF,yF)的旋轉(zhuǎn)變換 x y F(xF,yF) o P x y o P P

9、x y o P P Tx Ty Tx=- xF Ty=- yF x y o P Tx Ty Tx= xF Ty= yF P 相對(duì)任意方向的二維幾何變換 相對(duì)任意方向作二維幾何變換，其變換的過(guò)程是： (1) 旋轉(zhuǎn)變換 (2) 針對(duì)坐標(biāo)軸進(jìn)行二維幾何變換； (3) 反向旋轉(zhuǎn) 例3. 相對(duì)直線(xiàn) y=x 的反射變換 復(fù)合變換 例4. 將正方形ABCO各點(diǎn)沿圖6-8所示的(0,0)(1,1)方向進(jìn)行拉伸，結(jié)果為 如圖所示的，寫(xiě)出其變換矩陣和變換過(guò)程。 Y X 13/21/2 1/2 3/2 2 2 圖6-8 針對(duì)固定方向的拉伸 O AB C C B A 復(fù)合變換 坐標(biāo)系之間的變換 問(wèn)題： 圖6-9 坐標(biāo)

10、系間的變換 x y x y O O x0 y0 p(xp,yp) 復(fù)合變換 分析： x y y O O(x0,y0) 圖6-11 坐標(biāo)系變換的變換原理 x p,也即p p*px py * x Op * y Op 坐標(biāo)系之間的變換 可以分兩步進(jìn)行： x y y O O x0 y0 x (a)將xy坐標(biāo)系的原點(diǎn)平移到xy坐標(biāo)系的原點(diǎn) p(xp,yp) x y O y x (b)將x軸旋轉(zhuǎn)到x軸上 p(xp,yp) 坐標(biāo)系之間的變換 于是： R T t TpTp T p y p x p y p xp 11 坐標(biāo)系之間的變換 變換的性質(zhì) n仿射變換具有平行線(xiàn)不變性和有限點(diǎn)數(shù)目的不變性 n平移、比例、旋

11、轉(zhuǎn)、錯(cuò)切和反射等變換均是二維仿射變換的特 例，反過(guò)來(lái)，任何常用的二維仿射變換總可以表示為這五種變 換的復(fù)合。 ndycxy mbyaxx 二維仿射變換是具有如下形式的二維坐標(biāo)變換： 二維幾何變換具有如下一些性質(zhì)： v直線(xiàn)的中點(diǎn)不變性； v平行直線(xiàn)不變性； v相交不變性； v僅包含旋轉(zhuǎn)、平移和反射的仿射變換維持角度和長(zhǎng)度的不 變性； v比例變化可改變圖像的大小和形狀； v錯(cuò)切變化引起圖像角度關(guān)系的改變，甚至導(dǎo)致圖像發(fā)生畸 變。 變換的性質(zhì) 復(fù)原圖像復(fù)原圖像失真圖像失真圖像 (x 0,y 0) (x0,y0) 將距非網(wǎng)格點(diǎn)將距非網(wǎng)格點(diǎn)(x 0,y 0)最近的灰度值作為最近的灰度值作為(x 0,y

12、0) 的灰度值，之后再賦給的灰度值，之后再賦給(x0,y0)。 邊緣處會(huì)產(chǎn)生鋸齒邊緣處會(huì)產(chǎn)生鋸齒 (2,3) 編輯編輯ppt38 2. 線(xiàn)性?xún)?nèi)插法 用用(x 0,y 0)周?chē)車(chē)?個(gè)像素的灰度值，按距離加個(gè)像素的灰度值，按距離加 權(quán)因子求出的平均值作為權(quán)因子求出的平均值作為(x0,y0)的灰度值。的灰度值。 (x 0,y 0) (x ,y ) (x ,y ) (x ,y +1) (x +1,y )(x +1,y +1) 1- 1- n線(xiàn)性?xún)?nèi)插法會(huì)使邊緣產(chǎn)生模糊 ) 1, 1()1)(, 1( )1 () 1,()1)(1)(,(),( 00 yxfyxf yxfyxfyxf 編輯編輯ppt43

13、 圖圖 像像 配配 準(zhǔn)準(zhǔn) 圖像配準(zhǔn)的用途意義 n圖圖像配準(zhǔn)（或像配準(zhǔn)（或圖圖像匹配）是評(píng)價(jià)兩幅或多像匹配）是評(píng)價(jià)兩幅或多 幅幅圖圖像的相似性以確定同名點(diǎn)的過(guò)程。像的相似性以確定同名點(diǎn)的過(guò)程。圖圖 像配準(zhǔn)算法就是設(shè)法建立兩幅圖像之間的像配準(zhǔn)算法就是設(shè)法建立兩幅圖像之間的 對(duì)應(yīng)關(guān)系對(duì)應(yīng)關(guān)系, ,確定相應(yīng)幾何變換參數(shù)確定相應(yīng)幾何變換參數(shù), ,對(duì)兩幅對(duì)兩幅 圖像中的一幅進(jìn)行幾何變換的方法。圖像中的一幅進(jìn)行幾何變換的方法。 n圖像配準(zhǔn)是圖像分析和處理的基本問(wèn)題。圖像配準(zhǔn)是圖像分析和處理的基本問(wèn)題。 它在它在航空影像自動(dòng)制圖、圖像三維重構(gòu)、航空影像自動(dòng)制圖、圖像三維重構(gòu)、 計(jì)算機(jī)視覺(jué)、計(jì)算機(jī)視覺(jué)、遙感融合

14、、模式識(shí)別、醫(yī)學(xué)遙感融合、模式識(shí)別、醫(yī)學(xué) 圖像處理圖像處理、影像分析、影像分析等領(lǐng)域都有重要應(yīng)用。等領(lǐng)域都有重要應(yīng)用。 圖像配準(zhǔn) 參考圖像（主圖像） 待配準(zhǔn)圖像（輔圖像） 配準(zhǔn)圖像 用詞說(shuō)明 n各種圖像配準(zhǔn)的文獻(xiàn)都會(huì)出現(xiàn)各種圖像配準(zhǔn)的文獻(xiàn)都會(huì)出現(xiàn)“配準(zhǔn)、匹配準(zhǔn)、匹 配、幾何校正配、幾何校正”三個(gè)詞，它們的含義比較三個(gè)詞，它們的含義比較 相似。相似。 n一般兩幅圖像之間用一般兩幅圖像之間用“配準(zhǔn)（配準(zhǔn)（register, registration）”；尋找同名特征；尋找同名特征(點(diǎn)點(diǎn)) 的過(guò)程叫的過(guò)程叫“匹配（匹配（match, matching）”; 根據(jù)主輔圖像之間的幾根據(jù)主輔圖像之間的幾

15、何變換關(guān)系，對(duì)輔圖像進(jìn)行逐像素處理變何變換關(guān)系，對(duì)輔圖像進(jìn)行逐像素處理變 為配準(zhǔn)圖像的過(guò)程叫做為配準(zhǔn)圖像的過(guò)程叫做“幾何校正幾何校正 （geometric correction）”。 配準(zhǔn)方法分類(lèi) n按照配準(zhǔn)算法所利用的圖像信息，可以分為按照配準(zhǔn)算法所利用的圖像信息，可以分為 基于區(qū)域的方法基于區(qū)域的方法和和基于特征的方法基于特征的方法 ?；凇；?區(qū)域的匹配主要是模板匹配和基于相位（頻區(qū)域的匹配主要是模板匹配和基于相位（頻 率）的匹配方法；基于特征的匹配包括基于率）的匹配方法；基于特征的匹配包括基于 特征點(diǎn)集的匹配和基于線(xiàn)特征（圖像中邊緣特征點(diǎn)集的匹配和基于線(xiàn)特征（圖像中邊緣 信息）的匹配

16、算法。信息）的匹配算法。 n按自動(dòng)化程度可以分為人工、半自動(dòng)和全自按自動(dòng)化程度可以分為人工、半自動(dòng)和全自 動(dòng)三種類(lèi)型動(dòng)三種類(lèi)型 。 模板匹配 n模板匹配法是在一幅影像中選取一個(gè)的影像模板匹配法是在一幅影像中選取一個(gè)的影像 窗口作模板，大小通常為窗口作模板，大小通常為55或或77，然，然 后通過(guò)相關(guān)函數(shù)的計(jì)算來(lái)找到它在搜索圖中后通過(guò)相關(guān)函數(shù)的計(jì)算來(lái)找到它在搜索圖中 的坐標(biāo)位置。設(shè)模板的坐標(biāo)位置。設(shè)模板T放在搜索圖放在搜索圖S上平移，上平移， 模板覆蓋下的那塊搜索圖叫做子圖模板覆蓋下的那塊搜索圖叫做子圖Si,j，子，子 圖的中心點(diǎn)在圖的中心點(diǎn)在S圖中的坐標(biāo)圖中的坐標(biāo)(i,j)，叫參考點(diǎn)。，叫參考點(diǎn)

17、。 相似性測(cè)度 n用以下測(cè)度來(lái)衡量用以下測(cè)度來(lái)衡量T和和Si,j的相似程度：的相似程度： n根據(jù)施瓦茲不等式，根據(jù)施瓦茲不等式， 并且在并且在 比值為常數(shù)時(shí)取極大值為比值為常數(shù)時(shí)取極大值為1。但實(shí)際上兩幅不同。但實(shí)際上兩幅不同 圖像的圖像的P值介于值介于0和和1之間，很難達(dá)到理想值。根之間，很難達(dá)到理想值。根 據(jù)經(jīng)驗(yàn)取某個(gè)閾值據(jù)經(jīng)驗(yàn)取某個(gè)閾值P0，如果，如果P P0，則匹配成，則匹配成 功；功； P P0，則匹配失敗。，則匹配失敗。 M m M n M m M n ji M m M n ji nmTnmS nmTnmS P 11 2 11 2, 11 , ),(),( ),(),( 10 P

18、),( ),( , nmT nmS ji 金字塔模板匹配 n為了加快搜索速度，很多影像匹配方法使為了加快搜索速度，很多影像匹配方法使 用金字塔影像。用金字塔影像。 n對(duì)影像進(jìn)行一次采樣率為對(duì)影像進(jìn)行一次采樣率為1/n(n=2,3) 的重采樣，即把影像的每的重采樣，即把影像的每nn個(gè)像素變個(gè)像素變 為一個(gè)像素，這樣就得到一對(duì)長(zhǎng)、寬都為為一個(gè)像素，這樣就得到一對(duì)長(zhǎng)、寬都為 原來(lái)原來(lái)1/n的影像，把它作為金字塔的第的影像，把它作為金字塔的第 二層。二層。 n再對(duì)第二層用同樣方法進(jìn)行一次采樣率為再對(duì)第二層用同樣方法進(jìn)行一次采樣率為 1/n的重采樣，又得到第三層（頂層）。的重采樣，又得到第三層（頂層）。 n原始影像作為金字塔影像的底層。原始影像作為金字塔影像的底層。 Moravec算子 nMoravec算子是利用灰度方差提取特征點(diǎn)算子是利用灰度方差提取特征點(diǎn) 的算子，它在四個(gè)主要方向上，選擇具有最的算子，它在四個(gè)主要方向上，選擇具有最 大大-最小灰度方差的點(diǎn)作為特征點(diǎn)。其步驟為：最小灰度方差的點(diǎn)作為特征點(diǎn)。其步驟為： 1 1 計(jì)算各像元的興趣值（計(jì)算各像元的興趣值（Interest Value）。在以像素為中心）。在以像素為中