第5講+幾何變換與圖像配準(zhǔn)

1、第5講 幾何變換與圖像配準(zhǔn)提出問題：v如何對二維圖像進(jìn)行方向、尺寸和形狀方面的變換v如何方便地實(shí)現(xiàn)在顯示設(shè)備上對二維圖像進(jìn)行觀察 圖像的幾何變換是指對圖像的幾何信息經(jīng)過平移、比例、旋轉(zhuǎn)等變換后產(chǎn)生新的圖像，是圖像在方向、尺寸和形狀方面的變換?；靖拍顜缀巫儞Q二維圖像幾何變換n平移變換n旋轉(zhuǎn)變換n比例變換 基本幾何變換都是相對于坐標(biāo)原點(diǎn)和坐標(biāo)軸進(jìn)行的幾何變換二維變換矩陣 smlqdcpbayxTyxyxD1112T1：比例、旋轉(zhuǎn)、對稱、錯切T2：平移T3：投影T4：整體縮放T1T1T3T3T2T2T4T4平移是一種不產(chǎn)生變形而移動物體的剛 體 變 換 （ r i g i d - b o d y

2、transformation）YXTxTy圖6-1 平移變換PPT平移變換平移是指將p點(diǎn)沿直線路徑從一個坐標(biāo)位置移到另一個坐標(biāo)位置的重定位過程。TyyyTxxxTx，Ty稱為平移矢量1010001yxTT推導(dǎo)：矩陣：平移變換 smlqdcpbayxTyxyxD1112x=x+Tx,y=y+Ty比例變換 比例變換是指對p點(diǎn)相對于坐標(biāo)原點(diǎn)沿x方向放縮Sx倍，沿y方向放縮Sy倍。其中Sx和Sy稱為比例系數(shù)。YX圖6-2 比例變換(Sx=2,Sy=3)P(4,3)P(2,1)yxysyxsx推導(dǎo)：矩陣：1000000yxSS比例變換 smlqdcpbayxTyxyxD1112x=Sx*X,y=Sy*Y

3、(a) Sx=Sy比例原圖(b) SxSy比例原圖圖6-3 比例變換SxSySx=Sy1Sx=Sy1時縮還是放？ smlqdcpbayxTyxyxD1112x y 1=x y s=x/s y/s s/s旋轉(zhuǎn)變換 二維旋轉(zhuǎn)是指將p點(diǎn)繞坐標(biāo)原點(diǎn)轉(zhuǎn)動某個角度（逆時針為正，順時針為負(fù)）得到新的點(diǎn)p的重定位過程。YX圖6-4 旋轉(zhuǎn)變換PPrrX = rcos(a+) = rcosacos-rsinasin = x cos -y siny= rsin(a+) = rcosasin+rsinacos = x sin +y cos推導(dǎo)：矩陣：逆時針旋轉(zhuǎn)角1000cossin0sincos順時針旋轉(zhuǎn)角?旋轉(zhuǎn)變換

4、 smlqdcpbayxTyxyxD1112X = rcos(a+) = rcosacos-rsinasin = x cos -y siny= rsin(a+) = rcosasin+rsinacos = x sin +y cos簡化計算（很?。?100010111yxyx旋轉(zhuǎn)變換對稱變換對稱變換后的圖像是原圖像關(guān)于某一軸線或原點(diǎn)的鏡像。XY(a)關(guān)于x軸對稱XY(b)關(guān)于y軸對稱XY(c)關(guān)于原點(diǎn)對稱XY(d)關(guān)于x=y對稱XY(e)關(guān)于x=-y對稱對稱變換對稱變換后的圖像是原圖像關(guān)于某一軸線或原點(diǎn)的鏡像。(1)關(guān)于x軸對稱100010001YXP(x,-y)P(x,y)(a)關(guān)于x軸對稱對

5、稱變換XY(a)關(guān)于x軸對稱(2)關(guān)于y軸對稱YXP(-x,y)p(x,y)(b)關(guān)于y軸對稱100010001對稱變換XY(b)關(guān)于y軸對稱(3)關(guān)于原點(diǎn)對稱YXP(x,y)(c)關(guān)于原點(diǎn)對稱100010001XY(c)關(guān)于原點(diǎn)對稱對稱變換(4)關(guān)于y=x軸對稱YXp(x,y)p(y,x)x=y(d)關(guān)于x=y對稱100001010對稱變換XY(d)關(guān)于x=y對稱(5)關(guān)于y=-x軸對稱YXP(-y,-x)P(x,y)x=-y(e)關(guān)于x=-y對稱100001010對稱變換XY(e)關(guān)于x=-y對稱錯切變換 錯切變換，也稱為剪切、錯位變換，用于產(chǎn)生彈性物體的變形處理。YXYXYX(a) 原圖

6、(b) 沿x方向錯切(c) 沿y方向錯切圖6-7 錯切變換其變換矩陣為： 1000101bd(1)沿x方向錯切(2)沿y方向錯切(3)兩個方向錯切錯切變換二維圖像幾何變換的計算幾何變換均可表示成 P = P * T 的形式：1. 點(diǎn)的變換2. 直線的變換3. 多邊形的變換4. 曲線的變換4.1.3 復(fù)合變換復(fù)合變換是指：n圖像作一次以上的幾何變換，變換結(jié)果是每次的變換矩陣相乘。n任何一復(fù)雜的幾何變換都可以看作基本幾何變換的組合形式。復(fù)合變換具有形式：) 1( )(321321nTTTTPTTTTPTPPnn6.3.1 二維復(fù)合平移兩個連續(xù)平移是加性的。6.3.2 二維復(fù)合比例連續(xù)比例變換是相乘

7、的。6.3.3 二維復(fù)合旋轉(zhuǎn)兩個連續(xù)旋轉(zhuǎn)是相加的?？蓪憺椋?(21)()(21RRRR4.1.3 復(fù)合變換其它二維復(fù)合變換1000cos000cos100010110001011000cos000cos1000 cos sin0 sincostgtgtgtgR4.1.3 復(fù)合變換6.3.5 相對任一參考點(diǎn)的二維幾何變換相對某個參考點(diǎn)(xF,yF)作二維幾何變換，其變換過程為：(1) 平移(2) 針對原點(diǎn)進(jìn)行二維幾何變換。(3) 反平移復(fù)合變換xyF(xF,yF)oPP相對任一參考點(diǎn)的二維幾何變換例1. 相對點(diǎn)(xF,yF)的旋轉(zhuǎn)變換xyF(xF,yF)oPxyoPPxyoPPTxTyTx=-

8、xF Ty=- yFxyoPTxTyTx= xF Ty= yFP相對任意方向的二維幾何變換 相對任意方向作二維幾何變換，其變換的過程是：(1) 旋轉(zhuǎn)變換(2) 針對坐標(biāo)軸進(jìn)行二維幾何變換；(3) 反向旋轉(zhuǎn)例3. 相對直線 y=x 的反射變換復(fù)合變換例4. 將正方形ABCO各點(diǎn)沿圖6-8所示的(0,0)(1,1)方向進(jìn)行拉伸，結(jié)果為如圖所示的，寫出其變換矩陣和變換過程。YX13/21/21/23/222圖6-8 針對固定方向的拉伸OABCCBA復(fù)合變換坐標(biāo)系之間的變換問題：圖6-9 坐標(biāo)系間的變換xyxyOOx0y0p(xp,yp)復(fù)合變換分析：xyyOO(x0,y0)圖6-11 坐標(biāo)系變換的變

9、換原理xp,也即pp*pxpy *xOp*yOp坐標(biāo)系之間的變換可以分兩步進(jìn)行：xyyOOx0y0 x(a)將xy坐標(biāo)系的原點(diǎn)平移到xy坐標(biāo)系的原點(diǎn)p(xp,yp)xyOyx(b)將x軸旋轉(zhuǎn)到x軸上p(xp,yp)坐標(biāo)系之間的變換于是： RTtTpTpTpypxpypxp11坐標(biāo)系之間的變換變換的性質(zhì)n仿射變換具有平行線不變性和有限點(diǎn)數(shù)目的不變性n平移、比例、旋轉(zhuǎn)、錯切和反射等變換均是二維仿射變換的特例，反過來，任何常用的二維仿射變換總可以表示為這五種變換的復(fù)合。 ndycxymbyaxx二維仿射變換是具有如下形式的二維坐標(biāo)變換： 二維幾何變換具有如下一些性質(zhì)：v直線的中點(diǎn)不變性；v平行直線不

10、變性；v相交不變性；v僅包含旋轉(zhuǎn)、平移和反射的仿射變換維持角度和長度的不變性；v比例變化可改變圖像的大小和形狀；v錯切變化引起圖像角度關(guān)系的改變，甚至導(dǎo)致圖像發(fā)生畸變。變換的性質(zhì)復(fù)原圖像復(fù)原圖像失真圖像失真圖像(x 0,y 0)(x0,y0) 將距非網(wǎng)格點(diǎn)將距非網(wǎng)格點(diǎn)(x 0,y 0)最近的灰度值作為最近的灰度值作為(x 0,y 0)的灰度值，之后再賦給的灰度值，之后再賦給(x0,y0)。 邊緣處會產(chǎn)生鋸齒邊緣處會產(chǎn)生鋸齒(2,3)2. 線性內(nèi)插法 用用(x 0,y 0)周圍周圍4個像素的灰度值，按距離加個像素的灰度值，按距離加權(quán)因子求出的平均值作為權(quán)因子求出的平均值作為(x0,y0)的灰度值

11、。的灰度值。(x 0,y 0)(x ,y )(x ,y )(x ,y +1)(x +1,y )(x +1,y +1) 1- 1- n線性內(nèi)插法會使邊緣產(chǎn)生模糊) 1, 1()1)(, 1()1 () 1,()1)(1)(,(),(00yxfyxfyxfyxfyxf圖圖 像像 配配 準(zhǔn)準(zhǔn)圖像配準(zhǔn)的用途意義n圖圖像配準(zhǔn)（或像配準(zhǔn)（或圖圖像匹配）是評價兩幅或多像匹配）是評價兩幅或多幅幅圖圖像的相似性以確定同名點(diǎn)的過程。像的相似性以確定同名點(diǎn)的過程。圖圖像配準(zhǔn)算法就是設(shè)法建立兩幅圖像之間的像配準(zhǔn)算法就是設(shè)法建立兩幅圖像之間的對應(yīng)關(guān)系對應(yīng)關(guān)系, ,確定相應(yīng)幾何變換參數(shù)確定相應(yīng)幾何變換參數(shù), ,對兩幅對兩

12、幅圖像中的一幅進(jìn)行幾何變換的方法。圖像中的一幅進(jìn)行幾何變換的方法。n圖像配準(zhǔn)是圖像分析和處理的基本問題。圖像配準(zhǔn)是圖像分析和處理的基本問題。它在它在航空影像自動制圖、圖像三維重構(gòu)、航空影像自動制圖、圖像三維重構(gòu)、計算機(jī)視覺、計算機(jī)視覺、遙感融合、模式識別、醫(yī)學(xué)遙感融合、模式識別、醫(yī)學(xué)圖像處理圖像處理、影像分析、影像分析等領(lǐng)域都有重要應(yīng)用。等領(lǐng)域都有重要應(yīng)用。 圖像配準(zhǔn)參考圖像（主圖像） 待配準(zhǔn)圖像（輔圖像） 配準(zhǔn)圖像用詞說明n各種圖像配準(zhǔn)的文獻(xiàn)都會出現(xiàn)各種圖像配準(zhǔn)的文獻(xiàn)都會出現(xiàn)“配準(zhǔn)、匹配準(zhǔn)、匹配、幾何校正配、幾何校正”三個詞，它們的含義比較三個詞，它們的含義比較相似。相似。n一般兩幅圖像之間

13、用一般兩幅圖像之間用“配準(zhǔn)（配準(zhǔn)（register, registration）”；尋找同名特征；尋找同名特征(點(diǎn)點(diǎn)) 的過程叫的過程叫“匹配（匹配（match, matching）”; 根據(jù)主輔圖像之間的幾根據(jù)主輔圖像之間的幾何變換關(guān)系，對輔圖像進(jìn)行逐像素處理變何變換關(guān)系，對輔圖像進(jìn)行逐像素處理變?yōu)榕錅?zhǔn)圖像的過程叫做為配準(zhǔn)圖像的過程叫做“幾何校正幾何校正（geometric correction）”。配準(zhǔn)方法分類n按照配準(zhǔn)算法所利用的圖像信息，可以分為按照配準(zhǔn)算法所利用的圖像信息，可以分為基于區(qū)域的方法基于區(qū)域的方法和和基于特征的方法基于特征的方法 ?；??；趨^(qū)域的匹配主要是模板匹配和基于

14、相位（頻區(qū)域的匹配主要是模板匹配和基于相位（頻率）的匹配方法；基于特征的匹配包括基于率）的匹配方法；基于特征的匹配包括基于特征點(diǎn)集的匹配和基于線特征（圖像中邊緣特征點(diǎn)集的匹配和基于線特征（圖像中邊緣信息）的匹配算法。信息）的匹配算法。n按自動化程度可以分為人工、半自動和全自按自動化程度可以分為人工、半自動和全自動三種類型動三種類型 。模板匹配n模板匹配法是在一幅影像中選取一個的影像模板匹配法是在一幅影像中選取一個的影像窗口作模板，大小通常為窗口作模板，大小通常為55或或77，然，然后通過相關(guān)函數(shù)的計算來找到它在搜索圖中后通過相關(guān)函數(shù)的計算來找到它在搜索圖中的坐標(biāo)位置。設(shè)模板的坐標(biāo)位置。設(shè)模板T

15、放在搜索圖放在搜索圖S上平移，上平移，模板覆蓋下的那塊搜索圖叫做子圖模板覆蓋下的那塊搜索圖叫做子圖Si,j，子，子圖的中心點(diǎn)在圖的中心點(diǎn)在S圖中的坐標(biāo)圖中的坐標(biāo)(i,j)，叫參考點(diǎn)。，叫參考點(diǎn)。 相似性測度n用以下測度來衡量用以下測度來衡量T和和Si,j的相似程度：的相似程度：n根據(jù)施瓦茲不等式，根據(jù)施瓦茲不等式， 并且在并且在 比值為常數(shù)時取極大值為比值為常數(shù)時取極大值為1。但實(shí)際上兩幅不同。但實(shí)際上兩幅不同圖像的圖像的P值介于值介于0和和1之間，很難達(dá)到理想值。之間，很難達(dá)到理想值。根據(jù)經(jīng)驗(yàn)取某個閾值根據(jù)經(jīng)驗(yàn)取某個閾值P0，如果，如果P P0，則匹配，則匹配成功；成功； P P0，則匹配失

16、敗。，則匹配失敗。MmMnMmMnjiMmMnjinmTnmSnmTnmSP112112,11,),(),(),(),(10 P),(),(,nmTnmSji金字塔模板匹配n為了加快搜索速度，很多影像匹配方法使為了加快搜索速度，很多影像匹配方法使用金字塔影像。用金字塔影像。n對影像進(jìn)行一次采樣率為對影像進(jìn)行一次采樣率為1/n(n=2,3)的重采樣，即把影像的每的重采樣，即把影像的每nn個像素變個像素變?yōu)橐粋€像素，這樣就得到一對長、寬都為為一個像素，這樣就得到一對長、寬都為原來原來1/n的影像，把它作為金字塔的第的影像，把它作為金字塔的第二層。二層。n再對第二層用同樣方法進(jìn)行一次采樣率為再對第二層用同樣方法進(jìn)行一次采樣率為1/n的重采樣，又得到第三層（頂層）。的重采樣，又得到第三層（頂層）。 n原始影像作為金字塔影像的底層。原始影像作為金字塔影像的底層。Moravec算子nMoravec算子是利用灰度方差提取特征點(diǎn)算子是利用灰度方差提取特征點(diǎn)的算子，它在四個主要方向上，選擇具有最的算子，它在四個主要方向上，選擇具有最大大-最小灰度方差的點(diǎn)作為特征點(diǎn)。其步驟為：最小灰度方差的點(diǎn)作為特征點(diǎn)。其步驟為： 1 1 計算各像元的興趣值（計算各像元的興趣值（Interest Value）。在以像素為中心）