第五章 圖像恢復(fù)

1、第五章第五章 圖像恢復(fù)圖像恢復(fù) 引言引言5.1 5.1 退化模型退化模型5.2 5.2 點(diǎn)擴(kuò)散函數(shù)的確定點(diǎn)擴(kuò)散函數(shù)的確定5.3 5.3 無約束恢復(fù)無約束恢復(fù)5.4 5.4 有約束恢復(fù)有約束恢復(fù)5.5 5.5 幾何畸變校正幾何畸變校正引言引言恢復(fù)實(shí)例恢復(fù)實(shí)例1恢復(fù)實(shí)例恢復(fù)實(shí)例2 退化：退化：圖像在形成、記錄、傳輸?shù)冗^程中，由于受到光學(xué)成像系統(tǒng)的相差、衍射、非線性、噪聲等多種因素影響，而造成圖像質(zhì)量的下降。 圖像恢復(fù)：圖像恢復(fù)：使退化了的圖像，以最大的保真度，恢復(fù)成原來的圖像。 圖像恢復(fù)的基本過程圖像恢復(fù)的基本過程圖像恢復(fù)的基本概念圖像恢復(fù)的基本概念找出退化因素建立退化模型根據(jù)退化模型反推得到恢復(fù)

2、圖像圖像恢復(fù)與圖像增強(qiáng)的區(qū)別圖像恢復(fù)與圖像增強(qiáng)的區(qū)別圖像恢復(fù)是要盡可能恢復(fù)圖像的本來面目，而圖像增強(qiáng)則是改善圖像視覺效果以適應(yīng)人的心理、生理需要，并不考慮是否與原圖像相符。圖像恢復(fù)需首先根據(jù)退化過程建立退化模型，然后根據(jù)退化模型來恢復(fù)圖像。圖像恢復(fù)是針對圖像整體，而圖像增強(qiáng)僅針對圖像局部。5.1 5.1 退化模型退化模型yxnyxgHyxf,退化圖像退化圖像退化因素退化因素原圖像原圖像噪聲噪聲yxf,yxg,yxn, H+ 連續(xù)退化模型連續(xù)退化模型 假設(shè)退化系統(tǒng)是線性、移不變系統(tǒng)，其退化因素用點(diǎn)擴(kuò)散函數(shù)表示為：yxhyxHyxh,;,那么經(jīng)過簡單的推導(dǎo)可以得到退化圖像可表示為： yxnyxhy

3、xgyxnddyxhgyxf,yxf,yxg,yxn,yxh,+ 離散退化模型離散退化模型（未完轉(zhuǎn)下頁）對圖像和點(diǎn)擴(kuò)散函數(shù)進(jìn)行均勻采樣就可以得到離散退化模型。DCnmhBAnmg,假設(shè)則卷積后的大小為：1, 1,DBNCAMNM11, 01010,NnBorMmABnandAmnmgnmge所以首先需對離散函數(shù)進(jìn)行延拓：11, 01010,NnDorMmCDnandCmnmhnmhe（接上頁）11, 01010,NnBorMmABnandAmnmfnmfe由此得到離散退化模型為： nmnjnimhjignmfeeMiNjee,1010其中：11, 01010,NnBorMmABnandAmnm

4、nnmne進(jìn)一步可用矩陣表示為：nHgf（未完轉(zhuǎn)下頁）（接上頁）其中： 1, 11 , 10 , 11, 01 , 00 , 01, 11 , 10 , 11, 01 , 00 , 01, 11 , 10 , 11, 01 , 00 , 0NMnnnNnnnNMgggNgggNMfffNfffeeeeeeeeeeeeeeeeeengfMMMMMMMMHHHHHHHHHHHHHHHH0321301221011210H MMeeeeeeeeeiihNihNihihihihihNihihH0 ,2,1,2 ,0 ,1 ,1 ,1,0 ,由連續(xù)退化模型容易推導(dǎo)出退化模型在頻域中可以表示為，（大寫字母對

5、應(yīng)前面相應(yīng)函數(shù)的傅立葉變換函數(shù)）：vuNvuHvuGvuF,vuF,vuG,vuN,vuH,+ 頻域退化模型頻域退化模型5.2 5.2 點(diǎn)擴(kuò)散函數(shù)的確定點(diǎn)擴(kuò)散函數(shù)的確定p圖像恢復(fù)過程中一般都要用到退化函數(shù)（點(diǎn)擴(kuò)散函數(shù)），如何確定它？p退化函數(shù)可從物理知識和圖像觀測中得到。p退化函數(shù)有關(guān)的先驗(yàn)知識：a)h(m,n)是確定性且非負(fù)的；b)h(m,n)具有有限的支持域；c)退化過程并不損失圖像能量，1,mnnmh 幾種常見的退化函數(shù)模型幾種常見的退化函數(shù)模型(a)(a)運(yùn)動模糊：運(yùn)動模糊：目標(biāo)物體與成像系統(tǒng)相對勻速直線運(yùn)動，退化函數(shù)表示為，（V為運(yùn)動速度，T為圖像采集時間）：)()()(sin),(

6、TvVTuViyxyxyxeTvVTuVTvVTuVTvuHothersTVyandTVxTVVyxhyxyx, 000,1,22 dttyytxxgyxfT000,),(b)(b)散焦退化：散焦退化：幾何光學(xué)的分析表明光學(xué)系統(tǒng)散焦造成圖像退化對應(yīng)的點(diǎn)擴(kuò)散函數(shù)是一個均勻分布的圓形光斑：othersdyxdyxh, 0,1),(2222。徑，為散焦點(diǎn)擴(kuò)展函數(shù)的直為一階貝塞爾函數(shù)，2211)/()(),(vudJddJvuH(c)(c)高斯退化函數(shù)：高斯退化函數(shù)：許多光學(xué)測量系統(tǒng)和成像系統(tǒng)常見的退化函數(shù)，多種因素使其趨于高斯型。22exp),(yxkyxh參數(shù)為與退化因素有關(guān)的正，為歸一化常數(shù)，K

7、kvuKvuH,exp,226522exp,vuvuH大氣踹流，近高斯模型 退化函數(shù)的識別退化函數(shù)的識別p從一副圖像中提取包含簡單結(jié)構(gòu)（比如：點(diǎn)源、直線、邊界等）的一小部分圖像；p構(gòu)建該部分圖像的清晰圖像；p由構(gòu)建圖像和觀察圖像可以求得退化函數(shù)；p假定系統(tǒng)具有移不變性，則該退化函數(shù)可作為整幅圖像的退化函數(shù)。原景物中含有點(diǎn)源的情況原景物中含有點(diǎn)源的情況如果確知在原景物中存在一個點(diǎn)源，那么當(dāng)噪聲干擾忽略不計(jì)時，該點(diǎn)源的影像便是點(diǎn)擴(kuò)散函數(shù)。 yxhddyxhddyxhgyxf,原景物中含有直線源的情況原景物中含有直線源的情況(1)(1)該直線（方向角）的傅立葉變換 H(u,v) 就等于原退化系統(tǒng)頻譜

8、在（u，v）平面上過零點(diǎn)且正交方向處（+90）的頻譜值。),(yxfuv+90),()(yxfHFvu, 一維FFT原景物中含有直線源的情況原景物中含有直線源的情況(2)(2)(a)如果H(u,v)是圓對稱的： 只需要一條直線就夠了，(b)如果H(u,v)不是圓對稱的：需要多條直線，并在頻譜域做直角坐標(biāo)到極坐標(biāo)的轉(zhuǎn)換。uv22vuruv原景物中含有邊界線的情況原景物中含有邊界線的情況如果在原景物中不含有明顯的點(diǎn)或線，但卻含有明顯的邊界線，即含有一些亮度突變的階躍，成像系統(tǒng)對這些邊界線的響應(yīng)稱之為界線擴(kuò)展函數(shù)。uv+90)( vu,H),(yxfp 水平邊界，H(0,v)=j2vHe(v)；p

9、垂直邊界，H(0,u)=j2uHe(u)；p 任意方向，先做坐標(biāo)旋轉(zhuǎn)到水平或直角方向，按上式處理后再反旋轉(zhuǎn)回去。5.3 5.3 無約束恢復(fù)無約束恢復(fù)圖像恢復(fù)：圖像恢復(fù)：假定已知輸出圖像 f 、系統(tǒng)響應(yīng) H 和噪聲 n 的情況下，依據(jù)退化模型估計(jì)原圖像 g 。最優(yōu)準(zhǔn)則：最優(yōu)準(zhǔn)則：這種估計(jì)應(yīng)在某種預(yù)先選定的準(zhǔn)則下，具有最優(yōu)的性質(zhì)。最優(yōu)判斷準(zhǔn)則最優(yōu)判斷準(zhǔn)則 輸出圖像 f 和原圖像 g 的最大絕對誤差 max| f g | 最??； 輸出圖像 f 和原圖像 g 的平均絕對誤差 mean| f g | 最?。?輸出圖像 f 和原圖像 g 的互相關(guān)為最大； 輸出圖像 f 和原圖像 g 的均方誤差最小。（無約

10、束恢復(fù)常用準(zhǔn)則） 無約束恢復(fù)無約束恢復(fù) 圖像的最佳估計(jì)。就能得到輸入像的情況下，根據(jù)輸出圖由上，在已知為滿秩非奇異矩陣時注：在：最佳估計(jì)最小的情況下，可得出的模方值則在圖像噪聲的一個估計(jì)，為原圖像令fHHfHfHHHggHHfHgHfHggHfgHfggHfgngHfngnggTTTTTT1122220222min 逆濾波逆濾波(1)(1)vuPvuFvuHvuFvuGvuNvuHvuGvuF,p 在頻率中，先由退化圖像頻譜和退化函數(shù)頻譜反推出原圖像頻譜，然后在做反傅立葉變換得到原圖像。vuHvuFIDFTvuGIDFTnmg,恢復(fù)濾波器p存在一個問題，即在H函數(shù)的0點(diǎn)附近變化劇烈，受噪聲影響

11、大，所以再用反向?yàn)V波器時應(yīng)注意：a)在H函數(shù)的0點(diǎn)附近不作計(jì)算；b)當(dāng)H非常小時，噪聲對恢復(fù)起主導(dǎo)作用，所以恢復(fù)應(yīng)局限在離原點(diǎn)不遠(yuǎn)的有限區(qū)域進(jìn)行，這樣會出現(xiàn)振鈴效應(yīng)；c)為了避免振鈴，可如下考慮 逆濾波逆濾波(2)(2)0, 10,/1,vuHvuHvuHvuP2022202211, 0, 1,wvuwvuvuHvuHvuHvuPothersvuHdvuHkvuP,1,5.4 5.4 有約束恢復(fù)有約束恢復(fù)為克服無約束恢復(fù)中的存在的病態(tài)問題，常需要在恢復(fù)過程中對運(yùn)算施加某種約束，從而誕生了有約束恢復(fù)。fHQQHHggHfHgQQggJngHfgQgJgggQngHfQTTTTT122222022

12、, 0, , 于是可以解得：根據(jù)微分運(yùn)算化簡可得令輔助函數(shù)：利用拉格朗日定理構(gòu)造。的最佳估計(jì)像為最小的原圖下，使約束條件，求在施加一線性運(yùn)算問題轉(zhuǎn)化為，對原圖像 幾種約束方式幾種約束方式(1)(1)能量約束能量約束最小。原圖像能量此解的物理意義是，復(fù)。，得到取gfHIHHgIQTT1(2)(2)平滑約束（平滑約束（認(rèn)為原圖像是最光滑的，其各點(diǎn)的二階導(dǎo)數(shù)最?。?11181111),(nmCfHCCHHgTTT1min gC(3)(3)均方誤差最小（均方誤差最?。ňS納濾波，把圖像和噪聲當(dāng)成隨機(jī)過程處理，使噪聲與信號的比值對復(fù)原圖像影響最?。ゝHRRHHggRRgQRRQTngTngng112/12

13、/12/12/1min, 有約束的逆濾波法有約束的逆濾波法),(),(),(),(1),(22vuFvuHvuHvuHvuG),(),(),(),(),(1),(222vuFvuCvuHvuHvuHvuG),(),(/ ),(),(),(),(1),(22vuFvuSvuSvuHvuHvuHvuGgn（1）能量約束：）能量約束：（2）平滑約束：）平滑約束：（3）維納濾波：）維納濾波：傳遞函數(shù) 維納濾波維納濾波),(),(),(),(vuGvuHvuFvuG),(),(/ ),(),(),(),(1),(22vuFvuSvuSvuHvuHvuHvuGgnHw(u, v),(),(/ ),(),(

14、2vuHvuSvuSvuHwgn),(),(/ ),(),(2vuHvuSvuSvuHwgn),(),(/ ),(),(2vuHvuSvuSvuHwgn(a) 無噪聲 Sn(u,v)=0(b) 有噪聲 Sn(u,v) 0如何確定？),(/ ),(vuSvuSgn方法一：方法一：令其為常數(shù)，等同于能量約束濾波。方法二：方法二： Sn(u, v) 用 f 中大片平坦區(qū)域計(jì)算， Sg(u, v) 用先驗(yàn)知識。 等功率譜濾波法等功率譜濾波法 yxnddyxhgyxf,基本思想：基本思想：使恢復(fù)圖像的功率譜與原圖像功率譜相同。初步推導(dǎo)：初步推導(dǎo)：退化公式：vuSvuHvuSvuSngf,2對上式求相關(guān)，

15、并求相關(guān)的傅里葉變換：基本假設(shè)：基本假設(shè)：圖像與噪聲為均勻隨機(jī)場，噪聲均值為0且與圖像不相關(guān)。vuMvuFvuG,假設(shè)傳遞函數(shù)為 ，則恢復(fù)圖像頻譜為：vuM,于是恢復(fù)圖像的功率譜為：222,vuMvuSvuMvuHvuSvuSngg（未完轉(zhuǎn)下頁）在 的情況下：vuSvuSgg,2/12,/,1,vuSvuSvuHvuMgn（接上頁）),(),(/ ),(),(1(),(212vuFvuSvuSvuHvuGgn濾波器公式：濾波器公式：幾點(diǎn)說明：幾點(diǎn)說明： 分母中存在Sn(u, v)/Sg(u, v)項(xiàng)，在H(u, v) 0處不呈現(xiàn)病態(tài)； 維納濾波在H(u, v) 0處是強(qiáng)迫響應(yīng)為零，因此它的頻響

16、曲線會呈現(xiàn)較大的劇變，在恢復(fù)圖像中會引入一些假像（旁瓣和細(xì)微結(jié)構(gòu)）；而等功率譜濾波的突變性弱，恢復(fù)圖像看起來更舒服。5.5 5.5 幾何畸變的消除幾何畸變的消除 幾何畸變的產(chǎn)生幾何畸變的產(chǎn)生：p攝像系統(tǒng)和景物成斜視角；p光學(xué)成像系統(tǒng)或電子掃描系統(tǒng)的限制（枕形畸變和桶形畸變）。 幾何畸變校正的方法和步驟幾何畸變校正的方法和步驟1.1.坐標(biāo)變換坐標(biāo)變換: : 在畸變和正常圖像之間建立坐標(biāo)關(guān)系，幾何變換法和控制網(wǎng)格法。2.灰級內(nèi)插：灰級內(nèi)插：當(dāng)坐標(biāo)點(diǎn)不在網(wǎng)格上時，需利用網(wǎng)格上的已知灰級值推算，即插值。幾何變換法幾何變換法 ( (三維成像幾何學(xué)三維成像幾何學(xué)) )變換矩陣H可以是下面各種矩陣的組合!i

17、iiiiwzyxv1000zyxovioHvv 1000100000000sddP成像1010100010001000zyxT1010000000000321sssS平移比例10000cossin00sincos00001R旋轉(zhuǎn)(x軸)輸入輸出坐標(biāo)關(guān)系控制網(wǎng)格法控制網(wǎng)格法 (1)根據(jù)標(biāo)準(zhǔn)圖像和畸變圖像之間對應(yīng)網(wǎng)格點(diǎn)（控制網(wǎng)格點(diǎn)）建立區(qū)域坐標(biāo)關(guān)系，將畸變圖像映射到標(biāo)準(zhǔn)圖像。一般采用多項(xiàng)式擬合法：jiiyxbyyxaxijjij控制網(wǎng)格法控制網(wǎng)格法 (2 單線性變換)共有六個未知數(shù)；三個頂點(diǎn)，六個坐標(biāo)，六個方程；可求出六個未知數(shù)（唯一解）。(x1, y1)(x2, y1)(x1, y2)(x1,

18、y1)(x2, y1)(x1, y2)ybxbbyyaxaax011000011000控制網(wǎng)格法控制網(wǎng)格法 (3 雙線性變換)共有八個未知數(shù)；四個頂點(diǎn)，八個坐標(biāo)，八個方程；可求出八個未知數(shù)（唯一解）。(x1, y1)(x2, y1)(x1, y2)(x2, y2)(x1, y1)(x2, y1)(x1, y2)(x2, y2)xybybxbbyxyayaxaax1101100011011000灰級內(nèi)插灰級內(nèi)插(1)x= f1 ( x, y ), y= f2 ( x, y ), x, y = 0, 1, 2, , N-1，f 坐標(biāo)變換函數(shù)；若x, y為整數(shù)， 則 x, y 一般不為整數(shù) (不在網(wǎng)格上)。 ( x, y ) 處的灰度值 g( x, y )可通過 用( x, y )周圍網(wǎng)格上的灰度值內(nèi)插得到。待恢復(fù)圖像（ x, y ）畸變圖