第五章 圖像恢復

1、第五章第五章 圖像恢復圖像恢復 引言引言5.1 5.1 退化模型退化模型5.2 5.2 點擴散函數(shù)的確定點擴散函數(shù)的確定5.3 5.3 無約束恢復無約束恢復5.4 5.4 有約束恢復有約束恢復5.5 5.5 幾何畸變校正幾何畸變校正引言引言恢復實例恢復實例1恢復實例恢復實例2 退化：退化：圖像在形成、記錄、傳輸?shù)冗^程中，由于受到光學成像系統(tǒng)的相差、衍射、非線性、噪聲等多種因素影響，而造成圖像質(zhì)量的下降。 圖像恢復：圖像恢復：使退化了的圖像，以最大的保真度，恢復成原來的圖像。 圖像恢復的基本過程圖像恢復的基本過程圖像恢復的基本概念圖像恢復的基本概念找出退化因素建立退化模型根據(jù)退化模型反推得到恢復

2、圖像圖像恢復與圖像增強的區(qū)別圖像恢復與圖像增強的區(qū)別圖像恢復是要盡可能恢復圖像的本來面目，而圖像增強則是改善圖像視覺效果以適應人的心理、生理需要，并不考慮是否與原圖像相符。圖像恢復需首先根據(jù)退化過程建立退化模型，然后根據(jù)退化模型來恢復圖像。圖像恢復是針對圖像整體，而圖像增強僅針對圖像局部。5.1 5.1 退化模型退化模型yxnyxgHyxf,退化圖像退化圖像退化因素退化因素原圖像原圖像噪聲噪聲yxf,yxg,yxn, H+ 連續(xù)退化模型連續(xù)退化模型 假設退化系統(tǒng)是線性、移不變系統(tǒng)，其退化因素用點擴散函數(shù)表示為：yxhyxHyxh,;,那么經(jīng)過簡單的推導可以得到退化圖像可表示為： yxnyxhy

3、xgyxnddyxhgyxf,yxf,yxg,yxn,yxh,+ 離散退化模型離散退化模型（未完轉(zhuǎn)下頁）對圖像和點擴散函數(shù)進行均勻采樣就可以得到離散退化模型。DCnmhBAnmg,假設則卷積后的大小為：1, 1,DBNCAMNM11, 01010,NnBorMmABnandAmnmgnmge所以首先需對離散函數(shù)進行延拓：11, 01010,NnDorMmCDnandCmnmhnmhe（接上頁）11, 01010,NnBorMmABnandAmnmfnmfe由此得到離散退化模型為： nmnjnimhjignmfeeMiNjee,1010其中：11, 01010,NnBorMmABnandAmnm

4、nnmne進一步可用矩陣表示為：nHgf（未完轉(zhuǎn)下頁）（接上頁）其中： 1, 11 , 10 , 11, 01 , 00 , 01, 11 , 10 , 11, 01 , 00 , 01, 11 , 10 , 11, 01 , 00 , 0NMnnnNnnnNMgggNgggNMfffNfffeeeeeeeeeeeeeeeeeengfMMMMMMMMHHHHHHHHHHHHHHHH0321301221011210H MMeeeeeeeeeiihNihNihihihihihNihihH0 ,2,1,2 ,0 ,1 ,1 ,1,0 ,由連續(xù)退化模型容易推導出退化模型在頻域中可以表示為，（大寫字母對

5、應前面相應函數(shù)的傅立葉變換函數(shù)）：vuNvuHvuGvuF,vuF,vuG,vuN,vuH,+ 頻域退化模型頻域退化模型5.2 5.2 點擴散函數(shù)的確定點擴散函數(shù)的確定p圖像恢復過程中一般都要用到退化函數(shù)（點擴散函數(shù)），如何確定它？p退化函數(shù)可從物理知識和圖像觀測中得到。p退化函數(shù)有關的先驗知識：a)h(m,n)是確定性且非負的；b)h(m,n)具有有限的支持域；c)退化過程并不損失圖像能量，1,mnnmh 幾種常見的退化函數(shù)模型幾種常見的退化函數(shù)模型(a)(a)運動模糊：運動模糊：目標物體與成像系統(tǒng)相對勻速直線運動，退化函數(shù)表示為，（V為運動速度，T為圖像采集時間）：)()()(sin),(

6、TvVTuViyxyxyxeTvVTuVTvVTuVTvuHothersTVyandTVxTVVyxhyxyx, 000,1,22 dttyytxxgyxfT000,),(b)(b)散焦退化：散焦退化：幾何光學的分析表明光學系統(tǒng)散焦造成圖像退化對應的點擴散函數(shù)是一個均勻分布的圓形光斑：othersdyxdyxh, 0,1),(2222。徑，為散焦點擴展函數(shù)的直為一階貝塞爾函數(shù)，2211)/()(),(vudJddJvuH(c)(c)高斯退化函數(shù)：高斯退化函數(shù)：許多光學測量系統(tǒng)和成像系統(tǒng)常見的退化函數(shù)，多種因素使其趨于高斯型。22exp),(yxkyxh參數(shù)為與退化因素有關的正，為歸一化常數(shù)，K

7、kvuKvuH,exp,226522exp,vuvuH大氣踹流，近高斯模型 退化函數(shù)的識別退化函數(shù)的識別p從一副圖像中提取包含簡單結構（比如：點源、直線、邊界等）的一小部分圖像；p構建該部分圖像的清晰圖像；p由構建圖像和觀察圖像可以求得退化函數(shù)；p假定系統(tǒng)具有移不變性，則該退化函數(shù)可作為整幅圖像的退化函數(shù)。原景物中含有點源的情況原景物中含有點源的情況如果確知在原景物中存在一個點源，那么當噪聲干擾忽略不計時，該點源的影像便是點擴散函數(shù)。 yxhddyxhddyxhgyxf,原景物中含有直線源的情況原景物中含有直線源的情況(1)(1)該直線（方向角）的傅立葉變換 H(u,v) 就等于原退化系統(tǒng)頻譜

8、在（u，v）平面上過零點且正交方向處（+90）的頻譜值。),(yxfuv+90),()(yxfHFvu, 一維FFT原景物中含有直線源的情況原景物中含有直線源的情況(2)(2)(a)如果H(u,v)是圓對稱的： 只需要一條直線就夠了，(b)如果H(u,v)不是圓對稱的：需要多條直線，并在頻譜域做直角坐標到極坐標的轉(zhuǎn)換。uv22vuruv原景物中含有邊界線的情況原景物中含有邊界線的情況如果在原景物中不含有明顯的點或線，但卻含有明顯的邊界線，即含有一些亮度突變的階躍，成像系統(tǒng)對這些邊界線的響應稱之為界線擴展函數(shù)。uv+90)( vu,H),(yxfp 水平邊界，H(0,v)=j2vHe(v)；p

9、垂直邊界，H(0,u)=j2uHe(u)；p 任意方向，先做坐標旋轉(zhuǎn)到水平或直角方向，按上式處理后再反旋轉(zhuǎn)回去。5.3 5.3 無約束恢復無約束恢復圖像恢復：圖像恢復：假定已知輸出圖像 f 、系統(tǒng)響應 H 和噪聲 n 的情況下，依據(jù)退化模型估計原圖像 g 。最優(yōu)準則：最優(yōu)準則：這種估計應在某種預先選定的準則下，具有最優(yōu)的性質(zhì)。最優(yōu)判斷準則最優(yōu)判斷準則 輸出圖像 f 和原圖像 g 的最大絕對誤差 max| f g | 最小； 輸出圖像 f 和原圖像 g 的平均絕對誤差 mean| f g | 最小； 輸出圖像 f 和原圖像 g 的互相關為最大； 輸出圖像 f 和原圖像 g 的均方誤差最小。（無約

10、束恢復常用準則） 無約束恢復無約束恢復 圖像的最佳估計。就能得到輸入像的情況下，根據(jù)輸出圖由上，在已知為滿秩非奇異矩陣時注：在：最佳估計最小的情況下，可得出的模方值則在圖像噪聲的一個估計，為原圖像令fHHfHfHHHggHHfHgHfHggHfgHfggHfgngHfngnggTTTTTT1122220222min 逆濾波逆濾波(1)(1)vuPvuFvuHvuFvuGvuNvuHvuGvuF,p 在頻率中，先由退化圖像頻譜和退化函數(shù)頻譜反推出原圖像頻譜，然后在做反傅立葉變換得到原圖像。vuHvuFIDFTvuGIDFTnmg,恢復濾波器p存在一個問題，即在H函數(shù)的0點附近變化劇烈，受噪聲影響

11、大，所以再用反向濾波器時應注意：a)在H函數(shù)的0點附近不作計算；b)當H非常小時，噪聲對恢復起主導作用，所以恢復應局限在離原點不遠的有限區(qū)域進行，這樣會出現(xiàn)振鈴效應；c)為了避免振鈴，可如下考慮 逆濾波逆濾波(2)(2)0, 10,/1,vuHvuHvuHvuP2022202211, 0, 1,wvuwvuvuHvuHvuHvuPothersvuHdvuHkvuP,1,5.4 5.4 有約束恢復有約束恢復為克服無約束恢復中的存在的病態(tài)問題，常需要在恢復過程中對運算施加某種約束，從而誕生了有約束恢復。fHQQHHggHfHgQQggJngHfgQgJgggQngHfQTTTTT122222022

12、, 0, , 于是可以解得：根據(jù)微分運算化簡可得令輔助函數(shù)：利用拉格朗日定理構造。的最佳估計像為最小的原圖下，使約束條件，求在施加一線性運算問題轉(zhuǎn)化為，對原圖像 幾種約束方式幾種約束方式(1)(1)能量約束能量約束最小。原圖像能量此解的物理意義是，復。，得到取gfHIHHgIQTT1(2)(2)平滑約束（平滑約束（認為原圖像是最光滑的，其各點的二階導數(shù)最小）111181111),(nmCfHCCHHgTTT1min gC(3)(3)均方誤差最?。ň秸`差最?。ňS納濾波，把圖像和噪聲當成隨機過程處理，使噪聲與信號的比值對復原圖像影響最小）fHRRHHggRRgQRRQTngTngng112/12

13、/12/12/1min, 有約束的逆濾波法有約束的逆濾波法),(),(),(),(1),(22vuFvuHvuHvuHvuG),(),(),(),(),(1),(222vuFvuCvuHvuHvuHvuG),(),(/ ),(),(),(),(1),(22vuFvuSvuSvuHvuHvuHvuGgn（1）能量約束：）能量約束：（2）平滑約束：）平滑約束：（3）維納濾波：）維納濾波：傳遞函數(shù) 維納濾波維納濾波),(),(),(),(vuGvuHvuFvuG),(),(/ ),(),(),(),(1),(22vuFvuSvuSvuHvuHvuHvuGgnHw(u, v),(),(/ ),(),(

14、2vuHvuSvuSvuHwgn),(),(/ ),(),(2vuHvuSvuSvuHwgn),(),(/ ),(),(2vuHvuSvuSvuHwgn(a) 無噪聲 Sn(u,v)=0(b) 有噪聲 Sn(u,v) 0如何確定？),(/ ),(vuSvuSgn方法一：方法一：令其為常數(shù)，等同于能量約束濾波。方法二：方法二： Sn(u, v) 用 f 中大片平坦區(qū)域計算， Sg(u, v) 用先驗知識。 等功率譜濾波法等功率譜濾波法 yxnddyxhgyxf,基本思想：基本思想：使恢復圖像的功率譜與原圖像功率譜相同。初步推導：初步推導：退化公式：vuSvuHvuSvuSngf,2對上式求相關，

15、并求相關的傅里葉變換：基本假設：基本假設：圖像與噪聲為均勻隨機場，噪聲均值為0且與圖像不相關。vuMvuFvuG,假設傳遞函數(shù)為 ，則恢復圖像頻譜為：vuM,于是恢復圖像的功率譜為：222,vuMvuSvuMvuHvuSvuSngg（未完轉(zhuǎn)下頁）在 的情況下：vuSvuSgg,2/12,/,1,vuSvuSvuHvuMgn（接上頁）),(),(/ ),(),(1(),(212vuFvuSvuSvuHvuGgn濾波器公式：濾波器公式：幾點說明：幾點說明： 分母中存在Sn(u, v)/Sg(u, v)項，在H(u, v) 0處不呈現(xiàn)病態(tài)； 維納濾波在H(u, v) 0處是強迫響應為零，因此它的頻響

16、曲線會呈現(xiàn)較大的劇變，在恢復圖像中會引入一些假像（旁瓣和細微結構）；而等功率譜濾波的突變性弱，恢復圖像看起來更舒服。5.5 5.5 幾何畸變的消除幾何畸變的消除 幾何畸變的產(chǎn)生幾何畸變的產(chǎn)生：p攝像系統(tǒng)和景物成斜視角；p光學成像系統(tǒng)或電子掃描系統(tǒng)的限制（枕形畸變和桶形畸變）。 幾何畸變校正的方法和步驟幾何畸變校正的方法和步驟1.1.坐標變換坐標變換: : 在畸變和正常圖像之間建立坐標關系，幾何變換法和控制網(wǎng)格法。2.灰級內(nèi)插：灰級內(nèi)插：當坐標點不在網(wǎng)格上時，需利用網(wǎng)格上的已知灰級值推算，即插值。幾何變換法幾何變換法 ( (三維成像幾何學三維成像幾何學) )變換矩陣H可以是下面各種矩陣的組合!i

17、iiiiwzyxv1000zyxovioHvv 1000100000000sddP成像1010100010001000zyxT1010000000000321sssS平移比例10000cossin00sincos00001R旋轉(zhuǎn)(x軸)輸入輸出坐標關系控制網(wǎng)格法控制網(wǎng)格法 (1)根據(jù)標準圖像和畸變圖像之間對應網(wǎng)格點（控制網(wǎng)格點）建立區(qū)域坐標關系，將畸變圖像映射到標準圖像。一般采用多項式擬合法：jiiyxbyyxaxijjij控制網(wǎng)格法控制網(wǎng)格法 (2 單線性變換)共有六個未知數(shù)；三個頂點，六個坐標，六個方程；可求出六個未知數(shù)（唯一解）。(x1, y1)(x2, y1)(x1, y2)(x1,

18、y1)(x2, y1)(x1, y2)ybxbbyyaxaax011000011000控制網(wǎng)格法控制網(wǎng)格法 (3 雙線性變換)共有八個未知數(shù)；四個頂點，八個坐標，八個方程；可求出八個未知數(shù)（唯一解）。(x1, y1)(x2, y1)(x1, y2)(x2, y2)(x1, y1)(x2, y1)(x1, y2)(x2, y2)xybybxbbyxyayaxaax1101100011011000灰級內(nèi)插灰級內(nèi)插(1)x= f1 ( x, y ), y= f2 ( x, y ), x, y = 0, 1, 2, , N-1，f 坐標變換函數(shù)；若x, y為整數(shù)， 則 x, y 一般不為整數(shù) (不在網(wǎng)格上)。 ( x, y ) 處的灰度值 g( x, y )可通過 用( x, y )周圍網(wǎng)格上的灰度值內(nèi)插得到。待恢復圖像（ x, y ）畸變圖