數(shù)字圖像處理第5章

1、數(shù)數(shù) 字字 圖圖 像像 處處 理理第五章第五章 圖像復(fù)原圖像復(fù)原圖像復(fù)原圖像退化模型退化參數(shù)估計(jì)逆濾波復(fù)原維納濾波復(fù)原約束最小平方濾波復(fù)原等功率譜濾波復(fù)原圖像幾何復(fù)原圖像復(fù)原實(shí)際成像過程中，由于各種原因使圖像質(zhì)量下降（圖像退化，圖實(shí)際成像過程中，由于各種原因使圖像質(zhì)量下降（圖像退化，圖像降質(zhì)）像降質(zhì)）原因：隨機(jī)因素（噪聲或其它隨機(jī)干擾） 系統(tǒng)誤差（散焦，幾何畸變，相對運(yùn)動，大氣湍流，等）圖像復(fù)原將退化圖像恢復(fù)成原圖像（提高逼真度）要求：對退化機(jī)制（物理過程）有足夠的了解建立退化模型，然后“逆向”進(jìn)行補(bǔ)償。實(shí)際的退化過程很復(fù)雜，退化模型是近似描述復(fù)原后的圖像只是對原圖像的一個估計(jì)，即在某種準(zhǔn)則下

2、的最優(yōu)估計(jì)。圖像復(fù)原一定是在某種準(zhǔn)則（客觀評價標(biāo)準(zhǔn)）下實(shí)現(xiàn)的。圖像復(fù)原一定是在某種準(zhǔn)則（客觀評價標(biāo)準(zhǔn)）下實(shí)現(xiàn)的。圖像復(fù)原一、退化模型g(x,y) = Hf (x,y) + n(x,y)退化圖像退化系統(tǒng)算子噪聲一般情況下，H可以視為線性空不變系統(tǒng)。設(shè)其沖激響應(yīng)為h(x,y)。則有：g(x,y) = f (x,y)h(x,y) + n(x,y) 圖像f (x,y) 經(jīng)退化系統(tǒng)作用后變?yōu)榻蒂|(zhì)圖像g(x,y)。G(u,v)=F(u,v)H(u,v) + N(u,v)頻域形式：點(diǎn)擴(kuò)散函數(shù)(PSF)圖像復(fù)原q 退化模型的離散形式 一維情況設(shè)f (x)有A個采樣值，h(x)有B個采樣值。計(jì)算離散卷積時，為了

3、避免交疊誤差，需要將f (x) 和 h(x)擴(kuò)展為周期是N=A+B1的周期函數(shù)，即： fe(x) = f (x) 0 x A0 A x N he(x) = h(x) 0 x B0 B x N圖像復(fù)原不考慮噪聲時，輸出為： ge(x) = f (x)h(x) = n=0N -1 fe(n) he(x n) ge(x)周期為N 的周期函數(shù)。上述離散卷積可以表示為矩陣形式：g = H fge(0)ge(1)ge(2)ge(N1)he(0) he(1) he(2) he(N+1)he(1) he(0) he(1) he(N+2)he(2) he(1) he(0) he(N+3) . he(N1) he

4、(N 2) he(N3) he(0)fe(0)fe(1)fe(2)fe(N1)=圖像復(fù)原因he(x)是周期函數(shù)： he(x) = he(N+x)，則有he(0) he(N1) he(N 2) he(1)he(1) he(0) he(N1) he(2)he(2) he(1) he(0) he(3) . he(N1) he(N 2) he(N3) he(0)H = H矩陣的每一行都是前一行向右循環(huán)移位的結(jié)果循環(huán)矩陣。圖像復(fù)原 二維情況推廣到二維: 設(shè) f (x,y)AB; h(x,y)CD;擴(kuò)展為 MN 個元素； M=A+C 1； N=B+D 1； fe(x,y) = f (x,y) 0 x A;

5、 0 y B;0 A x M; B y N; he(x,y) = h(x,y) 0 x C; 0 y D;0 C x M; D y N;圖像復(fù)原 ge(x,y) = n=0N -1 fe(m, n) he(xm, yn) m=0M -1矩陣形式 g = H ffe(0,0)fe(0,1)fe(0,N1) fe(1,0)fe(1,1)fe(1,N1) fe(M1,0)fe(M1,1)fe(M1,N1)f =（g 與 f 構(gòu)成形式相同）圖像復(fù)原H為 MN MN 維矩陣，包括 M M 個塊，每一塊的大小為N N 。H0HM-1HM-2H1H1H0HM-1H2H2H1H0H3HM-1HM-2HM-3H

6、0he(j,0)he(j,N1)he(j,N2)he(j,1)he(j,1)he(j,0)he(j,N1)he(j,2)he(j,N1)he(j,N2)he(j,N3)he(j,0)H =Hj =圖像復(fù)原 Hj 是循環(huán)矩陣；且H中各分塊的下標(biāo)變化也是右移循環(huán)的。 H分塊循環(huán)矩陣。離散退化模型的一般形式： g = H f + n (n為噪聲）圖像復(fù)原已知 H 和 n ，由退化圖像 g 得到原圖像 f 的估計(jì) f實(shí)際的復(fù)原過程是設(shè)計(jì)一個濾波器，使其能從降質(zhì)圖像中計(jì)算得到原真實(shí)圖像的一個最優(yōu)估計(jì)。廣義上講，圖象復(fù)原是一個求逆問題，逆問題經(jīng)常存在非唯一解，甚至無解。為了得到逆問題的有用解，需要有先驗(yàn)知

7、識以及對解附加某些約束條件。圖像復(fù)原二、退化參數(shù)的估計(jì)估計(jì)退化系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)（PSF）以及噪聲的統(tǒng)計(jì)特性。（1）已知退化機(jī)制運(yùn)動模糊的點(diǎn)擴(kuò)散函數(shù)相機(jī)與景物之間有相對運(yùn)動的情況：已知(t)，(t) 分別是位移 x 和 y 的分量，T為曝光時間。則降質(zhì)圖像為g(x,y) = T/2T/2 f (x(t), y(t) )dt圖像復(fù)原做傅立葉變換：exp(j2(ux+vy) dxdyT/2T/2 f (x(t), y(t) )dtG(u,v) = 令 = x(t); = y(t) ; 有G(u,v) = expj2(u(t) +v(t) f (,) exp(j2(u +v) ddT/2T/2dt =

8、 F (u,v)expj2(u(t) +v(t)dtT/2T/2= F(u,v) H(u,v)圖像復(fù)原H(u,v) = expj2(u(t) +v(t)dtT/2T/2設(shè)為直線運(yùn)動：(t)= at； (t)=bt；則H(u,v) = expj2(uat+vbt)dtT/2T/2expj2KtdtT/2T/2=sin(KT)K exp(jKT)(令 K=ua+vb)物理解釋 ？圖像復(fù)原光學(xué)系統(tǒng)散焦模糊的傳遞函數(shù)散焦情況下，點(diǎn)光源成像為圓斑，其傳遞函數(shù)為d散焦點(diǎn)擴(kuò)散函數(shù)的直徑（參數(shù)）J1() 一階貝塞爾函數(shù)J1(d)dH(u,v) =（或者，簡化為高斯函數(shù)）（或者，簡化為高斯函數(shù)）22vu 圖像復(fù)

9、原大氣湍流模糊的傳遞函數(shù)k與湍流性質(zhì)有關(guān)的參數(shù)；（長時間曝光情況下）(a)可忽略的湍流；(b)劇烈湍流；k=0.0025;(c)中等湍流；k=0.001;(d)輕微湍流；k=0.00025;abcd圖像復(fù)原（2）根據(jù)后驗(yàn)知識估計(jì) 利用圖像中的點(diǎn)、線 、邊 用實(shí)驗(yàn)方法獲得退化系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)的數(shù)值化形式。對于點(diǎn)或線，直接測量模糊后的灰度分布形式代替點(diǎn)擴(kuò)散函數(shù)；對于階躍邊緣，用測量模糊后的灰度分布的導(dǎo)數(shù)代替點(diǎn)擴(kuò)散函數(shù)； dfgfgfgdt 階躍邊緣的導(dǎo)數(shù)為Dirac函數(shù)；且有（利用邊線時，測得的結(jié)果是與其垂直方向上的一維點(diǎn)擴(kuò)散函數(shù)）圖像復(fù)原（3）噪聲統(tǒng)計(jì)特性的估計(jì)（一般假設(shè)為加性、高斯白噪聲）選取

10、圖像中較大的平坦區(qū)域，計(jì)算局部灰度的各階矩及其功率譜，以此作為對整個圖象噪聲的估計(jì)?；蛘?，由整個圖像功率譜估計(jì)噪聲功率譜由退化模型得到： 退化圖像功率譜原圖像功率譜噪聲功率譜Sg(u,v) = |H(u,v)|2 Sf(u,v) + Sn(u,v)SgSfSn信號能量集中在低頻段，噪聲能量在高頻段突出可以在功率譜上分開圖像復(fù)原三、圖像濾波復(fù)原尋找濾波器傳遞函數(shù)，在頻域做濾波，然后變換到空域，得到對原圖像的估計(jì)。（1）逆濾波復(fù)原）逆濾波復(fù)原由退化模型 G(u,v)=F(u,v)H(u,v) + N(u,v)若不考慮噪聲，得：G(u,v)H(u,v)F(u,v) =故逆濾波傳遞函數(shù)為1H(u,v)

11、HI(u,v) =（反向?yàn)V波器）圖像復(fù)原逆濾波結(jié)果：F(u,v) = HI(u,v)G(u,v) =G(u,v)H(u,v)= F(u,v) +N(u,v)H(u,v)噪聲放大問題此項(xiàng)嚴(yán)重影響復(fù)原效果。若H(u,v)有零點(diǎn)或很小，導(dǎo)致噪聲放大。而且，一般在離原點(diǎn)較遠(yuǎn)時衰減很快，但噪聲信號處于高頻范圍。N(u,v)H(u,v)因此復(fù)原只能局限于頻域中的有限區(qū)域，且選擇信噪比高的頻率。F(u,v) N(u,v)H(u,v)F(u,v) N(u,v)H(u,v)10w =F(u,v) = F(u,v) +N(u,v)H(u,v)w方法*圖像復(fù)原方法* 通過對待復(fù)原圖像進(jìn)行低通濾波限制復(fù)原范圍。a b

12、c d(a)沒有低通限制的全濾波(b)截止頻率為40(c)截止頻率為70(d)截止頻率為85（采用10階巴特沃斯低通）逆濾波對大氣湍流圖像(b)進(jìn)行復(fù)原圖像復(fù)原（2）維納濾波復(fù)原（最小均方誤差濾波）維納濾波復(fù)原（最小均方誤差濾波）設(shè)原圖像 f 的估計(jì)為 f ，均方誤差定義為：e2 = E( f f )2若：f 與噪聲不相關(guān)，且噪聲均值為零，則使上述誤差函數(shù)最小的解在頻域的形式為：vuSvuSvuHvuHvuHfnw,2Sn，Sf 分別為噪聲及原圖像的功率譜。 nfSS“信噪比”圖像復(fù)原要求知道噪聲與圖像統(tǒng)計(jì)特性（功率譜） 避免了逆濾波的噪聲放大問題：0fnSS若H(u,v)=0，但 , 則 H

13、w(u,v) = 0 若 0 （信噪比高），則 Hw(u,v) fnSS1H(u,v)反之，若信噪比差，則 Hw(u,v) 0。一般情況下，Sn 與 Sf 難以預(yù)先知道，可以利用下式：圖像復(fù)原kvuHvuHvuHw2,（k為可調(diào)節(jié)的參數(shù)）實(shí)際上，最小二乘準(zhǔn)則與人的視覺準(zhǔn)則并不匹配（人眼對暗處和高梯度區(qū)域的誤差比其它區(qū)域具有更大的容忍性）。（3）約束最小平方濾波復(fù)原）約束最小平方濾波復(fù)原準(zhǔn)則準(zhǔn)則在滿足約束條件下，使所定義的 平滑函數(shù)最小。定義平滑函數(shù)： dxdyyxff2),()(圖像復(fù)原由退化模型),(),(),(),(yxnyxfyxhyxg dxdyyxndxdyyxfyxhyxg),()

14、,(),(),(22得約束方程在滿足此約束條件的同時，求在滿足此約束條件的同時，求 f ，使平滑函數(shù)，使平滑函數(shù) (f ) 最小。最小。此問題的解在頻域的形式為：2*),(),(),(vuHvuHvuHc（ 為待定參量，只與噪聲的均方差有關(guān)）為待定參量，只與噪聲的均方差有關(guān)）圖像復(fù)原 dxdyyfxff2222)(22*),(),(),(),(vuPvuHvuHvuHc可以采用其它平滑性度量，如：則在同樣的約束條件下，使 (f ) 最小的解為：其中，P(u,v) 是 p(x,y) 的付氏變換，而p(x,y) 的形式為：010141010 p(x,y) =Laplacian變換的掩摸形式是需調(diào)整

15、的參數(shù)，以滿足約束方程。無噪聲時 =0，變?yōu)槟鏋V波。一般需要迭代求解。圖像復(fù)原（4）等功率譜濾波復(fù)原）等功率譜濾波復(fù)原準(zhǔn)則準(zhǔn)則使得復(fù)原圖像的功率譜與原圖像相等，即：),(),(vuSvuSff設(shè)則),(),(),(yxgyxhyxfp),(),(),(vuGvuHvuFp根據(jù)準(zhǔn)則，有),(),(),(2vuSvuGvuHfp),(),(),(2vuSvuSvuHfgp (5-3-4-1)圖像復(fù)原由退化模型： g(x,y) = h(x,y) f (x,y)+n(x,y) g g = hf + n hf + n f n = 0 = (hf ) (hf ) + n n + 2(hf ) n 設(shè) f

16、(x,y)與 n(x,y)不相關(guān)，則兩邊做傅立葉變換：則 Sg(u,v) = H(u,v)2 Sf(u,v) + Sn(u,v)代入(5-3-4-1)，得212),(),(),(),(),(vuSvuSvuHvuSvuHnffp 自相關(guān)圖像復(fù)原 當(dāng)H(u,v)=0時，Hp(u,v)0 （而維納濾波器的Hw(u,v)=0）； 當(dāng)無噪聲時，轉(zhuǎn)化為逆濾波器；由于維納濾波器在某些點(diǎn)處的頻率響應(yīng)為零，會導(dǎo)致頻率響應(yīng)起伏較大 在空域產(chǎn)生虛假的紋理模式。等功率譜濾波器具有很強(qiáng)的復(fù)原能力，在某些情況下，性能優(yōu)于維納濾波器。HwHp圖像復(fù)原逆濾波復(fù)原和維納濾波復(fù)原的比較a bc d e(a)原圖；(b)退化圖像

17、(c)全逆濾波(d)有限頻域逆濾波(e)維納濾波圖像復(fù)原(a)運(yùn)動模糊及噪聲污染的圖像；(b)逆濾波結(jié)果；(c)維納濾波結(jié)果；(d)-(f)同樣的序列，但噪聲方差小了一個數(shù)量級；(g)-(i)同樣的序列，但噪聲方差小了5個數(shù)量級；abcdefghi圖像復(fù)原約束最小平方濾波維納濾波圖像復(fù)原四、圖像代數(shù)復(fù)原方法對于離散圖像，若退化系統(tǒng)為線性空不變，且噪聲為加性，可以將圖像復(fù)原統(tǒng)一在代數(shù)復(fù)原方法的框架內(nèi)進(jìn)行。準(zhǔn)則為最小二乘準(zhǔn)則。（1）非約束復(fù)原）非約束復(fù)原退化模型 g = Hf + n定義代價函數(shù)：J (f) = | g Hf |2 (5-4-1)在沒有任何約束條件下，尋找使 J (f ) 為最小的

18、解f圖像復(fù)原由 J (f) = ( g Hf )T (g Hf )令J(f)f= 02HTg + 2HTHf = 0（H為分塊循環(huán)矩陣），設(shè)逆H-1存在，有 = (HTH)-1 HTgf得 = H-1 (HT)-1 HTg = H-1gfXT代表X的共軛轉(zhuǎn)置圖像復(fù)原H 可表示為 H = WDW-1D 對角矩陣（其值由H的特征值組成） W 對角化矩陣（其列由H的特征向量組成）循環(huán)矩陣對角化方法循環(huán)矩陣對角化方法 = H-1g = (WDW-1)-1g = WD-1W-1gf有 = D-1W-1gW-1fW-1的元素是離散傅立葉變換核；D的元素是h(x,y)的離散傅立葉變換的離散付氏變換fg 的離

19、散付氏變換所對應(yīng)的連續(xù)形式為：G(u,v)H(u,v)F(u,v) =（即逆濾波）圖像復(fù)原（2）約束復(fù)原）約束復(fù)原令令Q為為f 的線性算子（則的線性算子（則 Qf 是對圖像是對圖像 f 的濾波運(yùn)算），在的濾波運(yùn)算），在滿足約束的條件下，使?jié)M足約束的條件下，使 | Qf |2 為最小。為最小。 | Qf |2 min 濾波作用（去噪） | g Hf |2 = | n |2 約束（依據(jù)復(fù)原要求）利用拉格朗日乘子法，定義代價函數(shù)： J (f ) = | Qf |2 + L(| g Hf |2 | n |2 )（L為乘子）J(f)f= 0J(f)L= 0要求：圖像復(fù)原 = 2QTQf 2LHT(g H

20、f) = 0J(f)f = | g Hf |2 | n |2 = 0J(f)L (5-4-2)由(5-4-2)解得： = ( HTH + QTQ )-1 HTgf（ =1/L 待調(diào)節(jié)參量，調(diào)整到滿足約束條件）問題：如何選擇Q (5-4-3)圖像復(fù)原 對于維納濾波對于維納濾波QTQ = Rf-1Rn ； 其中 Rf = EffT， Rn= EnnT （Rf 和 Rn 分別對應(yīng)原圖像和噪聲的自相關(guān)矩陣）由(5-4-3)得： = ( HTH + Rf-1Rn )-1 HTgf 與H對角化相同，將 Rf 和 Rn 對角化： Rf = WDfW-1； Rn = WDnW-1代入(5-4-4)，得(5-4

21、-4)圖像復(fù)原 = ( WD*DW-1 + WDf-1DnW-1 )-1 WD* W-1gf（表示共軛）兩邊左乘W-1，上式化為： = ( D*D + Df-1Dn )-1D* W-1gfW-1 D 對角陣，元素是H 的傅立葉變換； Df 和 Dn對角陣，元素分別是f 和 n 的自相關(guān)矩陣的傅立葉變換（自相關(guān)的傅立葉變換為功率譜）故所對應(yīng)的連續(xù)形式為：Sn(u,v)Sf(u,v)|H(u,v)|2 +H *(u,v) G(u,v)F(u,v) =圖像復(fù)原若 = 1，則為前述維納濾波器，但一般不能保證滿足約束條件。上式稱為參變維納濾波器參變維納濾波器（調(diào)整 使約束條件滿足）。 對于以平滑度為約束

22、對于以平滑度為約束（1）若要求 | f |2 min ，則Q為單位矩陣，由(5-4-3) 可得|H(u,v)|2 + H *(u,v)G(u,v)F(u,v) =（2）若要求二階導(dǎo)數(shù)最小，Q可選擇為拉普拉斯算子形式，同 樣由(5-4-3) ，得到頻域公式。 圖像盲復(fù)原（blind deconvolution）在許多實(shí)際情況下點(diǎn)擴(kuò)展函數(shù)難以預(yù)先確定，必須從觀察圖像中以某種方式提取退化信息，實(shí)現(xiàn)圖像復(fù)原，即圖像盲復(fù)原方法。圖像復(fù)原 圖像盲復(fù)原是一個病態(tài)問題，難以保證收斂性; 計(jì)算量大; 在某種準(zhǔn)則下，利用原始圖像以及PSF的部分部分先驗(yàn)知識或約束， 同時對原圖像和PSF進(jìn)行估計(jì)，一般需要迭代求解;

23、圖像復(fù)原 迭代盲解卷積（迭代盲解卷積（IBD）(Ayers and Dainty,1988)0),(0kyxh),(yxfk),(yxfkFFT(k=k+1)空域約束IFFT頻域約束頻域約束FFTIFFT空域約束初始估計(jì)初始估計(jì)),(yxhk),(yxhk),(vuFk),(vuFk),(vuHk),(vuHk),(),(),(yxhyxfyxg),(),(),(vuHvuFvuG空域約束：空域約束：f 支撐域內(nèi)的像素灰度非負(fù)；h支撐域外為零迭代過程中能量保持頻域約束：頻域約束：滿足),(),(),(vuHvuFvuG本質(zhì)上是逆濾波（修正形式）頻域約束：21211),(),(),(),(),(

24、vuHvuFvuFvuGvuHkkkk21211),(),(),(),(),(vuFvuHvuHvuGvuFkkkk圖像復(fù)原（為參變量）改進(jìn)的方法改進(jìn)的方法采用維納濾波形式采用維納濾波形式 PSF是正的，且在有限域內(nèi)有hSyxyxh,1),( IBD在頻域具有維納濾波的形式（代表噪聲水平），抗噪性好； 計(jì)算復(fù)雜度低； 穩(wěn)健性較差（對初始估計(jì)敏感，不能保證收斂）。圖像復(fù)原空域約束原圖像的“有限支撐”（包含原圖像的最小矩形）非負(fù) 迭代中，將支撐域內(nèi)的負(fù)值像素和支撐域外不為零的像素置零。非負(fù)支撐約束遞歸逆濾波（非負(fù)支撐約束遞歸逆濾波（NASRIF） 原圖像的背景是均勻的黑、灰或白； 原圖像的像素值是

25、正的，并且已知有限支撐域； 原圖像和PSF是不可約的； PSF的逆存在，并且PSF及其逆是絕對可和的 約束條件：基本原理降質(zhì)圖像經(jīng)FIR濾波器u(x,y)產(chǎn)生估計(jì)圖像 f ，此估計(jì)圖像再經(jīng)非線性映射（即加以約束）產(chǎn)生對應(yīng)原圖像性質(zhì)的一個凸集投影 fNL，利用 fNL 與 f 的誤差來更新濾波器 u(x,y)圖像復(fù)原g(x,y) u(x,y)NLe(x,y),(yxf),(yxfNL2),(),(2),(21),( ),(2),(sgn(1),()(supsupyxDyxBDyxyxuLyxfyxfyxfuJ代價函數(shù)：（Dsup為支撐域，Dsup為非支撐域；第三項(xiàng)為正則項(xiàng)，防止背景全黑時u(x,y)的系數(shù)全為零，只有當(dāng)LB=0時為非零）圖像復(fù)原圖像復(fù)原（*從非負(fù)性和有限支撐的約束可以外推圖像的高頻成分）支撐域模糊圖像邊界支撐域原圖像邊界 結(jié)構(gòu)簡單，代價函數(shù)為凸函數(shù)，收斂性好（采用共軛梯度算法） 對噪聲敏感盲復(fù)原的正則化形式盲復(fù)原的正則化形式 定義代價函數(shù)，求滿足某種約束的 f 和 h,使得代價函數(shù)最小 （通常在MAP優(yōu)化準(zhǔn)則下導(dǎo)出）)()(),(22112hCfChfghfJC1()和 C2() 為正則化項(xiàng)，通常取高通