圖像的恢復與重構課件

第五章圖像的恢復與重構

什么是圖像退化：圖像的質量變壞叫做退化。退化的形式有圖像模糊、圖像有干擾等。圖像退化的處理方法：無論是由光學、光電或電子方法獲得的圖像都會有不同程度的退化；退化的形式多種多樣。如傳感器噪聲、攝像機未聚焦、物體與攝像設備之間的相對移動、隨機大氣湍流、光學系統(tǒng)的相差、成像光源或射線的散射等；如果我們對退化的類型、機制和過程都十分清楚，那么就可以利用其反過程來復原圖像。典型的圖像復原方法是根據圖像退化的先驗知識建立一個退化模型，以此模型為基礎，采用濾波等手段進行處理，使得復原后的圖像符合一定的準則，達到改善圖像質量的目的。第五章圖像的恢復與重構什么是圖像退化：圖像的質量變1一、圖像退化模型f(i,j)：原始圖像g(i,j)：降質圖像T(·)：成像系統(tǒng)的作用，則：g(x,y)=T[f(x,y)]設T是線性移不變的。一幅連續(xù)的圖像f(x,y)可以用抽樣函數的二維卷積表示：因此，令h(x,α;y,β)=T[δ(x-α,y-β)]，則有：定義于不在原點的二維δ函數由于f(α,β)與x，y沒有關系一、圖像退化模型f(i,j)：原始圖像因此，定義于不在原點2稱h(x,α;y,β)為點擴散函數(PSF)或系統(tǒng)沖擊響應。多數情況下它表現(xiàn)為時不變的，反映在圖像中為位移不變的，則h(x,α;y,β)可以表示為h(x-α,y-β)其中*表示卷積運算。如果T(·)是一個h可分離系統(tǒng)，即：h(x,α;y,β)=h1(x,α)h2(y,β)則二維運算可以分解為列和行兩次一維運算來代替。在加性噪聲情況下，圖像退化模型可以表示為：g(x,y)=f(x,y)*h(x,y)+n(n,y)其中n(x,y)為噪聲圖像。

稱h(x,α;y,β)為點擴散函數(PSF)或系統(tǒng)沖擊響3二、離散圖像退化模型對于圖像降質過程進行數學建模，設：f(i,j)為原始圖像；y(i,j)為降質圖像；h(i,j;k,l)為點擴散函數；圖像為M×N維。有假設為空間不移變h(i,j;k,l)，則：二、離散圖像退化模型對于圖像降質過程進行數學建模，設：假設為4線性位移不變的圖像退化模型則表示為：

g(x,y)=f(x,y)*h(x,y)+n(x,y)結論：如果已知g(x,y)、n(x,y)、h(x,y)，則f(x,y)可以計算出來。對等式兩端取傅立葉變換有：G(u,v)=F(u,v)H(u,v)+N(u,v)F(u,v)=(G(u,v)-N(u,v))/H(u,v)f(x,y)=F-1[F(u,v)]g(x,y)f(x,y)n(x,y)h(x,y)+線性位移不變的圖像退化模型則表示為：結論：如果已知g(x,y5三、循環(huán)矩陣及傅立葉化一個一維離散序列通過一個系統(tǒng)發(fā)生失真的過程可用下圖表示f=H-1[g-n]用矩陣表示，可以寫成

g(x)f(x)n(x)h(x)+如果考慮加性噪聲，根據離散序列的卷積定理，有擴展為周期為M的序列三、循環(huán)矩陣及傅立葉化一個一維離散序列通過一個系統(tǒng)發(fā)生失真的6由于離散卷積的周期性，有he(x)=he(x+M)，H可以寫成H是一個循環(huán)陣。結論：離散卷積都可以寫成：輸入矩陣×循環(huán)矩陣！對數字圖象的二維離散函數也是如此。對圖像退化模型而言，有A=5B=5M=9M=9由于離散卷積的周期性，有he(x)=he(x+M)，H可以寫7用矩陣形式表示上式：g=Hf+n

g、f和n分別表示M×N的函數矩陣ge(i,j)、fe(i,j)和ne(i,j)的各行前后相連而成的列矢量(堆疊矢量)。如果假設原始圖像是M×N維矩陣，則H是MN×MN循環(huán)矩陣，且H是一個分塊(M×M個)循環(huán)矩陣：每一個子矩陣Hi自身也是循環(huán)矩陣N×N：=+MN×1MN×MNMN×1MN×1用矩陣形式表示上式：g=Hf+n每一個子矩陣Hi自身也是循81、一維信號序列循環(huán)矩陣的對角化和傅立葉化解矩陣方程：f=H-1[g-n]最簡單的計算方法就是對角化，H→H-1也是對角陣。對角化H的方法——求取其特征值和特征矢量。對循環(huán)矩陣而言，設：其有M個特征值和特征矢量。由于w(k)是由傅立葉系數構成的，因此w(k)彼此是正交的。所以，由w(k)構成的變換矩陣是可逆的。1、一維信號序列循環(huán)矩陣的對角化和傅立葉化解矩陣方程：f=9用特征矢量組成的矩陣：W=[w(0),w(1)…w(M-1)]生成對角矩陣D：D=W-1HW；且D(k,k)=λ(k)。而根據周期性，M–i=-i湊一個常數所以H=WDW-1用特征矢量組成的矩陣：W=[w(0),w(1)…w(M-1)10對g=Hf+n而言，可以寫成g=WDW-1f+n，有W－1g=DW-1f+W－1n；其中對

W-1g列矢量的每一行G(k)而言，有對W-1f列矢量的每一行F(k)而言對W-1n而言有同樣的結果。所以對W－1g=DW-1f+W－1n而言，G(u)=MH(u)F(u)+N(u)。上面的過程稱之為循環(huán)矩陣的傅立葉化。對g=Hf+n而言，可以寫成g=WDW-1f+n，有W－111如果圖像的g、f、n采用堆疊矢量的方法構成，g=Hf+n。同一維的情況類似，不同的地方是H為塊循環(huán)矩陣，以及其中的傅立葉變換是二維的，但最后結論是一樣的。G(u)=MH(u)F(u)+N(u)——一維情況下的結論G(u,v)=MNH(u,v)F(u,v)+N(u,v)——二維情況下的結論在實際應用中，認為f(x,y)、h(x,y)、g(x,y)、n(x,y)的維數是相等的。F(u,v)=[G(u,v)-N(u,v)]/MNH(u,v)f(x,y)=F-1[F(u,v)]2、二維信號序列塊循環(huán)矩陣的對角化和傅立葉化=+如果圖像的g、f、n采用堆疊矢量的方法構成，g=Hf+n。123、H(u,v)的獲取要知道一個圖象降質系統(tǒng)的H(u,v)是一件非常困難的事情。但因為f(x,y)*h(x,y)=g(x,y)，有F(u,v)H(u,v)=G(u,v)如果f(x,y)=δ(x,y)，F(xiàn)[δ(x,y)]=1則H(u,v)=G(u,v)所以，可以用實驗的方法得到h(x,y)和H(u,v)；H(u,v)可用點源的輸出圖像的傅立葉變換來近似。另外，有一些圖象降質系統(tǒng)的H(u,v)有固定的或近似的數學模型。3、H(u,v)的獲取要知道一個圖象降質系統(tǒng)13四、常見的線性移不變降質算子運動模糊：通常在拍攝過程中，相機或物體移動造成的運動模糊可以用一維均勻鄰域像素灰度的平均值來表示：

大氣擾動模糊：這種模糊經常出現(xiàn)在遙感和航空攝影中，由于曝光時間過長引起的模糊可用高斯點擴散函數來表示：式中K是一個歸一化常數，保證模糊的大小為單位值，σ2可以決定模糊的程度。四、常見的線性移不變降質算子運動模糊：通常在拍攝過程中，相機14均勻不聚焦模糊這是由于相機聚焦不準確引起的，雖然不聚焦由許多參數決定，如相機的焦距、相機光圈的大小、形狀、物體和相機之間的距離等，但在研究中為了簡單起見，我們用下列函數表示聚焦不準引起的模糊：均勻二維模糊這是最常見的一種模糊，可以用來近似聚焦不準引起的模糊：其中L是奇數。均勻不聚焦模糊15五、無約束恢復逆濾波對于圖像退化模型：g(x,y)=f(x,y)*h(x,y)+n(x,y)兩邊取傅立葉變換：G(u,v)=F(u,v)H(u,v)+N(u,v)

H(u,v)又稱為系統(tǒng)的轉移函數(或濾波函數)，它使圖像退化。在無噪聲的情況下，上式可以簡化為：

G(u,v)=F(u,v)H(u,v)F(u,v)=G(u,v)/H(u,v)

這種1/H(u,v)的形式稱為逆濾波。再進行傅立葉逆變換就可以得到f(x,y)。五、無約束恢復逆濾波16什么是無約束恢復當對噪聲一無所知時，使n無約束的小。由于g=Hf+n，假設通過恢復可以得到一個不錯的f的估計f’。顯然，f’應滿足關系g－Hf’＝n，我們希望n盡可能的小。于是問題轉化為f’在什么情況下n最小——對矩陣而言就是它的跡(對角線之和)的平方最小。什么是無約束恢復當對噪聲一無所知時，使n無約束的小。17實際情況中，噪聲是不可避免的，因而只能求F(u,v)的估計值：

如果H(u,v)有許多零點，必然使得復原的結果受到極大影響。或者如果H(u,v)不為零但是有非常小的值，也即病態(tài)條件，也會使復原效果受到影響。解決這個問題的方法是避開H(u,v)的零點。幸好一般的H(u,v)在低頻附近的有限區(qū)域內不為零。因此逆濾波可以在原點附近進行，相當于在頻域乘上一低通窗口函數W(u,v)。

實際情況中，噪聲是不可避免的，因而只能求F(u,v)的估計值18為了防止隨著u、v的增大H(u,v)的迅速減小而增設一些條件由于截斷地原因，被恢復的圖象振鈴較大。一種改進的方法是取(?)其中，d、k均為小于1的常數。逆濾波的應用條件：退化圖像g(x,y)是信噪比較高的圖像。設：為了防止隨著u、v的增大H(u,v)的迅速減小而增設一些條件19對降質圖像g=Hf+n而言，所謂恢復可以看成是對g通過某種線性變換L而得到原圖像的估計值f’。其中，L是H的某種逆過程。如果f’與f之間的差滿足某些條件——約束條件，例如：滿足給定的均方誤差，則稱該圖像被恢復了。六、有約束恢復(某種準則)的一般公式噪聲是獨立的，與圖像不相關。求其期望應為0。期望值越小，其跡也越小對降質圖像g=Hf+n而言，所謂恢復可以看成是對g通過某種線20因此對求跡而言，式中第2項和第3項的相等，有問題轉化為：L等于什么時，均方誤差最小。由此可得最佳L：0000將Rf，Rn看成是一個循環(huán)塊矩陣，對其進行對角化，有：圖像的相關度約為20－30個象素合理的假設因此對求跡而言，式中第2項和第3項的相等，有問題轉化為：L等21由最佳L：可得兩邊乘以W和W-1：又因為當D為對角陣時有所以當L為分塊循環(huán)矩陣時，WLW-1也是一對角陣。其對角線上元素的值為循環(huán)序列(“主值”序列)的傅立葉變換值。同理，D，D*，A，B都為對角陣，其對角線上的元素的值為對應循環(huán)序列(“主值”序列)的傅立葉變換值。于是上式可以寫成標量形式合理的假設f’(x,y)=g(x,y)*l(x,y)由最佳L：可得兩邊乘以W和W-1：又因為當D為對角陣時有所以22七、維納濾波恢復基本原理研究發(fā)現(xiàn)，逆濾波復原方法對噪聲極為敏感，要求信噪比較高(100以上)，通常不滿足該條件。因此希望找到一種方法，在有噪聲條件下，從退化圖像g(x,y)復原出f(x,y)的估計值f’(x,y)，該估計值應符合一定的準則。用向量f,g,n來表示f(x,y),g(x,y),n(x,y)，Q為對f’的線性算子，在約束條件||g-Hf’||2=||n||2下求Qf’的最小化||Qf’||2而得到f的最佳估計f’。七、維納濾波恢復基本原理23用拉格朗日法求解設Rf和Rn為f和n的相關矩陣，根據前述分析結果：若QTQ用Rf－1Rn來代替，有：拉格朗日系數用拉格朗日法求解設Rf和Rn為f和n的相關矩陣，根據前述分析24當D為對角陣，分塊循環(huán)矩陣為因此：寫成標量形式為：統(tǒng)計量的得到是非常困難的一件事。其中Sf(u,v),Sn(u,v)分別是f(x,y)和n(x,y)的功率譜。當D為對角陣，分塊循環(huán)矩陣為因此：統(tǒng)計量的得到是非常困難的一25在實際應用中，當噪聲情況未知時八、最小平方(最大平滑)恢復與維納濾波恢復的不同在于QTQ的選擇。維納濾波中QTQ用Rf－1Rn，根據前面的推導，其依據的準則為均方誤差最小。而最小平方恢復依據的準則為換言之：在約束條件||g-Hf’||2=||n||2條件下，恢復出來的圖像的梯度最小(或稱最大平滑)。根據此條件選擇Q。在實際應用中，當噪聲情況未知時八、最小平方(最大平滑)恢復換26由圖像增強一章可知，對圖像求梯度可用如下操作如果f(x,y)尺寸是A×B，則圖像與p(x,y)相卷的結果后的圖像為M×N，M≥A+3-1，N≥B+3-1。構造p(x,y)、f(x,y)的擴展周期圖像pe(x,y)與fe(x,y)做卷積。*************************0-10-14-10-10由圖像增強一章可知，對圖像求梯度可用如下操作如果f(x,y)27如果圖像的g、f采用堆疊矢量的方法構成，有g=CfMN×1MN×MNMN×1=對C進行對角化，有E=W-1CW在約束條件||g-Hf’||2=||n||2條件下，恢復出來的圖像的梯度最小(或稱最大平滑)。根據此條件選擇Q。如果圖像的g、f采用堆疊矢量的方法構成，有g=CfMN×128令Q＝C根據有：左乘W-1，有根據對角化的討論，有與維納濾波不同此值為已知，不是統(tǒng)計量。剩下的問題是對s的估測。構造殘差矢量r=g-Hf’，調節(jié)s使其滿足||r||2=||n||2±a(a是一個準確度系數)。賦給s某個初始值；計算f’和||r||2。如果滿足||r||2=||n||2±a，停止計算；如果||r||2<||n||2-a，增加s，繼續(xù)計算；如果||r||2>||n||2+a，減少s，繼續(xù)計算。點對點計算令Q＝C根據29九、幾何失真校正在不同條件下拍攝的圖像，一個物體的圖像常會發(fā)生幾何失真，出現(xiàn)歪斜變形的現(xiàn)象。從太空中宇航器拍攝的地球上的等距平行線，其圖像會變?yōu)橥嵝被虿坏染?；用光學和電子掃描儀攝取的圖像常會有桶形失真和枕形失真；用普通的光學攝影與測試雷達拍攝的同一地區(qū)的景物二者在幾何形狀上有較大的差異。以一幅圖像為基準，去校正另一種方式攝入的圖像，以期校正其幾何失真，就叫做圖像的幾何失真復原或者幾何失真校正。九、幾何失真校正在不同條件下拍攝的圖像，一個物體的圖像常會發(fā)301、空間變換幾何基準圖像的坐標系統(tǒng)用f(x,y)來表示需要校正的圖像的坐標系統(tǒng)用g(x’,y’)表示設兩個圖像坐標系統(tǒng)之間的關系用解析式表示x’=s(x,y)y’=t(x,y)通常s(x,y)和t(x,y)用多項式來表示：1、空間變換幾何基準圖像的坐標系統(tǒng)用f(x,y)來表示31

通常用線性失真來近似較小的幾何失真x’=a0+a1x+a2yy’=b0+b1x+b2y更精確一些可以用二次型來近似x’=a0+a1x+a2y+a3x2+a4xy+a5y2y’=b0+b1x+b2y+b3x2+b4xy+b5y2若基準圖像為f(x,y)，失真圖像為g(x’,y’)，對于景物上的同一個點，假定其灰度不變，則f(x,y)=g(x’,y’)，可利用已知點的對應點的坐標構造方程組求取ai、bj。幾何失真復原的一套方法也可以用于使圖像失真的工作中：在廣告制作和計算機動畫中常常要使物體變形。假設的變形關系通常用線性失真來近似較小的幾何失真假設的變形關系322、灰度插值有時會遇到知道兩點灰度值，要計算兩點之間點的灰度值問題，如加大圖像尺寸等。兩點之間點的灰度值問題——灰度差值問題。雙線性差值法g(E)=(xE-xA)[g(B)-g(A)]+g(A)g(F)=(xF-xC)[g(D)-g(C)]+g(C)g(H)=(yH-yA)[g(C)-g(A)]+g(A)g(I)=(yI-yB)[g(D)-g(B)]+g(B)x3×37×7ABCDEFyIH02、灰度插值有時會遇到知道兩點灰度值，要計算兩點之間點的灰度33十、圖像質量的優(yōu)劣的客觀指標圖像質量的優(yōu)劣既可以通過人眼主觀視覺效果來判斷，也可以通過客觀指標來衡量。1、均方誤差(MSE)：2、峰值信噪比(PSNR)：其中M、N分別是x方向、y方向圖像像素點的個數，f(i,j)和f’(i,j)分別是原始圖像和測試圖像在(i,j)點上的取值，L是圖像中灰度取值的范圍，對8比特的灰度圖像而言，L=255。十、圖像質量的優(yōu)劣的客觀指標圖像質量的優(yōu)劣既可以通過人眼主觀343、模糊信噪比(BSNR,theBlurredSignal-to-NoiseRatio)

表示由模糊和疊加噪聲引起的降質程度。3、模糊信噪比(BSNR,theBlurredSig35

ISNR只是評價圖像恢復算法好壞的一個客觀指標，ISNR高并不一定主觀視覺效果好。4、信噪比的改善度量ISNR(theImprovementinSNR)ISNR只是評價圖像恢復算法好壞的一個客觀指標，ISNR36十一、圖象的重構——從投影數據重構圖象在我們觀察的圖象中，有一部分是通過數據人為構造的圖象，如：CT圖象、地址斷面圖象、安全檢查設備輸出的圖象等。其中一類是由投影信息重構的圖象——本節(jié)的重點。1917年，奧地利數學家J.Radon證明了二維或三維物體可以從許多投影來重構其內部的數據。1963年，美國科學家A.M.Cormack首先將這一理論用于醫(yī)學圖象重構；1972年，英國科學家G.N.Homsfield設計出第一臺X射線掃描儀ComputerTomgraph——CT。二人于1979年雙雙獲諾貝爾醫(yī)學獎。十一、圖象的重構——從投影數據重構圖象在我們觀察的圖象中，有371、投影數據平行光按傳輸方向投射到一個物體后，在垂直于平行光傳輸方向的平面上生成影象稱為投影；用某種傳感器取得的投影影象的數據稱為投影數據。不同物質組合體的視圖自然光投影視圖X射線投影視圖片狀X射線投影視圖最后一幅圖象的數據就是重構斷面圖象的投影數據。顯然，僅憑這組數據不能得到斷面圖象(里面物體的方園無法判斷)，我們需要更多的數據。1、投影數據平行光按傳輸方向投射到一個物體后，在垂直于平行光382、物質對X射線的吸收研究表明：當強度為I0的X射線通過吸收率為μ(x)的物體時，有下面的關系：μ(x)xabI0III00計算機采樣示意圖基準檢測器檢測器物體+I0lnI0lnI+-A/D2、物質對X射線的吸收研究表明：當強度為I0的X射線通過吸收393、由投影數據重構圖像——簡單方法對應一個吸收率不均勻物質，μ(x,y)不為常數?？煞窀鶕玫降耐队爸登蟮忙?x,y)？——結論：如果μ(x,y)已知，既可以重構圖象。方法一：解聯(lián)立方程法設每個網格中的吸收系數為x1～

xN，第i條射線與第xj個象素的相交長度為aij(可以計算得出)，代表第j個像素沿第i條射線的貢獻的權值。如果用pi(θk)表示沿射線方向在射線角度為θk時的總吸收測量值，則可通過解方程組的方法得到x1～

xN。長度aij可以計算出來，只要找出63個獨立方程即可。1第i條射線第j個像素接收器23N553、由投影數據重構圖像——簡單方法對應一個吸收率不均勻物質，40方法二：疊代法被照射物質內的某一確切位置的吸收函數值是固定的。構造疊代公式進行疊代計算，其收斂值應是吸收函數值。上次求得的μk(i,j)值某角度為θ時的投影數據值某角度為θ時射線經過的像元數之和同一投影線路上的上次μk(i,j)值之和2.5+(3-5)/2=1.52.5+(7-5)/2=3.5給定疊代結束條件：μ1μ1μ1μ12.52.52.52.53.53.51.51.53.752.752.251.253.5321.542.752.25143213725364154給定初值2.5方法二：疊代法被照射物質內的某一確切位置的吸收函數值是固定的414、投影定理和傅立葉重構xysstp(s,θ)θf(x,y)X射線方向1)、構造兩個坐標系，相交成θ角。根據解析幾何的知識有根據投影數據重構圖像的理論進行圖像重構。4、投影定理和傅立葉重構xysstp(s,θ)θf(x,y)422)、尋找p(s,θ)與f(s,t)之間的關系根據X射線與物體吸收率的關系有：3)、求投影p(s,θ)在某一θ時對s的傅立葉變換：其中，T=0。可以寫成F(S,T)=F(S,0)角度θ固定后，p(s,θ)的傅立葉變換＝s軸上各點的傅立葉變換。xysstp(s,θ)θf(x,y)X射線方向L沿L方向的微分2)、尋找p(s,θ)與f(s,t)之間的關系根據X射線與物434)、尋找f(x,y)與p(s,θ)、f(s,t)之間的關系由于吸收值與座標系統(tǒng)無關(僅差坐標變換系數)，有：對f(x,y)和f(s,t)的傅立葉變換為：將(1)代入(2)有(雅可比行列式＝1，dxdy=dsdt)：雅可比行列式4)、尋找f(x,y)與p(s,θ)、f(s,t)之間的關44觀察傅立葉變換公式，與(3)比較，恰好滿足旋轉公式這個變換是頻域的一個旋轉變換，于是有投影定理(以前圖所示)：某角度投影數據對s的傅立葉變換＝s軸上對應點的傅立葉變換。對比觀察傅立葉變換公式，與(3)比較，恰好滿足旋轉公式這個變換是455、傅立葉重建原理如果已知F(X,Y)，則該式即為重構圖象的生成公式。雅可比行列式5、傅立葉重建原理如果已知F(X,Y)，則該式即為重構圖象的46實際應用中往往采用下面的方法公式F(S,T)=P(S,θ)=F(S,0)T=0告訴我們：通過采樣數據得到的傅立葉變換值，實際上是x-y座標系統(tǒng)旋轉θ角度后在s-t座標系統(tǒng)中s軸上數據的傅立葉變換，如下圖所示。如果要得到真正圖象的傅立葉變換，需對下圖做適當的修改。XYYX實際應用中往往采用下面的方法公式F(S,T)=P(S,θ)47一般用線性內插公式計算(X,Y)座標點上的值。式中：C為直角坐標定位點；P1，P2，P3，P4為與C點距離最近之四點之值；d1，d2，d3，d4為C點與P1，P2，P3，P4四點的距離。對于直角坐標定位點在旋轉座標軸上之點，可采用零級內插公式得到：CXY得到頻域圖象后，對其進行反變換，即可得到f(x,y)。最近點的傅立葉變換值一般用線性內插公式計算(X,Y)座標點上的值。式中：C為直角486、卷積反投影重建原理對空域圖象而言，有空域、頻域座標對應關系為xystθf(x,y)φXYSTθF(X,Y)r6、卷積反投影重建原理對空域圖象而言，有空域、頻域座標對應關49根據傅立葉重建公式及座標變換式，有P(S,θ)乘以|S|等效為兩個時域函數的卷積。P(S,θ)的傅立葉反變換是投影數據p(s,θ)；而其余部分可設為h(s)，即于是根據傅立葉重建公式及座標變換式，有P(S,θ)乘以|S|等效507、核函數是什么樣子根據|S|=(X2+Y2)1/2，可知XY|S|sh(s)h(s)sh(s)sX|S||S|X|S|X|S|Xh(s)s7、核函數是什么樣子根據|S|=(X2+Y2)1/2，可知51第五章圖像的恢復與重構

什么是圖像退化：圖像的質量變壞叫做退化。退化的形式有圖像模糊、圖像有干擾等。圖像退化的處理方法：無論是由光學、光電或電子方法獲得的圖像都會有不同程度的退化；退化的形式多種多樣。如傳感器噪聲、攝像機未聚焦、物體與攝像設備之間的相對移動、隨機大氣湍流、光學系統(tǒng)的相差、成像光源或射線的散射等；如果我們對退化的類型、機制和過程都十分清楚，那么就可以利用其反過程來復原圖像。典型的圖像復原方法是根據圖像退化的先驗知識建立一個退化模型，以此模型為基礎，采用濾波等手段進行處理，使得復原后的圖像符合一定的準則，達到改善圖像質量的目的。第五章圖像的恢復與重構什么是圖像退化：圖像的質量變52一、圖像退化模型f(i,j)：原始圖像g(i,j)：降質圖像T(·)：成像系統(tǒng)的作用，則：g(x,y)=T[f(x,y)]設T是線性移不變的。一幅連續(xù)的圖像f(x,y)可以用抽樣函數的二維卷積表示：因此，令h(x,α;y,β)=T[δ(x-α,y-β)]，則有：定義于不在原點的二維δ函數由于f(α,β)與x，y沒有關系一、圖像退化模型f(i,j)：原始圖像因此，定義于不在原點53稱h(x,α;y,β)為點擴散函數(PSF)或系統(tǒng)沖擊響應。多數情況下它表現(xiàn)為時不變的，反映在圖像中為位移不變的，則h(x,α;y,β)可以表示為h(x-α,y-β)其中*表示卷積運算。如果T(·)是一個h可分離系統(tǒng)，即：h(x,α;y,β)=h1(x,α)h2(y,β)則二維運算可以分解為列和行兩次一維運算來代替。在加性噪聲情況下，圖像退化模型可以表示為：g(x,y)=f(x,y)*h(x,y)+n(n,y)其中n(x,y)為噪聲圖像。

稱h(x,α;y,β)為點擴散函數(PSF)或系統(tǒng)沖擊響54二、離散圖像退化模型對于圖像降質過程進行數學建模，設：f(i,j)為原始圖像；y(i,j)為降質圖像；h(i,j;k,l)為點擴散函數；圖像為M×N維。有假設為空間不移變h(i,j;k,l)，則：二、離散圖像退化模型對于圖像降質過程進行數學建模，設：假設為55線性位移不變的圖像退化模型則表示為：

g(x,y)=f(x,y)*h(x,y)+n(x,y)結論：如果已知g(x,y)、n(x,y)、h(x,y)，則f(x,y)可以計算出來。對等式兩端取傅立葉變換有：G(u,v)=F(u,v)H(u,v)+N(u,v)F(u,v)=(G(u,v)-N(u,v))/H(u,v)f(x,y)=F-1[F(u,v)]g(x,y)f(x,y)n(x,y)h(x,y)+線性位移不變的圖像退化模型則表示為：結論：如果已知g(x,y56三、循環(huán)矩陣及傅立葉化一個一維離散序列通過一個系統(tǒng)發(fā)生失真的過程可用下圖表示f=H-1[g-n]用矩陣表示，可以寫成

g(x)f(x)n(x)h(x)+如果考慮加性噪聲，根據離散序列的卷積定理，有擴展為周期為M的序列三、循環(huán)矩陣及傅立葉化一個一維離散序列通過一個系統(tǒng)發(fā)生失真的57由于離散卷積的周期性，有he(x)=he(x+M)，H可以寫成H是一個循環(huán)陣。結論：離散卷積都可以寫成：輸入矩陣×循環(huán)矩陣！對數字圖象的二維離散函數也是如此。對圖像退化模型而言，有A=5B=5M=9M=9由于離散卷積的周期性，有he(x)=he(x+M)，H可以寫58用矩陣形式表示上式：g=Hf+n

g、f和n分別表示M×N的函數矩陣ge(i,j)、fe(i,j)和ne(i,j)的各行前后相連而成的列矢量(堆疊矢量)。如果假設原始圖像是M×N維矩陣，則H是MN×MN循環(huán)矩陣，且H是一個分塊(M×M個)循環(huán)矩陣：每一個子矩陣Hi自身也是循環(huán)矩陣N×N：=+MN×1MN×MNMN×1MN×1用矩陣形式表示上式：g=Hf+n每一個子矩陣Hi自身也是循591、一維信號序列循環(huán)矩陣的對角化和傅立葉化解矩陣方程：f=H-1[g-n]最簡單的計算方法就是對角化，H→H-1也是對角陣。對角化H的方法——求取其特征值和特征矢量。對循環(huán)矩陣而言，設：其有M個特征值和特征矢量。由于w(k)是由傅立葉系數構成的，因此w(k)彼此是正交的。所以，由w(k)構成的變換矩陣是可逆的。1、一維信號序列循環(huán)矩陣的對角化和傅立葉化解矩陣方程：f=60用特征矢量組成的矩陣：W=[w(0),w(1)…w(M-1)]生成對角矩陣D：D=W-1HW；且D(k,k)=λ(k)。而根據周期性，M–i=-i湊一個常數所以H=WDW-1用特征矢量組成的矩陣：W=[w(0),w(1)…w(M-1)61對g=Hf+n而言，可以寫成g=WDW-1f+n，有W－1g=DW-1f+W－1n；其中對

W-1g列矢量的每一行G(k)而言，有對W-1f列矢量的每一行F(k)而言對W-1n而言有同樣的結果。所以對W－1g=DW-1f+W－1n而言，G(u)=MH(u)F(u)+N(u)。上面的過程稱之為循環(huán)矩陣的傅立葉化。對g=Hf+n而言，可以寫成g=WDW-1f+n，有W－162如果圖像的g、f、n采用堆疊矢量的方法構成，g=Hf+n。同一維的情況類似，不同的地方是H為塊循環(huán)矩陣，以及其中的傅立葉變換是二維的，但最后結論是一樣的。G(u)=MH(u)F(u)+N(u)——一維情況下的結論G(u,v)=MNH(u,v)F(u,v)+N(u,v)——二維情況下的結論在實際應用中，認為f(x,y)、h(x,y)、g(x,y)、n(x,y)的維數是相等的。F(u,v)=[G(u,v)-N(u,v)]/MNH(u,v)f(x,y)=F-1[F(u,v)]2、二維信號序列塊循環(huán)矩陣的對角化和傅立葉化=+如果圖像的g、f、n采用堆疊矢量的方法構成，g=Hf+n。633、H(u,v)的獲取要知道一個圖象降質系統(tǒng)的H(u,v)是一件非常困難的事情。但因為f(x,y)*h(x,y)=g(x,y)，有F(u,v)H(u,v)=G(u,v)如果f(x,y)=δ(x,y)，F(xiàn)[δ(x,y)]=1則H(u,v)=G(u,v)所以，可以用實驗的方法得到h(x,y)和H(u,v)；H(u,v)可用點源的輸出圖像的傅立葉變換來近似。另外，有一些圖象降質系統(tǒng)的H(u,v)有固定的或近似的數學模型。3、H(u,v)的獲取要知道一個圖象降質系統(tǒng)64四、常見的線性移不變降質算子運動模糊：通常在拍攝過程中，相機或物體移動造成的運動模糊可以用一維均勻鄰域像素灰度的平均值來表示：

大氣擾動模糊：這種模糊經常出現(xiàn)在遙感和航空攝影中，由于曝光時間過長引起的模糊可用高斯點擴散函數來表示：式中K是一個歸一化常數，保證模糊的大小為單位值，σ2可以決定模糊的程度。四、常見的線性移不變降質算子運動模糊：通常在拍攝過程中，相機65均勻不聚焦模糊這是由于相機聚焦不準確引起的，雖然不聚焦由許多參數決定，如相機的焦距、相機光圈的大小、形狀、物體和相機之間的距離等，但在研究中為了簡單起見，我們用下列函數表示聚焦不準引起的模糊：均勻二維模糊這是最常見的一種模糊，可以用來近似聚焦不準引起的模糊：其中L是奇數。均勻不聚焦模糊66五、無約束恢復逆濾波對于圖像退化模型：g(x,y)=f(x,y)*h(x,y)+n(x,y)兩邊取傅立葉變換：G(u,v)=F(u,v)H(u,v)+N(u,v)

H(u,v)又稱為系統(tǒng)的轉移函數(或濾波函數)，它使圖像退化。在無噪聲的情況下，上式可以簡化為：

G(u,v)=F(u,v)H(u,v)F(u,v)=G(u,v)/H(u,v)

這種1/H(u,v)的形式稱為逆濾波。再進行傅立葉逆變換就可以得到f(x,y)。五、無約束恢復逆濾波67什么是無約束恢復當對噪聲一無所知時，使n無約束的小。由于g=Hf+n，假設通過恢復可以得到一個不錯的f的估計f’。顯然，f’應滿足關系g－Hf’＝n，我們希望n盡可能的小。于是問題轉化為f’在什么情況下n最小——對矩陣而言就是它的跡(對角線之和)的平方最小。什么是無約束恢復當對噪聲一無所知時，使n無約束的小。68實際情況中，噪聲是不可避免的，因而只能求F(u,v)的估計值：

如果H(u,v)有許多零點，必然使得復原的結果受到極大影響?；蛘呷绻鸋(u,v)不為零但是有非常小的值，也即病態(tài)條件，也會使復原效果受到影響。解決這個問題的方法是避開H(u,v)的零點。幸好一般的H(u,v)在低頻附近的有限區(qū)域內不為零。因此逆濾波可以在原點附近進行，相當于在頻域乘上一低通窗口函數W(u,v)。

實際情況中，噪聲是不可避免的，因而只能求F(u,v)的估計值69為了防止隨著u、v的增大H(u,v)的迅速減小而增設一些條件由于截斷地原因，被恢復的圖象振鈴較大。一種改進的方法是取(?)其中，d、k均為小于1的常數。逆濾波的應用條件：退化圖像g(x,y)是信噪比較高的圖像。設：為了防止隨著u、v的增大H(u,v)的迅速減小而增設一些條件70對降質圖像g=Hf+n而言，所謂恢復可以看成是對g通過某種線性變換L而得到原圖像的估計值f’。其中，L是H的某種逆過程。如果f’與f之間的差滿足某些條件——約束條件，例如：滿足給定的均方誤差，則稱該圖像被恢復了。六、有約束恢復(某種準則)的一般公式噪聲是獨立的，與圖像不相關。求其期望應為0。期望值越小，其跡也越小對降質圖像g=Hf+n而言，所謂恢復可以看成是對g通過某種線71因此對求跡而言，式中第2項和第3項的相等，有問題轉化為：L等于什么時，均方誤差最小。由此可得最佳L：0000將Rf，Rn看成是一個循環(huán)塊矩陣，對其進行對角化，有：圖像的相關度約為20－30個象素合理的假設因此對求跡而言，式中第2項和第3項的相等，有問題轉化為：L等72由最佳L：可得兩邊乘以W和W-1：又因為當D為對角陣時有所以當L為分塊循環(huán)矩陣時，WLW-1也是一對角陣。其對角線上元素的值為循環(huán)序列(“主值”序列)的傅立葉變換值。同理，D，D*，A，B都為對角陣，其對角線上的元素的值為對應循環(huán)序列(“主值”序列)的傅立葉變換值。于是上式可以寫成標量形式合理的假設f’(x,y)=g(x,y)*l(x,y)由最佳L：可得兩邊乘以W和W-1：又因為當D為對角陣時有所以73七、維納濾波恢復基本原理研究發(fā)現(xiàn)，逆濾波復原方法對噪聲極為敏感，要求信噪比較高(100以上)，通常不滿足該條件。因此希望找到一種方法，在有噪聲條件下，從退化圖像g(x,y)復原出f(x,y)的估計值f’(x,y)，該估計值應符合一定的準則。用向量f,g,n來表示f(x,y),g(x,y),n(x,y)，Q為對f’的線性算子，在約束條件||g-Hf’||2=||n||2下求Qf’的最小化||Qf’||2而得到f的最佳估計f’。七、維納濾波恢復基本原理74用拉格朗日法求解設Rf和Rn為f和n的相關矩陣，根據前述分析結果：若QTQ用Rf－1Rn來代替，有：拉格朗日系數用拉格朗日法求解設Rf和Rn為f和n的相關矩陣，根據前述分析75當D為對角陣，分塊循環(huán)矩陣為因此：寫成標量形式為：統(tǒng)計量的得到是非常困難的一件事。其中Sf(u,v),Sn(u,v)分別是f(x,y)和n(x,y)的功率譜。當D為對角陣，分塊循環(huán)矩陣為因此：統(tǒng)計量的得到是非常困難的一76在實際應用中，當噪聲情況未知時八、最小平方(最大平滑)恢復與維納濾波恢復的不同在于QTQ的選擇。維納濾波中QTQ用Rf－1Rn，根據前面的推導，其依據的準則為均方誤差最小。而最小平方恢復依據的準則為換言之：在約束條件||g-Hf’||2=||n||2條件下，恢復出來的圖像的梯度最小(或稱最大平滑)。根據此條件選擇Q。在實際應用中，當噪聲情況未知時八、最小平方(最大平滑)恢復換77由圖像增強一章可知，對圖像求梯度可用如下操作如果f(x,y)尺寸是A×B，則圖像與p(x,y)相卷的結果后的圖像為M×N，M≥A+3-1，N≥B+3-1。構造p(x,y)、f(x,y)的擴展周期圖像pe(x,y)與fe(x,y)做卷積。*************************0-10-14-10-10由圖像增強一章可知，對圖像求梯度可用如下操作如果f(x,y)78如果圖像的g、f采用堆疊矢量的方法構成，有g=CfMN×1MN×MNMN×1=對C進行對角化，有E=W-1CW在約束條件||g-Hf’||2=||n||2條件下，恢復出來的圖像的梯度最小(或稱最大平滑)。根據此條件選擇Q。如果圖像的g、f采用堆疊矢量的方法構成，有g=CfMN×179令Q＝C根據有：左乘W-1，有根據對角化的討論，有與維納濾波不同此值為已知，不是統(tǒng)計量。剩下的問題是對s的估測。構造殘差矢量r=g-Hf’，調節(jié)s使其滿足||r||2=||n||2±a(a是一個準確度系數)。賦給s某個初始值；計算f’和||r||2。如果滿足||r||2=||n||2±a，停止計算；如果||r||2<||n||2-a，增加s，繼續(xù)計算；如果||r||2>||n||2+a，減少s，繼續(xù)計算。點對點計算令Q＝C根據80九、幾何失真校正在不同條件下拍攝的圖像，一個物體的圖像常會發(fā)生幾何失真，出現(xiàn)歪斜變形的現(xiàn)象。從太空中宇航器拍攝的地球上的等距平行線，其圖像會變?yōu)橥嵝被虿坏染啵挥霉鈱W和電子掃描儀攝取的圖像常會有桶形失真和枕形失真；用普通的光學攝影與測試雷達拍攝的同一地區(qū)的景物二者在幾何形狀上有較大的差異。以一幅圖像為基準，去校正另一種方式攝入的圖像，以期校正其幾何失真，就叫做圖像的幾何失真復原或者幾何失真校正。九、幾何失真校正在不同條件下拍攝的圖像，一個物體的圖像常會發(fā)811、空間變換幾何基準圖像的坐標系統(tǒng)用f(x,y)來表示需要校正的圖像的坐標系統(tǒng)用g(x’,y’)表示設兩個圖像坐標系統(tǒng)之間的關系用解析式表示x’=s(x,y)y’=t(x,y)通常s(x,y)和t(x,y)用多項式來表示：1、空間變換幾何基準圖像的坐標系統(tǒng)用f(x,y)來表示82

通常用線性失真來近似較小的幾何失真x’=a0+a1x+a2yy’=b0+b1x+b2y更精確一些可以用二次型來近似x’=a0+a1x+a2y+a3x2+a4xy+a5y2y’=b0+b1x+b2y+b3x2+b4xy+b5y2若基準圖像為f(x,y)，失真圖像為g(x’,y’)，對于景物上的同一個點，假定其灰度不變，則f(x,y)=g(x’,y’)，可利用已知點的對應點的坐標構造方程組求取ai、bj。幾何失真復原的一套方法也可以用于使圖像失真的工作中：在廣告制作和計算機動畫中常常要使物體變形。假設的變形關系通常用線性失真來近似較小的幾何失真假設的變形關系832、灰度插值有時會遇到知道兩點灰度值，要計算兩點之間點的灰度值問題，如加大圖像尺寸等。兩點之間點的灰度值問題——灰度差值問題。雙線性差值法g(E)=(xE-xA)[g(B)-g(A)]+g(A)g(F)=(xF-xC)[g(D)-g(C)]+g(C)g(H)=(yH-yA)[g(C)-g(A)]+g(A)g(I)=(yI-yB)[g(D)-g(B)]+g(B)x3×37×7ABCDEFyIH02、灰度插值有時會遇到知道兩點灰度值，要計算兩點之間點的灰度84十、圖像質量的優(yōu)劣的客觀指標圖像質量的優(yōu)劣既可以通過人眼主觀視覺效果來判斷，也可以通過客觀指標來衡量。1、均方誤差(MSE)：2、峰值信噪比(PSNR)：其中M、N分別是x方向、y方向圖像像素點的個數，f(i,j)和f’(i,j)分別是原始圖像和測試圖像在(i,j)點上的取值，L是圖像中灰度取值的范圍，對8比特的灰度圖像而言，L=255。十、圖像質量的優(yōu)劣的客觀指標圖像質量的優(yōu)劣既可以通過人眼主觀853、模糊信噪比(BSNR,theBlurredSignal-to-NoiseRatio)

表示由模糊和疊加噪聲引起的降質程度。3、模糊信噪比(BSNR,theBlurredSig86

ISNR只是評價圖像恢復算法好壞的一個客觀指標，ISNR高并不一定主觀視覺效果好。4、信噪比的改善度量ISNR(theImprovementinSNR)ISNR只是評價圖像恢復算法好壞的一個客觀指標，ISNR87十一、圖象的重構——從投影數據重構圖象在我們觀察的圖象中，有一部分是通過數據人為構造的圖象，如：CT圖象、地址斷面圖象、安全檢查設備輸出的圖象等。其中一類是由投影信息重構的圖象——本節(jié)的重點。1917年，奧地利數學家J.Radon證明了二維或三維物體可以從許多投影來重構其內部的數據。1963年，美國科學家A.M.Cormack首先將這一理論用于醫(yī)學圖象重構；1972年，英國科學家G.N.Homsfield設計出第一臺X射線掃描儀ComputerTomgraph——CT。二人于1979年雙雙獲諾貝爾醫(yī)學獎。十一、圖象的重構——從投影數據重構圖象在我們觀察的圖象中，有881、投影數據平行光按傳輸方向投射到一個物體后，在垂直于平行光傳輸方向的平面上生成影象稱為投影；用某種傳感器取得的投影影象的數據稱為投影數據。不同物質組合體的視圖自然光投影視圖X射線投影視圖片狀X射線投影視圖最后一幅圖象的數據就是重構斷面圖象的投影數據。顯然，僅憑這組數據不能得到斷面圖象(里面物體的方園無法判斷)，我們需要更多的數據。1、投影數據平行光按傳輸方向投射到一個物體后，在垂直于平行光892、物質對X射線的吸收研究表明：當強度為I0的X射線通過吸收率為μ(x)的物體時，有下面的關系：μ(x)xabI0III00計算機采樣示意圖基準檢測器檢測器物體+I0lnI0lnI+-A/D2、物質