數字圖像圖像復原

圖像復原◆5.0概述◆5.1退化模型◆5.2常見退化模型及辨識方法◆5.3圖像的無約束恢復◆5.4圖像的有約束最小二乘恢復◆5.5幾何畸變圖像的恢復5.6超分辨率圖像復原第5章圖象恢復降質舉例：宇航、衛(wèi)星、航空測繪、遙感、天文學中所得照片，由于大氣湍流，光學系統(tǒng)的相差及攝像機與物體之間的相對運動等，會使圖像降質。

退化圖像：由于各種原因，使得原清晰圖像變模糊，或者原圖像沒有達到應有的質量而形成的降質圖像。5.0概述

圖像恢復（復原）：使退化圖像恢復本來面目。

圖像恢復過程及其關鍵：根據圖像降質過程的某些先驗知識，建立“退化（降質）模型”，運用和退化相反的過程，將退化圖像恢復。

圖像恢復準則：要用某一客觀標準來度量，則為某種準則下的最優(yōu)估計。5.0概述圖像質量的客觀評價差值測度第5頁

相關測度所以有第6頁

數字圖像的逼真度均方誤差能量歸一化均方誤差第7頁

倒數為均方信噪比峰值歸一化均方差峰值信噪比第8頁

?圖像恢復與圖像增強的異同點相同點：圖像增強與圖像恢復都是改善給定圖像的質量。不同點：（1）圖像恢復是利用退化過程的先驗知識，來建立圖像的退化模型，再采用與退化相反的過程來恢復圖像，而圖像增強一般無需對圖像降質過程建立模型。（2）圖像恢復是針對圖像整體，以改善圖像的整體質量。而圖像增強是針對圖像的局部，以改善圖像的局部特性，如圖像的平滑和銳化。5.0概述?圖像恢復與圖像增強的異同點（3）圖像恢復主要是利用圖像退化過程來恢復圖像的本來面目，它是一個客觀過程，最終的結果必須要有一個客觀的評價準則。而圖像增強主要是用各種技術來改善圖像的視覺效果，以適應人的心理、生理需要，而不考慮處理后圖像是否與原圖像相符，也就很少涉及統(tǒng)一的客觀評價準則。5.0概述基本思路高質量圖像退化了的圖像復原的圖像圖像退化圖像復原因果關系研究退化模型第12頁第13頁以后討論中對降質模型H作以下假設：H是線性的H是空間（或移位）不變的對任一個f(x,y)和任一個常數α

和β都有：

Hf(x-α,y-β)=g(x-α,y-β)

就是說圖像上任一點的運算結果只取決于該點的輸入值，而與坐標位置無關。5.1圖像退化模型5.1圖像退化模型其中*表示卷積運算。如果H(·)是一個可分離系統(tǒng)，即則二維運算可以分解為列和行兩次一維運算來代替5.1圖像退化模型5.1圖像退化模型在加性噪聲情況下，圖像退化模型可以表示為

其中n(x,y)為噪聲圖像5.1圖像退化模型線性位移不變的圖像退化模型則表示為：5.1圖像退化模型重要結論一個線性系統(tǒng)完全可以由它的點擴散函數h(x,α,y,β)來表征。若系統(tǒng)的PSF已知，則系統(tǒng)在（x，y）點的輸出響應可看成是不同坐標處輸入函數所產生的脈沖響應在（x，y）處的疊加。而在實際降質過程中，降質的另一個復雜因素是隨機噪聲，考慮有噪聲的圖像恢復，必需知道噪聲統(tǒng)計特性以及噪聲和圖像信號的相關情況，這是非常復雜的

Hf(x,y)n(x,y)實際中假設是白噪聲——頻譜密度為常數，且與圖像不相關，（一般只要噪聲帶寬比圖像帶寬大得多時，此假設成立的），由此得出圖像退化模型。

5.1圖像退化模型離散退化模型

對圖像及其點擴散函數進行均勻采樣就可以得到離散退化模型，由于退化過程是卷積過程，線性卷積后點數變多5.1退化模型w(1)=u(1)*v(1)w(2)=u(1)*v(2)+u(2)*v(1)w(3)=u(1)*v(3)+u(2)*v(2)+u(3)*v(1)...w(n)=u(1)*v(n)+u(2)*v(n-1)+...+u(n)*v(1)...w(2*n-1)=u(n)*v(n)離散退化模型為了方便計算，需要將各函數進行延拓，具體如下所示：5.1退化模型所以線性時不變系統(tǒng)的離散退化模型為：該退化模型也稱為變形退化模型，見圖5.1.3所示，其中表示循環(huán)卷積。5.1退化模型圖5.1.3

離散退化模型還可以用矩陣描述其中，f、g和表示MN×1維的列向量，分別是由M×N維的矩陣、和的各行堆積而成，如下所示：5.1退化模型H為MN*MN的矩陣，對于線性移不變系統(tǒng)具有如下特殊結構：可以看出H是一個分塊循環(huán)矩陣，而其中Hi也是右移循環(huán)陣。這是由于在卷積時利用了矩陣的周期延拓性。

5.1退化模型第26頁例：設，若忽略噪聲，求退化模型。解：周期延拓M＝4，N＝5

第27頁其中：

H2=H3=0循環(huán)矩陣H的對角化可以證明：任何一個循環(huán)矩陣或者分塊循環(huán)矩陣，總存在非奇異矩陣使其對角化，且這個由循環(huán)矩陣的特征矢量構成的非奇異矩陣和循環(huán)矩陣的陣元無關。

5.1退化模型循環(huán)矩陣H的對角化

根據Hunt的結果，可以對H進行對角化，即W是一個大小為MN×MN維的矩陣，由M×M個大小為N×N的子塊構成：

5.1退化模型從而D是一個對角矩陣由以上各式并結合：5.1退化模型式中表示對取整，kmodN表示對N除k取余數。

若，和分別是，和的二維傅立葉變換，則有（5.1.27）

這樣整個的求解過程就得到了簡化。如果系統(tǒng)是線性移不變的，在空間域中建立的退化模型可通過分塊循環(huán)矩陣對角化導出頻域中的恢復濾波器，將龐大的空域運算轉化為相對較少的頻域運算。上式對應于我們即將討論的頻域退化模型。5.1退化模型頻域退化模型

相對于空域退化模型，在頻域可利用DFT的快速算法FFT計算，以加速求解。5.1退化模型圖5.1.4

退化函數h(m,n)的先驗知識：

(1)h(m,n)是確定性并且非負的。

(2)h(m,n)具有有限支持域。

(3)退化過程并不損失圖像的能量,即。

5.2常見退化函數及其辨識方法幾種常見的退化模型

1.線性運動退化函數線性運動退化是由于目標與成像系統(tǒng)間的相對勻速直線運動形成的退化。水平方向的線性運動可以用以下退化函數來表示

其中d表示退化函數的長度。對于線性移動為其它方向的情況，也可以用類似的方法進行定義。

5.2常見退化函數及其辨識方法2.散焦退化函數幾何光學的分析表明，光學系統(tǒng)散焦造成的圖像退化對應的點擴散函數應該是一個均勻分布的圓形光斑，如圖5.2.1（f）所能看到的。該退化函數可以表示為其中R是散焦斑的半徑。在信噪比較高的情況下，在頻域圖上可以觀察到圓形的軌跡。

5.2常見退化函數及其辨識方法3.高斯退化函數

高斯退化函數是許多光學測量系統(tǒng)和成像系統(tǒng)最常見的退化函數。在這些系統(tǒng)中，由于決定系統(tǒng)點擴散函數的因素較多，其綜合結果往往使最終的點擴散函數趨于高斯型。其表達式為其中K是歸一化常數，是一個正常數，C是的圓形支持域。由高斯退化函數的表達式可以看出，二維的高斯函數能夠分解成兩個一維的高斯函數的乘積，這一性質在圖像恢復中很有意義。

5.2常見退化函數及其辨識方法5.2常見退化模型及其辨識方法（a）

（b）

（c）

（d）

（e）

（f）

圖5.2.1散焦退化示例

（a）、（c）和（e）分別為原圖像、線性運動模糊圖像和散焦模糊圖像；（b）、（d）和（f）分別為相應的頻率幅度圖。退化函數的辨識方法

1.圖像觀察法對于一幅模糊圖像，首先提取包含簡單結構的一小部分圖像，然后根據這部分圖像中目標和背景的灰度級，就可以構建一幅不模糊的圖像，該圖像與觀察到的子圖像具有相同的大小和特性。

假設系統(tǒng)為移不變的，從這一函數特性我們可以推出針對整幅圖像的，它必然與具有相同的形狀。5.2常見退化模型及其辨識方法2.試驗估計法

可以使用與獲取退化圖像的設備相似的設備，那么利用相同的系統(tǒng)設置，就可以由成像一個脈沖（小亮點）得到退化函數的沖激響應。需要注意的是，這個亮點必須盡可能的亮，以達到減少噪聲干擾的目的。這樣由于沖激響應的傅立葉變換是一個常量，有其中與之前一樣，表示觀察圖像的傅立葉變換；A為常量，表示沖激強度。

5.2常見退化模型及其辨識方法第40頁第4章圖像的灰度變換3.數學建模法在圖像退化的多年研究中，對于一些退化環(huán)境已經建立了數學模型。其中有些是利用引起退化的物理環(huán)境來建立退化模型的，例如Hufnagel和Stanley提出的基于大氣湍流物理特性的退化模型：其中k是常數，與湍流性質有關。

5.2常見退化模型及其辨識方法第42頁第43頁

假設理想圖像在被記錄的過程中經歷了平面運動得到了圖像；其在x和y方向的運動分別用時間函數x0(t)和y0(t)表示。為了孤立地討論運動的影響，我們還假設其他可能引起模糊的因素，如快門開、閉時間，膠片沖洗不理想等等均不存在。那么，若曝光時間為T時，由于運動引起的模糊圖像模型便是:上式進行傅立葉變換改變積分順序利用傅立葉變換空間位移的性質F(u,v)與t無關，故令：所以這是已知的退化模型的傅立葉變換式，若x0(t)和y0(t)的特性已知，則傳遞函數H(u,v)可以求出。因此f(x,y)可以恢復出來。

設圖像在x方向勻速運動，。即在快門開啟時間T內移動了a距離，且在T內勻速運動。則

當，H(u,v)=0，無法用逆濾波的方法恢復。若圖像寬度為L，當在區(qū)間0≤x≤L之外，f(x,y)為零或已知時，有可能避免這個問題。并可以對這一區(qū)間模糊圖像g(x,y)的了解，恢復f(x,y)。

下圖中：(a)模糊圖像；(b)是用位移為31個象素，角度為11度的濾波器恢復的結果；

是用位移為62個象素，角度為11度的濾波器恢復的結果;(d)是用位移為31個象素，角度為22度的濾波器恢復的結果圖像的無約束恢復第52頁

在這一節(jié)我們要利用線性代數的方法，根據退化模型，在假定具備關于g、H和n的某些知識的情況下，尋求估計原圖像f的某些方法。這種方法應在預先選定的最佳準則下，具有最優(yōu)的性質。

我們將集中討論在均方誤差最小意義下，原圖像f的最佳估計，因為它是各種可能準則中最簡單易行的（其他準則例如：圖像g和原圖像f的最大絕對誤差max|f-g|最小；平均絕對誤差最?。籪和g互相關為最大等等。由退化模型g=Hf+n，其中f,g為堆疊向量。如果關于n我們一無所知，那么我們尋找f的一個估計值，使在最小二乘意義上近似于g。在無約束條件下，就是n無條件的小。這一問題等效地看為求準則函數：為最?。ㄗⅱ伲喝鬭(x),b(x)為m維列向量，X為n維列向量，那么：

注②：）那么：若H已知，則可根據上式求出。

可以證明，對兩邊分別取傅立葉變換，可以得出：這就是逆濾波法。所以逆濾波法是無約束最小二乘法的頻域解。對取傅立葉反變換，就可求出恢復后的圖像。

（根據圖像退化模型：兩邊取傅立葉變換,有由此可得：在噪聲未知和不可分離的情況下，可近似取

)對，若H(u,v)在uv平面上取零或很小，就會帶來計算上的困難。另一方面，噪聲還會帶來更嚴重的問題。若H(u,v)在uv平面上取零或很小，N(u,v)/H(u,v)就會使恢復結果與原圖像有較大的差距。實際中，H(u,v)隨u，v與原點距離的增加而迅速減小，而噪聲N(u,v)卻一般變化緩慢。在這種情況下，恢復只能在與原點較近（接近頻域中心）的范圍內進行。即H(u,v)具有低通濾波的性質：換句話說，一般情況下，逆濾波器并不正好是1/H(u,v)，而是u和v的某個函數，可記為M(u,v)。M(u,v)常稱為恢復轉移函數。

l第一種常見的方法是取M(u,v)為如下函數：的選取方法是將H(u,v)為零的點除去。這種方法的缺點是恢復結果的振鈴效應較為明顯。

l

第二種一種改進的方法是取M(u,v)為如下函數：其中k和d均為小于1的常數，而且d選的較小為好。

5.3圖像的無約束恢復-反向濾波法（a）

（d）

（c）

（b）

圖5.3.1不同濾波半徑下反向濾波的結果比較（a）直接由反向濾波恢復的圖像；（b）、（c）、（d）分別為半徑30、50、70的二階Butterworth濾波器（代替理想低通濾波器）作用后的結果。

可以看到，逆濾波的結果還是不能令人滿意。3.有約束恢復方法

恢復問題的病態(tài)性與奇異性由退化模型可知，影響圖像恢復的因素包括噪聲干擾n，成像系統(tǒng)的傳遞函數H,后者包含了圖像傳感器中光學和電子學的影響。先拋開噪聲，要恢復原圖像f，需要對矩陣H求逆，即：數學上要求這個逆陣存在并且唯一。如果H－1不存在，但還存在和f十分近似的解，這稱為恢復問題的奇異性。

事實上，由于在模糊圖像上存在非常小的擾動時，在恢復結果的圖像中，都會產生不可忽視的強擾動。用公式表示為：

ε為任意小的擾動，δ>>ε。無論是成像系統(tǒng)還是數字化器，對采集到的圖像產生一些擾動，幾乎是不可避免的。這就是恢復問題的病態(tài)性。至于噪聲，由于其隨機性，造成模糊圖像g有無限的可能情況，也導致了恢復問題的病態(tài)性。

為克服恢復問題的病態(tài)性質，常常需要在恢復過程中對運算施加某種約束，從而在一族可能結果中選擇一種，這就是有約束的恢復?！裼屑s束的最小二乘方復原●能量約束恢復●平滑約束恢復●均方誤差最小濾波（維納濾波）

約束復原方法

處理過程

拉各朗日系數

α=1/λ最小二乘方濾波最小二乘濾波也就是維納濾波，它是使原始圖像f(x,y)及其恢復圖像f^(x,y)之間的均方誤差最小的復原方法具體的數學公式推導過程忽略，直接給出公式Sf(u,v):為

f[x,y]的功率普，Sh(u,v)為n[x,y]的功率普討論一下上式的幾種情況（1）如果s=1，方括號中的項就是維納濾波器（2）如果s是變量，就稱為參數維納濾波器（3）當沒有噪聲時，Sn(u,v)=0，維納濾波器就退化為理想的逆濾波器（4）當Sn(u,v)和Sf(u,v)未知時，用常數K可代替因此必須調節(jié)s以滿足f^=(HTH+sQTQ)–1HTg逆濾波和維納濾波恢復比較110100SNR退化圖像

傅立葉功率普逆濾波恢復維納濾波恢復光譜圖

原始圖像逆濾波恢復模糊和增加噪聲約束的最小二乘濾波結果分析（1）=1時，該濾波器稱為標準維納濾波器，但不能說可以利用上式在約束條件下得到最佳估計；=變量時，稱為變參數維納濾波器。（2）無噪聲時，即，即變?yōu)槟鏋V波器，即因此，反向濾波器可看作是維納濾波器的一種特殊情況。

（3）在有噪聲存在的情況下，相比于反向濾波器來說，維納濾波器中由于存在項，會對噪聲的放大具有自動抑制作用，同時也不會在H(u,v)為0時出現被0除的情形。

5.4圖像的有約束最小二乘恢復（4)在實際應用中，和經常是未知的，但可用一常數k來表示噪聲和信號的功率譜密度比，則：5.4圖像的有約束最小二乘恢復

該式可以使退化圖像得到一定程度的恢復，但不一定是最佳恢復。實際應用中，k可通過已知的信噪比來獲得。

5.4圖像的有約束最小二乘恢復

(b)(c)(d)(e)(f)(g)(h)(i)（a）被高斯噪聲污染的圖像；（b）逆濾波恢復圖像；（c）維納濾波恢復的圖像；（d）~（f）為相應的由噪聲方差比（a）小1個數量級的降質圖像得到的結果；（g）~（i）為相應的噪聲方差小5個數量級的圖像得到的結果。

圖5.4.1維納濾波法和反向濾波法恢復圖像的效果比較

由于反向濾波器的病態(tài)性質，會導致在H(u,v)的零值附近恢復濾波器的數值變化劇烈，使恢復后的圖像產生多余的噪聲和虛假邊緣。而這些噪聲的強弱和虛假邊緣的多少可用圖像的二階導數來表示。通過選擇合理的Q，并對進行優(yōu)化，可將這些噪聲和虛假邊緣降至最小，也就是讓該二階導數降為最小，即使稱為Laplacian算子。

在離散情況下，可用下面的差分運算來實現?約束最小平方濾波法

5.4圖像的有約束最小二乘恢復上述運算可用f(m,n)與下面的模板（掩模矩陣）進行卷積來求解。在離散卷積的過程中，為避免交疊誤差，可將p(m,n)延拓為pe(m,n)再卷積。若f(m,n)的大小為

,則延拓后的M、N應為:5.4圖像的有約束最小二乘恢復可以寫成分塊循環(huán)矩陣：

C中的任一元素Cj是由pe(m,n)的第j行組成的循環(huán)矩陣，即5.4圖像的有約束最小二乘恢復令Q=C,則有約束恢復的結果就變?yōu)?同樣可用W矩陣使C對角化，即:式中P(u,v)是pe(m,n)的傅立葉變換。則恢復結果變?yōu)椋海?.4.23）（5.4.26）5.4圖像的有約束最小二乘恢復上式中的各元素可寫成如下形式（設M=N）：該濾波器就稱為約束最小平方濾波器。（5.4.26）?約束最小平方濾波法與維納濾波法比較

它與維納濾波法相同的是，兩者都屬于約束恢復，頻域的恢復公式類似，但也有本質區(qū)別。用約束最小平方濾波器恢復圖像時，不需要知道圖像和噪聲的自相關矩陣Rf和Rn。。

約束最小平方濾波法的恢復效果如下圖5.4.2所示，將其與維納濾波恢復法的結果相比較，可以看出，帶有平滑約束的恢復法能得到更加符合人眼視覺效果的平滑圖像，并且在噪聲較大的情況下比維納濾波法的效果明顯要好。

5.4圖像的有約束最小二乘恢復（a）、（b）和（c）是分別由圖5.4.1中（a）、（d）和（g）得到的約束最小平方濾波結果，與維納濾波法恢復結果（d,e,f）比較。（a）（d）（f）（c）（e）（b）5.5幾何畸變圖形的恢復（c）

（b）

（a）

幾何失真舉例（d）

圖5.5.1幾何失真舉例（a）原圖像；（b）比例變換（縮小）；（c）旋轉；（d）扭曲。畸變原因由于成像系統(tǒng)本身的非線性，圖像獲取視角的變化，拍攝對象表面彎曲等原因，會使獲得的圖像比例失調、歪斜變形，甚至扭曲。我們把這類圖像失真現象稱為幾何畸變，解決這類失真問題的方法稱為幾何畸變圖像的恢復，或稱為幾何畸變校正。

恢復方法

一般分為兩步：第一步是對畸變圖像進行空間坐標變換，使像素點落在正確的位置上，即恢復圖像的空間關系；第二步是重新確定空間坐標變換后像素的灰度值，即恢復圖像的灰度值。5.5幾何畸變圖形的恢復5.5圖像的幾何校正例：從太空中宇航器拍攝的地球上的等距平行線，圖像會變?yōu)橥嵝被虿坏染?；用光學和電子掃描儀攝取的圖像常會有桶