《數(shù)字圖像處理及工程應用》課件第8章

2024/8/21第1頁第8章圖像恢復8.1概述圖像在形成、記錄、處理和傳輸過程中，由于成像系統(tǒng)、記錄設備、傳輸介質和處理方法的不完善，從而導致圖像質量下降，這一過程稱為圖像退化。圖像恢復(imagerestoration)的任務是使退化了的圖像，消除或降低退化因素，以保真度為準則，盡可能地恢復原來的圖像。圖像增強和圖像恢復都是為了改善圖像質量。前者是以犧牲不感興趣信息的質量為代價來提高感興趣信息的質量(如灰度范圍)，后者是以保真度為前提來改善圖像質量。2024/8/21第2頁第8章圖像恢復造成圖像質量退化的因素包括光學系統(tǒng)的像差和畸變、光學成像衍射、成像系統(tǒng)的非線性、成像過程的相對運動、大氣的湍流的擾動效應、系統(tǒng)噪聲等。圖像的退化也可以理解為在空間頻率譜上的畸變，因此圖像恢復過程將包含對退化圖像譜的調制，這可以通過空間濾波器或使用圖像生成過程中的點擴展函數(shù)(PSF)對圖像進行卷積來實現(xiàn)。圖像恢復技術已經(jīng)被認為是消除成像過程中各種影響的有效方法，在許多研究領域都有廣泛的應用。數(shù)字圖像恢復內容一般包括圖像退化模型、空域恢復、頻域恢復和其他恢復四個方面：(1)圖像退化模型：物理模型和數(shù)學模型；(2)空間域恢復方法:包括空間域無約束最小二乘法，有約束最小二乘法(能量約束，平滑約束，均方誤差約束等)；2024/8/21第3頁第8章圖像恢復(3)頻域恢復方法:逆濾波，無約束最小二乘、有約束最小二乘的頻域方法，功率譜均衡恢復，幾何平均等；(4)其他圖像恢復方法：包括卡爾曼濾波，非線性統(tǒng)計估計，最大熵恢復，幾何畸變消除等。8.2圖像退化模型1圖像退化的物理過程圖像退化的物理過程或物理描述，大致可以表示為如下4種：(1)圖像像素的非線性退化。如拍攝照片時，由于曝光量和感光度的非線性關系，曝光嚴重不足或過曝光出現(xiàn)飽和，都會引起顯影的顯著模糊；(2)空間模糊退化。主要是光經(jīng)有限孔徑從而發(fā)生衍射現(xiàn)象引起的，會出現(xiàn)空間區(qū)域的擴展，造成模糊；2024/8/21第4頁第8章圖像恢復(3)運動引起的模糊退化。成像是對物理現(xiàn)象的時間累積效應的記錄，如不同速度拍攝照片。在成像過程中，無論是對象還是成像設備的運動都會造成成像的圖像模糊。這里的運動包括平移與旋轉；(4)隨機噪聲引起的圖像退化。目標圖像中混入噪聲，模擬圖像經(jīng)數(shù)字化會引入噪聲就屬于這種情況。一般來說存在著兩種退化現(xiàn)象:一類是確定性的，另一類是隨機性的。上述4種中，前3種屬于確定性的退化，第4種屬于隨機的。上述4種中，第1種屬于非線性移不變的，因果關系不滿足卷積性質。后3種都屬于線性移不變的，因果關系滿足卷積性質。為了有效地設計數(shù)字圖像恢復系統(tǒng)，必須先將圖像退化效應模型化，即建立圖像退化的數(shù)學模型，然后執(zhí)行模型的逆過程，以獲得恢復的圖像。應該強調，精確的圖像退化模型常常是有效圖像恢復的關鍵。2024/8/21第5頁第8章圖像恢復2連續(xù)的線性系統(tǒng)退化模型設原圖像f(m,n)經(jīng)過一個退化算子或退化系統(tǒng)h(m,n)的作用，并且和噪聲n(m,n)進行疊加，形成退化圖像g(m,n)。圖8.1表示退化/恢復過程的輸入和輸出的關系。圖中H概括了退化系統(tǒng)的物理過程，即所要找的退化數(shù)學模型；P即圖像恢復函數(shù)。圖像退化過程可以表達為：

(8.1)圖8.1圖像退化和恢復過程模型2024/8/21第6頁第8章圖像恢復

(8.2)

(8.3)如果系統(tǒng)是線性的，即H為一線性算子，線性算子和積分是可交換的，則有2024/8/21第7頁第8章圖像恢復

(8.4)即有

(8.5)

(8.6)則有(8.7)

(8.8)式8.8反映的是卷積關系，可寫成式(8.9)2024/8/21第8頁第8章圖像恢復(8.9)考慮噪聲的影響，退化圖像g(m,n)則可表示為(8.10)如果是線性移不變的，則可以表示為(8.11)

(8.12)

(8.13)如果將g(m,n),f(m,n),n(m,n)看作是隨機場的一個實現(xiàn)，設其傅里葉變換分別為G(u,v)，F(xiàn)(u,v)，N(u,v)，再設h(m,n)的傳遞函數(shù)(就是它的傅里葉變換)為H(u,v)，則退化模型在頻域可以表示為2024/8/21第9頁第8章圖像恢復

(8.14)

(8.15)3離散的線性系統(tǒng)退化模型

2024/8/21第10頁第8章圖像恢復(8.16)也可以表示成矩陣形式，(8.17)

(8.18)(8.19)2024/8/21第11頁第8章圖像恢復(8.20)(8.21)式中，M≥E=A+C-1，N≥F=B+D-1。陣列補零增廣的目的是使式(8.16)的線性離散卷積可以用循環(huán)離散卷積等價。于是得到離散的線性系統(tǒng)退化模型

(8.22)若將矩陣按行串接寫成矢量形式2024/8/21第12頁第8章圖像恢復則式(8.16)可表示為(8.23)若系統(tǒng)是線性移不變的，則式(8.23)中的變換矩陣H是具有如下特殊結構的分塊循環(huán)矩陣：2024/8/21第13頁第8章圖像恢復(8.24)而

(8.25)2024/8/21第14頁4循環(huán)矩陣對角化第8章圖像恢復

直接對式(8.23)進行計算以求解g的計算量會很大，例如M=N=512，則H的尺寸為262144×262144。這個問題可以通過對角化H來簡化。(1)循環(huán)矩陣的對角化

2024/8/21第15頁第8章圖像恢復

(8.26)

(8.27)將H的M個特征矢量組成一個的M×M矩陣W:

(8.28)

(8.29)

2024/8/21第16頁第8章圖像恢復(2)塊循環(huán)矩陣的對角化

(8.30)

(8.31)借助以上對循環(huán)矩陣的討論結果可以類似得到

(8.32)

(8.33)2024/8/21第17頁第8章圖像恢復(3)退化模型對角化的效果

(8.34)

(8.35)

(8.36)2024/8/21第18頁第8章圖像恢復

(8.37)

(8.38)

D的MN個對角元素可用下式表示：

(8.39)

(8.40)

2024/8/21第19頁第8章圖像恢復式(8.40)表明，為了求解式(8.23)所表示的退化模型的大系統(tǒng)方程，我們只需要計算很少幾個M×N的傅里葉變換就可以了。對角化過程還表明，如果系統(tǒng)是線性移不變的，在空間域建立的退化模型可通過分塊循環(huán)矩陣對角化技術導出頻域中的恢復濾波器。5非線性退化模型在圖像恢復中，實際上經(jīng)常碰到的是非線性系統(tǒng)。如考慮某些X射線圖像，大氣溫度輪廓圖以及圖像的三維重建系統(tǒng)中都存在散射現(xiàn)象，而且圖像能量的有效點源與目標的強度大小有關，屬于非線性系統(tǒng)。因此，點擴展函數(shù)可以表示為

(8.41)由于X射線點光源分布在整個輸入平面上，退化圖像是各個獨立點源成像的疊加，即2024/8/21第20頁第8章圖像恢復

(8.42)

(8.43)

這就是一個典型的非線性圖像退化模型。8.3退化函數(shù)的估計

2024/8/21第21頁第8章圖像恢復1圖像觀察估計法假設給定一幅退化圖像，而沒有退化函數(shù)H的知識，那么估計該函數(shù)的方法之一就是收集圖像自身的信息。例如，如果圖像是模糊的，可以觀察包含簡單結構的一小部分圖像，比如某一目標及其背景的一部分。為了減少觀察時的噪聲影響，可以尋找強信號內容區(qū)。同時，也可以使用目標和背景的樣品灰度級，構造一個不模糊的圖像，該圖像是原始圖像在該區(qū)域的估計圖像，它和看到的子圖像有相同的大小和特性。例如，若有把握斷定原始景物某部位有一個清晰的點，于是那個點在退化圖像的模糊圖像就是h(m,n)。若原景物含有明顯的直線，從這些線條的退化圖像得出h(m,n)。若圖像中有明顯的界限，則界線的退化圖像的導數(shù)即為平行于該界線的線源的退化圖像。2024/8/21第22頁第8章圖像恢復

(8.44)

從這一函數(shù)特性，并假設是空間不變的，就可以推出完全函數(shù)。例如，假設的徑向曲線呈現(xiàn)出巴特沃思低通濾波器的形狀，我們就可以利用這一信息在更大比例上構建一個具有相同形狀的函數(shù).2024/8/21第23頁第8章圖像恢復2試驗估計法如果可以使用與獲得退化圖像的設備相似的裝置，從理論上講能夠得到一個準確的退化估計，與退化圖像類似的圖像可以通過各種系統(tǒng)裝置得到。退化這些圖像使其盡可能接近希望恢復的圖像。利用相同的系統(tǒng)裝置，成像一個脈沖(即小亮點)就可以得到退化的沖激響應。此處小亮點用來模擬一個沖激，并使它盡可能亮以減少噪聲的干擾。根據(jù)線性系統(tǒng)理論，線性的、空間不變的系統(tǒng)可完全由其沖激應來描述。由于沖激的傅里葉變換是一個常數(shù)A，因此有

(8.45)這里，函數(shù)G(u,v)與前面一樣，是觀察圖像g(u,v)的傅里葉變換。A是一個常量，表示沖激強度。2024/8/21第24頁第8章圖像恢復3模型估計法退化模型可解決圖像恢復問題，因此多年來一直在應用。在某些情況下，模型要把引起退化的環(huán)境因素考慮在內。例如退化模型(8.46)

2024/8/21第25頁第8章圖像恢復(8.47)其傅里葉變換為(8.48)改變積分順序，有

(8.49)再利用傅里葉變換的位移性，有

(8.50)令

(8.51)2024/8/21第26頁第8章圖像恢復則式(8.50)可寫成熟悉的形式：

(8.52)

假設當前圖像只在x方向做勻速直線運動，即

(8.53)由式(8.53)可見，當t=T時，H在水平方向的移動距離為a。將式(8.53)代入式(8.51)，得(8.54)2024/8/21第27頁第8章圖像恢復

(8.55)8.4空間域恢復方法

2024/8/21第28頁第8章圖像恢復1無約束恢復空間域無約束代數(shù)恢復方法，采用了無約束條件的最小二乘恢復。根據(jù)式(8.17)和式(8.23)，有

(8.56)

(8.57)根據(jù)定義

(8.58)

(8.59)2024/8/21第29頁第8章圖像恢復

(8.60)

(8.61)可解得(8.62)2024/8/21第30頁第8章圖像恢復

(8.63)

2約束最小二乘恢復考慮式(8.23)的恢復模型，影響圖像恢復的因素主要包括噪聲干擾n，成像系統(tǒng)的傳遞算子為噪聲是隨機的，恢復的圖像一般不具有唯一性。因此需要在某種約束條件下進行恢復才具有現(xiàn)實意義。約束最小二乘圖像恢復除了要求了解關于退化模型的傳遞函數(shù)的情況外，還需知道(至少在理論上)噪聲的統(tǒng)計特性(如均值、方差、譜密度等)。不同的約朿恢復技術需要不同的噪聲的先驗知識。2024/8/21第31頁第8章圖像恢復先導出有約束恢復的一般表達式，然后根據(jù)不同的約束得到不同的約束恢復方法。設對原圖像施加線性運算Q，求在約束條件

(8.64)

利用拉格郎日乘數(shù)法，先構造一輔助函數(shù)(8.65)令(8.66)2024/8/21第32頁第8章圖像恢復解得(8.67)

式(8.67)是本節(jié)討論的最小二乘濾波恢復的基礎，問題的核心是如何根據(jù)原始圖像的先驗知識選擇一個合適的變換矩陣Q。選擇不同形式的Q，可得到不同類型的最小二乘濾波恢復方法。如選用Q為單位陣可得到能量約束恢復；選用圖像f和噪2024/8/21第33頁第8章圖像恢復

【例8.1】對圖像加入高斯噪聲和模糊化后，用正則濾波恢復圖像?！窘狻繉崿F(xiàn)上述要求的MATLAB程序如下。clcclearf=checkerboard(8);figuresubplot(221)，imshow(f)，title('原圖')

2024/8/21第34頁第8章圖像恢復PSF=fspecial('motion'，7,45)gb=imfilter(f,PSF,'circular');subplot(222),imshow(gb),title('模糊后的圖像')noise=imnoise(zeros(size(f)),'gaussian',0,0.001);subplot(223),imshow(noise,[]),title('生成的高斯噪聲')g=gb+noise;subplot(224),imshow(g,[]),title('模糊加高斯噪聲后的圖像')fr1=deconvreg(g,PSF,4);figuresubplot(121),imshow(fr1,[]),title('fr1=deconvreg(g,PSF,4)正則濾波后的結果)fr2=deconvreg(g,PSF,0.4,[1e-71e7]);subplot(122),imshow(fr2,[]),title(fr2=deconvreg(g,PSF,0.4,[1e-71e7])正則濾波后的結果')仿真結果如圖8.2所示。2024/8/21第35頁第8章圖像恢復圖8.2約束最小二乘(正則)濾波結果2024/8/21第36頁第8章圖像恢復3能量約束恢復當取G為線性運算

(8.68)則有

(8.69)

2024/8/21第37頁第8章圖像恢復4平滑約束恢復

(8.70)

(8.71)

2024/8/21第38頁第8章圖像恢復

(8.72)

2024/8/21第39頁第8章圖像恢復(8.73)其約束最小二乘恢復的最佳準則是使

(8.74)式(8.73)可直接在計算機中完成，但也可用f(m,n)與下面算子p(m,n)進行卷積得到相同的運算。

(8.75)2024/8/21第40頁第8章圖像恢復

(8.76)根據(jù)類似于上節(jié)的方法，我們可以把上面的平滑準則表不為平滑矩陣形式。首先，建立一個分塊循環(huán)矩陣

(8.77)2024/8/21第41頁第8章圖像恢復

(8.78)此分塊循環(huán)矩陣C稱為平滑矩陣，可用于對角化，即(8.79)

2024/8/21第42頁第8章圖像恢復如令Q=C，得

(8.80)

(8.81)

2024/8/21第43頁第8章圖像恢復5均方誤差最小約束(維納濾波)維納濾波（wienerfiltering)一種基于最小均方誤差準則、對平穩(wěn)過程的最優(yōu)估計器。這種濾波器的輸出與期望輸出之間的均方誤差為最小，因此，它是一個最佳濾波系統(tǒng)。它可用于提取被平穩(wěn)噪聲所污染的信號。從連續(xù)的（或離散的）輸入數(shù)據(jù)中濾除噪聲和干擾以提取有用信息的過程稱為濾波，這是信號處理中經(jīng)常采用的主要方法之一，具有十分重要的應用價值，而相應的裝置稱為濾波器。根據(jù)濾波器的輸出是否為輸入的線性函數(shù)，可將它分為線性濾波器和非線性濾波器兩種。維納濾波器是一種線性濾波器。維納濾波器的優(yōu)點是適應面較廣，無論平穩(wěn)隨機過程是連續(xù)的還是離散的，是標量的還是向量的，都可應用。對某些問題，還可求出濾波器傳遞函數(shù)的顯式解，并進而采用由簡單的2024/8/21第44頁第8章圖像恢復物理元件組成的網(wǎng)絡構成維納濾波器。維納濾波器的缺點是，要求得到半無限時間區(qū)間內的全部觀察數(shù)據(jù)的條件很難滿足，同時它也不能用于噪聲為非平穩(wěn)的隨機過程的情況，對于向量情況應用也不方便。因此，維納濾波在實際問題中應用不多。

(8.82)

(8.83)

2024/8/21第45頁第8章圖像恢復(8.84)

(8.85)

(8.86)

(8.87)2024/8/21第46頁第8章圖像恢復

如果選擇線性算子Q滿足如下關系：

(8.89)將此式代入式(8.67)，得

(8.90)2024/8/21第47頁第8章圖像恢復【例8.2】采用維納濾波恢復噪聲污染圖像。【解】實現(xiàn)上述要求的MATLAB程序如下。clcclearf=checkerboard(8);figureimshow(f),title('原圖')PSF=fspecial('motion',7,45)gb=imfilter(f,PSF,'circular');figuresubplot(221),imshow(gb)noise=imnoise(zeros(size(f)),'gaussian',0,0.001);subplot(222),imshow(noise,[])2024/8/21第48頁第8章圖像恢復g=gb+noise;figuresubplot(221),imshow(g,[]),title('模糊加噪聲的圖像')fr1=deconvwnr(g,PSF);subplot(222),imshow(fr1,[]),title('簡單維納濾波后的圖像')Sn=abs(fft2(noise)).^2;nA=sum(Sn(:))/prod(size(noise));Sf=abs(fft2(f)).^2;fA=sum(Sf(:))/prod(size(f));R=nA/fA;fr2=deconvwnr(g,PSF,R);subplot(223),imshow(fr2,[]),title('使用常數(shù)比率的維納濾波后的圖像')；2024/8/21第49頁第8章圖像恢復NCORR=fftshift(real(ifft(Sn)));ICORR=fftshift(real(ifft(Sf)));fr3=deconvwnr(g,PSF,NCORR,ICORR);subplot(224),imshow(fr3,[]),title('使用自相關函數(shù)的維納濾波后的圖像')；仿真結果如圖8.3圖8.3wiener濾波恢復圖像的結果2024/8/21第50頁第8章圖像恢復8.5頻域恢復方法1逆濾波法

(8.91)在噪聲未知和不可分離的情況下，可以近似取為

(8.92)

2024/8/21第51頁但是由于通常退化系統(tǒng)的頻率響應函數(shù)隨著u,v的增大迅速衰減，換言之，當u,v較大時H(u,v)通常很小，而N(u,v)卻接近一個常數(shù)，這樣，由于忽略了N(u,v)而造成的估計誤差

(8.93)在u,v較大時也很大，造成恢復圖像質量很差。為此，在使用逆濾波方法恢復圖像時，一般先要對圖像進行平滑，以減少噪聲，同時，實際恢復時，我們盡量取頻率平面原點附近一個較小的區(qū)域進行處理。

(8.94)第8章圖像恢復2024/8/21第52頁第8章圖像恢復

如果在考慮噪聲時，有

(8.95)

從此式可看出，如果H(u,v)=0為零或變得非常小時，則N(u,v)/H(u,v)=0項對恢復的結果起主導作用。因此,在考慮噪聲存在時，H(u,v)=0的零點影響更為嚴重。另外，在許多實際問題中，H(u,v)=0離開原點衰減得很快，而噪聲項一般多在高頻范圍，其衰減速度較慢。因此，為了避免H(u,v)=0的值太小,2024/8/21第53頁第8章圖像恢復恢復只好局限于離原點不太遠的有限區(qū)域內進行。而且所能做的最多是僅僅恢復uv平面上信噪比髙的那些頻率，這是使用逆濾波恢復圖像時應注意之處?！纠?.3】逆濾波方法在圖像恢復中的應用?！窘狻扛鶕?jù)前面的討論，圖像退化的模型為圖像恢復的過程可認為是已知g(m,n),h(m,n)，f(m,n)的一些先驗知識，求出f(m,n)。如前所述，對于不同的退化函數(shù)和噪聲性質，可推導不同的圖像恢復方法。圖像的點擴展函數(shù)h為2024/8/21第54頁第8章圖像恢復也就是說用一個7×7的模板對原始圖像進行平滑模糊操作。首先使用退化函數(shù)h對圖像進行模糊操作，生成一幅退化的圖像，退化系統(tǒng)為2024/8/21第55頁第8章圖像恢復上式的計算過程是，先求出圖像和退化函數(shù)的傅里葉變換，在頻域相乘后，再按下式求逆傅里葉變換：仿真程序如下：a=imread('cameraman.tif');PSF=fspecial('motion',7,45)gb=imfilter(a,PSF,'circular');figure,imshow(gb);g=gb;fr1=deconvreg(g,PSF);figure,imshow(fr1,[]);2024/8/21第56頁第8章圖像恢復仿真結果如圖8.4所示。圖8.4(a)是原始圖像，(b)是平滑模糊的圖像，(c)是采用逆濾波方法恢復的圖像。(a)原始圖像(b)退化圖像(c)恢復圖像圖8.4逆濾波法恢復圖像2最小二乘濾波法(1)能量約束最小二乘濾波2024/8/21第57頁第8章圖像恢復

(8.96)

(2)平滑約束最小二乘濾波類似地，我們可以直接由空間域平滑約束最小二乘恢復公式(8.80)，得到它的頻域解(8.97)2024/8/21第58頁第8章圖像恢復3其它濾波方法(1)頻率域維納濾波同樣方法，可以由式(8.90)求得頻率域維納濾波公式如下

(8.98)

(2)功率譜均衡恢復