第六章圖像復(fù)原

數(shù)字圖像處理DigitalImageProcessing河北大學(xué)數(shù)學(xué)與計(jì)算機(jī)學(xué)院馬潁麗第六章圖像復(fù)原6.1圖像退化原因與復(fù)原技術(shù)分類

6.2逆濾波復(fù)原

6.3約束復(fù)原

6.4非線性復(fù)原方法

6.5盲圖像復(fù)原

6.6幾何失真校正MaYingliCMCHBU重點(diǎn)了解圖像處理的任務(wù)、基本的圖像處理系統(tǒng)、微機(jī)圖像處理系統(tǒng)、數(shù)字圖像的表示、MATLAB圖像處理工具箱的初步使用。圖像退化的常見原因圖像退化模型圖像退化與圖像增強(qiáng)的關(guān)系線性代數(shù)復(fù)原非線性復(fù)原幾何失真校正盲圖像復(fù)原MATLAB圖像處理工具箱去模糊函數(shù)知識要點(diǎn)MaYingliCMCHBU教學(xué)建議重點(diǎn)了解數(shù)字圖像復(fù)原的基本任務(wù)、圖像退化的各種原因、圖像復(fù)原的常用方法，能夠用MATLAB圖像處理工具箱解決簡單的圖像退化問題。先修知識包括：線性代數(shù)（循環(huán)矩陣的表示；矩陣的廣義逆等）信號與線性系統(tǒng)數(shù)字信號處理（圓周卷積、離散卷積定理等）隨機(jī)過程（平穩(wěn)隨機(jī)過程等）優(yōu)化理論。注意本章與“圖像增強(qiáng)”一章的聯(lián)系與區(qū)別。MaYingliCMCHBUMaYingliCMCHBU6.1圖像退化原因與復(fù)原技術(shù)分類圖像在形成、傳輸和記錄過程中，由于受到多方面的影響，造成圖像質(zhì)量的退化（degradation）。（1）射線輻射、大氣湍流等造成的照片畸變。（2）A/D過程會損失部分細(xì)節(jié)，造成圖像質(zhì)量下降。（3）鏡頭聚焦不準(zhǔn)產(chǎn)生的散焦模糊。（4）成像系統(tǒng)中始終存在的噪聲干擾。（5）相機(jī)與景物之間的相對運(yùn)動產(chǎn)生的運(yùn)動模糊。（6）底片感光、圖像顯示時會造成記錄顯示失真。（7）成像系統(tǒng)的像差、非線性畸變、有限帶寬。（8）攜帶遙感儀器的飛機(jī)或衛(wèi)星運(yùn)動的不穩(wěn)定，以及地球自轉(zhuǎn)等因素引起的照片幾何失真。目的和任務(wù)目的在研究圖像退化原因的基礎(chǔ)上，以退化圖像為依據(jù)，根據(jù)一定的先驗(yàn)知識，建立一個退化模型，然后用相反的運(yùn)算，以恢復(fù)原始景物圖像。圖像復(fù)原要明確規(guī)定質(zhì)量準(zhǔn)則衡量接近原始景物圖像的程度。圖像復(fù)原模型可以用連續(xù)數(shù)學(xué)或離散數(shù)學(xué)處理。圖像復(fù)原根據(jù)退化的數(shù)學(xué)模型對退化圖像進(jìn)行處理，其實(shí)現(xiàn)可在空間域卷積或在頻域相乘。MaYingliCMCHBU在初級視覺處理中的地位在航空航天、國防公安、生物醫(yī)學(xué)、文物修復(fù)等領(lǐng)域具有廣泛的應(yīng)用。傳統(tǒng)的復(fù)原方法基于平穩(wěn)圖像、線性空間不變的退化系統(tǒng)、圖像和噪聲統(tǒng)計(jì)特性的先驗(yàn)知識已知等條件下討論的現(xiàn)代的復(fù)原方法對非平穩(wěn)圖像（如卡爾曼濾波）、非線性方法（如神經(jīng)網(wǎng)絡(luò)）、信號與噪聲的先驗(yàn)知識未知（如盲圖像復(fù)原）等前提下開展工作。MaYingliCMCHBU6.1.1連續(xù)圖像退化的數(shù)學(xué)模型連續(xù)圖像退化的一般模型如圖6.1所示。輸入圖像f(x,y)經(jīng)過一個退化系統(tǒng)或退化算子H(x,y)后產(chǎn)生的退化圖像g(x,y)可以表示為：

g(x,y)=H[f(x,y)]

（6.1）

如果僅考慮加性噪聲的影響，則退化圖像可表示為：g(x,y)=H[f(x,y)]+n(x,y)

（6.2）MaYingliCMCHBU1、f(x,y)的最佳估計(jì)退化的圖像是由成像系統(tǒng)的退化加上額外的系統(tǒng)噪聲而形成的。若已知H(x,y)和n(x,y)，圖像復(fù)原是在退化圖像的基礎(chǔ)上，作逆運(yùn)算，得到f(x,y)的一個最佳估計(jì)?！白罴压烙?jì)”而非“真實(shí)估計(jì)”。由于存在可能導(dǎo)致圖像復(fù)原的病態(tài)性。MaYingliCMCHBU2、

導(dǎo)致圖像復(fù)原的病態(tài)性的原因（1）最佳估計(jì)問題不一定有解。由于圖像復(fù)原中可能遇到奇異問題；（2）逆問題可能存在多個解。MaYingliCMCHBU3、點(diǎn)擴(kuò)展函數(shù)PSF（Point-spreadFunction）在退化算子H表示線性和空間不變系統(tǒng)的情況下，輸入圖像f(x,y)經(jīng)退化后的輸出為g(x,y)：h(x,y)稱為退化系統(tǒng)的沖激響應(yīng)函數(shù)。在圖像形成的光學(xué)過程中，沖激為一光點(diǎn)。又被稱為退化系統(tǒng)的點(diǎn)擴(kuò)展函數(shù)PSF。MaYingliCMCHBU4、空間域分析與頻率分析退化系統(tǒng)的輸出就是輸入圖像f(x,y)與點(diǎn)擴(kuò)展函數(shù)h(x,y)的卷積，考慮到噪聲的影響，即

在頻域上可以寫成（6.6）G(u,v)、F(u,v)、N(u,v)分別是g(x,y)、f(x,y)、n(x,y)的傅立葉變換

H(u,v)是h(x,y)的傅立葉變換，為系統(tǒng)的傳遞函數(shù)。（6.7）MaYingliCMCHBU6.1.2離散圖像退化的數(shù)學(xué)模型設(shè)f(x,y)大小為A×B，h(x,y)被均勻采樣為C×D大小。為避免交疊誤差，采用添零延拓的方法，將它們擴(kuò)展成M=A+C-1和N=B+D-1個元素的周期函數(shù)。（6.8a）（6.8b）MaYingliCMCHBU則輸出的降質(zhì)數(shù)字圖像為（6.9）二維離散退化模型可以用矩陣形式

g=Hf

（6.10）MaYingliCMCHBU（6.11）（6.12）MaYingliCMCHBU給定了退化圖像g(x,y)、退化系統(tǒng)的點(diǎn)擴(kuò)展函數(shù)h(x,y)和噪聲分布n(x,y)，就可以得到原始圖像f的估計(jì)。實(shí)際計(jì)算的工作量十分龐大。（6.13）g=Hf+n

（6.14）MaYingliCMCHBU通常有兩種解決上述問題的途徑：假設(shè)圖像大小M=N，則H的大小為N4，要解出f(x,y)需要解N2個聯(lián)立方程組。（1）通過對角化簡化分塊循環(huán)矩陣，再利用FFT快速算法可以大大地降低計(jì)算量且能極大地節(jié)省存儲空間。（2）分析退化的具體原因，找出H的具體簡化形式。勻速運(yùn)動造成模糊的PSF就可以用簡單的形式表示，這樣使復(fù)原問題變得簡單。各種代數(shù)復(fù)原方法可能是通過無約束條件而得到原始圖像f的估計(jì)。也可能是約束復(fù)原f。MaYingliCMCHBU6.2逆濾波復(fù)原非約束復(fù)原根據(jù)對退化系統(tǒng)H和噪聲n的了解，已知退化圖像g的情況下，在一定的最小誤差準(zhǔn)則下，得到原始圖像f的估計(jì)。逆濾波是最早使用的一種無約束復(fù)原方法成功地應(yīng)用于航天器傳來的退化圖像。MaYingliCMCHBUn=g－Hf

（6.15）

當(dāng)對n的統(tǒng)計(jì)特性不確定時，希望對原始圖像f的估計(jì)滿足這樣的條件，使H在最小二乘意義上近似于g。使得噪聲項(xiàng)的范數(shù)希望找到一個最小。即目標(biāo)函數(shù)為最小。MaYingliCMCHBU在M=N的情況下，H為方陣且H有逆陣H-1，則（6.20）（6.21）當(dāng)系統(tǒng)H逆作用于退化圖像g時，可以得到最小平方意義上的非約束估計(jì)。對式（6.20）進(jìn)行傅立葉變換，則MaYingliCMCHBU逆濾波法的特點(diǎn)優(yōu)點(diǎn)：形式簡單適用于極高信噪比條件下的圖像復(fù)原問題，且降質(zhì)系統(tǒng)的傳遞函數(shù)H不存在病態(tài)性質(zhì)。缺點(diǎn)：具體求解的計(jì)算量很大，需要根據(jù)循環(huán)分塊矩陣條件進(jìn)行簡化。當(dāng)H等于0或接近于0時，還原的圖像將變得無意義。這時需要人為對傳遞函數(shù)進(jìn)行修正，以降低由于傳遞函數(shù)病態(tài)而造成的恢復(fù)不穩(wěn)定性。MaYingliCMCHBU6.3約束復(fù)原約束復(fù)原除了對降質(zhì)系統(tǒng)的PSF有所了解外，還需要對原始圖像和外加噪聲的特性有先驗(yàn)知識。根據(jù)不同領(lǐng)域的要求，有時需要對f和n作一些特殊的規(guī)定，使處理得到的圖像滿足某些條件。MaYingliCMCHBU6.3.1約束復(fù)原的基本原理約束最小二乘法復(fù)原問題令Q為f的線性算子，要設(shè)法尋找一個最優(yōu)估計(jì)，使形式為的、服從約束條件的函數(shù)最小化。6.3.1約束復(fù)原的基本原理6.3.2維納濾波方法6.3.3平滑度約束最小平方濾波MaYingliCMCHBU6.3.1約束復(fù)原的基本原理約束最小二乘法復(fù)原問題令Q為f的線性算子，要設(shè)法尋找一個最優(yōu)估計(jì)使下面的目標(biāo)函數(shù)為最小

（6.22）(6.23)

式中，γ=α-1

式中，α為拉格朗日乘子,f的最佳估值MaYingliCMCHBU6.3.2維納濾波方法最小二乘法濾波復(fù)原的核心是如何選擇一個合適的變換矩陣Q。Q的形式不同，可得到不同類型的復(fù)原方法。選用圖像f和噪聲n的自相關(guān)矩陣Rf和Rn表示Q就可得到維納濾波復(fù)原方法。將f和n近似地看成是平穩(wěn)隨機(jī)過程。假設(shè)Rf和Rn為f和n的自相關(guān)矩陣。MaYingliCMCHBURf

=E{ffT}（6.24a）

Rn

=E{nnT}（6.24b）定義QTQ=R-1fRn，代入式(6.23)，得

（6.25）

假設(shè)M=N，Sf和Sn分別為圖像和噪聲的功率譜，則

（6.26）MaYingliCMCHBU

分3種情況對式(6.26)作分析：（1）如果γ=1，系統(tǒng)函數(shù)Hw(u,v)是維納濾波器的傳遞函數(shù)。（2）如果γ=0，系統(tǒng)變成單純的去卷積濾波器，系統(tǒng)的傳遞函數(shù)即為。盡管γ≠0但無噪聲影響，Sn(u,v)=0，復(fù)原系統(tǒng)亦為理想的逆濾波器，可以看成是維納濾波器的一種特殊情況。（3）若γ為可調(diào)整的其他參數(shù)，此時為參數(shù)化維納濾波器。MaYingliCMCHBU圖6.2去卷積維納濾波復(fù)原方法（a）加性噪聲污染和運(yùn)動模糊圖像（b）復(fù)原后的圖像MaYingliCMCHBU【例6.1】采用維納濾波復(fù)原的具體實(shí)現(xiàn)方法【例6.1】原始圖像如圖6.2（a），使用函數(shù)DECONVWNR對圖6.2（b）所示的無噪聲模糊圖像進(jìn)行復(fù)原重建。

（a）原始圖像（b）無噪聲模糊圖像圖6.3原始圖像及無噪聲模糊圖像

MaYingliCMCHBU圖6.4不同PSF產(chǎn)生的復(fù)原效果比較（a）使用真實(shí)的PSF復(fù)原（b）使用較“長”的PSF復(fù)原（c）使用較“陡峭”的PSF復(fù)原MaYingliCMCHBU6.3.3平滑度約束最小平方濾波使用逆濾波器一類的方法進(jìn)行圖像復(fù)原時，由于退化算子H的病態(tài)性質(zhì)，導(dǎo)致在零點(diǎn)附近數(shù)值起伏過大，使復(fù)原后的圖像產(chǎn)生了人為的噪聲和邊緣（振鈴）。通過選擇合理的Q（高通濾波器），并對‖Qf‖2進(jìn)行優(yōu)化，可將這種不平滑性降低至最小。使某個函數(shù)的二階導(dǎo)數(shù)最?。ㄈ鏠選用拉普拉斯算子形式表示），可以推導(dǎo)出以平滑度為基礎(chǔ)的約束最小二乘方復(fù)原方法。MaYingliCMCHBU6.4非線性復(fù)原方法經(jīng)典復(fù)原濾波器的顯著特點(diǎn)約束方程和準(zhǔn)則函數(shù)中的表達(dá)式都可以改為矩陣乘法。非線性復(fù)原方法所采用的準(zhǔn)則函數(shù)都不能進(jìn)行對角化，因而線性代數(shù)的方法在這里是不適用的。設(shè)S是非線性函數(shù)，當(dāng)考慮圖像的非線性退化時，圖像的退化模型可以表示成（6.32a）（6.32b）MaYingliCMCHBU

方法簡介6.4.1最大后驗(yàn)復(fù)原6.4.2最大熵復(fù)原1．正性約束條件2.最大熵復(fù)原原理3．Friend和Burg復(fù)原方法（1）Friend最大熵復(fù)原（2）Burg最大熵復(fù)原6.4.3投影復(fù)原6.4.4同態(tài)濾波復(fù)原（重點(diǎn)介紹）MaYingliCMCHBU6.4.4同態(tài)濾波復(fù)原自然景物的圖像是由照明函數(shù)和反射函數(shù)兩個分量的乘積所組成。同態(tài)濾波法復(fù)原方法是基于圖像的乘性結(jié)構(gòu)理論而提出來的。當(dāng)降質(zhì)圖像是由兩個分量相乘得到時，可先對降質(zhì)圖像取對數(shù)，得到兩個相加的分量，再進(jìn)行濾波處理，最后通過指數(shù)變換得到復(fù)原圖像。MaYingliCMCHBU退化圖像g(x,y)可以分為兩部分乘積，即

g(x,y)=i(x,y)r(x,y)（6.42）取對數(shù)得

logg(x,y)=logi(x,y)+logr(x,y)（6.43）設(shè)同態(tài)濾波器沖激響應(yīng)為l(x,y)，其復(fù)原結(jié)果。同態(tài)濾波復(fù)原過程可用圖6.9所示。MaYingliCMCHBU圖6.9同態(tài)濾波器復(fù)原同態(tài)復(fù)原結(jié)果=10l(x,y)*[logi(x,y)+logr(x,y)](6.44)MaYingliCMCHBU同態(tài)濾波器的傳遞函數(shù)（6.45）同態(tài)濾波技術(shù)也可以用于圖像增強(qiáng)。采用同態(tài)濾波可以實(shí)現(xiàn)同態(tài)增晰能使圖像的灰度動態(tài)范圍壓縮又能使感興趣的物體圖像灰度級擴(kuò)展。MaYingliCMCHBU6.5盲圖像復(fù)原很多情況下難以確定退化的點(diǎn)擴(kuò)展函數(shù)和噪聲的統(tǒng)計(jì)特性。盲圖像復(fù)原法是在沒有圖像退化必要的先驗(yàn)知識的情況下，對觀察的圖像以某種方式提取出退化信息，采用盲去卷積算法對圖像進(jìn)行復(fù)原。對具有加性噪聲的模糊圖像作盲圖像復(fù)原的方法有兩種：6.5.1直接測量法6.5.2間接估計(jì)法MaYingliCMCHBU【例6.3】盲圖像進(jìn)行重建。（a）原始圖像（b）有噪聲模糊圖像圖6.10原始圖像及其有噪聲模糊化圖像MaYingliCMCHBU（a）較小的PSF（b）較大的PSF（c）真實(shí)的PSF圖6.11采用不同大小的PSF進(jìn)行圖像復(fù)原的效果比較MaYingliCMCHBU（a）較大的PSF（b）較小的PSF（c）真實(shí)的PSF

圖6.12不同大小PSF的圖像比較MaYingliCMCHBU6.6幾何失真校正圖像在獲取過程中，由于成像系統(tǒng)的非線性、飛行器的姿態(tài)變化等原因，成像后的圖像與原景物圖像相比，會產(chǎn)生比例失調(diào)，甚至扭曲。以上圖像退化現(xiàn)象稱之為幾何失真。有幾何畸變的圖像不但視覺效果不好而且在對圖像進(jìn)行定量分析時提取的形狀、距離、面積等數(shù)據(jù)也不準(zhǔn)確。MaYingliCMCHBU6.6.1典型的幾何失真1．系統(tǒng)失真光學(xué)系統(tǒng)、電子掃描系統(tǒng)失真而引起的斜視畸變、枕形、桶形畸變等，都可能使圖像產(chǎn)生幾何特性失真。原圖像；(b)梯形失真；(c)枕形失真；(d)桶形失真圖6.13典型的系統(tǒng)幾何失真MaYingliCMCHBU2．非系統(tǒng)失真從飛行器上所獲得的地面圖像，由于飛行器的姿態(tài)、高度和速度變化引起的不穩(wěn)定與不可預(yù)測的幾何失真這類畸變一般要根據(jù)航天器的跟蹤資料和地面設(shè)置控制點(diǎn)辦法來進(jìn)行校正。MaYingliCMCHBU幾何畸變校正一般分兩步來做幾何畸變校正要對失真圖像進(jìn)行精確的幾何校正通常是先確定一幅圖像為基準(zhǔn)，然后去校正另一幅圖像的幾何形狀。第一步：圖像空間坐標(biāo)的變換；第二步：重新確定在校正空間各像素點(diǎn)的取值。MaYingliCMCHBU6.6.2空間幾何坐標(biāo)變換按照一幅標(biāo)準(zhǔn)圖像f(x,y)或一組基準(zhǔn)點(diǎn)去校正另一幅幾何失真圖像g(x‘,y’)。根據(jù)兩幅圖像的一些已知對應(yīng)點(diǎn)對建立起函數(shù)關(guān)系式，將失真圖像的x‘-y’坐標(biāo)系變換到標(biāo)準(zhǔn)圖像x-y坐標(biāo)系，從而實(shí)現(xiàn)失真圖像按標(biāo)準(zhǔn)圖像的幾何位置校正，使f(x,y)中的每一像點(diǎn)都可在g(x',y')中找到對應(yīng)像點(diǎn)。（6.55）MaYingliCMCHBU（a）x'?y'坐標(biāo)系中的失真圖像（b）x?y坐標(biāo)系中的標(biāo)準(zhǔn)圖像圖6.15幾何位置校正MaYingliCMCHBU幾何校正方法可以分為兩類：在h1、h2已知情況下的校正方法一般通過人工設(shè)置標(biāo)志，如衛(wèi)星照片通過人工設(shè)置小型平面反射鏡作為標(biāo)志。在h1、h2未知的情況下的校正方法。通過控制點(diǎn)之間的空間對