第07章圖像復(fù)原

第7章

圖像復(fù)原內(nèi)容提要:

7.1圖像退化原因與復(fù)原技術(shù)分類化的數(shù)學(xué)模型

7.2逆濾波復(fù)原

7.3約束復(fù)原

7.4非線性復(fù)原方法

7.5盲圖像復(fù)原

7.7幾何失真校正

7.7圖像修復(fù)技術(shù)簡(jiǎn)介

7.8實(shí)驗(yàn)：圖像復(fù)原本章小結(jié)

知識(shí)要點(diǎn)重點(diǎn)了解圖像處理的任務(wù)、基本的圖像處理系統(tǒng)、微機(jī)圖像處理系統(tǒng)、數(shù)字圖像的表示、MATLAB圖像處理工具箱的初步使用。圖像退化的常見(jiàn)原因圖像退化模型圖像退化與圖像增強(qiáng)的關(guān)系線性代數(shù)復(fù)原非線性復(fù)原幾何失真校正盲圖像復(fù)原MATLAB圖像處理工具箱去模糊函數(shù)

教學(xué)建議重點(diǎn)了解數(shù)字圖像復(fù)原的基本任務(wù)、圖像退化的各種原因、圖像復(fù)原的常用方法，能夠用MATLAB圖像處理工具箱解決簡(jiǎn)單的圖像退化問(wèn)題。先修知識(shí)包括：線性代數(shù)（循環(huán)矩陣的表示；矩陣的廣義逆等）信號(hào)與線性系統(tǒng)數(shù)字信號(hào)處理（圓周卷積、離散卷積定理等）隨機(jī)過(guò)程（平穩(wěn)隨機(jī)過(guò)程等）優(yōu)化理論。注意本章與“圖像增強(qiáng)”一章的聯(lián)系與區(qū)別。

7.1圖像退化原因與復(fù)原技術(shù)分類圖像在形成、傳輸和記錄過(guò)程中，由于受到多方面的影響，造成圖像質(zhì)量的退化（degradation）。（1）射線輻射、大氣湍流等造成的照片畸變。（2）A/D過(guò)程會(huì)損失部分細(xì)節(jié)，造成圖像質(zhì)量下降。（3）鏡頭聚焦不準(zhǔn)產(chǎn)生的散焦模糊。（4）成像系統(tǒng)中始終存在的噪聲干擾。（5）相機(jī)與景物之間的相對(duì)運(yùn)動(dòng)產(chǎn)生的運(yùn)動(dòng)模糊。（7）底片感光、圖像顯示時(shí)會(huì)造成記錄顯示失真。（7）成像系統(tǒng)的像差、非線性畸變、有限帶寬。（8）攜帶遙感儀器的飛機(jī)或衛(wèi)星運(yùn)動(dòng)的不穩(wěn)定，以及地球自轉(zhuǎn)等因素引起的照片幾何失真。目的和任務(wù)目的在研究圖像退化原因的基礎(chǔ)上，以退化圖像為依據(jù)，根據(jù)一定的先驗(yàn)知識(shí)，建立一個(gè)退化模型，然后用相反的運(yùn)算，以恢復(fù)原始景物圖像。圖像復(fù)原要明確規(guī)定質(zhì)量準(zhǔn)則衡量接近原始景物圖像的程度。圖像復(fù)原模型可以用連續(xù)數(shù)學(xué)或離散數(shù)學(xué)處理。圖像復(fù)原根據(jù)退化的數(shù)學(xué)模型對(duì)退化圖像進(jìn)行處理，其實(shí)現(xiàn)可在空間域卷積或在頻域相乘。在初級(jí)視覺(jué)處理中的地位在航空航天、國(guó)防公安、生物醫(yī)學(xué)、文物修復(fù)等領(lǐng)域具有廣泛的應(yīng)用。傳統(tǒng)的復(fù)原方法基于平穩(wěn)圖像、線性空間不變的退化系統(tǒng)、圖像和噪聲統(tǒng)計(jì)特性的先驗(yàn)知識(shí)已知等條件下討論的現(xiàn)代的復(fù)原方法對(duì)非平穩(wěn)圖像處理（如卡爾曼濾波）、非線性方法（如神經(jīng)網(wǎng)絡(luò)）、信號(hào)與噪聲的先驗(yàn)知識(shí)未知（如盲圖像復(fù)原）等前提下開(kāi)展工作。7.1.1連續(xù)圖像退化的數(shù)學(xué)模型連續(xù)圖像退化的一般模型如圖7.1所示。輸入圖像f(x,y)經(jīng)過(guò)一個(gè)退化系統(tǒng)或退化算子H(x,y)后產(chǎn)生的退化圖像g(x,y)可以表示為：

g(x,y)=H[f(x,y)]

（7.1）

如果僅考慮加性噪聲的影響，則退化圖像可表示為：g(x,y)=H[f(x,y)]+n(x,y)

（7.2）f(x,y)的最佳估計(jì)退化的圖像是由成像系統(tǒng)的退化加上額外的系統(tǒng)噪聲而形成的。若已知H(x,y)和n(x,y)，圖像復(fù)原是在退化圖像的基礎(chǔ)上，作逆運(yùn)算，得到f(x,y)的一個(gè)最佳估計(jì)?！白罴压烙?jì)”而非“真實(shí)估計(jì)”。由于存在可能導(dǎo)致圖像復(fù)原的病態(tài)性。

導(dǎo)致圖像復(fù)原的病態(tài)性的原因（1）最佳估計(jì)問(wèn)題不一定有解。由于圖像復(fù)原中可能遇到奇異問(wèn)題；（2）逆問(wèn)題可能存在多個(gè)解。點(diǎn)擴(kuò)展函數(shù)PSF（Point-spreadFunction）在退化算子H表示線性和空間不變系統(tǒng)的情況下，輸入圖像f(x,y)經(jīng)退化后的輸出為g(x,y)：

h(x,y)稱為退化系統(tǒng)的沖激響應(yīng)函數(shù)。在圖像形成的光學(xué)過(guò)程中，沖激為一光點(diǎn)。又被稱為退化系統(tǒng)的點(diǎn)擴(kuò)展函數(shù)PSF。

空間域分析與頻率分析退化系統(tǒng)的輸出就是輸入圖像f(x,y)與點(diǎn)擴(kuò)展函數(shù)h(x,y)的卷積，考慮到噪聲的影響，即

在頻域上可以寫(xiě)成（7.6）G(u,v)、F(u,v)、N(u,v)分別是g(x,y)、f(x,y)、n(x,y)的傅立葉變換

H(u,v)是h(x,y)的傅立葉變換，為系統(tǒng)的傳遞函數(shù)。（7.7）7.1.2離散圖像退化的數(shù)學(xué)模型設(shè)f(x,y)大小為A×B，h(x,y)被均勻采樣為C×D大小。為避免交疊誤差，采用添零延拓的方法，將它們擴(kuò)展成M=A+C-1和N=B+D-1個(gè)元素的周期函數(shù)。（7.8a）（7.8b）則輸出的降質(zhì)數(shù)字圖像為（7.9）二維離散退化模型可以用矩陣形式

g=Hf

（7.10）（7.11）（7.12）給定了退化圖像g(x,y)、退化系統(tǒng)的點(diǎn)擴(kuò)展函數(shù)h(x,y)和噪聲分布n(x,y)，就可以得到原始圖像f的估計(jì)。實(shí)際計(jì)算的工作量十分龐大。（7.13）g=Hf+n

（7.14）通常有兩種解決上述問(wèn)題的途徑：假設(shè)圖像大小M=N，則H的大小為N4，要解出f(x,y)需要解N2個(gè)聯(lián)立方程組。（1）通過(guò)對(duì)角化簡(jiǎn)化分塊循環(huán)矩陣，再利用FFT快速算法可以大大地降低計(jì)算量且能極大地節(jié)省存儲(chǔ)空間。（2）分析退化的具體原因，找出H的具體簡(jiǎn)化形式。勻速運(yùn)動(dòng)造成模糊的PSF就可以用簡(jiǎn)單的形式表示，這樣使復(fù)原問(wèn)題變得簡(jiǎn)單。各種代數(shù)復(fù)原方法可能是通過(guò)無(wú)約束條件而得到原始圖像f的估計(jì)。也可能是約束復(fù)原f。7.2逆濾波復(fù)原非約束復(fù)原根據(jù)對(duì)退化系統(tǒng)H和噪聲n的了解，已知退化圖像g的情況下，在一定的最小誤差準(zhǔn)則下，得到原始圖像f的估計(jì)。逆濾波是最早使用的一種無(wú)約束復(fù)原方法成功地應(yīng)用于航天器傳來(lái)的退化圖像。n=g－Hf

（7.15）

當(dāng)對(duì)n的統(tǒng)計(jì)特性不確定時(shí)，希望對(duì)原始圖像f的估計(jì)滿足這樣的條件，使H在最小二乘意義上近似于g。使得噪聲項(xiàng)的范數(shù)希望找到一個(gè)最小。即目標(biāo)函數(shù)為最小。

在M=N的情況下，H為方陣且H有逆陣H-1，則（7.20）（7.21）當(dāng)系統(tǒng)H逆作用于退化圖像g時(shí)，可以得到最小平方意義上的非約束估計(jì)。對(duì)式（7.20）進(jìn)行傅立葉變換，則逆濾波法的特點(diǎn)優(yōu)點(diǎn)：形式簡(jiǎn)單適用于極高信噪比條件下的圖像復(fù)原問(wèn)題，且降質(zhì)系統(tǒng)的傳遞函數(shù)H不存在病態(tài)性質(zhì)。缺點(diǎn)：具體求解的計(jì)算量很大，需要根據(jù)循環(huán)分塊矩陣條件進(jìn)行簡(jiǎn)化。當(dāng)H等于0或接近于0時(shí)，還原的圖像將變得無(wú)意義。這時(shí)需要人為對(duì)傳遞函數(shù)進(jìn)行修正，以降低由于傳遞函數(shù)病態(tài)而造成的恢復(fù)不穩(wěn)定性。7.3約束復(fù)原約束復(fù)原除了對(duì)降質(zhì)系統(tǒng)的PSF有所了解外，還需要對(duì)原始圖像和外加噪聲的特性有先驗(yàn)知識(shí)。根據(jù)不同領(lǐng)域的要求，有時(shí)需要對(duì)f和n作一些特殊的規(guī)定，使處理得到的圖像滿足某些條件。7.3.1約束復(fù)原的基本原理約束最小二乘法復(fù)原問(wèn)題令Q為f的線性算子，要設(shè)法尋找一個(gè)最優(yōu)估計(jì)，使形式為

的、服從約束條件的函數(shù)最小化。7.3.1約束復(fù)原的基本原理7.3.2維納濾波方法7.3.3平滑度約束最小平方濾波7.3.1約束復(fù)原的基本原理約束最小二乘法復(fù)原問(wèn)題令Q為f的線性算子，要設(shè)法尋找一個(gè)最優(yōu)估計(jì)使下面的目標(biāo)函數(shù)為最小

（7.23）(7.24)

式中，γ=α-1

式中，α為拉格朗日乘子,f的最佳估值7.3.2維納濾波方法最小二乘法濾波復(fù)原的核心是如何選擇一個(gè)合適的變換矩陣Q。Q的形式不同，可得到不同類型的復(fù)原方法。選用圖像f和噪聲n的自相關(guān)矩陣Rf和Rn表示Q就可得到維納濾波復(fù)原方法。將f和n近似地看成是平穩(wěn)隨機(jī)過(guò)程。假設(shè)Rf和Rn為f和n的自相關(guān)矩陣。Rf

=E{ffT}（7.25a）

Rn

=E{nnT}（7.25b）定義QTQ=R-1fRn，代入式(7.23)，得

（7.26）

假設(shè)M=N，Sf和Sn分別為圖像和噪聲的功率譜，則

（7.27）

分3種情況對(duì)式(7.27)作分析：（1）如果γ=1，系統(tǒng)函數(shù)Hw(u,v)是維納濾波器的傳遞函數(shù)。（2）如果γ=0，系統(tǒng)變成單純的去卷積濾波器，系統(tǒng)的傳遞函數(shù)即為。盡管γ≠0但無(wú)噪聲影響，Sn(u,v)=0，復(fù)原系統(tǒng)亦為理想的逆濾波器，可以看成是維納濾波器的一種特殊情況。（3）若γ為可調(diào)其他參數(shù)，此時(shí)為參數(shù)化維納濾波器。圖7.2去卷積維納濾波復(fù)原方法（a）加性噪聲污染和運(yùn)動(dòng)模糊圖像（b）復(fù)原后的圖像【例7.1】采用維納濾波復(fù)原的具體實(shí)現(xiàn)方法【例7.1】原始圖像如圖7.2（a），使用函數(shù)DECONVWNR對(duì)圖7.2（b）所示的無(wú)噪聲模糊圖像進(jìn)行復(fù)原重建。

（a）原始圖像（b）無(wú)噪聲模糊圖像圖7.3原始圖像及無(wú)噪聲模糊圖像

圖7.4不同PSF產(chǎn)生的復(fù)原效果比較（a）使用真實(shí)的PSF復(fù)原（b）使用較“長(zhǎng)”的PSF復(fù)原（c）使用較“陡峭”的PSF復(fù)原7.3.3平滑度約束最小平方濾波使用逆濾波器一類的方法進(jìn)行圖像復(fù)原時(shí)，由于退化算子H的病態(tài)性質(zhì)，導(dǎo)致在零點(diǎn)附近數(shù)值起伏過(guò)大，使復(fù)原后的圖像產(chǎn)生了人為的噪聲和邊緣（振鈴）。通過(guò)選擇合理的Q（高通濾波器），并對(duì)‖Qf‖2進(jìn)行優(yōu)化，可將這種不平滑性降低至最小。使某個(gè)函數(shù)的二階導(dǎo)數(shù)最?。ㄈ鏠選用拉普拉斯算子形式表示），可以推導(dǎo)出以平滑度為基礎(chǔ)的約束最小二乘方復(fù)原方法。7.4非線性復(fù)原方法經(jīng)典復(fù)原濾波器的顯著特點(diǎn)約束方程和準(zhǔn)則函數(shù)中的表達(dá)式都可以改為矩陣乘法。非線性復(fù)原方法所采用的準(zhǔn)則函數(shù)都不能進(jìn)行對(duì)角化，因而線性代數(shù)的方法在這里是不適用的。設(shè)S是非線性函數(shù)，當(dāng)考慮圖像的非線性退化時(shí)，圖像的退化模型可以表示成（7.34a）（7.34b）

方法簡(jiǎn)介7.4.1最大后驗(yàn)復(fù)原7.4.2最大熵復(fù)原1．正性約束條件2.最大熵復(fù)原原理3．Friend和Burg復(fù)原方法（1）Friend最大熵復(fù)原（2）Burg最大熵復(fù)原7.4.3投影復(fù)原7.4.4同態(tài)濾波復(fù)原（重點(diǎn)介紹）7.4.4同態(tài)濾波復(fù)原自然景物的圖像是由照明函數(shù)和反射函數(shù)兩個(gè)分量的乘積所組成。同態(tài)濾波法復(fù)原方法是基于圖像的乘性結(jié)構(gòu)理論而提出來(lái)的。當(dāng)降質(zhì)圖像是由兩個(gè)分量相乘得到時(shí)，可先對(duì)降質(zhì)圖像取對(duì)數(shù)，得到兩個(gè)相加的分量，再進(jìn)行濾波處理，最后通過(guò)指數(shù)變換得到復(fù)原圖像。退化圖像g(x,y)可以分為兩部分乘積，即

g(x,y)=i(x,y)r(x,y)（7.44）取對(duì)數(shù)得

logg(x,y)=logi(x,y)+logr(x,y)（7.45）設(shè)同態(tài)濾波器沖激響應(yīng)為l(x,y)，其復(fù)原結(jié)果。同態(tài)濾波復(fù)原過(guò)程可用圖7.9所示。圖7.9同態(tài)濾波器復(fù)原同態(tài)復(fù)原結(jié)果=10l(x,y)*[logi(x,y)+logr(x,y)](7.46)同態(tài)濾波器的傳遞函數(shù)（7.47）同態(tài)濾波技術(shù)也可以用于圖像增強(qiáng)。采用同態(tài)濾波可以實(shí)現(xiàn)同態(tài)增晰能使圖像的灰度動(dòng)態(tài)范圍壓縮又能使感興趣的物體圖像灰度級(jí)擴(kuò)展。7.5盲圖像復(fù)原很多情況下難以確定退化的點(diǎn)擴(kuò)展函數(shù)和噪聲的統(tǒng)計(jì)特性。盲圖像復(fù)原法是在沒(méi)有圖像退化必要的先驗(yàn)知識(shí)的情況下，對(duì)觀察的圖像以某種方式提取出退化信息，采用盲去卷積算法對(duì)圖像進(jìn)行復(fù)原。對(duì)具有加性噪聲的模糊圖像作盲圖像復(fù)原的方法有兩種：7.5.1直接測(cè)量法7.5.2間接估計(jì)法【例7.3】盲圖像進(jìn)行重建。（a）原始圖像（b）有噪聲模糊圖像圖7.10原始圖像及其有噪聲模糊化圖像（a）較小的PSF（b）較大的PSF（c）真實(shí)的PSF圖7.11采用不同大小的PSF進(jìn)行圖像復(fù)原的效果比較（a）較大的PSF（b）較小的PSF（c）真實(shí)的PSF

圖7.12不同大小PSF的圖像比較7.6幾何失真校正圖像在獲取過(guò)程中，由于成像系統(tǒng)的非線性、飛行器的姿態(tài)變化等原因，成像后的圖像與原景物圖像相比，會(huì)產(chǎn)生比例失調(diào)，甚至扭曲。以上圖像退化現(xiàn)象稱之為幾何失真。有幾何畸變的圖像不但視覺(jué)效果不好而且在對(duì)圖像進(jìn)行定量分析時(shí)提取的形狀、距離、面積等數(shù)據(jù)也不準(zhǔn)確。7.6.1典型的幾何失真1．系統(tǒng)失真光學(xué)系統(tǒng)、電子掃描系統(tǒng)失真而引起的斜視畸變、枕形、桶形畸變等，都可能使圖像產(chǎn)生幾何特性失真。原圖像；(b)梯形失真；(c)枕形失真；(d)桶形失真圖7.13典型的系統(tǒng)幾何失真2．非系統(tǒng)失真從飛行器上所獲得的地面圖像，由于飛行器的姿態(tài)、高度和速度變化引起的不穩(wěn)定與不可預(yù)測(cè)的幾何失真這類畸變一般要根據(jù)航天器的跟蹤資料和地面設(shè)置控制點(diǎn)辦法來(lái)進(jìn)行校正。幾何畸變校正一般分兩步來(lái)做幾何畸變校正要對(duì)失真圖像進(jìn)行精確的幾何校正通常是先確定一幅圖像為基準(zhǔn)，然后去校正另一幅圖像的幾何形狀。第一步：圖像空間坐標(biāo)的變換；第二步：重新確定在校正空間各像素點(diǎn)的取值。7.6.2空間幾何坐標(biāo)變換按照一幅標(biāo)準(zhǔn)圖像f(x,y)或一組基準(zhǔn)點(diǎn)去校正另一幅幾何失真圖像g(x‘,y’)。根據(jù)兩幅圖像的一些已知對(duì)應(yīng)點(diǎn)對(duì)建立起函數(shù)關(guān)系式，將失真圖像的x‘-y’坐標(biāo)系變換到標(biāo)準(zhǔn)圖像x-y坐標(biāo)系，從而實(shí)現(xiàn)失真圖像按標(biāo)準(zhǔn)圖像的幾何位置校正，使f(x,y)中的每一像點(diǎn)都可在g(x',y')中找到對(duì)應(yīng)像點(diǎn)。（7.57）（a）x'?y'坐標(biāo)系中的失真圖像（b）x?y坐標(biāo)系中的標(biāo)準(zhǔn)圖像