英才電子設計競賽-圖像處理課件

5.1

圖像復原的基本概念5.2

圖像退化模型5.3

圖像復原的方法5.4

運動模糊圖像的復原5.5

圖像的幾何校正5.6

圖像復原的應用第五章圖像復原/恢復圖像復原的基本概念

什么是圖像退化?

圖像的質量下降叫做退化。退化的形式有模糊、失真、有噪聲等

圖像退化的原因

無論是由光學、光電或電子方法獲得的圖像都會有不同程度的退化；退化的形式多種多樣。如傳感器噪聲、攝像機未聚焦、物體與攝像設備之間的相對移動、隨機大氣湍流、光學系統(tǒng)的相差、成像光源或射線的散射等；如果我們對退化的類型、機制和過程都十分清楚，那么就可以利用其反過程來復原圖像。圖像復原的基本概念在圖像采集過程中產生的許多種退化常被稱為模糊，它對目標的頻譜寬度有帶限作用。在圖像記錄過程中產生的主要退化常被稱為噪聲，它可來源于測量誤差，記數(shù)誤差等等。圖像復原的基本概念圖像退化示例(a)表示一種非線性的退化(b)表示一種模糊造成的退化(c)表示一種場景中目標運動造成的模糊退化(d)表示的是隨機噪聲的迭加退化

a)被正弦噪聲干擾的圖像b)濾波效果圖用巴特沃思濾波器復原受正弦噪聲干擾的圖像圖像復原的基本概念

a)受大氣湍流的嚴重影響的圖像b)用維納濾波器恢復出來的圖像維納濾波器應用圖像復原的基本概念圖像復原的基本概念圖像復原將降質了的圖像恢復成原來的圖像。具體方法：針對引起圖像退化的原因，以及降質過程某先驗知識，建立退化模型，再針對降質過程采取相反的方法，恢復圖像。一般地講，復原的好壞應有一個規(guī)定的客觀標準，以便對復原的結果作出某種最佳的評估。

圖像復原的基本概念圖像還原與圖像增強的區(qū)別1．圖像退化原因決定還原的方法2．評價標準不同： a）增強：突出感興趣的那部分——采用主觀評估

b）還原：利用退化的逆過程恢復原始圖像，

——采用客觀評估：接近原始圖像

無約束恢復

技術有約束恢復自動方法圖像恢復策略交互方法根據(jù)是否需要外來干預空域處理域頻域圖像一般模型：線性位移不變系統(tǒng)標準：非線性恢復、線性恢復圖像復原的基本概念

圖像退化模型退化過程可看作對原圖像f(x,y)作線性運算。

g(x,y)

＝H·f(x,y)

+n(x,y)

退化圖像退化模型噪聲Hf(x,y)n(x,y)退化過程被建模為一個退化函數(shù)和一個加性噪聲項g(x,y)以后討論中對退化模型H作以下假設：H是線性的H是空間（或位移）不變的對任一個f(x,y)和任一個常數(shù)α

和β都有：

Hf(x-α,y-β)=g(x-α,y-β)

就是說圖像上任一點的運算結果只取決于該點的輸入值，而與坐標位置無關。圖像退化模型f(i,j)：原始圖像g(i,,j)：退化/降質圖像H(·)：成像系統(tǒng)的作用，則：由于函數(shù)的篩選性質（一幅圖像可以看作是由一系列沖激函數(shù)組成的）圖像退化模型圖像退化模型其中*表示卷積運算。如果H(·)是一個可分離系統(tǒng)，即則二維運算可以分解為列和行兩次一維運算來代替圖像退化模型圖像退化模型在加性噪聲情況下，圖像退化模型可以表示為

其中n(x,y)為噪聲項

圖像退化過程被模型化為一個作用在輸入圖像f(x,y)上的系統(tǒng)H；它與一個加性噪聲n(x,y)的聯(lián)合作用導致產生退化圖像g(x,y)圖像退化模型線性位移不變的圖像退化模型則表示為：重要結論

一個線性系統(tǒng)完全可以由它的點擴散函數(shù)h(x,α,y,β)

來表征。若系統(tǒng)的擴散函數(shù)PSF已知，則系統(tǒng)在（x，y）點的輸出響應可看成是不同坐標處輸入函數(shù)所產生的脈沖響應在（x，y）處的疊加。而在實際退化降質過程中，降質的另一個復雜因素是隨機噪聲，考慮有噪聲的圖像恢復，必需知道噪聲統(tǒng)計特性以及噪聲和圖像信號的相關情況，這是非常復雜的。圖像退化模型Hf(x,y)n(x,y)實際中假設是白噪聲——頻譜密度為常數(shù)，且與圖像不相關，（一般只要噪聲帶寬比圖像帶寬大得多時，此假設成立）由此得出圖像退化模型。

圖像退化模型

討論的前提是假設H是線性的，下面一些恢復方法都是對上述模型的近似估計。

空間域中的卷積等同于頻率域中的乘積，頻率域表示：兩邊進行付氏變換：

討論恢復問題：

若略去噪音N，得：

反變換,可求

F→f

圖像退化模型

若H有零點，G也有零點出現(xiàn)，0/0的不定值，這樣模型不保證所有逆過程都有解

由于引起退化的因素眾多，而且性質不同，目前又沒有統(tǒng)一的恢復方法，許多人根據(jù)不同的物理模型，采用不同的退化模型、處理技巧和估計準則，從而導出了多種恢復方法。有效方法：針對特定條件，用特定模型處理圖像退化模型離散的退化模型對于圖像退化降質的過程進行數(shù)學建模f(i,j)：原始圖像y(i,j)：退化降質圖像h(i,j;k,l)：點擴散函數(shù)圖像為M×N維假設h(i,j;k,l)為空間移不變，則：第7章圖像退化模型噪聲介紹

圖像中的噪聲可定義為圖像中不希望有的部分，或圖像中不需要的部分

對信號來說，噪聲是一種外部干擾。但噪聲本身也是一種信號，它攜帶了噪聲源的信息

信噪比（SNR）一詞就反映了噪聲相對于信號的強度比值，用能量比（或電壓平方比）定義第7章圖像退化模型噪聲概率密度函數(shù)

高斯噪聲第7章圖像退化模型噪聲概率密度函數(shù)

均勻噪聲第7章圖像退化模型噪聲概率密度函數(shù)

脈沖（椒鹽）噪聲 噪聲脈沖可以是正的或負的 一般假設a和b都是“飽和”值 雙極性脈沖噪聲也稱椒鹽噪聲第7章圖像退化模型

空間域濾波器

均值濾波器

中值濾波器

圖像復原的方法尋找濾波傳遞函數(shù)，通過頻域圖像濾波得到復原圖像的傅立葉變換，再求反變換，得到復原圖像無約束還原有約束還原非線性約束還原退化模型：逆過程——復原圖像：當H(u,v)為0或很小時，病態(tài)現(xiàn)象原點附近：圖像完全被噪聲淹沒，造成噪聲放大反向濾波法/逆濾波（無約束）解決退化函數(shù)為零或為非常小的值的方法——限制濾波的頻率，使其接近原點。H(0,0)在頻率域中通常是H(u,v)的最高值.

f(x,y)H(u,v)

n(x,y)

g(x,y)M(u,v)復原函數(shù)

反向濾波法

有約束還原法維納濾波/最小均方誤差濾波

維納濾波恢復正是在假定圖像信號可近似看作平穩(wěn)隨機過程的前提下，按照使原圖像f(x,y)與恢復后的圖像之間的均方誤差e2達到最小的準則，來實現(xiàn)圖像恢復。即：滿足這一要求的轉移函數(shù)為：復共軛維納濾波器最小均方誤差濾波器，一般公式(1)如果s=1，大方括號中的項就是維納濾波器(2)如果s是變量，就稱為參數(shù)維納濾波器(3)當沒有噪聲時，Sn(u,v)=0，維納濾波器退化成反向濾波法中的理想逆濾波器。有約束還原法

現(xiàn)象1）H(u,v)=0，無病態(tài)現(xiàn)象，分母不為02）SNR高時，同反向濾波法3）SNR低時，效果不滿意原因維納濾波是基于平穩(wěn)隨機過程模型，且假設退化模型為線性空間不變系統(tǒng)的原因，這與實際情況存在一定差距。另外，最小均方誤差準則與人的視覺準則不一定匹配。最大平滑復原

準則：以函數(shù)平滑為基礎

1）使函數(shù)的二階導數(shù)為最小。二階導數(shù)是突出圖像邊緣、輪廓等高頻信息。

約束條件：

有約束最小二乘方濾波需反復迭代才能完成

有約束還原法2）用內積來考察函數(shù)f的平滑性有約束還原法歐幾里德向量范數(shù)反向濾波運動模糊圖像的復原退化的原因為已知對退化過程有先驗知識，如希望能確定PSF和噪聲特性即確定：

h(x,y)與n(x,y)

g(x,y)=H·f(x,y)+n(x,y)1．根據(jù)導致模糊的物理過程（先驗知識）1）大氣湍流造成的傳遞函數(shù)PSF模糊模型c：與湍流性質有關的常數(shù)2）光學系統(tǒng)散焦的傳遞函數(shù)

當光學系統(tǒng)散焦時，點光源的像將成圓盤。從公式可看出，散焦系統(tǒng)的傳遞函數(shù)在以原點為中心，d為半徑處存在零點，形成一些同心的暗環(huán)，由散焦圖像的頻譜上估計出這些同心圓的半徑，可得到H（u,v）

模糊模型均勻聚焦不準——模糊

相機聚焦不準確引起，（不聚焦由許多參數(shù)決定：如相機的焦距、相機孔的大小、形狀、物體和相機之間的距離等）在研究中為了簡單起見，用下列函數(shù)表示聚焦不準引起的模糊：

模糊模型模糊后圖像任意點的值：特點：圖像的頻譜在垂直于該方向上存在暗直線，可估出的大小，運動方向也可由圖像的頻譜估計出來已知：設相機不動，對象運動，運動分量x,y分別為x0(t)，y0(t)相機快門速度是理想的，快門開啟時間（曝光時間）T。3）勻速直線運動模糊下的PSF

相機與景物之間相對運動造成圖像降質，

H(u,v)

——運動模糊：

模糊模型2．由圖像中的點或線估計（后驗知識）1）原始景物中有一清晰的點或點光源。由所成的像得到退化系統(tǒng)的PSF2）原始景物中確定一條線，成像，由直線產生模糊，根據(jù)模糊可以測定在于邊緣垂直方向上的PSF斷面曲線，得出一維PSF，如果PSF對稱，旋轉一維PSF得到二維PSF模糊模型3．由功率譜估計PSF4．噪聲n(x,y)的確定相關、不相關兩類。一般假設：白色噪聲，與圖像無關。其頻譜密度為常數(shù)。只要噪聲帶寬遠大于圖像帶寬即可作白噪聲處理從退化圖像大塊平坦區(qū)中估計，一般不具備噪聲先驗知識。不同方法要用不同特征參數(shù)——方差，頻譜

模糊模型

水平勻速直線運動引起模糊的復原（無約束）如果模糊圖像是由景物在x方向上作均勻直線運動造成的，則模糊后圖像任意點的值為

去除由x方向上均勻運動造成的圖像模糊后恢復圖像的表達式

a)原始圖像b)模糊圖像c)復原圖像運動模糊圖像的恢復處理水平勻速直線運動引起模糊的復原圖像的幾何校正幾何畸變的描述

幾何校正圖像的幾何校正例：從太空中宇航器拍攝的地球上的等距平行線，圖像會變?yōu)橥嵝被虿坏染?；用光學和電子掃描儀攝取的圖像常會有桶形畸變和枕形畸變；用普通的光學攝影與測試雷達拍攝的同一地區(qū)的景物二者在幾何形狀上有較大的差異。以一副圖像為基準，去校正另一種方式攝入的圖像，以校正其幾何畸變，就叫做圖像的幾何畸變復原或者幾何畸變校正/幾何校正。幾何校正就是一種幾何變換，是圖像的幾何畸變的反運算，與幾何變換類似。幾何校正是由輸出圖像像素坐標反算輸入圖像坐標，然后通過灰度再采樣求出輸出像素灰度值。圖像幾何校正的兩個步驟

(1)空間變換：對圖像平面上的像素進行重新排列以恢復原空間關系

(2)灰度插值：對空間變換后的像素賦予相應的灰度值以恢復原位置的灰度值圖像的幾何校正幾何畸變的描述幾何基準圖像的坐標系統(tǒng)用(x,y)來表示需要校正的圖像的坐標系統(tǒng)用(x’,y’)表示設兩個圖像坐標系統(tǒng)之間的關系用解析式表示通常h1(x,y)和h2(x,y)用多項式來表示：通常用線性畸變來近似較小的幾何畸變更精確一些可以用二次型來近似若基準圖像為f(x,y)，畸變圖像為g(x’,y’)，對于景物上的同一個點，假定其灰度不變，則圖像的幾何校正（空間變換）圖像的幾何校正幾何變換

通常用已知的多對對應點來確定系數(shù)a,b線性畸變可由基準圖找出三個點(x1,y1),(x2,y2),(x3,y3)與畸變圖像上三個點(x'1,

y'1),

(x'2,y'2),(x'3,y'3)一一對應。圖像的幾何校正將對應點代入，有：解聯(lián)立方程組，得出6個系數(shù)。二次畸變有12個未知量，需要6對已知對應點圖像的幾何校正圖像的幾何校正代入上式記作矩陣形式同樣有解方程組，得到ai，bi

12個系數(shù)。f(x,y)g(x’,y’)圖像的幾何校正（灰度插值）內插法確定像素的灰度值幾何變換是由輸出圖像像素坐標反算出輸入圖像坐標，但該坐標并非整數(shù)，需要進行灰度再采樣。例：最近鄰插值 雙線性插值（2*2鄰域采樣點的平均值）NearestNeighbor Bilinear再采樣是通過灰度插值來完成的圖像的幾何校正最簡單，會有塊狀效應雙三次插值（插值核為三次函數(shù)，4*4鄰域），效果好，計算量大顯示連接點的圖像幾何失真后的連接點最近鄰內插失真的圖像雙線性內插失真的圖像復原的圖像復原的圖像圖像復原的應用圖像復原的空間濾波器（只存在噪聲）均值濾波器順序統(tǒng)計濾波器自適應濾波器圖像復原的頻率域濾波器（消除周期噪聲）帶阻濾波器帶通濾波器陷波濾波器圖像復原的應用噪聲模型數(shù)字圖像的噪聲主要來源于圖像的獲取和傳輸過程圖像獲取的數(shù)字化過程，如圖像傳感器的質量和環(huán)境條件圖像傳輸過程中傳輸信道的噪聲干擾，如通過無線網絡傳輸?shù)膱D像會受到光或其它大氣因素的干擾圖像復原的應用一些重要的噪聲高斯噪聲瑞利噪聲伽馬（愛爾蘭）噪聲指數(shù)分布噪聲均勻分布噪聲脈沖噪聲（椒鹽噪聲）圖像復原的應用高斯 伽馬 均勻瑞利 指數(shù) 脈沖圖像復原的應用高斯噪聲源于電子電路噪聲和由低照明度或高溫帶來的傳感器噪聲瑞利噪聲對分布在圖像范圍內特征化噪聲有用伽馬分布和指數(shù)分布用于激光成像噪聲均勻密度分布作為模擬隨機數(shù)產生器的基礎脈沖噪聲用于成像中的短暫停留中，如錯誤的開關操作圖像復原的應用樣本噪聲圖像和它們的直方圖用于噪聲模型的測試圖由簡單、恒定的區(qū)域組成僅僅有3個灰度級的變化圖像復原的應用圖像復原的應用圖像復原的應用結論上述噪聲圖像的直方圖和它們的概率密度函數(shù)曲線對應相似前面5種噪聲的圖像并沒有顯著不同但它們的直方圖具有明顯的區(qū)別圖像復原的應用周期噪聲周期噪聲是在圖像獲取中由電力或機電干擾中產生的周期噪聲可以通過頻率域濾波顯著減少圖像復原的應用圖像復原的空間濾波器（只存在噪聲）均值濾波器算術均值濾波器、幾何均值濾波器、諧波均值濾波器、逆諧波均值濾波器順序統(tǒng)計濾波器中值濾波器、最大值濾波器、最小值濾波器、中點濾波器、修正后的阿爾法均值濾波器自適應濾波器自適應局部噪聲消除濾波器、自適應中值濾波器圖像復原的應用算術均值濾波器Sxy表示中心在(x,y)，尺寸為m×n的矩形窗口平滑了一幅圖像的局部變化在模糊了結果的同時減少了噪聲圖像復原的應用幾何均值濾波器

幾何均值濾波器在濾波過程中，與算術均值濾波器相比，會丟失更少的圖像細節(jié)——相對銳化圖像復原的應用諧波均值濾波器諧波均值濾波器對于“鹽”噪聲效果好，但不適用于“椒”噪聲善于處理高斯噪聲等圖像復原的應用逆諧波均值濾波器Q稱為濾波器的階數(shù)。當Q為正數(shù)時，用于消除“椒”噪聲；當Q為負數(shù)時，用于消除“鹽”噪聲，但不能同時消除“椒鹽”噪聲當Q=0，逆諧波均值濾波器轉變?yōu)樗阈g均值濾波器當Q=-1，逆諧波均值濾波器轉變?yōu)橹C波均值濾波器圖像復原的應用圖像復原的應用圖像復原的應用均值濾波器的總結算術均值濾波器和幾何均值濾波器適合于處理高斯或均勻等隨機噪聲諧波均值濾波器適合于處理脈沖噪聲缺點：必須事先知道噪聲是暗噪聲還是亮噪聲，以便于選擇合適的Q符號圖像復原的應用順序統(tǒng)計濾波器中值濾波器在相同尺寸下，比起均值濾波器引起的模糊少對單極或雙極脈沖噪聲非常有效圖像復原的應用最大值濾波器用于發(fā)現(xiàn)圖像中的最亮點可以有效過濾“椒”噪聲（因為“椒”噪聲是非常低的值）圖像復原的應用最小值濾波器用于發(fā)現(xiàn)圖像中的最暗點可以有效過濾“鹽”噪聲（因為“鹽”噪聲是非常高的值）圖像復原的應用中點濾波器結合了順序統(tǒng)計和求平均對于高斯和均勻隨機分布這類噪聲有最好的效果圖像復原的應用修正后的阿爾法均值濾波器在Sxy鄰域內去掉g(s,t)最高灰度值的d/2和最低灰度值的d/2gr(s,t)代表剩余的mn-d個像素當d=0，退變?yōu)樗阈g均值濾波器當d=mn-1，退變?yōu)橹兄禐V波器當d取其它值時，適用于包括多種噪聲的情況。如高斯噪聲和椒鹽噪聲混合的情況圖像復原的應用圖像復原的應用圖像復原的應用均值為0，方差為800的高斯噪聲干擾的圖像5*5算術均值濾波器5*5中值濾波器被Pa=Pb=0.1的椒鹽噪聲疊加，進一步惡化5*5幾何均值濾波器d=5,規(guī)格為5*5的修正后的阿爾法均值濾波器效果較好。由于脈沖噪聲的存在，算術均值和幾何均值濾波器沒有起到良好的作用圖像復原的應用自適應濾波器

行為變化基于由m×n矩形窗口Sxy定義的區(qū)域內圖像的統(tǒng)計特性。與前述濾波器相比，性能更優(yōu)但也增加了算法復雜性包括:自適應、局部噪聲消除濾波器自適應中值濾波器圖像復原的應用自適應、局部噪聲消除濾波器濾波器響應基于以下4個量：圖像復原的應用自適應、局部噪聲消除濾波器濾波器的預期性能如下：圖像復原的應用自適應、局部噪聲消除濾波器基于上述假定的自適應表達式：唯一需要知道或估計的未知量是噪聲方差其它參數(shù)可以從Sxy中的像素計算出來2圖像復原的應用均值為0，方差為1000的高斯噪聲7×7的幾何均值濾波器7×7的算術均值濾波器

7×7的自適應濾波器更加尖銳圖像復原的應用自適應中值濾波器傳統(tǒng)中值濾波器只能處理空間密度不大的沖激噪聲（pa,pb<0.2）,而自適應中值濾波器可以處理具有更大概率的沖激噪聲?？梢栽谄交菦_激噪聲時保存細節(jié)，而傳統(tǒng)中值濾波器無法做到。圖像復原的應用自適應中值濾波器定義下列符號：zmin=Sxy中灰度級的最小值zmax=Sxy中灰度級的最大值zmed=Sxy中灰度級的中值zxy＝在坐標（x,y）上