《基于學習的圖像增強技術(shù)》課件第8章

第八章基于馬爾可夫隨機場的超分辨率技術(shù)研究8.1馬爾可夫隨機場模型8.2特征表示8.3基于馬爾可夫隨機場模型的超分辨率學習算法8.4實驗結(jié)果與分析8.5本章小結(jié)

8.1馬爾可夫隨機場模型

超分辨率復原需要解決的問題是在已知低分辨率圖像的條件下,求出最優(yōu)的高分辨率圖像,最常用的方法是最大后驗概率法(MaximumAPosteriori,MAP)。MAP是求取使得條件概率P(IH/IL)最大的IH,其中IH為高分辨率圖像,IL為低分辨率圖像,P(·)為概率。

根據(jù)貝葉斯估計理論,即后驗概率由下式生成：(8-1)在本章中,首先將圖像劃分為若干個圖像塊,然后使用馬爾可夫隨機場(MRF)模型對整個圖像進行建模,每個圖像塊對應馬爾可夫隨機場的一個節(jié)點。圖8-1所示為圖像分塊以及對應的馬爾可夫隨機場節(jié)點的示意圖。圖中Li代表待復原的低分辨率圖像塊;Hi為待求的高分辨率圖像塊;φi(Hi,Li)為高分辨率圖像塊Hi與其對應的低分辨率Li之間的觀測函數(shù)(也稱為相容性函數(shù));ψij(Hi,Hj)是相鄰的高分辨率圖像塊Hj和Hi之間的相關(guān)函數(shù)(也稱為相容性函數(shù))。圖8-1馬爾可夫隨機場模型將一幅圖像分塊處理后,聯(lián)合概率P(IL,IH)可以改寫為

P(IL,IH)=P(L1,L2,…,Ln,H1,H2,…,Hn)

(8-2)

在聯(lián)合概率P(L1,L2,…,Ln,H1,H2,…,Hn)中,低分辨率圖像塊L1,L2,…,Ln是已知的,分別代表不同的低分辨率圖像塊;

H1,H2,…,Hn是未知的,代表待求的高分辨率圖像塊。

根據(jù)馬爾可夫隨機場的性質(zhì),有(8-3)式中,ψ和φ為相容性函數(shù)。根據(jù)MAP可以估計每一個高分辨率節(jié)點Hj,即(8-4)相容性函數(shù)ψ(Hk,Lk)是計算馬爾可夫隨機場中節(jié)點k的高分辨率圖像塊Hk與低分辨率圖像塊Lk的相容性。設Hlk為馬爾可夫隨機場中的第k個節(jié)點的第l個候選高分辨率圖像塊,Llk為Llk對應的低分辨率圖像,Lk為第k個低分辨率圖像塊節(jié)點。Llk與Lk越相似,那么表示Hlk與Lk的相容性就越高。換句話說,如果Hlk與Lk相容性越高,那么Hlk對應的低分辨率圖像Llk就越與Lk相似。由于噪聲的存在,認為它們存在一定的差異,差異服從高斯分布,σi為噪聲參數(shù)。這樣可得出在高分辨率圖像塊節(jié)點與其對應的低分辨率圖像塊之間的相容性函數(shù)為(8-5)相容性函數(shù)ψ用于計算馬爾可夫隨機場中相鄰節(jié)點的相容性。設馬爾可夫隨機場中節(jié)點k與節(jié)點j相鄰,Hlk、

Hmj分別為其對應的高分辨率圖像塊,它們之間重疊一個以上的像素。在重疊的區(qū)域,相應的鄰接的小塊的像素值應該是相容的。也就是說,如果Hlk、Hmj是復原后的圖像塊,那么它們重疊的區(qū)域應該是一致的,但是由于噪聲的存在,認為它們重疊的區(qū)域有一定的差異,這個差異服從高斯分布,σx為噪聲參數(shù)。這樣對于高分辨率圖像塊節(jié)點k和節(jié)點j之間的相容性函數(shù),可以定義為(8-6)其中,dljk為節(jié)點k的第l個候選圖像塊Hlk與節(jié)點j的第m個候選圖像塊Hmj的重疊部分。同樣,dmkj為節(jié)點j的第m個候選圖像塊Hmj與節(jié)點k的第l個候選圖像塊Hlk的重疊部分。圖像塊重疊的一個例子如圖8-2所示。圖8-2塊與塊之間的重疊區(qū)域示意圖另外一個需要解決的問題是高分辨率圖像塊H1,H2,…,Hn從何處獲取的問題。在馬爾可夫隨機場中Hi必須是有限的,如果是連續(xù)的話,將導致無法計算。

在基于學習的超分辨率中,H1,H2,…,Hn是從訓練庫中的高分辨率圖像中獲取的。具體做法是將訓練庫中的高、低分辨率圖像劃分為相互重疊的塊。輸入的低分辨率待復原圖像也按照相同的方式進行分塊。每一個低分辨率待復原圖像塊需要選擇一定數(shù)量的高分辨率圖像塊作為候選圖像塊。最簡單的方法是將訓練樣本中的每一個高分辨率圖像塊作為Hi的候選塊,但是這導致計算量太大。因此為了減少計算量,在訓練庫的低分辨率圖像塊中尋找與待復原圖像中的圖像塊Lti最相近的n(例如5)個塊LTi,i=1,2,…,n。然后將這些低分辨率塊對應的高分辨率圖像塊HTi,i=1,2,…,n作為Hi的候選圖像塊。圖8-3為選取候選塊過程示意圖,該過程可分為兩步：(1)從低分辨率訓練庫SM中選取與待復原的低分辨率塊Li最相似的n個塊;(2)從第一步選擇的低分辨率塊對應的高分辨率塊為超分辨率候選塊中選擇超分辨率塊。圖8-3選取候選塊過程示意圖接下來需要解決的問題是從候選圖像塊中選擇出最優(yōu)的圖像塊使得式(8-4)最大化,但計算量非常大,直接計算幾乎不可能。因此,一般采用近似計算的方法,即計算獲得次優(yōu)解。通常采用“信任傳播”(BeliefPropagation,BP)算法進行近似計算,信任傳播算法是一個迭代算法,一般進行3、4次迭代就能夠收斂。

信任傳播在包括立體視覺匹配等計算機視覺領(lǐng)域有著廣泛的應用。信任傳播把推理局部化和分布化,把全局的積分變成局部的消息傳遞。網(wǎng)絡中的每個節(jié)點通過和鄰近節(jié)點交換信息對自身的概率狀況進行評估。通過這種方式,使得計算量從指數(shù)增長變成近似的線性增長,從而使得統(tǒng)計推斷能在復雜系統(tǒng)中被應用。通過信任傳播估計未知的Hj可表示為(8-7)從節(jié)點i到節(jié)點j的消息傳遞更新規(guī)則為(8-8)其中,k∈NB(i)＼j表示節(jié)點k為節(jié)點i周圍的節(jié)點(除了節(jié)點j外),mpk→i表示上一次迭代的結(jié)果,消息更新規(guī)則如圖8-4(b)所示。開始時,所有的消息都置為1,所有的節(jié)點同時更新它們的消息,最后當mpk→i約等于mk→i時停止迭代。圖8-4消息的信任傳播算法的傳遞示意圖

8.2特征表示

超分辨率的任務是恢復出低分辨率圖像丟失的高頻信息。由于預測低分辨率圖像丟失的高頻信息時低頻部分提供的信息有限,而中頻部分能提供更多的有用信息,因此可以認為最高頻信息條件獨立于最低頻信息,因此一般認為(8-9)在訓練樣本庫中存在對應的高分辨率圖像和低分辨率圖像。首先將低分辨率圖像進行插值(例如通過最近鄰插值)放大到與高分辨率圖像相同的分辨率。在訓練集中只需要存儲高分辨率圖像和插值放大的低分辨率圖像的差值,在復原時也只需要復原出它們的差值部分。這個差值部分就是超分辨率希望獲取的高頻信息。中頻信息提取時,先對低分辨率圖像進行插值(例如通過最近鄰插值)放大,然后通過對放大后的圖像提取高斯差分(DifferenceofGaussian,DoG)特征,以獲取中頻信息。高斯差分是兩幅高斯圖像的差,具體來講就是圖像在不同參數(shù)下的高斯濾波結(jié)果相減,得到DoG特征圖。圖8-5是車牌圖像以及其特征提取的結(jié)果。圖8-5車牌圖像以及其特征提取的結(jié)果

8.3基于馬爾可夫隨機場模型的

超分辨率學習算法

基于馬爾可夫隨機場(MRF)模型的超分辨率學習算法分為兩個部分,即訓練過程和學習過程。算法的流程圖如圖8-6所示,具體算法的步驟如下：圖8-6訓練過程和學習過程的流程圖

1.訓練過程

(1)將每一幅低分辨率訓練樣本圖像進行插值(使用最近鄰插值)放大,提取插值放大后圖像的DoG特征,即圖像的中頻信息。

(2)將第一步生成的圖像劃分成多個相互重疊的圖像塊,其大小為n×n(例如塊的大小為6×6,塊與塊的重疊部分為2個像素),所有的特征圖像塊構(gòu)成一個低分辨率圖像塊數(shù)據(jù)庫SM。

(3)將高分辨率圖像與低分辨率插值放大后的圖像進行差分,得到一個差分圖像。同樣將差分圖像劃分為多個相互重疊的圖像塊,其大小為n×n,每一個圖像塊表示為Blocki,j,kH，所有的差分圖像塊構(gòu)成一個高分辨率圖像塊數(shù)據(jù)庫SH。

2.學習過程

(1)將輸入的待復原的低分辨率圖像進行插值(使用最近鄰插值)放大,提取插值放大后圖像的DoG特征,即圖像的中頻信息。

(2)將上一步生成的圖像劃分為多個相互重疊的圖像塊,對于每一個塊,可以將其表示為向量Blocki,jtest

。

(3)在低分辨率圖像塊數(shù)據(jù)庫SM中尋找與每個Blocki,jtest最相似的K個塊,將其在高分辨率圖像塊數(shù)據(jù)庫SH對應的K個高分辨率圖像塊作為Blocki,jtest的高分辨率圖像塊的候選塊。

(4)將尋找到的K個候選塊代入式(8-4),通過“信任傳播”算法在K個候選塊中選擇適合的圖像塊,然后按照順序拼接還原為高頻細節(jié)圖像,最后高頻細節(jié)圖像與插值放大圖像進行疊加獲得高分辨率復原圖像。圖8-7為高頻細節(jié)與插值放大圖像疊加的示意圖。圖8-7高頻細節(jié)與插值放大圖像疊加的示意圖

8.4實驗結(jié)果與分析

1.實驗一

實驗一中使用亞洲人臉標準圖像數(shù)據(jù)庫(IMDB)中的人臉圖像。提取其面部圖像,并進行歸一化,歸一化成96×80的像素。把96×80的人臉圖像作為高分辨率人臉圖像,對其進行降質(zhì)處理,降質(zhì)為48×40的圖像,將其作為低分辨率人臉圖像。IMDB中包含了107人(男56人,女51人),年齡都在20～30歲之間,每人有17幅不同圖像(正面臉1幅,光照變化4幅,姿勢變化8幅,表情變化4幅),共107×17＝1219幅人臉圖像。其中帶眼鏡的有32人(男24人,女8人)。首先選取了所有不帶眼鏡的75人進行實驗,每人選正面臉1幅,總共75幅。隨機選擇其中的8人(8幅人臉圖像)作為測試數(shù)據(jù)。圖8-8為實驗一中使用的部分低分辨率圖像和高分辨率圖像。圖8-8實驗一中使用的部分低分辨率人臉圖像和高分辨率人臉圖像圖8-9為MRF模型的學習算法的實驗結(jié)果和插值算法的比較圖。從該圖中可以看出兩種插值算法的復原圖像都較為平滑,明顯缺少高頻信息,圖像看起來較為模糊。而MRF模型的學習算法的實驗結(jié)果能夠較好地恢復出圖像的高頻細節(jié),其復原效果遠遠優(yōu)于插值算法。從人眼的感官來說,MRF模型的學習算法的復原結(jié)果與真實的高分辨率圖像極為相似,而通過插值算法對圖像進行插值放大的結(jié)果與真實的高分辨率圖像存在較大的差異,并且可以明顯地看出人為放大的痕跡。圖8-9實驗結(jié)果圖8-10為8幅測試人臉圖像的平均峰值信噪比圖。平均峰值信噪比是所有測試圖像峰值信噪比的平均：(8-10)其中,n表示測試圖像的數(shù)量,PSNRi為第i幅測試圖像的峰值信噪比。從客觀評價標準峰值信噪比(PSNR)來看,MRF模型的學習算法遠遠優(yōu)于插值算法。圖8-10峰值信噪比圖

2.實驗二

在實驗二中,以車牌為研究對象進行MRF模型下的基于學習超分辨率復原。收集95幅帶有車牌的圖像,將其車牌部分圖像提取出來(大小為1