基于重疊區(qū)域的圖像去模糊算法

基于重疊區(qū)域的圖像去模糊算法

0運(yùn)動模糊技術(shù)運(yùn)動的模糊性通常由相機(jī)和相機(jī)場景之間的相對運(yùn)動引起。如果光線不好，光就容易發(fā)生。隨著數(shù)字?jǐn)z影攝像的逐漸普及,去運(yùn)動模糊也成為了計算機(jī)視覺領(lǐng)域面向畫質(zhì)增強(qiáng)的一個熱點研究方向。近年來,也有許多研究人員在此領(lǐng)域取得了較好的研究成果。數(shù)字圖像處理中的模糊通常分為失焦模糊和運(yùn)動模糊兩大類。失焦模糊是指在數(shù)字?jǐn)z像過程中,由于目標(biāo)物所處的位置不在光學(xué)鏡頭的焦距附近,導(dǎo)致物體的成像不清晰。失焦通常是因為攝像器材聚焦錯誤或是目標(biāo)物體的厚度超過設(shè)備景深所致。而運(yùn)動模糊是指在數(shù)字?jǐn)z像過程中,攝像器材與拍攝目標(biāo)之間的相對運(yùn)動造成的成像不清晰。造成運(yùn)動模糊的原因通常是在曝光時間內(nèi),攝影器材的抖動或是景物的快速移動所致。本文主要研究去運(yùn)動模糊技術(shù),對于失焦模糊不予討論。運(yùn)動模糊的數(shù)學(xué)模型為清晰圖像與模糊核進(jìn)行卷積運(yùn)算之后再加上隨機(jī)噪聲。因此,去運(yùn)動模糊的問題可以簡化為一個求解圖像的反卷積過程。卷積操作通常需要耗費大量的計算,但經(jīng)過傅里葉變換后,時域中的卷積操作可以變換為頻域中簡單的矩陣點乘,大大減少了計算量,所以不少算法都通過傅里葉變換及反變換來求解反卷問題。圖像的反卷積分為盲卷和非盲卷兩大類。非盲卷即假設(shè)模糊核已知或通過一定的計算可以得出。因此在非盲卷中只需要根據(jù)模糊圖像和模糊核估算出清晰圖像即可。盲卷即模糊核未知,需要根據(jù)模糊圖像估算出模糊核并復(fù)原出清晰圖像。根據(jù)模糊核的性質(zhì),又將去運(yùn)動模糊技術(shù)分為空間不變和空間可變兩大類,其數(shù)學(xué)模型分別稱為單核模型和多核模型。空間不變算法假設(shè)模糊核對于圖像是全局不變的,即每個像素的移動軌跡是類似的,是對去運(yùn)動模糊問題的一種簡化。而空間可變?nèi)ツ：惴ㄕJ(rèn)為圖像中的每個像素,其對應(yīng)的點擴(kuò)散方程是不同的。在攝像的過程中如果攝像器材相對于拍攝目標(biāo)有旋轉(zhuǎn)運(yùn)動,那么每個像素的變換就是不同的。事實上,空間不變算法的前提假設(shè)是十分有局限性的,實際應(yīng)用中基本不存在攝像器材與所拍攝運(yùn)動場景間的相對運(yùn)動與兩者平面完全平行的情況。但是空間可變的去運(yùn)動模糊算法又相對復(fù)雜,做起來難度比較大。本文的主要貢獻(xiàn)在于提出了基于圖像分割的去運(yùn)動模糊方法,利用圖像各區(qū)域內(nèi)部模糊核一致,而相鄰區(qū)域模糊核相似的性質(zhì)求解各區(qū)域及重疊區(qū)域的模糊核。本文方法的另一關(guān)鍵在于利用重復(fù)區(qū)域整合拼接分區(qū)域去運(yùn)動模糊結(jié)果,使得拼接結(jié)果自然流暢。圖1所示為本文方法的一個樣例。1基于深度信息的模糊估計非盲卷技術(shù)中最著名同時也是最廣泛使用的是Richardson在1972年提出的方法。該方法通過假設(shè)像素強(qiáng)度符合泊松分布來求解原清晰圖像。但是該方法通常因為強(qiáng)邊周圍的水紋效應(yīng)而失效。許多研究人員針對這一問題進(jìn)行研究,但這些方法都以假設(shè)模糊核不存在誤差為前提。Shan等人引入了一些空間參數(shù)加強(qiáng)自然圖像統(tǒng)計分布,通過加入mask圖來抑制噪聲和水紋效應(yīng)。其最大的貢獻(xiàn)是提示人們并不是所有的圖像區(qū)域都適合用于提煉必要的信息。近年來,盲卷技術(shù)取得了很大的進(jìn)展。大多數(shù)盲卷算法利用圖像和卷積核先驗信息約束,求解模糊核和清晰圖像。但是這些算法通常需要很大的計算量,即使對于較小的圖像也需要花費大量時間去估算點擴(kuò)散方程(PSF)。Jia通過圖像透明度信息獲取物體運(yùn)動線索,并結(jié)合圖像alpha通道的先驗知識在圖像的alpha圖上進(jìn)行反卷積計算。但是,該方法十分依賴alpha圖的準(zhǔn)確度,并不適用于模糊程度較大的場景。Cho等人提出利用雙邊濾波來檢測強(qiáng)邊緣。但是正如其文中所提到的,該方法在模糊核較大的情況下會失效。Chen等人提到可以在估算模糊核前先對輸入圖像進(jìn)行梯度增強(qiáng)并抑制平滑區(qū)域的噪聲。Xu等人發(fā)現(xiàn),強(qiáng)邊緣不一定正確指導(dǎo)核估計,有時甚至干擾了核估計。為此設(shè)計了二階段精煉模糊核的算法。Fergus等人提出了一種在變形的貝葉斯架構(gòu)里利用自然圖像梯度先驗信息恢復(fù)模糊核的方法。其主要貢獻(xiàn)在于首次提到了梯度域先驗知識。該方法的主要缺點在于需要用戶手動劃出部分圖像區(qū)域,該區(qū)域不能發(fā)生飽和現(xiàn)象,以便用于估計模糊核。因為用戶劃定的區(qū)域會不同,所以從經(jīng)驗上來說他的方法更適用于有一定圖像處理知識的研究者。而且,局部區(qū)域的模糊核不一定能夠代表全局模糊核。除了基于單幅圖像的去運(yùn)動模糊方法,也有許多研究人員致力于多圖像去運(yùn)動模糊或基于硬件的去運(yùn)動模糊[11,12,13,14,15,16]。Zhuo等人通過額外拍攝一張閃光圖像來矯正模糊圖。Rav-Acha等人提出了利用具有不同模糊方向的兩幅模糊圖像來復(fù)原清晰圖像的方法。Yuan等人提出通過額外拍攝一張短曝光時間的較暗且?guī)г肼暤膱D像來配合復(fù)原模糊圖像。Tai等人開發(fā)了一種能夠同時捕捉高幀率視頻和一張模糊圖像的復(fù)合相機(jī)。通過計算視頻幀之間的光流向量,來輔助估算模糊核。這種方法需要額外的復(fù)合相機(jī)的協(xié)助,并且本身受到光流計算誤差的影響。Tai等人對曝光時間進(jìn)行編碼,進(jìn)而產(chǎn)生物體運(yùn)動的頻閃觀測圖像,估算運(yùn)動單應(yīng)性,之后結(jié)合用戶交互獲取離散運(yùn)動圖。這部分工作依賴于用戶交互,并且要求從圖像中的模糊區(qū)域獲取未覆蓋紋理信息。Joshi等人提出一種利用已有清晰圖像來恢復(fù)模糊圖像的方法。此外,Xu等人首次嘗試使用深度信息來分層估算點擴(kuò)散方程,并且提出了regiontree的概念來解決分層后某些區(qū)域過小,信息量不足無法正確估算模糊核的問題。但是深度信息的獲取需要基于兩張不同角度的圖片。在處理空間可變類型模糊方面,近年來同樣有許多成果。Dai等人同樣利用alpha通道估計空間可變模糊核。該方法強(qiáng)依賴于預(yù)處理階段得到的alpha圖,并假設(shè)前景物體移動通過靜止的背景。Shan等人提出了一種適用于處理旋轉(zhuǎn)的去模糊方法。這種方法要求用戶提供旋轉(zhuǎn)線索,并且也同樣依賴于圖像的alpha圖。以上都是基于PSF模型,有一些算法使用了其他模型解決去模糊。Gupta等人提出了運(yùn)動密度函數(shù)的概念(motiondensityfunction)。他將相機(jī)的運(yùn)動分為3種旋轉(zhuǎn)和3種平移,每種運(yùn)動都理解為在該6維空間中的一條路徑。相機(jī)在某個位置上的曝光時間理解為該路徑上對應(yīng)點的密度。任何由相機(jī)運(yùn)動造成的模糊效果都可以通過運(yùn)動密度函數(shù)來描述。Agrawal等人將去模糊和超分辨率聯(lián)系起來。2重復(fù)區(qū)域模糊核去模糊本文方法框架如圖2所示,主要包含以下幾個步驟:分離輸入圖像中的光照、顏色和紋理信息;分割圖像;分區(qū)域估算模糊核并計算重復(fù)區(qū)域模糊核,根據(jù)計算出的模糊核進(jìn)行區(qū)域單核去模糊;利用重復(fù)區(qū)域整合拼接去模糊結(jié)果并還原光照和顏色信息。基于圖像分割的去運(yùn)動模糊算法利用圖像各區(qū)域內(nèi)部模糊核一致,而相鄰區(qū)域模糊核相似的性質(zhì),使得本文方法結(jié)果優(yōu)于僅僅使用全局單核算法的結(jié)果,其難點是區(qū)域之間有明顯的分界線,故需要使用其他方法消除。嘗試使用重疊區(qū)域求平均值的方法,消除區(qū)域之間的分界線。2.1圖像的表面形貌由于原清晰圖像與模糊圖像在光照和顏色信息上差異很小,而在紋理信息上差異較大。因此首先分離輸入模糊圖像中的光照,顏色和紋理信息。采用文獻(xiàn)中提到的圖像分解方法。首先將圖像分解為強(qiáng)度圖I和色彩圖(r,g,b)。強(qiáng)度圖的計算并沒有采取傳統(tǒng)的RGB三通道直接相加的方式,而是根據(jù)他們的權(quán)重進(jìn)行線性組合,即Ι=R2+G2+B2R+G+B(1)I=R2+G2+B2R+G+B(1)色彩圖的表示就是相應(yīng)的RGB通道值與強(qiáng)度的比值,即r=R/I,g=G/I,b=B/I。強(qiáng)度圖I經(jīng)由雙邊濾波器可得到光照圖L,而紋理圖T可由T=1/L計算得出。為簡單起見,令L代表輸入圖像的光照層,T代表輸入圖像的紋理層,而(r,g,b)代表輸入圖像的顏色層。2.2畫面模糊核的處理運(yùn)動模糊的產(chǎn)生來源于攝像機(jī)與所拍攝景物之間的相互運(yùn)動。除去攝像機(jī)有可能由于拍攝者缺乏經(jīng)驗而造成位移之外,所拍攝的景物自身在攝像機(jī)曝光期間也有可能存在運(yùn)動。例如航行中的帆船,飛翔中的海鷗,隨風(fēng)擺動的樹枝等。在這種情況下,畫面中背景的模糊是由于攝像機(jī)的運(yùn)動造成的,但是畫面中物體的模糊則是由攝像機(jī)的運(yùn)動和物體自身的運(yùn)動共同造成的,當(dāng)然不能用單一的模糊核對整幅圖像進(jìn)行去模糊處理。另外也有可能畫面中同時存在多個物體,一些相對靜止,另一些存在運(yùn)動且彼此相互獨立,這種情況下更應(yīng)該對畫面中的物體分別考慮。即使假設(shè)所拍攝的景物自身沒有運(yùn)動,畫面中不同物體距離攝像頭的距離通常也是不同的,對其分別求解模糊核在一定程度上是對文獻(xiàn)中提到的方法的一種簡化。首先對輸入模糊圖像進(jìn)行初步分割。主要基于Mean-Shift算法對輸入模糊圖像進(jìn)行初步分割。畫面中不同的物體之間顏色通常有所不同,畫面背景一般顏色相對單調(diào)而畫面中的物體顏色相對復(fù)雜。因此,主要利用輸入模糊圖像中的顏色特征,即顏色層(r,g,b)。初步分割結(jié)果如圖3所示。初步分割后的圖像中會含有一些面積較小的區(qū)域,因此需要對分割后的結(jié)果進(jìn)行精化。這些區(qū)域由于信息量太少而無法進(jìn)行有效的模糊核估算,但其中又包含有一些重要的細(xì)節(jié)信息。設(shè)計一個算法來處理這些零散區(qū)域,使之能夠為后續(xù)步驟提供有價值的信息。首先按照面積從小到大的順序遍歷分割后的各個區(qū)域。對于所有面積小于閾值Min_Area的區(qū)域(以下稱其為小區(qū)域),如果其相鄰區(qū)域中也有小區(qū)域,則將這些區(qū)域合并,直到合并后的結(jié)果沒有相鄰的小區(qū)域為止。然后進(jìn)行檢查,如果存在區(qū)域a包含于區(qū)域b中,且二者的面積之比a/b小于閾值Min_Ratio,則將區(qū)域a,b合并。如果分割結(jié)果中還存在小區(qū)域,則將其合并到與其共同邊界最長的區(qū)域中。初步分割后的圖像經(jīng)精化的效果如圖4所示。最后需要根據(jù)計算得出的邊界信息,構(gòu)建重疊區(qū)域。對于每個分區(qū),將與其邊界上的點距離小于d的所有點也歸入該區(qū)域,這時不同分區(qū)就有了重疊的部分,保存這些重疊區(qū)域的構(gòu)成信息,即該重疊區(qū)域為哪幾個區(qū)域的重疊部分。2.3模糊核估計的解E(k)=∑ΤSi,B*ω*∥ΤSi?k-B*∥2+E(k)=∑TSi,B?ω?∥TSi?k?B?∥2+β‖k‖2(2)式中,ω*是圖像每階偏導(dǎo)對應(yīng)的權(quán)重系數(shù);β是Tikhonov正則項系數(shù);TSi和B*對應(yīng)梯度增強(qiáng)圖像與模糊圖的一階和二階偏導(dǎo)圖,具體定義為(ΤSi,B*)∈{(?ΤSix,?xB),(?ΤSiy,?yB),(?x?ΤSix,?xxB),(?y?ΤSiy,?yyB),((?x?ΤSiy+?y?ΤSix)/2,?xyB)}(3)(TSi,B?)∈{(?TSix,?xB),(?TSiy,?yB),(?x?TSix,?xxB),(?y?TSiy,?yyB),((?x?TSiy+?y?TSix)/2,?xyB)}(3)能量最小化公式的定義與文獻(xiàn)中相同。由于共軛梯度法涉及大型矩陣運(yùn)算,若沒有專門的硬件,普通CPU在大矩陣運(yùn)算上沒有任何加速性。所以在文獻(xiàn)選擇使用快速傅里葉變換來解方程。另外,在文獻(xiàn)中提到普通的模糊核估計需要注意圖像邊緣的截斷作用。文獻(xiàn)中使用了圖像高階連續(xù)性約束,在圖像邊緣擴(kuò)展了對應(yīng)像素。這種方法的確能夠避免圖像邊緣截斷效用,但需要花費額外的計算時間。式(3)強(qiáng)調(diào)圖像高階偏導(dǎo)的連續(xù)性,因此無需十分注意截斷作用,在圖像邊緣選擇補(bǔ)零即可。與文獻(xiàn)中相同,根據(jù)卷積定理,得到了模糊核解k=F-1(∑ΤSi,B*ω*?ˉF(ΤSi)?F(B*)∑ΤSiF(ΤSi)2+β)(4)式中,F()和F-1()分別表示快速傅里葉正變換和反變換。由式(4)獲得的模糊核是初始解,其中還包含了不少噪聲干擾。因此在初始解的基礎(chǔ)上再精化模糊核細(xì)節(jié)結(jié)構(gòu)。利用模糊核的兩個重要性質(zhì):稀疏性和連續(xù)性。稀疏性是由于相機(jī)快門的曝光時間不會很長,所以模糊核內(nèi)大部分區(qū)域都是零值,有值的像素點個數(shù)是稀疏的。連通性是指模糊核描述的是攝像機(jī)與拍攝畫面之間的相對運(yùn)動路徑,因此這條路徑必須是連通的,物理意義上來講不存在時空跳躍。根據(jù)稀疏性質(zhì),對初始模糊核進(jìn)行閾值過濾處理。首選搜索這個模糊核,找到最大像素值,然后過濾那些值小于最大像素值的1%的點。那些值過小的點是由計算誤差或是噪聲造成的。代碼只需要循環(huán)遍歷模糊核兩次,所以總的復(fù)雜度是O(n)的,n是模糊核的像素個數(shù)。根據(jù)連通性質(zhì),檢查模糊核的像素連通性,規(guī)定只有和那些最大像素值相連通的像素點被保留下來,否則置零。首先記錄下模糊核像素值最大的某一點的引用值,利用泛洪原理,將它壓入棧S。然后開始遍歷棧中的像素點,直到棧為空為止。如果棧中有元素,彈出棧頂元素,并將該像素點標(biāo)志為已訪問。若該元素的值大于零,將它拷貝到結(jié)果模糊核k′,并將它周圍的未訪問過的像素點壓入棧S中。因為該點有值,表明它與最大像素點是連通的,它周圍的像素點必須被考察。若該像素點的值為零,表明它已經(jīng)不屬于路徑中的一點了,那么沒必要考慮它的周圍鄰居,忽略即可。k′就是需要的精化模糊核結(jié)果。各個區(qū)域的模糊核估算并精化后,需要借助它們計算重疊區(qū)域的模糊核,即k=ω1k1+ω2k2+…+ωnkn(5)式中,ωi為重疊區(qū)域各構(gòu)成部分的權(quán)重,與其包含細(xì)節(jié)多少成正比且總和為1,ki為各分區(qū)域模糊核,n為構(gòu)成該重疊區(qū)域的分區(qū)個數(shù)。盡管圖像不同區(qū)域的模糊核不同,但從圖像的整體性上考慮,這些模糊核在結(jié)構(gòu)上應(yīng)是相似的。在分割后圖像中的某些區(qū)域,例如圖3(a)中的天空,由于圖像比較平滑、缺少細(xì)節(jié),所以估算出的模糊核與其他區(qū)域相差較大。這一現(xiàn)象對于其自身區(qū)域的影響不大,但是卻對重疊區(qū)域的圖像去模糊效果存在不利影響,因為重疊區(qū)域通常包含著模糊圖像中的強(qiáng)邊。因此,賦給包含細(xì)節(jié)少的區(qū)域權(quán)重較小,賦給包含較多細(xì)節(jié)的區(qū)域權(quán)重較大。計算得出的模糊核也要依據(jù)稀疏性和連通性對其進(jìn)行優(yōu)化處理。2.4去模糊區(qū)域合并區(qū)域內(nèi)去運(yùn)動模糊的最后一步是將計算得到的估算模糊核與模糊圖像進(jìn)行反卷。使用能量方程,求解清晰圖像L。E(L)=∥L?k-B∥2+λ∥?L∥2(6)式中,?L是清晰圖像L的一階導(dǎo)數(shù),即梯度;λ是正則項系數(shù);∥?L∥2是用來約束清晰圖像平滑度的正則。注意到式(6)與式(2)十分類似,同樣可以使用快速傅里葉變換求解。去模糊后的區(qū)域合并主要指的是重疊區(qū)域的處理。非重疊區(qū)域直接保留其非盲反卷積結(jié)果;對于重疊區(qū)域,將重疊區(qū)域的解反卷結(jié)果與其組成區(qū)域的解反卷結(jié)果做線性插值,得出最終結(jié)果。計算過程中各個區(qū)域的權(quán)重應(yīng)與式(5)中的權(quán)值相一致。重疊區(qū)域的構(gòu)建對于各個區(qū)域去模糊后的合并具有重要意義,如圖5所示。圖5(a)中為沒有重復(fù)區(qū)域?qū)Ω鱾€分區(qū)直接進(jìn)行拼接的結(jié)果,可以看出在區(qū)域邊界有明顯的拼接痕跡;圖5(b)所示為引入重疊區(qū)域后的去模糊效果,可以看出在區(qū)域邊界處的拼接更加自然流暢。3與傳統(tǒng)單晶去模糊方法對比從圖6及圖7中6組圖像的去模糊效果對比可以看出,基于圖像分割的去運(yùn)動模糊算法可以分區(qū)域更精確的估算模糊核,尤其是在圖像中有多個物體的情況下,可以使得圖像中的一些物體得到更好的恢復(fù)效果。除了與傳統(tǒng)單核算法進(jìn)行對比之外,還與文獻(xiàn)中提出的利用深度信息分層去模