運(yùn)動(dòng)模糊圖像盲復(fù)原的變分方法

運(yùn)動(dòng)模糊圖像盲復(fù)原的變分方法

1運(yùn)動(dòng)仿真算法相機(jī)成像時(shí)的動(dòng)蕩使圖像模糊。在相機(jī)日益流行的今天，這種模糊性到處都是。從模糊圖像恢復(fù)清晰圖像的過程被稱為運(yùn)動(dòng)模糊退化圖像復(fù)原過程。由于事先不能確定模糊核函數(shù),故這種復(fù)原又稱為運(yùn)動(dòng)模糊圖像盲復(fù)原。圖像去模糊技術(shù)在刑偵、測量、監(jiān)控及軍事等領(lǐng)域有著重要的應(yīng)用。由于不能確定模糊核函數(shù),因此是一類病態(tài)問題,需要借助于圖像中的先驗(yàn)知識(shí)進(jìn)行輔助求解。本文研究的是通過輸入一幅單張模糊退化圖像得到卷積核函數(shù)并計(jì)算出清晰圖像,不需要額外的硬件設(shè)備,因此應(yīng)用面更加廣泛。另外本文處理的是圖像的全局模糊,即在圖像中的所有點(diǎn)處的模糊函數(shù)都是統(tǒng)一的。Chan提出用變分方法處理圖像的模糊,不過此方法沒有結(jié)合模糊的先驗(yàn)知識(shí),直接把卷積核的總變分項(xiàng)引入能量方程進(jìn)行求解。該方法第一次提出采用變分能量模型來求解點(diǎn)擴(kuò)展函數(shù)和清晰圖像。實(shí)驗(yàn)證明此方法雖然具有一定的通用性,但實(shí)用效果不好。Fergus提出了采用圖像的先驗(yàn)知識(shí)的方法進(jìn)行輔助求解,通過觀察清晰自然場景圖像的梯度分布符合長拖尾分布,而受到模糊退化后的圖像不符合這一特征,作者采用多高斯概率分布擬合長拖尾分布。另外作者在文中提出了多尺度復(fù)原的思路,保證了算法的魯棒性。雖然有若干缺點(diǎn),但是后期運(yùn)動(dòng)圖像盲復(fù)原算法,都受此文思路的影響。Shan發(fā)現(xiàn)多高斯概率分布擬合長拖尾分布速度較慢,他提出了分段函數(shù)來擬合這種分布。另外作者引入一階和二階數(shù)據(jù)項(xiàng),并根據(jù)圖像中的平滑部分來抑制振鈴現(xiàn)象的發(fā)生。Levin在文中沒有提新的運(yùn)動(dòng)模糊退化圖像的盲復(fù)原算法,而是對(duì)比較好的去模糊算法進(jìn)行了比較,采用變分能量方法直接求解運(yùn)動(dòng)去模糊問題會(huì)失敗的原因在于圖像在復(fù)原過程中能量項(xiàng)的值不一定是減小的,大多數(shù)情況下是增大的,而且圖像中的細(xì)節(jié)部分會(huì)對(duì)整個(gè)復(fù)原過程產(chǎn)生不利的影響。此文章發(fā)表后很多后期的算法都采用限制圖像中小的梯度,或者直接選擇大梯度進(jìn)行求解。Hui采用圖像的梯度信息來估計(jì)點(diǎn)擴(kuò)展函數(shù),通過梯度信息計(jì)算傅立葉功率譜來估計(jì)造成圖像模糊的核矩陣,該方法的好處是對(duì)于直線運(yùn)動(dòng)引起的運(yùn)動(dòng)模糊有很好的效果,但是對(duì)于實(shí)際的相機(jī)運(yùn)動(dòng)造成的的模糊效果不好。Cho提出了快速的運(yùn)動(dòng)去模糊方法,首先采用雙邊濾波去除圖像中的噪聲信息,然后利用Shock濾波增強(qiáng)圖像的邊緣,對(duì)增強(qiáng)后的圖像建立梯度篩選規(guī)則,把梯度超過一定閾值的信息保留下來,并在從粗尺度到細(xì)尺度逐漸變化的過程中依次增大梯度的閾值,使得越來越多的圖像信息被用來估計(jì)點(diǎn)擴(kuò)展函數(shù),另外進(jìn)一步加速求解過程,還利用GPU進(jìn)行硬件加速,使得整體算法在速度上有了很大提升。但是作者也指出,如果圖像中存在大量的細(xì)節(jié)部分時(shí),會(huì)影響到算法的效果。Xu分析了前面算法的特點(diǎn),提出了兩步法去除圖像的運(yùn)動(dòng)模糊,首先采用Shock濾波增強(qiáng)圖像的邊緣,考慮到細(xì)小的邊緣信息會(huì)退化點(diǎn)擴(kuò)展函數(shù)的效果,提出了有用信息的篩選規(guī)則,只有大的梯度信息用指導(dǎo)點(diǎn)擴(kuò)展函數(shù)的估計(jì),這樣估計(jì)出的點(diǎn)擴(kuò)展函數(shù)存在一定的誤差,他又提出修正的方法,依據(jù)點(diǎn)擴(kuò)展函數(shù)是一條連續(xù)的軌跡這一準(zhǔn)則采用壓縮感知的方法進(jìn)行修正。整個(gè)算法效果較好,但是過程較復(fù)雜。Hong分析了單圖像去模糊算法的主要不足,提出了估計(jì)并優(yōu)化點(diǎn)擴(kuò)展函數(shù)的過程,采用自適應(yīng)的光滑項(xiàng)來建立變分能量方程。他認(rèn)為造成運(yùn)動(dòng)模糊點(diǎn)擴(kuò)展函數(shù)的軌跡應(yīng)該是單像素的,因此他采用這一原則對(duì)其進(jìn)行修正。整個(gè)算法實(shí)際上是把運(yùn)動(dòng)去模糊的變分能量方程中的光滑項(xiàng)用非線性各向同性的光滑項(xiàng)進(jìn)行了替代,并且在離散化的過程中采用了八鄰域差分來進(jìn)行實(shí)現(xiàn)。從結(jié)果看,他的實(shí)驗(yàn)效果沒有比以前提到的效果有明顯改善。Raskar提出在頻域內(nèi)去除運(yùn)動(dòng)模糊的算法,雖然需要特定照相機(jī)的幫助,但是其計(jì)算點(diǎn)擴(kuò)展函數(shù)的方法被后來很多基于單圖像進(jìn)行運(yùn)動(dòng)去模糊算法所采用。目前國內(nèi)文獻(xiàn)在利用單幅圖像進(jìn)行自然場景圖像的盲復(fù)原方面多是處理直線運(yùn)動(dòng)引起的圖像模糊,且大多數(shù)的算法都是采用合成的圖像進(jìn)行研究,對(duì)自然場景的運(yùn)動(dòng)去模糊基本處于空白狀態(tài)。本文提出了新的點(diǎn)擴(kuò)展函數(shù)的估計(jì)方法,考慮自然場景圖像梯度符合長拖尾概率分布,本文所提方法采用歸一化的超拉普拉斯先驗(yàn)項(xiàng)作為變分能量方程中的光滑項(xiàng)。引入的光滑項(xiàng)更加有利于圖像在去模糊的求解過程中向正確解收斂。相對(duì)于前面描述的算法,本文提出的算法不需要預(yù)測圖像的梯度信息,也不需要對(duì)梯度進(jìn)行篩選,直接求解該能量方程就能夠得到相應(yīng)的正確解。另外為了減速并簡化所提能量方程的求解,本文采用分裂方法來進(jìn)行求解。實(shí)驗(yàn)結(jié)果證明了本文所提算法的有效性。2多尺度估計(jì)點(diǎn)擴(kuò)展函數(shù)運(yùn)動(dòng)模糊退化圖像的數(shù)學(xué)模型為:式中:f表示運(yùn)動(dòng)模糊退化后的圖像,k表示模糊核矩陣即點(diǎn)擴(kuò)展函數(shù),u表示原始場景信息,n表示成像過程中產(chǎn)生的噪聲。由于相機(jī)抖動(dòng)不能簡單認(rèn)為是直線運(yùn)動(dòng),因此估算點(diǎn)擴(kuò)展函數(shù)是個(gè)難點(diǎn)。與其它有效的去模糊算法一樣,本文也采用多尺度的方式進(jìn)行估計(jì)。在估計(jì)點(diǎn)擴(kuò)展函數(shù)時(shí),根據(jù)圖像自動(dòng)計(jì)算點(diǎn)擴(kuò)展函數(shù)的維數(shù)是個(gè)難點(diǎn),當(dāng)前都是通過人工輸入的方式來確定卷積核的維數(shù)。整個(gè)算法的流程圖如圖1所示。圖像金字塔采用降采樣的方式進(jìn)行,金字塔的層數(shù)由模糊核函數(shù)的大小而定,越大的維數(shù)對(duì)應(yīng)越多的層數(shù),這樣保證恢復(fù)的過程也更加精確。尺度的選擇與Fergus的方法相同,初始核函數(shù)大小為3×3,初始方向取水平或垂直不影響最終的結(jié)果。降采樣和插值放大倍數(shù)選擇為1.4。在粗尺度估計(jì)出的模糊核函數(shù)和清晰圖像插值放大后作為細(xì)尺度上的初始值,整個(gè)算法由粗尺度到細(xì)尺度依次漸進(jìn)執(zhí)行。在每一層上點(diǎn)擴(kuò)展函數(shù)的估計(jì)和清晰圖像的恢復(fù)采用第3部分所提模型進(jìn)行求解。通過多尺度框架計(jì)算得到的點(diǎn)擴(kuò)展函數(shù)并由總變分模型求解,得到清晰圖像。多尺度算法保證了點(diǎn)擴(kuò)展函數(shù)計(jì)算的精確性和魯棒性。3基于歸一化超拉普拉斯初步驗(yàn)證元素的恢復(fù)算法3.1基于超拉普拉斯分布的能量方程前面文獻(xiàn)中提到的都不是建立統(tǒng)一的能量方程模型然后進(jìn)行求解,其原因如Levin所述,即總變分項(xiàng)不能保證在去模糊時(shí)能量是下降的,反而有時(shí)是上升的,這樣采用梯度降求解時(shí)往往得不到希望的解。Hurley對(duì)比了歸一化總變分項(xiàng)相對(duì)于其它光滑項(xiàng)的好處,在Krishnan中作者通過實(shí)驗(yàn)證明了歸一化的總變分項(xiàng)是有利于模糊圖像向清晰圖像轉(zhuǎn)化的,沒有考慮梯度的分布依然使得算法不能得到更好的結(jié)果。Fergus采用了自然圖像未模糊的梯度概率分布符合長拖尾分布作為先驗(yàn)知識(shí),Shan把梯度概率分別采用分段的函數(shù)來近似,Krishnan指出自然圖像的長拖尾分布可以用超拉普拉斯分布來近似,并在文中指出了優(yōu)越性。本文將采用梯度的超拉普拉斯分布作為先驗(yàn)知識(shí)引入到能量方程中,為了保證求解時(shí)能量是下降的,采用歸一化的超拉普拉斯分布作為光滑項(xiàng)。歸一化的超拉普拉斯項(xiàng)實(shí)際上是拉普拉斯項(xiàng)除以圖像的總能量得到的值,由于圖像的總能量在每一步的計(jì)算過程中是一個(gè)常數(shù),因此不影響圖像梯度的長拖尾分布。在數(shù)據(jù)項(xiàng)的選擇上,本文采用TVL1數(shù)據(jù)項(xiàng),采用數(shù)據(jù)的高頻信息梯度值作為數(shù)據(jù)項(xiàng)逼近的依據(jù)。本文提出的復(fù)原算法的能量方程為:式中:第一項(xiàng)是數(shù)據(jù)項(xiàng),由于保證恢復(fù)的圖像和原圖像的相似度,*為卷積操作。文獻(xiàn)中作者指出在進(jìn)行圖像處理時(shí)利用L1范數(shù)比L2范數(shù)在邊緣保持方面更加有優(yōu)勢,因此本文采用L1范數(shù)的數(shù)據(jù)項(xiàng)。ue065表示梯度操作。第二項(xiàng)是歸一化的超拉普拉斯分布項(xiàng),當(dāng)p在0.5至0.8區(qū)間內(nèi)取值時(shí),可以使得恢復(fù)的圖像更加符合自然場景特性,也就是梯度符合長拖尾分布,本文參照文獻(xiàn),p取值為0.66,本文后面的實(shí)驗(yàn)中也對(duì)比了p取0.5的情況。造成運(yùn)動(dòng)模糊的核函數(shù)有個(gè)特點(diǎn),即核函數(shù)大部分原始為0,只有在運(yùn)動(dòng)軌跡上的點(diǎn)不為零,因此卷積核函數(shù)是一個(gè)稀疏矩陣,第三項(xiàng)是對(duì)卷積核函數(shù)的稀疏限制。λ1和λ2為系數(shù)。式(2)為在每一尺度上估計(jì)模糊核函數(shù)和清晰圖像的能量方程。3.2能量方程的求解對(duì)于上面的能量方程,本文通過交替迭代的方法來進(jìn)行求解,為了表示方便x=▽u,y=▽f為了計(jì)算采用分裂法求解,令v=k*xy,式(3)能量方程變?yōu)?θ為系數(shù)。固定k求u對(duì)v利用小波軟閾值公式求解:其中:max表示取兩個(gè)數(shù)中值大的操作,abs表示取絕對(duì)值,sign為符號(hào)函數(shù)。對(duì)于x,式(5)中由于在分母上有x項(xiàng),因此能量方程非凸并難以直接求解,但是可以采用它的近似值,在迭代的時(shí)候用上一步的∫Ω|x|2dx近似當(dāng)前步的值,因此求式(5)對(duì)x的歐拉方程為:其中:k′(x,y)=k(-x,-y),即k′是k的中心對(duì)稱矩陣。x不方便求解,為了簡單起見,利用梯度降求解,離散化后:式中:Δt為迭代步長,利用小波軟閾值公式求解公式(9):式中xk+1表示第k+1步的x值,xk表示第k步的x值,通過實(shí)驗(yàn)取p=0.66能夠得到更好的解。固定x,v求k.由于卷積核函數(shù)k的維數(shù)要低于原始圖像的維數(shù),因此對(duì)k的求解不能采用歐拉方程的方式求解,本文采用在壓縮感知領(lǐng)域求解的IRLS方法進(jìn)行求解,內(nèi)部迭代采用共軛梯度法。在每一尺度上,通過上述能量方程的求解,就能夠計(jì)算出當(dāng)前尺度上的模糊核函數(shù)和清晰圖像。在最細(xì)尺度計(jì)算出核函數(shù)后,本文通過總變分方法來得到原始清晰的圖像。TV方程如式(12)所示:方程(12)同樣通過引入分裂Bregman進(jìn)行求解。4運(yùn)動(dòng)去模糊圖像卷積核仿真結(jié)果為了對(duì)比本文提出的算法的有效性,本文選取了6幅運(yùn)動(dòng)模糊退化的圖像,進(jìn)行盲復(fù)原實(shí)驗(yàn),并對(duì)比了當(dāng)前運(yùn)動(dòng)模糊退化圖像去除最好的幾種算法。為了表示方便,計(jì)算出的運(yùn)動(dòng)模糊核放在恢復(fù)圖像內(nèi)部的右上角。圖2是選取自文獻(xiàn)中的圖片,圖像尺寸為800×532,估計(jì)的卷積核大小為25×25,p取0.66。從結(jié)果看,本文方法能夠很好的恢復(fù)圖像中的細(xì)節(jié)部分,達(dá)到了運(yùn)動(dòng)去模糊的效果。圖3是一幅遠(yuǎn)程風(fēng)景的運(yùn)動(dòng)模糊圖像,圖像尺寸為1600×1064,估計(jì)的卷積核大小為51×51,p取0.66,本文方法很好地恢復(fù)了圖像中的細(xì)節(jié)部分,估計(jì)的卷積核函數(shù)為一條曲線,很好地符合了抖動(dòng)拍攝時(shí)的相機(jī)軌跡。圖4是另一幅圖像,圖像大小為1024×1280,恢復(fù)出的卷積核大小為27×27,p取0.66,本文所提的算法在圖像的對(duì)比度及邊界保持方面達(dá)到了很好的效果。圖5是從文獻(xiàn)截取的圖像,圖像大小為858×558,恢復(fù)出的卷積核大小為19×19。在實(shí)驗(yàn)中對(duì)比了p取不同大小對(duì)恢復(fù)結(jié)果的影響。從圖中可以看出p取0.66時(shí)比p取0.5時(shí)恢復(fù)的結(jié)果更加符合自然場景圖像梯度分布規(guī)律,另外得到的卷積核函數(shù)更加光滑,也更加符合運(yùn)動(dòng)模糊相機(jī)軌跡的特征。圖6是另一幅圖像,其大小為535×400,恢復(fù)出的卷積核大小為31×31,圖中所示為本文所提的算法p取0.66、0.5時(shí)與其它方法對(duì)比的結(jié)果。圖7是另一幅圖像,其大小為425×404,恢復(fù)出的卷積核大小