[精品論文]室內(nèi)環(huán)境下手機(jī)相片去噪算法.doc

精品論文室內(nèi)環(huán)境下手機(jī)相片去噪算法劉敏1,2，顧錁1,2，翟廣濤1,2，楊小康1,2（1. 上海交通大學(xué)圖象通信與信息處理研究所；52. 上海市數(shù)字媒體處理與傳輸重點(diǎn)實(shí)驗(yàn)室）摘要：隨著科技的發(fā)展，手機(jī)在我們的日常生活中得到了越來(lái)越廣泛的應(yīng)用，并且從無(wú)線通信領(lǐng)域擴(kuò)展到娛樂(lè)領(lǐng)域。由于數(shù)碼相機(jī)的不便攜帶性，手機(jī)相機(jī)往往成為我們唯一的拍攝工 具。然而，手機(jī)拍攝的相片往往夾雜有大量的噪聲，尤其是在室內(nèi)環(huán)境下。為了解決這個(gè)問(wèn) 題，本文提出了一種手機(jī)相片去噪算法。總結(jié)起來(lái)，我們的算法包括四個(gè)步驟：圖像分割、10噪聲估計(jì)、圖像去噪和子塊合成。對(duì)于手機(jī)在室內(nèi)拍攝的照片，我們通過(guò)有選擇性得合成這 四個(gè)部分，設(shè)計(jì)了一個(gè)交互式圖像去噪系統(tǒng)來(lái)讓用戶(hù)有效得去除噪聲。此外，我們用中低端 手機(jī)相機(jī)拍攝了一幅室內(nèi)環(huán)境下的圖像，并采用上述方法對(duì)其進(jìn)行去噪，結(jié)果驗(yàn)證了本文的 去噪系統(tǒng)是有效的。 關(guān)鍵詞：圖像處理；手機(jī)相片去噪；噪聲估計(jì)；自由能；超級(jí)像素 15中圖分類(lèi)號(hào)：tn919.82 an interactive image denoising system for mobilephonecamera in the indoor environmentliu min1,2, gu ke1,2, zhai guangtao1,2, yang xiaokang1,220(1. institute of image communication and information processing, shanghai jiao tong university, shanghai, china;2. shanghai key laboratory of digital media processing and transmissions)abstract: with the development of the technology, mobile phone has been widely used in our daily life, ranging from wireless communication to entertainment. since it is impossible that the digital25camera is always taken along with us, the mobile phone camera usually becomes the unique choice to record the most splendid moment. however, images captured by the mobile phone camera are generally companied with a great deal of noise, especially in the indoor environment. aim to solve this problem, an image denoising methodology is proposed in this paper. summarily, our algorithm includes four steps: image segmentation, noise estimation, image denoising, and patch composition. by30a selective combination of these four parts, we also design an interactive image denoising system toallow users to efficiently remove the noise in the mobile phone images captured in the indoor condition. one representative image captured by a mid- and low-end mobile phone camera in the above-mentioned environment and their denoised results are finally presented and provided to confirm our effective system.35key words: image processing; mobile phone image denoising; noise estimation; free energy; superpixel0引言近些年來(lái)，圖像去噪成為圖像處理領(lǐng)域最重要的研究方向之一，并且獲得了很大的進(jìn)展。40大多數(shù)圖像去噪算法的提出通常是基于對(duì)真實(shí)(或無(wú)噪)信號(hào)的一些明確或隱含的假設(shè)，從而基金項(xiàng)目：高等學(xué)校博士學(xué)科點(diǎn)專(zhuān)項(xiàng)科研基金 (20090073110022) 作者簡(jiǎn)介：劉敏(1989-)，女，博士生在讀，主要研究方向：圖像與視頻質(zhì)量評(píng)估 通信聯(lián)系人：楊小康(1972-)，男，上海交通大學(xué)教授、博士生導(dǎo)師，國(guó)家杰出青年科學(xué)基金獲得者，上海 高校特聘教授（東方學(xué)者），現(xiàn)任電子信息與電氣工程學(xué)院副院長(zhǎng)，圖像通信研究所副所長(zhǎng)，主要研究方 向：智能視頻分析與檢索、圖像處理與通信. e-mail: - 5 -可以將它從隨機(jī)分布的噪聲中分離出來(lái)。21 世紀(jì)初期，基于圖像去噪算法的超分辨率分析席卷了整個(gè)學(xué)術(shù)界。實(shí)驗(yàn)證明，超分 辨率變換可以獲得空間局部細(xì)節(jié)良好的稀疏性，這是一個(gè)很重要的信息。因此，根據(jù)系數(shù)之 間復(fù)雜的統(tǒng)計(jì)相關(guān)性，研究人員開(kāi)發(fā)出了大量使用超分辨率變換的先進(jìn)去噪算法。1-4詳45細(xì)說(shuō)明了這類(lèi)圖像去噪算法。最近，5 提出了一個(gè)使用變換域增強(qiáng)稀疏表示的圖像去噪算法，被稱(chēng)作 block-matching and 3d filtering (bm3d)。該方法是通過(guò)將相似的 2d 塊堆疊成 3d 數(shù)列來(lái)使稀疏得到增強(qiáng)。 協(xié)同濾波是處理這些 3d 數(shù)列的一個(gè)特殊過(guò)程。它可以分成三個(gè)連續(xù)的部分：塊的 3d 變換， 變換譜的收縮，3d 逆變換。因此，通過(guò)組合過(guò)濾 2d 陣列可以獲得塊的 3d 估計(jì)。由于塊之50間的相似性，變換可以表示為高度的稀疏矩陣，從而通過(guò)收縮分離出噪聲。通過(guò)這個(gè)方法， 協(xié)同濾波表達(dá)了分組片段共有的細(xì)節(jié)，同時(shí)保留了每個(gè)獨(dú)立片段的基本特征。然后，基于 bm3d 提出了彩色圖像去噪算法 c-bm3d。最后，手機(jī)相片可以用如下四個(gè)步驟進(jìn)行去噪：首先，將圖像分割成一些超級(jí)像素10； 然后，基于 nfeqm 和峰值估計(jì)每個(gè)超級(jí)像素的噪聲方差；其次，根據(jù)估計(jì)方差對(duì)超級(jí)像素55進(jìn)行去噪；最后，將所有的超級(jí)像素組合起來(lái)。需要強(qiáng)調(diào)的是，本文中，噪聲估計(jì)不能立即 采用14或者別的特殊算法，但是可以采用一種圖像質(zhì)量算法(nfeqm)。我們提出的系統(tǒng)不僅可用于手機(jī)相片去噪，而且可應(yīng)用到下載的和變換后的圖像中 第二章提出了室內(nèi)環(huán)境下拍攝的手機(jī)相片去噪算法(dmid)，并且明確表示了 dmid 算法的四個(gè)步驟：圖像分割，噪聲估計(jì)，圖像去噪和子塊合成。第三章中，我們提出了一個(gè)交60互式系統(tǒng)，讓用戶(hù)有更多的選擇來(lái)對(duì)他們的手機(jī)相片進(jìn)行處理。最后，第五章對(duì)文章進(jìn)行了 總結(jié)，并就將來(lái)的工作提出了方向。圖 1. dmid 算法的基本框圖1dmid 圖像去噪方法65得到由于數(shù)碼相機(jī)的不便攜帶性，我們的中低端手機(jī)往往成為獲取圖像的唯一工具。由 于手機(jī)拍攝的圖像噪聲很大，尤其是室內(nèi)或昏暗環(huán)境下(本文只討論室內(nèi)環(huán)境)，而這個(gè)問(wèn)題 很難通過(guò)手機(jī)自身得到解決。因此，本文提出了一個(gè) dmid 算法，基本框架如圖 1。1.1 基于超級(jí)像素分割的熵率最近，liu et al.10針對(duì)超級(jí)像素分割提出了一個(gè)新的目標(biāo)函數(shù)，包括兩個(gè)部分：隨機(jī)70熵率和平衡術(shù)語(yǔ)。假設(shè)我們將一幅圖像分成 k 個(gè)超級(jí)像素，隨機(jī)熵率作為一個(gè)標(biāo)準(zhǔn)被用來(lái) 獲得結(jié)構(gòu)緊湊和同構(gòu)的集群。 wi , j wiif i j and ei , j api, j ( a) = 0 if i j and ei , j a(1)1- j : ei. jwi awi. jif i j因此，隨機(jī)熵率可以寫(xiě)成集合的形式：h(a) = -m pi, j (a) log( pi, j (a)i j(2)75然后，考慮一個(gè)平衡函數(shù)。a 是選擇的邊集， n a 是圖中連通分支的個(gè)數(shù)， z a 是集成員的分布。例如，邊集 a 的圖分割是 s a = s1 , s2 ,., s n a 。 z a 的分布可通過(guò)式(3)計(jì)算得到apz (i )= | si | , i = 1,., n | v | a(3)b(a) h(za) - na = -pza (i) log( pza(i) - nai(4)目標(biāo)函數(shù)結(jié)合了熵率和平衡函數(shù)，并且相應(yīng)支持了緊湊、同態(tài)、平衡的族maxa80h( a) + lb ( a)(5)subject to a e and na k其中 l 0 是平衡函數(shù)的權(quán)重。非負(fù)系數(shù)的線性組合保持了子模性和單調(diào)性。因此，目標(biāo)函 數(shù)也是子模塊和單調(diào)性增長(zhǎng)的。1.2 使用 nfeqm 和峰值的噪聲方差估計(jì)本文中，噪聲方差估計(jì)定義為兩個(gè)函數(shù)的乘積。一個(gè)函數(shù)是最近提出的 nfeqm，這是85一個(gè)圖像質(zhì)量評(píng)估(iqa)方法。我們首先假設(shè)視覺(jué)感知的內(nèi)部生成模型 g 是參量的，通過(guò)調(diào)整向量q 解釋了感知場(chǎng)景- log p(i | g) = - log p(i ,q | g)dq(6)接著，我們進(jìn)一步將一個(gè)輔助函數(shù)q(q | i ) 加入(6)中的分母和分子中，得到式(7)p( i ,q | g)- log p(i | g) = - log q(q | i ) q(q | i ) dq(7)90這里，q(q | i ) 是模型參數(shù)的后驗(yàn)分布，可被認(rèn)為是模型參數(shù) p(q | i , g) 的真實(shí)后驗(yàn)的近似后驗(yàn)。式(7)是不等式右邊定義成自由能p( i ,q )- log p( i ) - q(q | i ) log q(q | i ) dqp(i ,q )f ( i ,q ) = - q(q | i ) log q(q | i ) dq(8)(9)95將 p( i ,q ) = p(q | i )p( i ) 帶入式(9)，得到平衡函數(shù)公式f ( i ,q ) = q (q | i ) logq (q | i ) dqp (q | i ) p ( i )q (q | i )= - log p ( i ) + q (q | i ) log p (q | i ) dq= - log p ( i ) + k l(q (q | i ) | p (q | i )(10)根據(jù)吉布斯不等式，近似后驗(yàn)參數(shù)分布和真實(shí)后驗(yàn)參數(shù)分布(10)之間的 kullback-leibler 發(fā)散是非負(fù)的( kl(q(q | i ) | p(q | i ) 0) )，當(dāng)且僅當(dāng)q(q | i ) = p(q | i ) 。自由能 f (q ) 定義了一個(gè)嚴(yán)格的上限約束?？偨Y(jié)起來(lái)，最終的公式是100v ( i ) = l f ( i ,q )a k (i )b(11)m (i )g其中， l ，a ， b 和g 是模型參數(shù)，可以根據(jù)手機(jī)相機(jī)的不同型號(hào)進(jìn)行調(diào)整。1051101151.3 去噪后子塊的合成觀察得知，超級(jí)子像素不是有規(guī)則的圖像子塊，不可以直接用 c-bm3d 進(jìn)行去噪。因 此，我們采用下面兩個(gè)步驟：首先，使用 c-bm3d 來(lái)處理每個(gè)超級(jí)像素的局部矩形塊；然 后，提取每個(gè)超級(jí)像素在去噪子塊中對(duì)應(yīng)的區(qū)域。所有的超級(jí)像素經(jīng)過(guò)處理后，我們把它們 放在合適的位置，并獲得最終結(jié)果。2dmim 交互系統(tǒng)通過(guò)對(duì) dmim 算法四個(gè)步驟的不同組合，我們提出了一個(gè)交互式系統(tǒng)來(lái)讓用戶(hù)有更多 靈活的選擇來(lái)對(duì)他們手機(jī)圖像進(jìn)行去噪。這個(gè)系統(tǒng)主要包括四個(gè)部分，圖 2 是每一步的操作 和簡(jiǎn)單說(shuō)明。紅色虛線框內(nèi)是基本的操作。一幅圖打開(kāi)后，有兩個(gè)選擇“manual ”和 “automatic”。接著，下面的步驟是：1當(dāng)點(diǎn)擊“manual”時(shí)，你會(huì)進(jìn)入最右邊的橘色虛線框；(a) 改變或者不改變初始方差估計(jì) 15；(b) 點(diǎn)擊底部的“execution”按鈕，開(kāi)始去噪；(c) 圖像去噪后，點(diǎn)擊“switch”按鈕來(lái)比較原始圖和去噪圖。如果對(duì)結(jié)果感覺(jué)滿(mǎn)意， 進(jìn)行下一步。否則回到(a)重設(shè)初始方差值；(d)最后，點(diǎn)擊“save file”按鈕來(lái)保存最喜歡的去噪圖像。2你也可以點(diǎn)擊“automatic”按鈕。根據(jù)兩種選擇：對(duì)圖像進(jìn)行去噪或者分別對(duì)分割子塊進(jìn)行處理，分別進(jìn)入左側(cè)的綠色或藍(lán)色虛線框：120125(a)綠色虛線框，或者打開(kāi)“number of segments”菜單，在 9、16、25、36 中選擇需要的分割數(shù)；(b) 點(diǎn)擊“execution”按鈕開(kāi)始圖像去噪；(c) 去噪過(guò)程結(jié)束后，點(diǎn)擊“switch”按鈕核對(duì)初始圖、分段標(biāo)簽和去噪圖。然后判斷 結(jié)果是否符合你的要求。如果滿(mǎn)意，直接到(d)。否則回到(a)重新選擇分割數(shù)目。此時(shí)，原 始圖被分成幾個(gè)不同的部分，接著進(jìn)行去噪過(guò)程 c-bm3d，如圖 4 最左邊的藍(lán)色虛線框；圖 2. 本文提出的 dmid 系統(tǒng)操作流程，以及每一步驟的簡(jiǎn)要說(shuō)明130(d) 最后，點(diǎn)擊“save file”保存結(jié)果。3實(shí)驗(yàn)結(jié)果在室內(nèi)環(huán)境下，我們精心挑選了一個(gè)場(chǎng)景，并用一個(gè) 320 萬(wàn)像素的手機(jī)拍攝了一張 20481536 大小的相片。為了便于顯示，我們?nèi)コ瞬恢匾男畔?，并截取?768512 大小的- 7 -135140145150圖作為原始圖，見(jiàn)圖 3 的最左邊。剩下的四幅圖，從左到右，分別是噪聲方差值為 15、25的去噪結(jié)果，整幅圖是唯一噪聲的去噪結(jié)果，分成 25 個(gè)子塊的去噪結(jié)果。圖 4 是圖 3 的局 部代表性區(qū)域。紅色和藍(lán)色方塊分別是邊緣、紋理區(qū)域和平滑區(qū)域。觀察拍攝的圖像，我們發(fā)現(xiàn)，在不佳的環(huán)境下，用中低端手機(jī)拍攝的大多數(shù)照片都有大 量的噪聲。如圖 3 最左邊的圖，是在室內(nèi)環(huán)境下拍攝的半身像。從第二和第三幅圖中，可見(jiàn) c-bm3d 算法取得了良好的去噪結(jié)果。然而，平滑區(qū)域的去噪結(jié)果不是很理想，邊緣和紋理 區(qū)域過(guò)于模糊。第四幅圖沒(méi)有圖像分割這個(gè)步驟，是第五幅圖的簡(jiǎn)化結(jié)果。由于沒(méi)有清晰的原始圖像計(jì)算 mse 和 psnr，dmid 算法的精確度只可以通過(guò)比較驗(yàn) 證。圖 3 中右邊四幅圖的結(jié)果和圖 4 中的代表性區(qū)域說(shuō)明我們提出的算法取得了良好的結(jié)果。 在平滑區(qū)域(藍(lán)色方塊)，噪聲得到了很好的消除，同時(shí)保護(hù)了邊緣和紋理區(qū)域(紅色方塊)更 多的細(xì)節(jié)。另外，我們?cè)O(shè)計(jì)了一個(gè)交互式系統(tǒng)，讓用戶(hù)可以選擇他們想要的 dmid 方法四 個(gè)部分的組合和相應(yīng)的變量來(lái)修復(fù)手機(jī)相片。圖 3. 原始圖，去噪結(jié)果(從第二幅圖到第五幅圖)：噪聲方差值為 15，噪聲方差值為 25，整幅圖像有一個(gè)確 定的方差值，圖像分割成 25 個(gè)子塊(a) 圖 3 中紅色方塊紋理區(qū)域的放大(b) 圖 3 中藍(lán)色方塊平滑區(qū)域的放大圖 4. 圖 3 中局部代表性區(qū)域的放大1554總結(jié)和工作展望本文中，我們就手機(jī)相片提出了一個(gè)交互式去噪系統(tǒng)，包括四個(gè)部分：圖像分割、噪 聲估計(jì)、圖像去噪和子塊合成。該方法主要用來(lái)解決手機(jī)相機(jī)拍攝的相片夾雜有大量噪聲的 問(wèn)題。實(shí)驗(yàn)結(jié)果證明我們提出的 dmid 算法是可靠的，并且結(jié)果是合理的。正如引言中所 說(shuō)，我們的去噪系統(tǒng)不僅可以用于手機(jī)相機(jī)拍攝的相片，也可以應(yīng)用到下載和變換后的圖像 中。后者是我們的下一個(gè)研究目標(biāo)。另外，由于噪聲大小和分布是隨機(jī)的，我們相信同一場(chǎng)160景的多幅圖像可共同用來(lái)消除噪聲。所以，我們會(huì)考慮基于同一場(chǎng)景的多幅圖像去噪算法來(lái)提高去噪性能。參考文獻(xiàn) (references)1651701751 sendur l. and selesnick i.w., bivariate shrinkage functions for wavelet-based denoising exploiting interscale dependency, ieee trans. signal process. 50 (2002). 2744-2756.2 a.pizurica, w. philips, i.l. and acheroy m., a joint interand intrascale statistical model for bayesian wavelet based image denoising, ieee trans. image process. 11. (2002) 545-557.3 j. portilla, v. strela, m.w. and simoncelli e.p, image denoising using a scale mixtureof gaussians inthe wavelet domain, ieee trans. image process.12.(2003).1338-1351.4 guerrero-colon j. and portilla j., two-level adaptive denoising using gaussian scale mixtures in overcomplete oriented pyr