頻域圖像處理

1、人臉部位的視覺顯著性研究摘要圖像的顯著性檢測是計算機視覺領(lǐng)域最為活躍的研究方向之一，而基于視覺注意的顯著性區(qū)域檢測技術(shù)在遵循人視覺顯著性規(guī)律的基礎(chǔ)上，綜合利用圖像的顏色、 強度局部方向等特征，計算圖像中各個區(qū)域的顯著程度。通過對圖像顯著性檢測頻域方法的研究，在統(tǒng)計大量樣本數(shù)據(jù)后，得到人臉部位的視覺顯著性差異。關(guān)鍵詞：視覺顯著性，顯著性區(qū)域檢測，人臉，統(tǒng)計目錄 TOC o 1-5 h z HYPERLINK l bookmark6 o Current Document 1課題背景1 HYPERLINK l bookmark8 o Current Document 2顯著性檢測方法2顯著性檢測的主

2、要方法 2顯著性檢測算法介紹 2PQFT 概述2PQFT 模型2 HYPERLINK l bookmark10 o Current Document 3圖像顯著性檢測器5互補特征提取5濾波5顯著性檢測器測試5 HYPERLINK l bookmark12 o Current Document 統(tǒng)計與分析7數(shù)據(jù)圖彳象采集7數(shù)據(jù)統(tǒng)計7數(shù)據(jù)處理與分析8結(jié)論與說明9 HYPERLINK l bookmark16 o Current Document 5、參考文獻11創(chuàng)新學(xué)分論文1課題背景隨著計算機性能和功能的發(fā)展，人們越來越希望計算機可以更加自主智能地完成任務(wù)。要實現(xiàn)這個目標，需要計算機能夠理解周圍的

3、環(huán)境。人類感知外界信息的最主要方式是通過視覺，因此計算機理解周圍環(huán)境的關(guān)鍵是具有視覺感知處理能力1。而圖像也成為越來越重要的信息傳遞媒介。由于視覺系統(tǒng)具有視覺注意機制，因此人類可以毫不費力地從復(fù)雜的背景中識別目標。與此對應(yīng)，在計算機中，可以通過計算圖像的區(qū)域顯著性來高效地完成圖像處理任務(wù)。由此可見，圖像中最重要的部分經(jīng)常集中在一些小的關(guān)鍵區(qū)域，即所謂的顯著區(qū)域23。圖像顯著性檢測的任務(wù)是找出圖像中哪些區(qū)域更容易成為人類視覺注意的焦點，一般用顯著圖來表示圖像的顯著性， 顯著圖中的像素值表示圖像對應(yīng)區(qū)域的顯著程度。目前，圖像顯著性檢測在內(nèi)容傳輸、圖像壓縮、圖像分割、目標識別、圖像縮放、圖像恢復(fù)、圖

4、像編輯等方面都 有應(yīng)用。在圖像檢測與識別領(lǐng)域中，人臉識別是一個當前熱門的研究方向。據(jù)統(tǒng)計，在2014年的中國國際社會公共安全博覽會上，至少有20家企業(yè)展示了自己的人臉識別產(chǎn)品。同時，眾多媒體也接連報道了人臉識別技術(shù)在學(xué)術(shù)界和工業(yè)界取得的巨大成果。在這些背景下，本課題采用頻域顯著性檢測算法計算人臉樣本照片的顯著性區(qū)域，通過大量樣本數(shù)據(jù)的統(tǒng)計分析，來研究人臉各個部位的顯著性差異，以便更加清晰直觀且更具科學(xué)依據(jù)地了解人臉的顯著性特點。第1頁，共11頁創(chuàng)新學(xué)分論文2顯著性檢測方法2.1顯著性檢測的主要方法顯著性檢測方法有多種分類方式：按照顯著模型可以分為三類：1)基于低層視覺特征，代表性算法是模擬生物

5、體視覺注意機制的選擇性注意算法(Itti算法)。2)沒有基于任何生物視覺原理的純數(shù)學(xué)計算方法，如全分辨率算法(AC算法)和基于空間頻域分析的剩余譜算法 (Spectralresidual approach, SR)4。將前兩種進行融合的方法，代表性算法基于圖論的算法(Graph-based visual saliency ,GBVS)。按照處理空間的不同可以分為：考慮局部特征的，如 Itti算法和GBVS算法；和考慮 整體性的，如SR算法和IG算法。而在本課題中，采用一個新的顯著性區(qū)域檢測算法( PQFT算法)。該算法主要在頻域 進行處理，同時利用了空間域信息。頻域處理可以非常高效地抑制重復(fù)出

6、現(xiàn)的背景，而空間域信息則用于選擇一個突出整個顯著物體的最佳顯著圖。因此，該算法具有突出整個顯著物體，抑制重復(fù)出現(xiàn)的背景和計算效率高的等特點5。2.2顯著性檢測算法介紹PQFT 概述PQFT(Phase Spectrum of Quaternion Fourier Transform )模型是有 Guo 等人在 SR( Spectral Residual)算法基礎(chǔ)上提出的，該方法通過計算圖像的四元傅里葉變換的相位譜得到圖像的 時空顯著性映射。圖像中的每一個像素點都用四元組表示：顏色，亮度和運動向量。PQFT算法模型獨立于先驗信息，不需要參數(shù)，計算高效，實時性好 6。PQFT 模型一幅圖像所包含的

7、信息可以分解為新的信息和已知信息。新的信息就是引起注意的部分，已知信息是應(yīng)該被去除的冗余信息。冗余信息是內(nèi)容比較單一、反復(fù)大量出現(xiàn)的圖像模式。根據(jù)傅里葉變換公式，某種模式出現(xiàn)的次數(shù)越多，其幅度譜就越集中在一些頻率，呈現(xiàn)出尖峰形狀10。若一幅圖像的背景是重復(fù)出現(xiàn)的冗余內(nèi)容，而其中的顯著目標非常獨特。 那么背景對應(yīng)的幅度譜就比目標的幅度譜尖銳很多。這時，將幅度譜中冗余的背景抑制住， 則顯著的目標就會凸顯出來。于是問題轉(zhuǎn)化為去燥問題。 而中值濾波器對于尖峰噪聲的效果非常好，顯著目標對應(yīng)的幅度譜比較平滑，在中值濾波后也能被保留下來7。在PQFT模型中，將圖像分解為四個通道：M、I、RG和BY。其中，M

8、為運動通道，I為亮度通道，RG和BY為顏色通道8。假設(shè)F(t)表示時間t時刻的輸入圖像，t=1,2,3,T, 第2頁，共11頁創(chuàng)新學(xué)分論文T為所有圖像幀的總數(shù)。F(t)分為紅、綠、藍三個顏色通道，表示為 r(t),g(t),b(t),那么，可R(t) = r(t) -G(t) =g(t)B(t) = b(t) -g(t) b(t)2r(t) b(t)2g(t) r(t)2以將三個顏色通道擴展為四個廣義的顏色通道：(2)由b(t)類似于人類視覺系統(tǒng)，對立顏色通道定義為RG=R(t) -G(t),BY(t) =B(t)-Y(t)亮度通道和運動通道定義為I(t)=r(t) g(t) b(t)m (t

9、)= i(t)-i(t-n其中工為延遲因子。則四元組圖像可以表示為(4)q(t) =M(t) RG(t) BY(t 尸2 I(t)3其中匕二1,2,3,滿足丫=一1下2,也*4匕*3產(chǎn)2尸J%qC)可以寫成如下形式q(t(t)fz(t)2f1(t) =M(t) RG(t)L f2(t) =BY(t) I(t)L四元傅里葉將圖像中每一個像素點表示為q(n,m,t),(n,m)為空間坐標，t為時間坐標。圖像變化寫成Qu,v =F/u,vF2u,v2(6)M 4 N1112 (mv/ M nu/N),Fi(u,v)e 1 fin,m,MN m =0 n =0(u，v)表示頻域坐標，N,M表示圖像維度

10、。四元逆傅里葉變化為MN二(8)I12 二(mv/M nu/N)_fi(n,m)-= e1Fu,v、MN v/uf第3頁，共11頁創(chuàng)新學(xué)分論文可將q表示為Q的極坐標形式 TOC o 1-5 h z Q(t) = Q(t) J(9)其中中為Q的相位譜。設(shè)定llQ(t)ll =1,則只剩下相位信息q(t)o計算逆相位信息 可得到q(t) = ：0。) ：l(t)i：2。尸2：3(t)3(10)時空顯著性映射為.2sM(t)=g*|q(t)|(11)其中g(shù)表示二維高斯平滑濾波。當輸入為靜態(tài)圖像時，M (t) = 012。第4頁，共11頁創(chuàng)新學(xué)分論文3圖像顯著性檢測器3.1互補特征提取在圖像顯著性檢測

11、中，首先從輸入的圖像中提取幾個互補的特征通道，這里利用獨立成分分析方式提取互補通道，這樣可以大大消除圖像中的冗余信息成分9。此外，這種獨立性有助于從各個通道分別檢測圖像的顯著性。通常，使用獨立成分分析法從原始顏色通道中得到的系數(shù)圖有著顯著不同的視覺特性，使得很難在相應(yīng)的光譜中手動設(shè)計顯著性檢測器8。因此，要從相位和幅度兩方面 “訓(xùn)練”顯著性檢測器。在這里，從公眾形象基準庫 MIT1003 中選取903幅訓(xùn)練圖像，將剩下的100幅作為測試對象。將處理后得到的32X 32的系數(shù)圖記為 屋，同時將通過降采樣固定密度圖得到的32X 323系數(shù)圖記為Gk。這樣就得到了一個包含所有C個獨立組件的訓(xùn)練集，記

12、為Tc=Ick,Gk :,。=1,。3.2濾波為了從得到的系數(shù)圖中計算圖像顯著性，首先通過傅里葉變換計算其頻譜。采用高斯帶通濾波器篩選出最低頻率和抑制最高頻率。于是對于一個訓(xùn)練實例，得到 TOC o 1-5 h z Fi =N(F I.I L Hbh),Fc =F lG 1(12)再利用中值濾波器去除幅度譜中的尖峰，并與原始相位譜合并，通過傅里葉逆變換得到顯著圖。總之，一個圖像I的顯著圖S可以通過一下過程得到，F(xiàn)i。=N(F lc L Hbh)c 1,C,c_，一、F|c =N(F|JHp)c 1,C,(13)c_2S= F小伍g1廬HbJ ,c=13.3顯著性檢測器測試圖像顯著性檢測器設(shè)計完

13、成后，在 matlab中運行，當輸入一幅圖像時，會得到一個32X 32的矩陣，其中數(shù)值代表顯著性強弱，范圍為0255。為了便于觀察比較， 將矩陣轉(zhuǎn)化為32X 32像素的灰度圖，并將黑白反轉(zhuǎn)便于突出顯著性區(qū)域。一個測試圖像結(jié)果如下：第5頁，共11頁創(chuàng)新學(xué)分論文圖3.2顯著性矩陣圖3.3灰度圖與反轉(zhuǎn)后灰度圖第6頁，共11頁創(chuàng)新學(xué)分論文4數(shù)據(jù)統(tǒng)計與分析數(shù)據(jù)圖像采集首先，將得到的人臉正面免冠照片按照性別分為兩組：female組和male組。為了區(qū)分同一圖像顯著性區(qū)域的程度以便于按照顯著性強弱排序，在計算圖像區(qū)域顯著性時，將得到的結(jié)果按如下命令處理：imagesc(abs(255-salMap);col

14、ormap(gray);saveas(gcf,X:figf1-1.jpg);imagesc(abs(223-salMap);colormap(gray);saveas(gcf,X:figf1-2.jpg);imagesc(abs(191-salMap);colormap(gray);saveas(gcf,X:figf1-3.jpg);imagesc(abs(159-salMap);colormap(gray);saveas(gcf,X:figf1-4.jpg);imagesc(abs(127-salMap);colormap(gray);saveas(gcf,X:figf1-5.jpg);將0

15、255的數(shù)據(jù)按照每32一個梯次分為5個梯次變做絕對值處理，這樣便可以在凸顯 第二顯著區(qū)域的同時屏蔽第一顯著區(qū)域的影響，同時將得到的灰度圖直接保存，便于之后的統(tǒng)計分析和批量處理。如此，批量地將female和male組的圖像全部進行區(qū)域顯著性計算并將結(jié)果保存在兩個 文件夾中等待統(tǒng)計處理。數(shù)據(jù)統(tǒng)計將計算得到的灰度圖與原始圖像進行對比，根據(jù)相應(yīng)區(qū)域的灰度統(tǒng)計出每一幅圖像中人臉部位的顯著性強弱順序并幾錄在表格中。部分統(tǒng)計數(shù)據(jù)如下表4.1,表4.2,表4.1female組部分數(shù)據(jù)InmInmf1enmf11enf2anef12nf3mnef13nef4nf14ef5enf15eanf6enf39enf7n

16、mef40nef8naf41nf9enf42nef10mef43mn注：f ： forehead(額頭)e：eye (眼睛)a： ear(耳)m：mouth（嘴）n： nose （鼻）第7頁，共11頁創(chuàng)新學(xué)分論文表4.2 male組部分數(shù)據(jù)InmInmlnamm11mmam2mmnm12nmam3namm13nmam4mmam14nmam5mmam15manm6mnam16nam7mamm17nam8mmam18nam9mam19nmm10mmam20n注：f:forehead（額頭）e：eye （眼睛）a： ear（耳）m：mouth（嘴）n： nose （鼻）數(shù)據(jù)處理與分析分別按照顯著性強

17、弱順序統(tǒng)計兩組中各部位在每一梯次出現(xiàn)的次數(shù)，作為初步處理。在每一組中，首先將各部位按照第I梯次數(shù)據(jù)排序， 第一位即為本組中顯著性最高的部位。 接 著將剩余數(shù)據(jù)并入第n梯次并以此為標準排序，第n梯次第一位即為本組顯著性第二高的部位，以此類推知道排出所有部位顯著性強弱順序。另一組同理。這樣可以得到如下表4.3,表4.4的統(tǒng)計結(jié)果，表4.3 female組統(tǒng)計結(jié)果n26m17m33nmeae8e16e19a1a4a10f0f0f0注：f： forehead（額頭）e： eye （眼睛）a： ear（耳）m： mouth（嘴）n：nose （鼻）表4.4 male組統(tǒng)計結(jié)果I部位n部位mn85m20a

18、66namefe14m37m42a12e33e39f1f0f0注：f： forehead（額頭）e：eye （眼睛）a：ear（耳）m:mouth（嘴）n： nose （鼻）第8頁，共11頁創(chuàng)新學(xué)分論文結(jié)論與說明由統(tǒng)計結(jié)果可以看出， 在女性中，臉部部位顯著性由強到弱一次為鼻、嘴、眼睛、耳朵。而在男性中的臉部部位顯著性由強到弱為鼻子、耳朵、嘴、眼睛、額頭。可以看出男女性在臉部部位的顯著性上并不相同，主要差異在與女性人群中耳朵是一個顯著性較低的部位， 而在男性人群中耳朵的顯著性則大大增強。通過觀察發(fā)現(xiàn)，造成這一差異的主要原因是女性多為長發(fā)將耳朵遮住，而男性多為短發(fā)，正面照中耳朵清晰可見。而通過下圖

19、可以發(fā)現(xiàn)，頭發(fā)在顯著性檢測中幾乎是作為冗余信息被過濾掉，這就不難看出長發(fā)的存在直接將女性人群中耳朵的顯著性抹去了。圖4.1同一人不同發(fā)型在鼻子的顯著性中， 男性主要集中在鼻尖位置， 而女性多表現(xiàn)在鼻梁及眼角，呈現(xiàn)出倒三角行，典型案例如下圖，圖4.2男性典型案例第9頁，共11頁創(chuàng)新學(xué)分論文圖4.3女性典型案例第10頁，共11頁(0僑慶筍創(chuàng)新學(xué)分論文5參考文獻1吳金建.基于人類視覺系統(tǒng)的圖像信息感知和圖像質(zhì)量評價D.西安電子科技大學(xué),20142陳倩.顯著性區(qū)域檢測算法研究D.北京交通大學(xué),2014.3韓抒真，郭建民，郭迎春，柳青.基于視覺注意機制的圖像分類方法J.天津工業(yè)大學(xué)學(xué)報,2015,04:47-51.4王巖,盧宏濤，鄧南，蔡能斌.基于頻域與空間域分析的顯著區(qū)域檢測算法J.計算機工程,2012,09:165-170.5孫曉飛，潘文文，王霞.典型的圖像顯著性檢測