頻域圖像處理

1、人臉部位的視覺顯著性研究摘要圖像的顯著性檢測是計算機視覺領域最為活躍的研究方向之一，而基于視覺注意的顯著性區(qū)域檢測技術在遵循人視覺顯著性規(guī)律的基礎上，綜合利用圖像的顏色、 強度局部方向等特征，計算圖像中各個區(qū)域的顯著程度。通過對圖像顯著性檢測頻域方法的研究，在統(tǒng)計大量樣本數據后，得到人臉部位的視覺顯著性差異。關鍵詞：視覺顯著性，顯著性區(qū)域檢測，人臉，統(tǒng)計目錄 TOC o 1-5 h z HYPERLINK l bookmark6 o Current Document 1課題背景1 HYPERLINK l bookmark8 o Current Document 2顯著性檢測方法2顯著性檢測的主

2、要方法 2顯著性檢測算法介紹 2PQFT 概述2PQFT 模型2 HYPERLINK l bookmark10 o Current Document 3圖像顯著性檢測器5互補特征提取5濾波5顯著性檢測器測試5 HYPERLINK l bookmark12 o Current Document 統(tǒng)計與分析7數據圖彳象采集7數據統(tǒng)計7數據處理與分析8結論與說明9 HYPERLINK l bookmark16 o Current Document 5、參考文獻11創(chuàng)新學分論文1課題背景隨著計算機性能和功能的發(fā)展，人們越來越希望計算機可以更加自主智能地完成任務。要實現這個目標，需要計算機能夠理解周圍的

3、環(huán)境。人類感知外界信息的最主要方式是通過視覺，因此計算機理解周圍環(huán)境的關鍵是具有視覺感知處理能力1。而圖像也成為越來越重要的信息傳遞媒介。由于視覺系統(tǒng)具有視覺注意機制，因此人類可以毫不費力地從復雜的背景中識別目標。與此對應，在計算機中，可以通過計算圖像的區(qū)域顯著性來高效地完成圖像處理任務。由此可見，圖像中最重要的部分經常集中在一些小的關鍵區(qū)域，即所謂的顯著區(qū)域23。圖像顯著性檢測的任務是找出圖像中哪些區(qū)域更容易成為人類視覺注意的焦點，一般用顯著圖來表示圖像的顯著性， 顯著圖中的像素值表示圖像對應區(qū)域的顯著程度。目前，圖像顯著性檢測在內容傳輸、圖像壓縮、圖像分割、目標識別、圖像縮放、圖像恢復、圖

4、像編輯等方面都 有應用。在圖像檢測與識別領域中，人臉識別是一個當前熱門的研究方向。據統(tǒng)計，在2014年的中國國際社會公共安全博覽會上，至少有20家企業(yè)展示了自己的人臉識別產品。同時，眾多媒體也接連報道了人臉識別技術在學術界和工業(yè)界取得的巨大成果。在這些背景下，本課題采用頻域顯著性檢測算法計算人臉樣本照片的顯著性區(qū)域，通過大量樣本數據的統(tǒng)計分析，來研究人臉各個部位的顯著性差異，以便更加清晰直觀且更具科學依據地了解人臉的顯著性特點。第1頁，共11頁創(chuàng)新學分論文2顯著性檢測方法2.1顯著性檢測的主要方法顯著性檢測方法有多種分類方式：按照顯著模型可以分為三類：1)基于低層視覺特征，代表性算法是模擬生物

5、體視覺注意機制的選擇性注意算法(Itti算法)。2)沒有基于任何生物視覺原理的純數學計算方法，如全分辨率算法(AC算法)和基于空間頻域分析的剩余譜算法 (Spectralresidual approach, SR)4。將前兩種進行融合的方法，代表性算法基于圖論的算法(Graph-based visual saliency ,GBVS)。按照處理空間的不同可以分為：考慮局部特征的，如 Itti算法和GBVS算法；和考慮 整體性的，如SR算法和IG算法。而在本課題中，采用一個新的顯著性區(qū)域檢測算法( PQFT算法)。該算法主要在頻域 進行處理，同時利用了空間域信息。頻域處理可以非常高效地抑制重復出

6、現的背景，而空間域信息則用于選擇一個突出整個顯著物體的最佳顯著圖。因此，該算法具有突出整個顯著物體，抑制重復出現的背景和計算效率高的等特點5。2.2顯著性檢測算法介紹PQFT 概述PQFT(Phase Spectrum of Quaternion Fourier Transform )模型是有 Guo 等人在 SR( Spectral Residual)算法基礎上提出的，該方法通過計算圖像的四元傅里葉變換的相位譜得到圖像的 時空顯著性映射。圖像中的每一個像素點都用四元組表示：顏色，亮度和運動向量。PQFT算法模型獨立于先驗信息，不需要參數，計算高效，實時性好 6。PQFT 模型一幅圖像所包含的

7、信息可以分解為新的信息和已知信息。新的信息就是引起注意的部分，已知信息是應該被去除的冗余信息。冗余信息是內容比較單一、反復大量出現的圖像模式。根據傅里葉變換公式，某種模式出現的次數越多，其幅度譜就越集中在一些頻率，呈現出尖峰形狀10。若一幅圖像的背景是重復出現的冗余內容，而其中的顯著目標非常獨特。 那么背景對應的幅度譜就比目標的幅度譜尖銳很多。這時，將幅度譜中冗余的背景抑制住， 則顯著的目標就會凸顯出來。于是問題轉化為去燥問題。 而中值濾波器對于尖峰噪聲的效果非常好，顯著目標對應的幅度譜比較平滑，在中值濾波后也能被保留下來7。在PQFT模型中，將圖像分解為四個通道：M、I、RG和BY。其中，M

8、為運動通道，I為亮度通道，RG和BY為顏色通道8。假設F(t)表示時間t時刻的輸入圖像，t=1,2,3,T, 第2頁，共11頁創(chuàng)新學分論文T為所有圖像幀的總數。F(t)分為紅、綠、藍三個顏色通道，表示為 r(t),g(t),b(t),那么，可R(t) = r(t) -G(t) =g(t)B(t) = b(t) -g(t) b(t)2r(t) b(t)2g(t) r(t)2以將三個顏色通道擴展為四個廣義的顏色通道：(2)由b(t)類似于人類視覺系統(tǒng)，對立顏色通道定義為RG=R(t) -G(t),BY(t) =B(t)-Y(t)亮度通道和運動通道定義為I(t)=r(t) g(t) b(t)m (t

9、)= i(t)-i(t-n其中工為延遲因子。則四元組圖像可以表示為(4)q(t) =M(t) RG(t) BY(t 尸2 I(t)3其中匕二1,2,3,滿足丫=一1下2,也*4匕*3產2尸J%qC)可以寫成如下形式q(t(t)fz(t)2f1(t) =M(t) RG(t)L f2(t) =BY(t) I(t)L四元傅里葉將圖像中每一個像素點表示為q(n,m,t),(n,m)為空間坐標，t為時間坐標。圖像變化寫成Qu,v =F/u,vF2u,v2(6)M 4 N1112 (mv/ M nu/N),Fi(u,v)e 1 fin,m,MN m =0 n =0(u，v)表示頻域坐標，N,M表示圖像維度

10、。四元逆傅里葉變化為MN二(8)I12 二(mv/M nu/N)_fi(n,m)-= e1Fu,v、MN v/uf第3頁，共11頁創(chuàng)新學分論文可將q表示為Q的極坐標形式 TOC o 1-5 h z Q(t) = Q(t) J(9)其中中為Q的相位譜。設定llQ(t)ll =1,則只剩下相位信息q(t)o計算逆相位信息 可得到q(t) = ：0。) ：l(t)i：2。尸2：3(t)3(10)時空顯著性映射為.2sM(t)=g*|q(t)|(11)其中g表示二維高斯平滑濾波。當輸入為靜態(tài)圖像時，M (t) = 012。第4頁，共11頁創(chuàng)新學分論文3圖像顯著性檢測器3.1互補特征提取在圖像顯著性檢測

11、中，首先從輸入的圖像中提取幾個互補的特征通道，這里利用獨立成分分析方式提取互補通道，這樣可以大大消除圖像中的冗余信息成分9。此外，這種獨立性有助于從各個通道分別檢測圖像的顯著性。通常，使用獨立成分分析法從原始顏色通道中得到的系數圖有著顯著不同的視覺特性，使得很難在相應的光譜中手動設計顯著性檢測器8。因此，要從相位和幅度兩方面 “訓練”顯著性檢測器。在這里，從公眾形象基準庫 MIT1003 中選取903幅訓練圖像，將剩下的100幅作為測試對象。將處理后得到的32X 32的系數圖記為 屋，同時將通過降采樣固定密度圖得到的32X 323系數圖記為Gk。這樣就得到了一個包含所有C個獨立組件的訓練集，記

12、為Tc=Ick,Gk :,。=1,。3.2濾波為了從得到的系數圖中計算圖像顯著性，首先通過傅里葉變換計算其頻譜。采用高斯帶通濾波器篩選出最低頻率和抑制最高頻率。于是對于一個訓練實例，得到 TOC o 1-5 h z Fi =N(F I.I L Hbh),Fc =F lG 1(12)再利用中值濾波器去除幅度譜中的尖峰，并與原始相位譜合并，通過傅里葉逆變換得到顯著圖?？傊粋€圖像I的顯著圖S可以通過一下過程得到，Fi。=N(F lc L Hbh)c 1,C,c_，一、F|c =N(F|JHp)c 1,C,(13)c_2S= F小伍g1廬HbJ ,c=13.3顯著性檢測器測試圖像顯著性檢測器設計完

13、成后，在 matlab中運行，當輸入一幅圖像時，會得到一個32X 32的矩陣，其中數值代表顯著性強弱，范圍為0255。為了便于觀察比較， 將矩陣轉化為32X 32像素的灰度圖，并將黑白反轉便于突出顯著性區(qū)域。一個測試圖像結果如下：第5頁，共11頁創(chuàng)新學分論文圖3.2顯著性矩陣圖3.3灰度圖與反轉后灰度圖第6頁，共11頁創(chuàng)新學分論文4數據統(tǒng)計與分析數據圖像采集首先，將得到的人臉正面免冠照片按照性別分為兩組：female組和male組。為了區(qū)分同一圖像顯著性區(qū)域的程度以便于按照顯著性強弱排序，在計算圖像區(qū)域顯著性時，將得到的結果按如下命令處理：imagesc(abs(255-salMap);col

14、ormap(gray);saveas(gcf,X:figf1-1.jpg);imagesc(abs(223-salMap);colormap(gray);saveas(gcf,X:figf1-2.jpg);imagesc(abs(191-salMap);colormap(gray);saveas(gcf,X:figf1-3.jpg);imagesc(abs(159-salMap);colormap(gray);saveas(gcf,X:figf1-4.jpg);imagesc(abs(127-salMap);colormap(gray);saveas(gcf,X:figf1-5.jpg);將0

15、255的數據按照每32一個梯次分為5個梯次變做絕對值處理，這樣便可以在凸顯 第二顯著區(qū)域的同時屏蔽第一顯著區(qū)域的影響，同時將得到的灰度圖直接保存，便于之后的統(tǒng)計分析和批量處理。如此，批量地將female和male組的圖像全部進行區(qū)域顯著性計算并將結果保存在兩個 文件夾中等待統(tǒng)計處理。數據統(tǒng)計將計算得到的灰度圖與原始圖像進行對比，根據相應區(qū)域的灰度統(tǒng)計出每一幅圖像中人臉部位的顯著性強弱順序并幾錄在表格中。部分統(tǒng)計數據如下表4.1,表4.2,表4.1female組部分數據InmInmf1enmf11enf2anef12nf3mnef13nef4nf14ef5enf15eanf6enf39enf7n

16、mef40nef8naf41nf9enf42nef10mef43mn注：f ： forehead(額頭)e：eye (眼睛)a： ear(耳)m：mouth（嘴）n： nose （鼻）第7頁，共11頁創(chuàng)新學分論文表4.2 male組部分數據InmInmlnamm11mmam2mmnm12nmam3namm13nmam4mmam14nmam5mmam15manm6mnam16nam7mamm17nam8mmam18nam9mam19nmm10mmam20n注：f:forehead（額頭）e：eye （眼睛）a： ear（耳）m：mouth（嘴）n： nose （鼻）數據處理與分析分別按照顯著性強

17、弱順序統(tǒng)計兩組中各部位在每一梯次出現的次數，作為初步處理。在每一組中，首先將各部位按照第I梯次數據排序， 第一位即為本組中顯著性最高的部位。 接 著將剩余數據并入第n梯次并以此為標準排序，第n梯次第一位即為本組顯著性第二高的部位，以此類推知道排出所有部位顯著性強弱順序。另一組同理。這樣可以得到如下表4.3,表4.4的統(tǒng)計結果，表4.3 female組統(tǒng)計結果n26m17m33nmeae8e16e19a1a4a10f0f0f0注：f： forehead（額頭）e： eye （眼睛）a： ear（耳）m： mouth（嘴）n：nose （鼻）表4.4 male組統(tǒng)計結果I部位n部位mn85m20a

18、66namefe14m37m42a12e33e39f1f0f0注：f： forehead（額頭）e：eye （眼睛）a：ear（耳）m:mouth（嘴）n： nose （鼻）第8頁，共11頁創(chuàng)新學分論文結論與說明由統(tǒng)計結果可以看出， 在女性中，臉部部位顯著性由強到弱一次為鼻、嘴、眼睛、耳朵。而在男性中的臉部部位顯著性由強到弱為鼻子、耳朵、嘴、眼睛、額頭?？梢钥闯瞿信栽谀槻坎课坏娘@著性上并不相同，主要差異在與女性人群中耳朵是一個顯著性較低的部位， 而在男性人群中耳朵的顯著性則大大增強。通過觀察發(fā)現，造成這一差異的主要原因是女性多為長發(fā)將耳朵遮住，而男性多為短發(fā)，正面照中耳朵清晰可見。而通過下圖

19、可以發(fā)現，頭發(fā)在顯著性檢測中幾乎是作為冗余信息被過濾掉，這就不難看出長發(fā)的存在直接將女性人群中耳朵的顯著性抹去了。圖4.1同一人不同發(fā)型在鼻子的顯著性中， 男性主要集中在鼻尖位置， 而女性多表現在鼻梁及眼角，呈現出倒三角行，典型案例如下圖，圖4.2男性典型案例第9頁，共11頁創(chuàng)新學分論文圖4.3女性典型案例第10頁，共11頁(0僑慶筍創(chuàng)新學分論文5參考文獻1吳金建.基于人類視覺系統(tǒng)的圖像信息感知和圖像質量評價D.西安電子科技大學,20142陳倩.顯著性區(qū)域檢測算法研究D.北京交通大學,2014.3韓抒真，郭建民，郭迎春，柳青.基于視覺注意機制的圖像分類方法J.天津工業(yè)大學學報,2015,04:47-51.4王巖,盧宏濤，鄧南，蔡能斌.基于頻域與空間域分析的顯著區(qū)域檢測算法J.計算機工程,2012,09:165-170.5孫曉飛，潘文文，王霞.典型的圖像顯著性檢測