ICA紋理分類中特征提取和濾波器獨立性的研究

1、第40卷第8期Vol.40,No.82010年8月J OURNAL OF UNIVE RSITY OF SCIE NCE AND TECHNOLO GY OF CHINAAug.2010 文章編號:025322778(20100820835206收稿日期:2009204203;修回日期:2009208221基金項目:國家自然科學基金(60672120,60875012,合肥工業(yè)大學博士學位人員專項基金(GDBJ 20092061,GDBJ 20082029,合肥工業(yè)大學科學研究發(fā)展基金(080503F 資助.作者簡介:徐小紅(通訊作者,男,1976年生,博士/講師.研究方向:圖像處理與模式識別

2、.E 2mail :xuxiaohong0406ICA 紋理分類中特征提取和濾波器獨立性的研究徐小紅,楊學志,高雋,楊德美(合肥工業(yè)大學計算機與信息學院圖像信息處理研究室,安徽合肥230009摘要:根據(jù)獨立成分分析系數(shù)滿足非高斯分布的特點,提出了一種新的對野值魯棒的紋理特征提取方法,該方法較好地描述了獨立分量分析系數(shù)分布的反對稱性和稀疏性,在仿真實驗中取得了較好的分類效果.同時針對不同的特征提取方法,利用獨立性不同的濾波器研究了濾波器獨立性對分類性能的影響,進一步揭示了獨立成分分析系數(shù)的非高斯性與特征辨識能力之間的關系.關鍵詞:紋理分類;獨立成分分析;非高斯分布;獨立性中圖分類號:TP391.

3、41文獻標識碼:A doi :10.3969/j.issn.025322778.2010.08.00R esearch on feature extraction and f ilter independencein ICA 2based texture classif icationXU Xiaohong ,YAN G Xuezhi ,GAO J un ,YAN G Demei(L aboratory of Image Inf ormation Processing ,School of Computer and Inf ormation ,Hef ei University of T ec

4、hnology ,Hef ei 230009,China Abstract :A new feat ure extraction met hod was p roposed by exploring non 2gaussianity of ICA coefficient s.Feat ures wit h respect to asymmetry and sparsity of ICA coefficient s were ext racted ,which were shown to be robust to o utliers and achieve better classificati

5、o n performance t han p reviously reported ICA feat ures.Furt hermore ,t he impact of filter independence on various text ure feat ures was investigated ,and t he relationship between t he non 2gaussianity of ICA coefficient s and t he discriminating power of feat ures were f urt her revealed.K ey w

6、 ords :text ure classification ;independent compo nent analysis (ICA ;non 2gauss distribution ;independent0引言紋理是表征圖像的一個重要特征,它廣泛存在于各類圖像中.紋理圖像的分類在圖像處理、計算機視覺和模式識別中有著極其重要的作用.目前主要有四類常用的紋理特征表達方法1:基于統(tǒng)計分析、基于幾何結(jié)構(gòu)分析、基于模型以及基于信號處理等方法.其中,基于信號處理的方法又稱為基于濾波器組的方法,受到廣泛關注,其實質(zhì)是采用濾波器或濾波器組對紋理圖像進行分解變換,獲得紋理在不同分辨率或者不同頻譜范圍內(nèi)的

7、特征表現(xiàn)2,本文所研究的基于獨立成分分析的紋理分類方法屬于信號處理方法.紋理圖像含有豐富的結(jié)構(gòu)信息3,鑒別不同紋理的重要信息往往存在于像素間的高階統(tǒng)計關系,ICA 是這種高階統(tǒng)計方法中的一種,近年來,ICA濾波器組開始應用于紋理分析427.將ICA濾波器組與紋理圖像進行濾波(卷積得到ICA系數(shù)(又稱濾波圖像或特征圖像,對ICA系數(shù)的描述就能得到用于紋理分析的特征向量.現(xiàn)有的方法主要采用ICA系數(shù)的頻譜直方圖8210和二階矩(即方差6,11,12作為特征.ICA系數(shù)的直方圖能較好地近似表示出ICA系數(shù)的分布特征,但用直方圖描述時直方圖的量化階數(shù)不能過小,存在特征向量的維數(shù)較高的問題,使得有限樣本

8、情況下,ICA系數(shù)的統(tǒng)計特性估計穩(wěn)定性受到影響.因此希望使用更加緊湊的表示方法來描述.使用ICA系數(shù)方差的方法是基于二階統(tǒng)計量的方法.ICA是從多維數(shù)據(jù)中尋找既統(tǒng)計獨立又非高斯的成分,ICA系數(shù)滿足非高斯分布,需要考慮含有重要信息的高階統(tǒng)計量13.通常使用的高階統(tǒng)計量包括偏度和峭度.偏度表征分布相對于平均值不對稱程度的特征數(shù),峭度是對信號非高斯性(稀疏性的一個定量度量.由于ICA系數(shù)滿足非高斯分布,不可避免地存在野值(outliers,同時在特征圖像中取的圖像塊不可能非常大,在樣本數(shù)量有限的情況下,常規(guī)矩的方法估計出的偏度和峭度有時給出的ICA系數(shù)分布特征是一種非常差的逼近.針對常規(guī)矩估計對野

9、值影響較大,本文提出了一種新的對野值具有魯棒性的紋理分類方法,該方法較好地描述了系數(shù)分布的反對稱性和稀疏性,在ICA紋理分類中取得了較好的分類效果.針對不同特征提取方法,本文研究了濾波器獨立性對分類性能的影響.利用主成分分析(principal component analysis,PCA濾波器和獨立性不同的ICA濾波器,對比了頻譜直方圖、常規(guī)矩以及本文提出的新函數(shù)的特征提取方法對分類性能的影響,進一步揭示了ICA系數(shù)的非高斯性與特征辨識能力之間的關系.實驗結(jié)果表明,ICA系數(shù)的非高斯性越強,其對高階統(tǒng)計量的辨識能力就越強.1ICA的紋理分類基于ICA的紋理分類主要包括以下過程:從紋理圖像中取

10、圖像塊,通過Fast ICA算法5學習得到一組濾波器構(gòu)成濾波器組;將紋理圖像與濾波器組卷積得到特征圖像,在特征圖像中取圖像塊并描述得到特征向量;利用分類器進行訓練與測試.1.1紋理的ICA特征提取用x=x1,x MT表示一幅圖像或者圖像塊按行展開成一個列向量,在ICA中,x可以表示成一些特征或者基函數(shù)的線性組合x=Ni=1a i s i=As(1式中,a i(i=1,N為基函數(shù),是(MN的矩陣A的列;s=s1,s2,s NT是用基函數(shù)A表示x時的系數(shù),其各分量間相互統(tǒng)計獨立.這種模型還與視覺系統(tǒng)中冗余度最小的編碼策略一致14.利用ICA學習得到基函數(shù)A和系數(shù)s,即利用訓練數(shù)據(jù)x找到一個線性變換

11、矩陣W使得y=Wx(2式中,分量y之間盡可能統(tǒng)計獨立,y是s的估計.矩陣A是W的廣義逆.將紋理圖像與濾波器組中的每個濾波器w1, w2,w N分別作卷積,即U i(k,l=I(k,l3w i(k,l(3式中,i表示ICA濾波器w i的通道序號,(k,l表示空間位置,I表示紋理圖像,(3表示卷積運算,U i 為ICA系數(shù)(又稱濾波圖像或特征圖像.每一個濾波器具有特定的頻率和方向特征,原紋理圖像中與濾波器相調(diào)諧的部分,在濾波圖像將產(chǎn)生較強的能量,不相調(diào)諧的部分將產(chǎn)生較弱的能量.從N幅特征圖像中取某一相同位置的像素點,從該像素點開始得到一特征圖像塊;描述圖像塊的特征得到一個或多個特征值;按照濾波器的

12、順序?qū)⑻卣髦荡?lián)組成一向量,此向量即為特征向量.圖像塊的特征可以采用頻譜直方圖、常規(guī)矩的方法以及本文引入的估計方法.考慮到去除光照的影響,這里的圖像塊均已去均值.1.2分類將得到的特征向量用分類器進行分類,用訓練樣本進行訓練,最后用測試樣本進行測試.本文采用最近鄰分類器.最近鄰分類器是采用各類中全部樣本都作為代表點,將未知樣本X判別為與它最近的樣本同類.因此,最近鄰分類器可在一定程度上克服各類樣本均值向量的偏差所造成的影響.2特征提取方法研究特征提取是紋理分類中一個非常重要的環(huán)節(jié),期望所提取的特征能有效地刻畫紋理結(jié)構(gòu)、辨別不同類別的紋理.基于ICA濾波器組的紋理分類方法中,現(xiàn)有的方法主要采用I

13、CA系數(shù)的頻譜直方圖或常規(guī)矩作為特征,本節(jié)主要介紹頻譜直方圖、常規(guī)矩638中國科學技術大學學報第40卷的方法以及本文方法,并對三類方法進行比較.2.1頻譜直方圖頻譜直方圖是Liu等提出8210,主要思想是使用每個通道的直方圖的串聯(lián)來表征圖像.根據(jù)濾波器組輸出的相應通道直方圖H i,可以按經(jīng)驗估計出ICA系數(shù)的分布H i(v k=n kn,k=1,2,L(4式中,n表示像素點總數(shù),L表示直方圖量化階數(shù), n k表示U i中值為v k的像素總數(shù).ICA系數(shù)的直方圖能較好地近似表示出ICA 系數(shù)的分布特征,直方圖的量化階數(shù)不能太小,存在特征向量的維數(shù)較高的問題,使得在有限樣本情況下,ICA系數(shù)的統(tǒng)計

14、特性估計穩(wěn)定性受到影響,因此希望使用更加緊湊的表示方法來描述.2.2常規(guī)矩用ICA系數(shù)的矩來表示分布特征.常用的有方差、偏度和峭度Var i=EU2iskewness i=EU3i/Var3/2ikurto sis i=(EU4i/Var2i-3(5則紋理圖像可以用濾波器組各通道的矩所組成的特征向量來表征.方差表征信號偏離均值的程度.偏度表征密度分布相對于平均值不對稱程度的特征數(shù);高斯分布的偏度為零,偏度小于零稱分布具有負偏度,偏度大于零稱分布具有正偏度峭度是對信號非高斯性的一個定量度量,高斯分布的峭度為零;一般地,具有負峭度的分布稱為亞高斯分布,正峭度的分布稱為超高斯分布,峭度也可作為稀疏性

15、的度量方法.本文采用ICA系數(shù)的方差、偏度、峭度的聯(lián)合矩來描述ICA系數(shù)的概率密度.在訓練樣本較少的情況下,相對于頻譜直方圖的方法,聯(lián)合矩的特征向量的維數(shù)較低,已有實驗表明,基于聯(lián)合矩估計的穩(wěn)定性較好.2.3新的紋理特征提取方法由于ICA系數(shù)滿足非高斯分布,不可避免地存在野值.同時在在特征圖像中提取的圖像塊不可能非常大,數(shù)據(jù)量較小.在樣本數(shù)量有限的情況下,常規(guī)矩的方法估計出的偏度和峭度有時給出ICA系數(shù)分布特征的一種非常差的逼近.首先,常規(guī)矩中的高階矩對野值極其敏感,它們的值可能只依賴于少數(shù)幾個可能錯誤但很大的觀測值.這意味著,野值可能完全確定了矩估計.同時,高階矩估計中的冪次較高,遠離零的數(shù)

16、據(jù)對它們的影響,比靠近零的數(shù)據(jù)對它們的影響要強得多,這樣度量的是分布的尾部,基本上不受分布中心附近結(jié)構(gòu)的影響.這意味著,野值或者遠離零的數(shù)據(jù)可能完全確定了矩估計,因而使得這些估計毫無用處.為了更好地描述ICA系數(shù)的非高斯分布特征,本文提出了一種的新的紋理特征提取方法,該方法較好地描述了ICA系數(shù)概率密度分布的反對稱性(asymmet ry和稀疏性(sparity.描述ICA系數(shù)概率密度分布的反對稱性的度量函數(shù)為Asy i=EU i exp(-U2i/2(6描述ICA系數(shù)概率密度分布的稀疏性的度量函數(shù)為Spa i=Eexp(-U2i/2(7這兩個函數(shù)都是光滑的,而且對野值具有魯棒性.式(6用于描

17、述ICA系數(shù)的概率密度分布的反對稱性,本文將該式作為與偏度相對應的估計;式(7作為ICA系數(shù)的稀疏性度量,可作為峭度相對應的估計.由于數(shù)據(jù)的均值為零,式(6的取值范圍為-exp(-0.5,exp(-0.5,式(7的取值范圍為(0,1.兩式主要度量的是均值附近數(shù)據(jù)的反對稱性和稀疏性,遠離均值的數(shù)據(jù)對這兩式的影響較小,克服了常規(guī)矩估計中由于冪次較高,遠離均值的大觀測值的影響.例如,假定在一個具有零均值和單位方差的隨機變量的1000個樣本值中有一個為10,那么常規(guī)矩估計中的峭度最少為104/1000-3=7,也就是說一個單樣本可以使峭度變得很大.這樣我們可以看到,峭度的值可能只取決于邊緣的少量觀測值

18、,而這些觀測可能是錯誤的或與問題無關的.換句話說,常規(guī)矩估計中的峭度并不是非高斯性的一個魯棒度量.利用式(7進行估計,變化量僅為exp(-102/2/1000=1.928710-250,由于該值離均值較遠,對整體估計的影響幾乎為零.采用ICA系數(shù)的方差(式(5的第一個式子、式(6、式(7的聯(lián)合矩來描述ICA系數(shù)的概率密度分布特征,這樣得到的特征向量更加緊湊,且具有較好的魯棒性.當均值為零時,方差反映信號的能量信息,一般取值較大.而式(6,(7的取值范圍較小,不同特征提取方法提取的值有較大差異,在使用分類738第8期ICA紋理分類中特征提取和濾波器獨立性的研究器進行訓練和測試時,需要對這三類特征

19、進行歸一化處理,本文采用的是L 2范數(shù)的歸一化處理.3濾波器獨立性對分類性能的影響在ICA 濾波器的學習過程中,為了減少計算量,加快ICA 算法的收斂速度,采用PCA 去除圖像的二階統(tǒng)計特征相關性,其余的高階統(tǒng)計特征由ICA 分離,得到的PCA 濾波器組如圖1(a 所示.圖像經(jīng)PCA 處理后,利用ICA 算法得到獨立的濾波器.在ICA 學習過程中,由于ICA 初始化矩陣是隨機的,一開始得到的濾波器基本上無結(jié)構(gòu)和方向信息;隨著迭代次數(shù)的增多,得到的濾波器的結(jié)構(gòu)和方向信息越來越明顯.圖1(b 為迭代50步得到的ICA 濾波器,表現(xiàn)出多方向性、多頻率性.圖1(c 為迭代1000步得到的ICA 濾波器

20、,方向性和頻率性表現(xiàn)得更加明顯.PCA 通過把樣本點投影到相互正交的坐標軸上來減少數(shù)據(jù)的維數(shù),PCA 是基于二階統(tǒng)計特性的,它只表征圖像的二階屬性,沒有涉及高階統(tǒng)計特性.二階統(tǒng)計特性只能表征信號的振幅特性,因此,它只能局限于表征多元高斯分布的特征.ICA 是從多維數(shù)據(jù)中尋找既統(tǒng)計獨立又非高斯的成分.ICA 的基函數(shù)表現(xiàn)出多方向性、多頻率性,能更準確地捕獲紋理圖像中的細微特征.ICA 可以看作PCA 的一種推廣,它可以將原來的多維變量分離成一個新的變量集,其分量間盡可能相互獨立,而不僅僅只是不相關.基于濾波器組的紋理分類中,使用PCA 濾波器得到的系數(shù)具有高斯性,而使用ICA 濾波器得到的系數(shù)具

21、有非高斯性.實驗結(jié)果表明:采用方差或者頻譜直方圖作為特征提取方法時,使用PCA 濾波器和ICA 濾波器的實驗結(jié)果相近; 采用偏度和峭度這些圖1經(jīng)PCA 以及ICA 迭代50、1000次后得到的濾波基(1212Fig.1PCA f ilter and ICA f ilter b anks (1212after 50and 1000iterations高階統(tǒng)計量提取特征時,使用ICA 濾波器明顯優(yōu)于PCA 濾波器.并且ICA 系數(shù)的非高斯性越強,其對高階統(tǒng)計量的辨識能力就越強,采用聯(lián)合矩獲得的效果最理想.4仿真實驗對25類Brodatz 紋理圖像15進行分類,按其分類結(jié)果來評估ICA 系數(shù)的各特征

22、提取方法的效果.每一幅紋理圖像的大小為512512,平均分為兩個部分,分別用于訓練和測試.從訓練部分提取1212的圖像塊,每個圖像塊按行展開成一列向量,得到一個數(shù)據(jù)矩陣.利用白化(或PCA 將數(shù)據(jù)維數(shù)由144維降至100維,然后采用ICA 進行學習,得到100個濾波器構(gòu)成的濾波器組.利用濾波器組與紋理圖像進行卷積得到特征圖像,在特征圖像中提取ICA 統(tǒng)計量的窗口大小選為6464,分別利用頻譜直方圖、常規(guī)矩和本文引入的方法進行特征提取,分別得到78個訓練樣本和78個測試樣本,最后用最近鄰分類器進行訓練與測試.實驗411采用頻譜直方圖、常規(guī)矩和式(6,(7對ICA 系數(shù)進行特征提取的紋理分類采用頻

23、譜直方圖、常規(guī)矩以及式(6,(7對ICA 系數(shù)進行特征提取的分類性能如表1所示,這里2nd ,3rd 和4t h 分別表示常規(guī)矩的方差、偏度和峭度,它們相應的聯(lián)合矩表示為2nd3rd4t h.描述分布反對稱性的式(6表示為Asy ,描述稀疏性的式(7的特征提取方法表示為Spa ,使用方差、反對稱性、稀疏性的聯(lián)合矩表示為2nd_asy_spa.用頻譜直方圖描述圖像塊時直方圖的量化階數(shù)取10.為比較不同窗口大小的濾波器對特征提取的影響,使用44到1616的不同窗口大小的濾波器進行了對比,濾波器的個數(shù)如括號內(nèi)所示.838中國科學技術大學學報第40卷表1ICA 特征的分類性能T ab.1Classif

24、 ication perform ance of ICA features濾波器窗口大小/個數(shù)頻譜直方圖2nd 3rd 4t h 2nd3rd4t h Asy Spa 2nd_asy_spa 44(100.948210.853330.350260.435380.892820.50.871790.9405166(300.937950.863590.383080.612820.908210.717440.880510.9423188(500.940510.895380.442560.604620.920.70410.907180.947181010(800.943080.885130.367690

25、.563590.882050.666670.903080.947951212(1000.952820.904620.561030.596410.946670.60.909740.954361616(1000.953850.906150.525640.551280.886670.543590.915380.95692從表1可以看出,采用系數(shù)的頻譜直方圖、方差獲得了較好的分類效果.采用系數(shù)的偏度和峭度時,盡管效果沒有采用系數(shù)方差時理想,但也獲得了較好的效果,這說明系數(shù)的高階統(tǒng)計特征中含有紋理圖像的重要信息,較好地描述了ICA 系數(shù)的分布特征.從表中ICA 系數(shù)的常規(guī)矩估計出的偏度、峭度與由式(6,

26、(7提供的估計函數(shù)的分類結(jié)果來看,式(6,(7.尤其是由式(7提供的新的峭度估計函數(shù)獲得與方差類似的較高的分類效果.這主要是由于新的函數(shù)對樣本數(shù)據(jù)的野值具有更好的魯棒性,在樣本有限的情況下,估計產(chǎn)生的偏差更小.因此采用式(6,(7估計能較好地描述圖像塊的概率密度函數(shù)分布特征,在分類中獲得較好的效果.從表1中還可以看出,采用方差、偏度和峭度的聯(lián)合矩,如表1中的2nd3rd4t h 、2nd_asy_spa ,能獲得較高的分類正確率,是一種更為理想的方法.這說明了多個矩構(gòu)成特征的聯(lián)合較好地描述了系數(shù)的分布特征,知道了矩的信息,就等于知道了對應的概率密度.通道直方圖綜合了方差和高階統(tǒng)計量辨識信息的能

27、力,因此取得的效果比他們?nèi)我鈫为毜囊环N都更為理想.不過,這種方法非常繁雜.已有實驗表明,當每類的訓練樣本數(shù)量較少時,會限制其紋理辨識的效率;而采用方差和高階統(tǒng)計量的聯(lián)合矩,比較緊湊,對訓練樣本個數(shù)影響相對較小.同時,在大多數(shù)情況下,采用方差、偏度和峭度的聯(lián)合矩都能獲得最佳的分類效果.實驗412不同特征提取方法中濾波器獨立性對分類性能的影響在得到ICA 濾波基的迭代學習過程中,隨著迭代次數(shù)的增加,基函數(shù)之間的互信息逐步降低,系數(shù)越來越稀疏,非高斯性越來越強,所以表現(xiàn)出的平均峭度值越來越大.圖2的橫軸是利用ICA 求濾波器的迭代次數(shù),縱軸是分類的正確率.隨著迭代次數(shù)的增加,圖2 (a 從上到下分別

28、為利用譜直方圖、常規(guī)矩的二階矩得到的分布圖,圖2(b 為利用式(7提供的稀疏性估計、式(6提供的反對稱估計、常規(guī)矩的峭度、常規(guī)矩的偏度得到的紋理分類結(jié)果分布圖.圖2ICA 濾波器獨立性與其對紋理特征的辨識能力的影響Fig.2Discriminant ability of texture feature effected by independent of ICA f ilters938第8期ICA 紋理分類中特征提取和濾波器獨立性的研究840 中國科學技術大學學報 Intelligence , 1999 , 21 ( 4 : 2912310. E. Po rtilla J . Internat

29、io nal Co nference on using IEEE Processing , 2003 , 12 (6 : 6612670. Science. 第 40 卷 圖中迭代次數(shù)從 0 開始計算 ,迭代次數(shù)為 0 表示對數(shù) 據(jù)進行 PCA 處理時得到的 PCA 濾波器的分類結(jié)果 . 實驗結(jié)果表明 ,使用 ICA 系數(shù)的頻譜直方圖或 方差提取特征 , 雖然隨著迭代次數(shù)的增加 , ICA 濾 波器獨立性越來越好 , 但對最后的分類結(jié)果沒有太 大影響 ; 在特征提取中采用系數(shù)的偏度和峭度時 ,隨 著迭代次數(shù)的增加 ,濾波器相互間越來越獨立 ,利用 偏度和峭度得到分類結(jié)果均有提高 . 同時由圖

30、2 可 知 ,由常規(guī)矩得到的偏度和峭度作為特征提取時波 動較大 ,而由式 ( 6 提供的反對稱估計得到的結(jié)果穩(wěn) 定地上升 . 這主要是由于常規(guī)矩估計對野值較為敏 感 ,而式 ( 6 提供的反對稱估計對野值的魯棒性較 好 . 由圖 2 可知 ,利用式 ( 7 提供的稀疏性估計的分 類結(jié) 果 一 直 都 較 高 , 而 且 一 直 很 穩(wěn) 定 , 魯 棒 性 非 常好 . 3 Oppenheim A V , Lim J S. The importance of p hase in signals J . Proceedings of t he IEEE , 1981 , 69 ( 5 : 4 Be

31、ll A L , Sejnowski T J . The independent co mponent s of nat ural scenes are edge filtersJ . Vision Research , 1997 , 37 ( 23 : 332723338. Independent Co mpo nent Analysis M . New York : Wiley , 2001. Independent co mpo nent Proceedings of Comp uter Visio n. analysis of text ures C / / 1 060. Text u

32、re classificatio n kernel independent co mpo nent analysis C / / Proceeding of International Conference Society , 2004 , 1 : 23226. o n Pattern Recognitio n. Washington : IEEE Comp uter 8 Liu X , Cheng L . Independent filters for text ure Rochester , New classificatio n C / / Proceedings of IEEE Int

33、ernational Co nference on Image Processing. Yo rk : IEEE Press , 2002 , 3 : 24228. of images for recognition J . Journal of t he Optical Society of American A , 2003 , 20 ( 7 : 1 27121 282. histograms J . Transactions on Image of ICA feat ures fo r text ure classification C / / Lect ure Notes in Comp uter Heidelberg , Berlin : Sp ringer2Verlag , 2005 : 262 267. 5292541. 5 Karhunen H J , Oja 6 Manduchi R , IEEE 7 Cheng J , Liu Q S , L u H Q , et al. 5 結(jié)論 本文主要研究了 ICA 紋理分類中特征提取以 及濾波器獨立性問題 . 根據(jù)獨立成分分析系數(shù)滿足 非高斯分布的特點 , 采用對野值魯棒的特征提取函 數(shù) ,較好地描述了系數(shù)分布反對