基于malab的ica與pca算法對(duì)比分析

基于malab的ica與pca算法對(duì)比分析

0關(guān)于ica理論ica是分離盲源的重要工具。最著名的應(yīng)用是雞尾酒俱樂部。ICA理論的發(fā)展可以追溯到20世紀(jì)90年代中期,法國學(xué)者C.Jutten和J.Herault等人首次提出了ICA的概念。然而,當(dāng)時(shí)正是神經(jīng)網(wǎng)絡(luò)研究的高潮期,ICA理論的研究只是在小范圍內(nèi)進(jìn)行,并未受到廣泛重視。直到90年代中期,ICA的理論和算法研究才真正得以發(fā)展,并受到國際信號(hào)處理界的廣泛關(guān)注,P.Comon于1994年第一個(gè)將獨(dú)立成分分析方法應(yīng)用于盲源分離。之后,ICA就處于蓬勃發(fā)展中。文中引入FastICA算法,研究其原理及推導(dǎo)過程。通過MATLAB仿真,將FastICA與梯度算法、PCA兩種算法得到的仿真結(jié)果進(jìn)行分析。通過分析,FastICA是一種比梯度算法和PCA算法更為有效的算法。1基本模型可解的假設(shè)及約束基本ICA模型是一個(gè)生成模型,它描述所觀測(cè)的數(shù)據(jù)是如何由一個(gè)混合過程所產(chǎn)生。假設(shè)有n個(gè)統(tǒng)計(jì)獨(dú)立的隨機(jī)變量s1,s2,…,sn,其線性組合生成n個(gè)隨機(jī)變量x1,x2,…,xn,即xi=ai1s1+ai2s2+…+ainsni=1,2,…,n(1)式中aij(i,j=1,2,…,n)是實(shí)系數(shù)。令x=[x1,x2,…,xn]T,s=[s1,s2,…,sn]T和A是元素為aij的矩陣,式(1)用向量-矩陣方式表示為:x=As(2)為了確?；綢CA模型是可解的,必須作出如下假設(shè)和約束:(1)獨(dú)立成分是統(tǒng)計(jì)獨(dú)立的;(2)獨(dú)立成分具有非高斯分布;(3)未知混合矩陣是方陣,即獨(dú)立成分?jǐn)?shù)等于觀測(cè)混合信號(hào)數(shù)。若獨(dú)立分量數(shù)小于觀測(cè)信號(hào)數(shù)時(shí),可對(duì)觀測(cè)信號(hào)進(jìn)行白化,從而降低數(shù)據(jù)維數(shù)。當(dāng)滿足以上三個(gè)假設(shè)條件后,可以考慮對(duì)上述混合矩陣求逆,而表示成一種線性求和的形式:s=A-1x(3)因此,為了估計(jì)其中一個(gè)獨(dú)立成分,考慮對(duì)xi進(jìn)行某種線性組合。用y=bTx=∑ibixiy=bΤx=∑ibixi表示該組合,其中b為待確定的向量。則由式(2)可得:y=bTx=bTAs=qTs=∑iqisi(4)y=bΤx=bΤAs=qΤs=∑iqisi(4)2助手算法2.1fpsica算法實(shí)現(xiàn)盲源分離進(jìn)行ICA之前,需要對(duì)信號(hào)進(jìn)行中心化和白化。中心化就是觀測(cè)矢量x減去它的均值,變成零均值矢量。白化的含義是將觀測(cè)變量x進(jìn)行線性變換Q,得到v=Qx,其中v的各分量vi互不相關(guān),且具有單位方差(即E{vvT}=I)。v=Qx=E?12UTx(5)v=Qx=E-12UΤx(5)式中:E=diag(d1,d2,…,dn),是相關(guān)陣Rx=E{xxT}的n個(gè)最大特征值組成的對(duì)角陣;U∈Cm×n,是n個(gè)相應(yīng)的特征矢量組成的矩陣。變換之后,v和s之間的關(guān)系為:v=Qx=QAs=Bs。因?yàn)楠?dú)立分量si有單位方差,E{vvT}=BE{ssT}BT=BBT=I,B為正交陣。因此一旦B求出后,就可以采用FastICA算法去實(shí)現(xiàn)盲源分離。由于兩個(gè)獨(dú)立分量之和分布的高斯型比原始變量更強(qiáng),因此y=qTs應(yīng)該比任何一個(gè)si的高斯性更強(qiáng),只有當(dāng)y恰好是si中的一個(gè)時(shí)y的高斯性最弱。然而,實(shí)際情況中我們并不知道q的值,但根據(jù)式(4),可以讓b變化并觀察bTx的分布變化情況。也就是說,通過極大化bTx的非高斯性,就可以得到其中一個(gè)獨(dú)立成分。2.2非高斯性估計(jì)為了在ICA估計(jì)中使用非高斯性,必須對(duì)隨機(jī)變量的非高斯性定義一個(gè)定量化的指標(biāo)。而最經(jīng)典的非高斯性度量是有關(guān)隨機(jī)變量的四階累積量,即峭度。y的峭度kurt(y)定義為:kurt(y)=E{y4}-3(E{y2})2(6)這里進(jìn)一步假定y已被標(biāo)準(zhǔn)化過,其方差為1。因此式(6)被簡(jiǎn)化表示為:kurt(y)=E{y4}-3(7)對(duì)高斯分布,四階矩等于3(E{y2})2,高斯隨機(jī)變量的峭度為零。所以,利用峭度度量非高斯性,通過變換使峭度最大化就是最簡(jiǎn)單的ICA估計(jì)方法。盡管用峭度對(duì)非高斯性進(jìn)行度量簡(jiǎn)單方便,然而它對(duì)野值卻極其敏感。這里引入非高斯性的另一個(gè)度量負(fù)熵。隨機(jī)變量y的負(fù)熵定義為:J(y)=H(ygauss)-H(y)(8)然而使用負(fù)熵所遇到的問題使計(jì)算非常困難,因此對(duì)它取近似:J(y)≈k1(E(G1(y)))2+k2(E(G2(y)))2-E(G2(v))2(9)式中G1和G2是非二次函數(shù),k1和k2是正常數(shù),v是零均值單位方差的高斯變量。如果僅使用一個(gè)非二次函數(shù)G,相應(yīng)的近似變?yōu)?J(y)∝[E{G(y)}-E{G(v)}]2(10)其中G為任意的非二次函數(shù)。特別地,當(dāng)G(y)=y4,就會(huì)得到基于峭度的近似式。這樣得到了能在峭度和負(fù)熵兩個(gè)經(jīng)典的非高斯性度量間取得很好折中的負(fù)熵近似估計(jì),其概念簡(jiǎn)單、計(jì)算量小,并且具有良好的統(tǒng)計(jì)特性。2.3關(guān)于好的fpse-vgw所首先引入一種定點(diǎn)迭代方法:w=E{vg(wTv)}(11)其中v為式(5)得到的白化數(shù)據(jù),g為非二次函數(shù)G的導(dǎo)數(shù),一般選取g:g1(y)=tanh(a1y)(12)g2(y)=yexp(-y2/2)(13)g3(y)=y3(14)式(12)中常數(shù)a1取在1≤a1≤2范圍內(nèi),通常取1。將式(11)兩邊加上αw,得(1+α)w=E{vg(wTv)}+αw(15)其中系數(shù)α可通過近似牛頓法來尋找。按照kuhn-Tucker條件,在約束E{(wTv)2}=‖w‖2=1下,E{G(wTv)}的最優(yōu)值在點(diǎn)E{yg(wTv)}+βw=0(16)處,式中β是常數(shù)。將式(16)左邊項(xiàng)記作F其雅可比矩陣為:J{F(w)}=E{vvTg′(wTv)}+βI(17)因?yàn)閷?duì)數(shù)據(jù)已做過白化處理,式(17)第一項(xiàng)近似為:E{vvTg′(wTv)}≈E(vvT)E(g′(wTv))=E{g′(wTv)}I(18)因此,得到了近似的牛頓迭代算法:w←w-[E{zg(wTv)}+βw]/[E{g′(wTv)}+β](19)式(19)兩邊同時(shí)乘以β+E{g′(wTv)},簡(jiǎn)化為:w←E{vg(wTv)}-E{g′(wTv)}w(20)式(20)就是FastICA的基本公式。至此,將FastICA算法過程綜合如下:(1)對(duì)數(shù)據(jù)進(jìn)行中心化使其均值為0;(2)白化數(shù)據(jù),得到v;(3)選擇一個(gè)具有單位范數(shù)的初始化向量w;(4)更新w←E{vg(wTv)}-E{g′(wTv)}w,函數(shù)g的定義如式(12)至式(14);(5)標(biāo)準(zhǔn)化w,w←w/‖w‖;(6)如尚未收斂返回到步驟(4)。3sin信號(hào)仿真為了驗(yàn)證上面提出算法的有效性,選取下面5路典型的信號(hào)進(jìn)行分離實(shí)驗(yàn):(1)符號(hào)信號(hào):sign(cos(2π*155t/fs))(2)高頻正弦信號(hào):sin(2π*800t/fs)(3)低頻正弦信號(hào):sin(2π*90t/fs)(4)幅度調(diào)制信號(hào):sin(2π*9t/fs)sin(2π*300t/fs)(5)隨機(jī)噪聲:1-2*rand(1,t)這里選取采樣頻率為10kHz,并選取4000個(gè)數(shù)據(jù)點(diǎn)。圖1～圖5為這五種信號(hào)分別通過FastICA、梯度算法、PCA三種算法分離信號(hào)的仿真結(jié)果。由仿真結(jié)果及表1可知,FastICA算法與梯度算法、PCA算法相比,更加有效,所得的分離信號(hào)與源信號(hào)的相關(guān)系數(shù)不小于0.99。FastICA不僅比梯度算法、PCA算法更有效,而且還具有很多優(yōu)點(diǎn):(1)FastICA是按立方收斂的,而梯度算法僅是按線性收斂的,因此,FastICA收斂速度更快;(2)FastICA不需要選擇步長(zhǎng)參數(shù),同時(shí)也不需要估計(jì)源信號(hào)的概率密度函數(shù),因此,算法更加簡(jiǎn)單、易用;(3)FastICA在算法實(shí)現(xiàn)時(shí)僅需要設(shè)置合適的非線性函數(shù)g即可,更易實(shí)現(xiàn);(4)FastICA在估計(jì)源信號(hào)時(shí)是依次得到獨(dú)立成分的,因此在遇到只需分離部分源信號(hào)的問題時(shí),可以根據(jù)需求選擇性地分離信號(hào),大大減少計(jì)算量。4算法仿真結(jié)果對(duì)比