獨(dú)立成分分析

1、盲源分離與盲源分離與ICA概念概念I(lǐng)CA簡(jiǎn)介簡(jiǎn)介ICA過(guò)程過(guò)程 Infomax Infomax算法算法 fastICA算法算法數(shù)學(xué)基礎(chǔ)數(shù)學(xué)基礎(chǔ)根據(jù)源信號(hào)的統(tǒng)計(jì)特性，僅由觀測(cè)的混合信號(hào)恢復(fù)(分離)出未知原始源信號(hào)的過(guò)程“盲”源信號(hào)不可觀測(cè)混合系統(tǒng)的特性事先不可知盲源分離（Blind Source Seperation）1、盲源分離與ICA的概念盲源分離的目的是求得源信號(hào)的最佳估計(jì)。給定隨機(jī)變量的一組觀測(cè)（ X1(t)， X2(t)， X3(t) ）其中t是時(shí)間或者樣本標(biāo)號(hào)。假設(shè)他們有獨(dú)立成分線性的混合而產(chǎn)生：式中，A是一個(gè)未知矩陣。在我們觀測(cè)僅能觀測(cè)到Xi(t)的情況下，獨(dú)立分量分析就要同時(shí)估計(jì)

2、出矩陣A和Si（t）。并且假設(shè)觀測(cè)到的獨(dú)立成分Xi(t)數(shù)目與Si（t）數(shù)目相同。)()()()()()()()()()()()(333232131332322212123132121111tsatsatsatxtsatsatsatxtsatsatsatx當(dāng)盲源分離的各分量相互獨(dú)立時(shí)，就成為獨(dú)立分量分析公式1我們將ICA定義為另一種模式尋找一個(gè)類(lèi)似于【公式1】中矩陣B確定線性變換，使得隨機(jī)變量Yi，i=1，.n盡可能獨(dú)立。如矩陣B能估計(jì)出，對(duì)其求逆就能得到矩陣A。 ICA是20世紀(jì)90年代提出的，起初是神經(jīng)網(wǎng)絡(luò)的研究中有一個(gè)重要的問(wèn)題，獨(dú)立成分分析是一個(gè)解決問(wèn)題的新方法。在許多應(yīng)用方面，包括特

3、征識(shí)別、信號(hào)分離。這種方法是用一種解線性方程組的方式的估計(jì)方式求解信號(hào)源。聲音提?。?典型例子：“雞尾酒會(huì)”的問(wèn)題。 人的大腦可以很快辨出或集中聽(tīng)某種需要關(guān)注聲音。)()()()()()()()()()()()(333232131332322212123132121111tsatsatsatxtsatsatsatxtsatsatsatx麥克風(fēng)1麥克風(fēng)2麥克風(fēng)3)(1tx) (2tx)(3tx11a12a13a21a22a)(1ts)(2ts)(3ts23a31a32a33a a為權(quán)重的參數(shù)，在雞尾酒舞會(huì)問(wèn)題中為距離，x為兩個(gè)話(huà)筒得到信號(hào)，s為兩個(gè)表演者的聲音。這兩個(gè)人的聲音相對(duì)獨(dú)立并且忽略所有

4、的其他因素比如聲音的時(shí)間延遲。 如果我們知道a的參數(shù)，也就是說(shuō)知道距離，反解出s就很簡(jiǎn)單。（半盲源） 但I(xiàn)CA是在不知道a和Si(t)的情況下的一種估計(jì)的算法，也就是說(shuō)的盲信號(hào)分離的一種算法。ICA的約束為了確保上邊剛剛給出的基本的ICA模型能被估計(jì)，我們必須要做出一定的假設(shè)和約束。1.獨(dú)立成分被假定是統(tǒng)計(jì)獨(dú)立的；2.獨(dú)立成分具有非高斯的分布；3.假定混合矩陣是方陣；1.獨(dú)立成分被假定是統(tǒng)計(jì)獨(dú)立的該假設(shè)是ICA能夠成立的前提。概念上理解：我們說(shuō)隨機(jī)變量y1，y2.yn獨(dú)立，是指在ij時(shí)，有關(guān)yi的取值情況對(duì)于yj如何取值沒(méi)有提供任何信息。技術(shù)角度上理解：聯(lián)合概率密度等于各邊緣概率密度的乘積。2

5、.獨(dú)立成分具有非高斯的分布 如果觀測(cè)到的變量具有高斯分布，那么ICA在本質(zhì)上 是不可能實(shí)現(xiàn)的。原因：因?yàn)楠?dú)立成分聯(lián)合分布式高斯的，那么他們的聯(lián)合概率密度為：P(s1,s2) =1/2*exp-(s12+s22)/2 = 1/2*exp（-|s|2/2）假定S經(jīng)過(guò)混合矩陣A后，他們的聯(lián)合概率密度仍然不變化，因此我們沒(méi)有辦法在混合中的得到混合矩陣的信息。3. 假定混合矩陣是方陣 換句話(huà)說(shuō)，就是獨(dú)立成分的個(gè)數(shù)與觀測(cè)到的混合量個(gè)數(shù)相同。ICA的含混因素 在公式1定義的ICA模型中，存在一些含混因素和不確定性。1.我們無(wú)法觀測(cè)處獨(dú)立成分的幅值； 原因：在計(jì)算的過(guò)程中我們做過(guò)相應(yīng)的預(yù)處。 單位化。2.我們

6、無(wú)法確定獨(dú)立成分的次序； 原因：也是由于S和A的未知造成的。尋找獨(dú)立成分方法1.極大化非高斯性；2.非線性去相關(guān)；1.極大化非高斯性（fastICA） 分離過(guò)程中，可通過(guò)對(duì)分離結(jié)果的非高斯性度量來(lái)表示分離結(jié)果間的相互獨(dú)立性，當(dāng)非高斯性度量達(dá)到最大時(shí)，則表明已完成對(duì)各獨(dú)立分量的分離。2.非線性去相關(guān)(infomaxICA) 獨(dú)立性本身蘊(yùn)含了非線性不相關(guān)性：若S1和S2獨(dú)立，那么任何非線性變換g(s1)和h(s2)都是不相關(guān)的。這樣我們可以通過(guò)一種更強(qiáng)的形式去相關(guān)運(yùn)算來(lái)實(shí)現(xiàn)ICA。即：尋找舉證B(分離矩陣)，使得yi即使經(jīng)過(guò)非線性變化仍然不相關(guān)。應(yīng)用場(chǎng)景生物醫(yī)學(xué)信號(hào)領(lǐng)域心電圖(ECG)腦電圖(EE

7、G)信號(hào)分離聽(tīng)覺(jué)信號(hào)分析、功能磁共振圖像(FMRI)分析處理孕婦身上測(cè)到的心電信號(hào)，分別得到孕婦自己和胎兒的心電信號(hào)陣列信號(hào)處理領(lǐng)域應(yīng)用場(chǎng)景在陣列傳感器中，各傳感器接收到混合信號(hào)，源信號(hào)和混合特性未知，是典型的盲分離應(yīng)用問(wèn)題。在移動(dòng)通信陣列天線處理、海洋聲納探測(cè)等方面的作用越來(lái)越重要聲信號(hào)處理領(lǐng)域應(yīng)用場(chǎng)景移動(dòng)通信中，ICA技術(shù)能夠有效地消除噪聲、抑制干擾、增強(qiáng)語(yǔ)音，提高通信質(zhì)量；通過(guò)ICA方法對(duì)車(chē)輛行駛時(shí)產(chǎn)生的聲音信號(hào)進(jìn)行分離，對(duì)車(chē)輛個(gè)數(shù)與行車(chē)方向進(jìn)行估計(jì)，實(shí)現(xiàn)車(chē)輛的簡(jiǎn)單分類(lèi)3、數(shù)學(xué)基礎(chǔ) 牛頓迭代法 熵 負(fù)熵牛頓迭代法法 牛頓法最初是用于求解方程f(x)=0的解。其解的過(guò)程：由初始值x(k)開(kāi)

8、始，用一階導(dǎo)數(shù)f(x(k)=0計(jì)算新的估計(jì)值x(k+1)。 x(k+1)由f(x)在Pk點(diǎn)的切線與x軸的交點(diǎn)來(lái)確定。因此：f(xk)=f(xk) Xk-xk+1Xk+1=xk-f(xk)f(xk)而式中的f(xk)可以看做是在初始點(diǎn)的導(dǎo)數(shù)，是可以很容易求出來(lái)的。例.用牛頓迭代法求方程的根:0133xx解:13)(3xxxf設(shè)33)(2xxf由牛頓迭代法)()(1kkkkxfxfxx得取初值,5 .00 xx0 =0.5;x1 =0.3333333333x2 =0.3472222222x3 =0.3472963532x4 =0.3472963553331323kkkkxxxx迭代四次精度達(dá)10-

9、8 1kx*x)(xfy kx熵 由信息論理論可知： 對(duì)于一個(gè)離散取值的隨機(jī)變量X，他的熵定義為H：H(x)=-p(xi)log(p(xi) (i=1,2,.n) Xi是X可能的取值。P是X取不同值的概率。 對(duì)于一個(gè)連續(xù)取值的隨機(jī)變量X,他的熵定義為H(微分熵)隨機(jī)變量越隨機(jī)，越是難預(yù)測(cè)和非結(jié)構(gòu)化，他的熵就越大。假設(shè)一個(gè)概率接近于1，其他的概率接近于0。那么該隨機(jī)變量就沒(méi)有什么隨機(jī)性，他的熵就更小。如果所有概率相等，那么它們都遠(yuǎn)離0和1，意味著它們的熵較大。負(fù)熵我們可以利用熵來(lái)度量非高斯性，常用熵的修正形式，即負(fù)熵。 4、fastICA算法(fastICA）-極大化非高斯性FastICA算法，

10、又稱(chēng)固定點(diǎn)(Fixed-Point)算法，是由芬蘭赫爾辛基大學(xué)Hyvrinen等人提出來(lái)的。是一種快速尋優(yōu)迭代算法，與普通的神經(jīng)網(wǎng)絡(luò)算法不同的是這種算法采用了批處理的方式，即在每一步迭代中有大量的樣本數(shù)據(jù)參與運(yùn)算。但是從分布式并行處理的觀點(diǎn)看該算法仍可稱(chēng)之為是一種神經(jīng)網(wǎng)絡(luò)算法。FastICA算法有基于峭度、基于似然最大、基于負(fù)熵最大等形式，這里，我們介紹基于負(fù)熵最大負(fù)熵最大的FastICA算法。 獨(dú)立分量分析（ICA）的過(guò)程如下圖所示：在信源中各分量相互獨(dú)立的假設(shè)下，由觀察值X通過(guò)解混系統(tǒng)把他們分離開(kāi)來(lái)，使輸出逼近。 等于球化白化原因：一般情況下，所獲得的數(shù)據(jù)都具有相關(guān)性，所以通常都要求對(duì)數(shù)據(jù)

11、進(jìn)行初步的白化或球化處理，因?yàn)榘谆幚砜扇コ饔^測(cè)信號(hào)之間的相關(guān)性，從而簡(jiǎn)化了后續(xù)獨(dú)立分量的提取過(guò)程，而且，通常情況下，數(shù)據(jù)進(jìn)行白化處理與不對(duì)數(shù)據(jù)進(jìn)行白化處理相比，算法的收斂性較好。白化白化操作：均勻分布的兩個(gè)獨(dú)立成分S1，S2的聯(lián)合分布觀測(cè)混合量X1，X2的聯(lián)合分布均勻分布的兩個(gè)獨(dú)立成分白化混合的聯(lián)合分布g+ W0TE ZW Z221TEW ZWfastICA實(shí)際上是一種尋找wTz（Y= wTz ）的非高斯最大的不動(dòng)點(diǎn)迭代方案。為了推導(dǎo)近似牛頓法，首先wTz的近似負(fù)熵的極大值通常在Eg(wTz) 極值點(diǎn)處取得。根據(jù)拉格朗日條件， Eg(wTz) 在約束 條件下的極值，是在那些使得下面拉格朗日

12、乘子式的梯度為零的點(diǎn)處取得：正交系統(tǒng)221TEW ZW為拉格朗日乘子現(xiàn)在我們?cè)噲D采用牛頓法來(lái)求解方程。用F表示上方程的左部分，求的其梯度為：為了簡(jiǎn)化矩陣求逆的過(guò)程需要對(duì)上式第一項(xiàng)進(jìn)行近似。因?yàn)閿?shù)據(jù)已經(jīng)是球化過(guò)的，似乎可以作為一個(gè)合理的近似。這是梯度變化成了對(duì)角矩陣，可以簡(jiǎn)單的求逆，這樣我們的到了近似的牛頓迭代算法：gg=gTTTTTE ZZW ZE ZZEW ZEW ZIg/gTTWWE ZW ZWEW Z在上式兩邊同時(shí)乘以 進(jìn)一步簡(jiǎn)化得：ggTTWE ZW ZEW ZW每次迭代完成后對(duì)W進(jìn)行標(biāo)準(zhǔn)化。以上就是fastICA算法中不動(dòng)點(diǎn)迭代的基本公式代碼實(shí)現(xiàn)算法結(jié)果5、infomaxICA是美國(guó)

13、Salk Institute計(jì)算神經(jīng)生物學(xué)實(shí)驗(yàn)室的研究者沒(méi)首先提出的。其特點(diǎn)就是在輸出y之后逐分量的引入一個(gè)非線性函數(shù)ri=gi(yi)來(lái)代替高階統(tǒng)計(jì)量的估計(jì)。BinfomaxICA- 非線性去相關(guān)Infomax法的判據(jù)是：經(jīng)過(guò)B陣解混后對(duì)所得的y的每一個(gè)分量yi分別用一個(gè)非線性的函數(shù)gi(yi)加以處理，得r=g(y)=g1(y1),-gn(yn)=r1,r2-rnT自適應(yīng)處理的目標(biāo)函數(shù)是：調(diào)節(jié)B使r的總熵量H(B，r)極大; H(r)極大便意味著y的各分量之間的互信息極小,互信息小意味著y的各個(gè)分量相互獨(dú)立。在結(jié)構(gòu)上看，B，g合在一起就是單層感知機(jī)，只是r并不是我們需要的輸出，它只是為達(dá)到

14、使y各分量盡可能獨(dú)立而引入的輔助環(huán)節(jié)。參數(shù)的調(diào)節(jié)以下式為指導(dǎo)：B1r=( )log|log()MixiiHH xBEgy（ ，B）1( )r =-( )log()Miiip yHp ydygy（ ）1( )=-( )log|()Miiip xp xdxBgy1=( )( )log|()MiH xp xBgi yi dx式中Ex（.）是指P（x）為概率的函數(shù)的均值。在做梯度處理時(shí)，取消總集的均值過(guò)程，得：1r=( )log|log()MiiiHH xBgy（ ，B）1r=( )log|log()MiiiHH xBgy（ ，B）log|TBBB1log()( )MTiiigyy xB 將上式對(duì)B求導(dǎo) 第一項(xiàng)：與B無(wú)關(guān)； 第二項(xiàng)： 第三項(xiàng)：式中i1ij()()()1log()b()()()Miiiiiiiiijiiiijiiijiig ygyygygyxg ybg ybg y由于得()()iiig yp y()( )iig yp y dy要使y接近S，則應(yīng)使p(yi)接