獨(dú)立成分分析ICA深圳大學(xué)ppt課件

1、Independent component analysis ICA是20世紀(jì)90年代提出的，起初是神經(jīng)網(wǎng)絡(luò)的研討中有一個(gè)重要的問題，獨(dú)立成分分析是一個(gè)處理問題的新方法。在許多運(yùn)用方面，包括特征識別、信號分別。這種方法是用一種解線性方程組的方式的估計(jì)方式求解信號源。假想一下，在一個(gè)房 間里的不同位置放著兩個(gè)麥克風(fēng)，同時(shí)有兩個(gè)人說話。兩個(gè)麥克風(fēng)能同時(shí)記錄下兩個(gè)時(shí)間信號，假設(shè)僅用這兩個(gè)記錄的信號來估計(jì)出原來的兩個(gè)語音信號，那將是一件非常有意義的事情，這也就是所謂的“雞尾酒會問題 。由于主成分分析(PCA)和奇特值分解(SVD)是基于信號二 階統(tǒng)計(jì)特性的分析方法，其目的用于去除圖像各分量之間的相關(guān)性

2、，因此它們主要運(yùn)用于圖像數(shù)據(jù)的緊縮；而ICA 那么是基于信號高階統(tǒng)計(jì)特性的分析方法，經(jīng)ICA分解出的各信號分量之間是相互獨(dú)立的。正是由于這一特點(diǎn)，使ICA在信號處置領(lǐng)域遭到了廣泛的關(guān)注聲音提取： 典型例子：“雞尾酒會的問題。 人的大腦可以很快辨出或集中聽某種需求關(guān)注聲音。)()()()()()()()()()()()(333232131332322212123132121111tsatsatsatxtsatsatsatxtsatsatsatx麥克風(fēng)1麥克風(fēng)2麥克風(fēng)3)(1tx) (2tx)(3tx11a12a13a21a22a)(1ts)(2ts)(3ts23a31a32a33a a為權(quán)重的參

3、數(shù)，在雞尾酒舞會問題中為間隔，x為兩個(gè)話筒得到信號，s為兩個(gè)扮演者的聲音。這兩個(gè)人的聲音相對獨(dú)立并且忽略一切的其他要素比如聲音的時(shí)間延遲。假設(shè)我們知道a的參數(shù)，也就是說知道間隔，反解出s就很簡單。半盲源但I(xiàn)CA是在不知道a和Si(t)的情況下的一種估計(jì)的算法，也就是說的盲信號分別的一種算法。)()()()()()()()()()()()(333232131332322212123132121111tsatsatsatxtsatsatsatxtsatsatsatxICA的約束為了確保上邊剛剛給出的根本的ICA模型能被估計(jì)，我們必需求做出一定的假設(shè)和約束。1.獨(dú)立成分被假定是統(tǒng)計(jì)獨(dú)立的；2.獨(dú)立成

4、分具有非高斯的分布；3.假定混合矩陣是方陣；1.獨(dú)立成分被假定是統(tǒng)計(jì)獨(dú)立的該假設(shè)是ICA可以成立的前提。概念上了解：我們說隨機(jī)變量y1，y2.yn獨(dú)立，是指在ij時(shí)，有關(guān)yi的取值情況對于yj如何取值沒有提供任何信息。技術(shù)角度上了解：結(jié)合概率密度等于各邊緣概率密度的乘積。2.獨(dú)立成分具有非高斯的分布 假設(shè)觀測到的變量具有高斯分布，那么ICA在本質(zhì)上 是不能夠?qū)崿F(xiàn)的。緣由：由于獨(dú)立成分結(jié)合分布是高斯的，那么他們的結(jié)合概率密度為：P(s1,s2) =1/2*exp-(s12+s22)/2 = 1/2*exp-|s|2/2假定S經(jīng)過混合矩陣A后，他們的結(jié)合概率密度依然不變化，因此我們沒有方法在混合中

5、的得到混合矩陣的信息。3. 假定混合矩陣是方陣 換句話說，就是獨(dú)立成分的個(gè)數(shù)與觀測到的混合量個(gè)數(shù)一樣。根據(jù)源信號的統(tǒng)計(jì)特性，僅由觀測的混合信號恢復(fù)(分別)出未知原始源信號的過程“盲源信號不可觀測混合系統(tǒng)的特性事先不可知盲源分別Blind Source Seperation1、盲源分別與ICA的概念盲源分別的目的是求得源信號的最正確估計(jì)。給定隨機(jī)變量的一組觀測 X1(t)， X2(t)， X3(t) 其中t是時(shí)間或者樣本標(biāo)號。假設(shè)他們有獨(dú)立成分線性的混合而產(chǎn)生：式中，A是一個(gè)未知矩陣。在我們觀測僅能觀測到Xi(t)的情況下，獨(dú)立分量分析就要同時(shí)估計(jì)出矩陣A和Sit。并且假設(shè)觀測到的獨(dú)立成分Xi(

6、t)數(shù)目與Sit數(shù)目一樣。)()()()()()()()()()()()(333232131332322212123132121111tsatsatsatxtsatsatsatxtsatsatsatx當(dāng)盲源分別的各分量相互獨(dú)立時(shí)，就成為獨(dú)立分量分析公式1運(yùn)用場景生物醫(yī)學(xué)信號領(lǐng)域心電圖(ECG)腦電圖(EEG)信號分別聽覺信號分析、功能磁共振圖像(FMRI)分析處置孕婦身上測到的心電信號，分別得到孕婦本人和胎兒的心電信號陣列信號處置領(lǐng)域運(yùn)用場景在陣列傳感器中，各傳感器接納到混合信號，源信號和混合特性未知，是典型的盲分別運(yùn)用問題。在挪動通訊陣列天線處置、海洋聲納探測等方面的作用越來越重要聲信號處置

7、領(lǐng)域運(yùn)用場景挪動通訊中，ICA技術(shù)可以有效地消除噪聲、抑制干擾、加強(qiáng)語音，提高通訊質(zhì)量；經(jīng)過ICA方法對車輛行駛時(shí)產(chǎn)生的聲音信號進(jìn)展分別，對車輛個(gè)數(shù)與行車方向進(jìn)展估計(jì)，實(shí)現(xiàn)車輛的簡單分類ICA范例EEG 信號與假象分別 噪聲條件下研討腦活動 監(jiān)測多個(gè)腦活動過程ICA范例fMRIICA Component TypesSustained task-related(a)Transientlytask-related(b)Slowly-varying(c)Quasi-periodic(d)Abrupt headmovement(e)ActivatedSuppressedSlow headmovemen

8、t(f) fMRI數(shù)據(jù)噪聲大且復(fù)雜 ICA辨識同時(shí)產(chǎn)生的血流動力學(xué)過程 不需求特定的實(shí)驗(yàn)相關(guān)先驗(yàn)知識3、數(shù)學(xué)根底 牛頓迭代法 熵 負(fù)熵牛頓迭代法法 牛頓法最初是用于求解方程f(x)=0的解。其解的過程：由初始值x(k)開場，用一階導(dǎo)數(shù)f(x(k)=0計(jì)算新的估計(jì)值x(k+1)。 x(k+1)由f(x)在Pk點(diǎn)的切線與x軸的交點(diǎn)來確定。因此：f(xk)=f(xk) Xk-xk+1Xk+1=xk-f(xk)f(xk)而式中的f(xk)可以看做是在初始點(diǎn)的導(dǎo)數(shù)，是可以很容易求出來的。例.用牛頓迭代法求方程的根:0133xx解:13)(3xxxf設(shè)33)(2xxf由牛頓迭代法)()(1kkkkxfxf

9、xx得取初值,5 .00 xx0 =0.5;x1 =0.3333333333x2 =0.3472222222x3 =0.3472963532x4 =0.3472963553331323kkkkxxxx迭代四次精度達(dá)10-8 1kx*x)(xfy kx熵 由信息論實(shí)際可知： 對于一個(gè)離散取值的隨機(jī)變量X，他的熵定義為H：H(x)=-p(xi)log(p(xi) (i=1,2,.n) Xi是X能夠的取值。P是X取不同值的概率。 對于一個(gè)延續(xù)取值的隨機(jī)變量X,他的熵定義為H(微分熵)隨機(jī)變量越隨機(jī)，越是難預(yù)測和非構(gòu)造化，他的熵就越大。假設(shè)一個(gè)概率接近于1，其他的概率接近于0。那么該隨機(jī)變量就沒有什么

10、隨機(jī)性，他的熵就更小。假設(shè)一切概率相等，那么它們都遠(yuǎn)離0和1，意味著它們的熵較大。負(fù)熵我們可以利用熵來度量非高斯性，常用熵的修正方式，即負(fù)熵。 (fastICA-極大化非高斯性FastICA算法，又稱固定點(diǎn)(Fixed-Point)算法，是由芬蘭赫爾辛基大學(xué)Hyvrinen等人提出來的。是一種快速尋優(yōu)迭代算法，與普通的神經(jīng)網(wǎng)絡(luò)算法不同的是這種算法采用了批處置的方式，即在每一步迭代中有大量的樣本數(shù)據(jù)參與運(yùn)算。但是從分布式并行處置的觀念看該算法仍可稱之為是一種神經(jīng)網(wǎng)絡(luò)算法。FastICA算法有基于峭度、基于似然最大、基于負(fù)熵最大等方式，這里，我們引見基于負(fù)熵最大的FastICA算法。 獨(dú)立分量分析

11、ICA的過程如以下圖所示：在信源中各分量相互獨(dú)立的假設(shè)下，由察看值X經(jīng)過解混系統(tǒng)把他們別分開來，使輸出逼近。 等于球化白化緣由：普通情況下，所獲得的數(shù)據(jù)都具有相關(guān)性，所以通常都要求對數(shù)據(jù)進(jìn)展初步的白化或球化處置，由于白化處置可去除各觀測信號之間的相關(guān)性，從而簡化了后續(xù)獨(dú)立分量的提取過程，而且，通常情況下，數(shù)據(jù)進(jìn)展白化處置與不對數(shù)據(jù)進(jìn)展白化處置相比，算法的收斂性較好。白化白化操作：g+ W0TE ZW Z221TEW ZWfastICA實(shí)踐上是一種尋覓wTzY= wTz 的非高斯最大的不動點(diǎn)迭代方案。為了推導(dǎo)近似牛頓法，首先wTz的近似負(fù)熵的極大值通常在Eg(wTz) 極值點(diǎn)處獲得。根據(jù)拉格朗日條件， Eg(wTz) 在約束 條件下的極值，是在那些使得下面拉格朗日乘子式的梯度為零的點(diǎn)處獲得：正交系統(tǒng)221TEW ZW為拉格朗日乘子如今我們試圖采用牛頓法來求解方程。用F表示上方程的左部分，求的其梯度為：為了簡化矩陣求逆的過程需求對上式第一項(xiàng)進(jìn)展近似。由于數(shù)據(jù)曾經(jīng)是球化過