獨立成分分析ICA深圳大學(xué)ppt課件

1、Independent component analysis ICA是20世紀(jì)90年代提出的，起初是神經(jīng)網(wǎng)絡(luò)的研討中有一個重要的問題，獨立成分分析是一個處理問題的新方法。在許多運用方面，包括特征識別、信號分別。這種方法是用一種解線性方程組的方式的估計方式求解信號源。假想一下，在一個房 間里的不同位置放著兩個麥克風(fēng)，同時有兩個人說話。兩個麥克風(fēng)能同時記錄下兩個時間信號，假設(shè)僅用這兩個記錄的信號來估計出原來的兩個語音信號，那將是一件非常有意義的事情，這也就是所謂的“雞尾酒會問題 。由于主成分分析(PCA)和奇特值分解(SVD)是基于信號二 階統(tǒng)計特性的分析方法，其目的用于去除圖像各分量之間的相關(guān)性

2、，因此它們主要運用于圖像數(shù)據(jù)的緊縮；而ICA 那么是基于信號高階統(tǒng)計特性的分析方法，經(jīng)ICA分解出的各信號分量之間是相互獨立的。正是由于這一特點，使ICA在信號處置領(lǐng)域遭到了廣泛的關(guān)注聲音提取： 典型例子：“雞尾酒會的問題。 人的大腦可以很快辨出或集中聽某種需求關(guān)注聲音。)()()()()()()()()()()()(333232131332322212123132121111tsatsatsatxtsatsatsatxtsatsatsatx麥克風(fēng)1麥克風(fēng)2麥克風(fēng)3)(1tx) (2tx)(3tx11a12a13a21a22a)(1ts)(2ts)(3ts23a31a32a33a a為權(quán)重的參

3、數(shù)，在雞尾酒舞會問題中為間隔，x為兩個話筒得到信號，s為兩個扮演者的聲音。這兩個人的聲音相對獨立并且忽略一切的其他要素比如聲音的時間延遲。假設(shè)我們知道a的參數(shù)，也就是說知道間隔，反解出s就很簡單。半盲源但I(xiàn)CA是在不知道a和Si(t)的情況下的一種估計的算法，也就是說的盲信號分別的一種算法。)()()()()()()()()()()()(333232131332322212123132121111tsatsatsatxtsatsatsatxtsatsatsatxICA的約束為了確保上邊剛剛給出的根本的ICA模型能被估計，我們必需求做出一定的假設(shè)和約束。1.獨立成分被假定是統(tǒng)計獨立的；2.獨立成

4、分具有非高斯的分布；3.假定混合矩陣是方陣；1.獨立成分被假定是統(tǒng)計獨立的該假設(shè)是ICA可以成立的前提。概念上了解：我們說隨機變量y1，y2.yn獨立，是指在ij時，有關(guān)yi的取值情況對于yj如何取值沒有提供任何信息。技術(shù)角度上了解：結(jié)合概率密度等于各邊緣概率密度的乘積。2.獨立成分具有非高斯的分布 假設(shè)觀測到的變量具有高斯分布，那么ICA在本質(zhì)上 是不能夠?qū)崿F(xiàn)的。緣由：由于獨立成分結(jié)合分布是高斯的，那么他們的結(jié)合概率密度為：P(s1,s2) =1/2*exp-(s12+s22)/2 = 1/2*exp-|s|2/2假定S經(jīng)過混合矩陣A后，他們的結(jié)合概率密度依然不變化，因此我們沒有方法在混合中

5、的得到混合矩陣的信息。3. 假定混合矩陣是方陣 換句話說，就是獨立成分的個數(shù)與觀測到的混合量個數(shù)一樣。根據(jù)源信號的統(tǒng)計特性，僅由觀測的混合信號恢復(fù)(分別)出未知原始源信號的過程“盲源信號不可觀測混合系統(tǒng)的特性事先不可知盲源分別Blind Source Seperation1、盲源分別與ICA的概念盲源分別的目的是求得源信號的最正確估計。給定隨機變量的一組觀測 X1(t)， X2(t)， X3(t) 其中t是時間或者樣本標(biāo)號。假設(shè)他們有獨立成分線性的混合而產(chǎn)生：式中，A是一個未知矩陣。在我們觀測僅能觀測到Xi(t)的情況下，獨立分量分析就要同時估計出矩陣A和Sit。并且假設(shè)觀測到的獨立成分Xi(

6、t)數(shù)目與Sit數(shù)目一樣。)()()()()()()()()()()()(333232131332322212123132121111tsatsatsatxtsatsatsatxtsatsatsatx當(dāng)盲源分別的各分量相互獨立時，就成為獨立分量分析公式1運用場景生物醫(yī)學(xué)信號領(lǐng)域心電圖(ECG)腦電圖(EEG)信號分別聽覺信號分析、功能磁共振圖像(FMRI)分析處置孕婦身上測到的心電信號，分別得到孕婦本人和胎兒的心電信號陣列信號處置領(lǐng)域運用場景在陣列傳感器中，各傳感器接納到混合信號，源信號和混合特性未知，是典型的盲分別運用問題。在挪動通訊陣列天線處置、海洋聲納探測等方面的作用越來越重要聲信號處置

7、領(lǐng)域運用場景挪動通訊中，ICA技術(shù)可以有效地消除噪聲、抑制干擾、加強語音，提高通訊質(zhì)量；經(jīng)過ICA方法對車輛行駛時產(chǎn)生的聲音信號進展分別，對車輛個數(shù)與行車方向進展估計，實現(xiàn)車輛的簡單分類ICA范例EEG 信號與假象分別 噪聲條件下研討腦活動 監(jiān)測多個腦活動過程ICA范例fMRIICA Component TypesSustained task-related(a)Transientlytask-related(b)Slowly-varying(c)Quasi-periodic(d)Abrupt headmovement(e)ActivatedSuppressedSlow headmovemen

8、t(f) fMRI數(shù)據(jù)噪聲大且復(fù)雜 ICA辨識同時產(chǎn)生的血流動力學(xué)過程 不需求特定的實驗相關(guān)先驗知識3、數(shù)學(xué)根底 牛頓迭代法 熵 負(fù)熵牛頓迭代法法 牛頓法最初是用于求解方程f(x)=0的解。其解的過程：由初始值x(k)開場，用一階導(dǎo)數(shù)f(x(k)=0計算新的估計值x(k+1)。 x(k+1)由f(x)在Pk點的切線與x軸的交點來確定。因此：f(xk)=f(xk) Xk-xk+1Xk+1=xk-f(xk)f(xk)而式中的f(xk)可以看做是在初始點的導(dǎo)數(shù)，是可以很容易求出來的。例.用牛頓迭代法求方程的根:0133xx解:13)(3xxxf設(shè)33)(2xxf由牛頓迭代法)()(1kkkkxfxf

9、xx得取初值,5 .00 xx0 =0.5;x1 =0.3333333333x2 =0.3472222222x3 =0.3472963532x4 =0.3472963553331323kkkkxxxx迭代四次精度達(dá)10-8 1kx*x)(xfy kx熵 由信息論實際可知： 對于一個離散取值的隨機變量X，他的熵定義為H：H(x)=-p(xi)log(p(xi) (i=1,2,.n) Xi是X能夠的取值。P是X取不同值的概率。 對于一個延續(xù)取值的隨機變量X,他的熵定義為H(微分熵)隨機變量越隨機，越是難預(yù)測和非構(gòu)造化，他的熵就越大。假設(shè)一個概率接近于1，其他的概率接近于0。那么該隨機變量就沒有什么

10、隨機性，他的熵就更小。假設(shè)一切概率相等，那么它們都遠(yuǎn)離0和1，意味著它們的熵較大。負(fù)熵我們可以利用熵來度量非高斯性，常用熵的修正方式，即負(fù)熵。 (fastICA-極大化非高斯性FastICA算法，又稱固定點(Fixed-Point)算法，是由芬蘭赫爾辛基大學(xué)Hyvrinen等人提出來的。是一種快速尋優(yōu)迭代算法，與普通的神經(jīng)網(wǎng)絡(luò)算法不同的是這種算法采用了批處置的方式，即在每一步迭代中有大量的樣本數(shù)據(jù)參與運算。但是從分布式并行處置的觀念看該算法仍可稱之為是一種神經(jīng)網(wǎng)絡(luò)算法。FastICA算法有基于峭度、基于似然最大、基于負(fù)熵最大等方式，這里，我們引見基于負(fù)熵最大的FastICA算法。 獨立分量分析

11、ICA的過程如以下圖所示：在信源中各分量相互獨立的假設(shè)下，由察看值X經(jīng)過解混系統(tǒng)把他們別分開來，使輸出逼近。 等于球化白化緣由：普通情況下，所獲得的數(shù)據(jù)都具有相關(guān)性，所以通常都要求對數(shù)據(jù)進展初步的白化或球化處置，由于白化處置可去除各觀測信號之間的相關(guān)性，從而簡化了后續(xù)獨立分量的提取過程，而且，通常情況下，數(shù)據(jù)進展白化處置與不對數(shù)據(jù)進展白化處置相比，算法的收斂性較好。白化白化操作：g+ W0TE ZW Z221TEW ZWfastICA實踐上是一種尋覓wTzY= wTz 的非高斯最大的不動點迭代方案。為了推導(dǎo)近似牛頓法，首先wTz的近似負(fù)熵的極大值通常在Eg(wTz) 極值點處獲得。根據(jù)拉格朗日條件， Eg(wTz) 在約束 條件下的極值，是在那些使得下面拉格朗日乘子式的梯度為零的點處獲得：正交系統(tǒng)221TEW ZW為拉格朗日乘子如今我們試圖采用牛頓法來求解方程。用F表示上方程的左部分，求的其梯度為：為了簡化矩陣求逆的過程需求對上式第一項進展近似。由于數(shù)據(jù)曾經(jīng)是球化過