獨(dú)立成分分析(ICA)-深圳大學(xué)

Independentcomponentanalysis獨(dú)立成分分析（ICA）ICA簡介ICA是20世紀(jì)90年代提出的，起初是神經(jīng)網(wǎng)絡(luò)的研究中有一個(gè)重要的問題，獨(dú)立成分分析是一個(gè)解決問題的新方法。在許多應(yīng)用方面，包括特征識(shí)別、信號(hào)分離。這種方法是用一種解線性方程組的方式的估計(jì)方式求解信號(hào)源。獨(dú)立成分分析（ICA）假想一下，在一個(gè)房間里的不同位置放著兩個(gè)麥克風(fēng)，同時(shí)有兩個(gè)人說話。兩個(gè)麥克風(fēng)能同時(shí)記錄下兩個(gè)時(shí)間信號(hào)，如果僅用這兩個(gè)記錄的信號(hào)來估計(jì)出原來的兩個(gè)語音信號(hào)，那將是一件非常有意義的事情，這也就是所謂的“雞尾酒會(huì)”問題。由于主成分分析(PCA)和奇異值分解(SVD)是基于信號(hào)二階統(tǒng)計(jì)特性的分析方法，其目的用于去除圖像各分量之間的相關(guān)性，因而它們主要應(yīng)用于圖像數(shù)據(jù)的壓縮；而ICA則是基于信號(hào)高階統(tǒng)計(jì)特性的分析方法，經(jīng)ICA分解出的各信號(hào)分量之間是相互獨(dú)立的。正是因?yàn)檫@一特點(diǎn)，使ICA在信號(hào)處理領(lǐng)域受到了廣泛的關(guān)注．聲音提取：典型例子：“雞尾酒會(huì)”的問題。人的大腦可以很快辨出或集中聽某種需要關(guān)注聲音。麥克風(fēng)1麥克風(fēng)2麥克風(fēng)3 a為權(quán)重的參數(shù)，在雞尾酒舞會(huì)問題中為距離，x為兩個(gè)話筒得到信號(hào)，s為兩個(gè)表演者的聲音。這兩個(gè)人的聲音相對獨(dú)立并且忽略所有的其他因素比如聲音的時(shí)間延遲。 如果我們知道a的參數(shù)，也就是說知道距離，反解出s就很簡單。（半盲源） 但I(xiàn)CA是在不知道a和Si(t)的情況下的一種估計(jì)的算法，也就是說的盲信號(hào)分離的一種算法。ICA的約束為了確保上邊剛剛給出的基本的ICA模型能被估計(jì)，我們必須要做出一定的假設(shè)和約束。1.獨(dú)立成分被假定是統(tǒng)計(jì)獨(dú)立的；2.獨(dú)立成分具有非高斯的分布；3.假定混合矩陣是方陣；1.獨(dú)立成分被假定是統(tǒng)計(jì)獨(dú)立的該假設(shè)是ICA能夠成立的前提。概念上理解：我們說隨機(jī)變量y1，y2..yn獨(dú)立，是指在i≠j時(shí)，有關(guān)yi的取值情況對于yj如何取值沒有提供任何信息。技術(shù)角度上理解：聯(lián)合概率密度等于各邊緣概率密度的乘積。2.獨(dú)立成分具有非高斯的分布

如果觀測到的變量具有高斯分布，那么ICA在本質(zhì)上是不可能實(shí)現(xiàn)的。原因：因?yàn)楠?dú)立成分聯(lián)合分布是高斯的，那么他們的聯(lián)合概率密度為：P(s1,s2)=1/2π*exp[-(s12+s22)/2]=1/2π*exp（-||s||2/2） 假定S經(jīng)過混合矩陣A后，他們的聯(lián)合概率密度仍然不變化，因此我們沒有辦法在混合中的得到混合矩陣的信息。3.假定混合矩陣是方陣換句話說，就是獨(dú)立成分的個(gè)數(shù)與觀測到的混合量個(gè)數(shù)相同。根據(jù)源信號(hào)的統(tǒng)計(jì)特性，僅由觀測的混合信號(hào)恢復(fù)(分離)出未知原始源信號(hào)的過程“盲”源信號(hào)不可觀測混合系統(tǒng)的特性事先不可知盲源分離（BlindSourceSeperation）1、盲源分離與ICA的概念盲源分離的目的是求得源信號(hào)的最佳估計(jì)。給定隨機(jī)變量的一組觀測（X1(t)，X2(t)，X3(t)）其中t是時(shí)間或者樣本標(biāo)號(hào)。假設(shè)他們有獨(dú)立成分線性的混合而產(chǎn)生：式中，A是一個(gè)未知矩陣。在我們觀測僅能觀測到Xi(t)的情況下，獨(dú)立分量分析就要同時(shí)估計(jì)出矩陣A和Si（t）。并且假設(shè)觀測到的獨(dú)立成分Xi(t)數(shù)目與Si（t）數(shù)目相同。當(dāng)盲源分離的各分量相互獨(dú)立時(shí)，就成為獨(dú)立分量分析公式1應(yīng)用場景生物醫(yī)學(xué)信號(hào)領(lǐng)域心電圖(ECG)腦電圖(EEG)信號(hào)分離聽覺信號(hào)分析、功能磁共振圖像(FMRI)分析處理孕婦身上測到的心電信號(hào)，分別得到孕婦自己和胎兒的心電信號(hào)陣列信號(hào)處理領(lǐng)域應(yīng)用場景在陣列傳感器中，各傳感器接收到混合信號(hào)，源信號(hào)和混合特性未知，是典型的盲分離應(yīng)用問題。在移動(dòng)通信陣列天線處理、海洋聲納探測等方面的作用越來越重要聲信號(hào)處理領(lǐng)域

應(yīng)用場景移動(dòng)通信中，ICA技術(shù)能夠有效地消除噪聲、抑制干擾、增強(qiáng)語音，提高通信質(zhì)量；通過ICA方法對車輛行駛時(shí)產(chǎn)生的聲音信號(hào)進(jìn)行分離，對車輛個(gè)數(shù)與行車方向進(jìn)行估計(jì)，實(shí)現(xiàn)車輛的簡單分類ICA范例——EEG信號(hào)與假象分離噪聲條件下研究腦活動(dòng)監(jiān)測多個(gè)腦活動(dòng)過程ICA范例——fMRIfMRI數(shù)據(jù)噪聲大且復(fù)雜ICA辨識(shí)同時(shí)產(chǎn)生的血流動(dòng)力學(xué)過程不需要特定的實(shí)驗(yàn)相關(guān)先驗(yàn)知識(shí)3、數(shù)學(xué)基礎(chǔ)牛頓迭代法熵負(fù)熵牛頓迭代法法

牛頓法最初是用于求解方程f(x)=0的解。其解的過程：由初始值x(k)開始，用一階導(dǎo)數(shù)f’(x(k))=0計(jì)算新的估計(jì)值x(k+1)。x(k+1)由f(x)在Pk點(diǎn)的切線與x軸的交點(diǎn)來確定。因此：f’(xk)=f(xk)

Xk-xk+1Xk+1=xk-f(xk)f’(xk)而式中的f’(xk)可以看做是在初始點(diǎn)的導(dǎo)數(shù)，是可以很容易求出來的。例.用牛頓迭代法求方程的根:解:由牛頓迭代法x0=0.5;x1=0.3333333333x2=0.3472222222x3=0.3472963532x4=0.3472963553迭代四次精度達(dá)10-8

熵由信息論理論可知：

對于一個(gè)離散取值的隨機(jī)變量X，他的熵定義為H：H(x)=-∑p(xi)log(p(xi))(i=1,2,..n)Xi是X可能的取值。P是X取不同值的概率。對于一個(gè)連續(xù)取值的隨機(jī)變量X,他的熵定義為H(微分熵)隨機(jī)變量越隨機(jī)，越是難預(yù)測和非結(jié)構(gòu)化，他的熵就越大。假設(shè)一個(gè)概率接近于1，其他的概率接近于0。那么該隨機(jī)變量就沒有什么隨機(jī)性，他的熵就更小。如果所有概率相等，那么它們都遠(yuǎn)離0和1，意味著它們的熵較大。負(fù)熵我們可以利用熵來度量非高斯性，常用熵的修正形式，即負(fù)熵。

(fastICA）-----極大化非高斯性FastICA算法，又稱固定點(diǎn)(Fixed-Point)算法，是由芬蘭赫爾辛基大學(xué)Hyv?rinen等人提出來的。是一種快速尋優(yōu)迭代算法，與普通的神經(jīng)網(wǎng)絡(luò)算法不同的是這種算法采用了批處理的方式，即在每一步迭代中有大量的樣本數(shù)據(jù)參與運(yùn)算。但是從分布式并行處理的觀點(diǎn)看該算法仍可稱之為是一種神經(jīng)網(wǎng)絡(luò)算法。FastICA算法有基于峭度、基于似然最大、基于負(fù)熵最大等形式，這里，我們介紹基于負(fù)熵最大的FastICA算法。獨(dú)立分量分析（ICA）的過程如下圖所示：在信源中各分量相互獨(dú)立的假設(shè)下，由觀察值X通過解混系統(tǒng)把他們分離開來，使輸出逼近。等于球化白化原因：

一般情況下，所獲得的數(shù)據(jù)都具有相關(guān)性，所以通常都要求對數(shù)據(jù)進(jìn)行初步的白化或球化處理，因?yàn)榘谆幚砜扇コ饔^測信號(hào)之間的相關(guān)性，從而簡化了后續(xù)獨(dú)立分量的提取過程，而且，通常情況下，數(shù)據(jù)進(jìn)行白化處理與不對數(shù)據(jù)進(jìn)行白化處理相比，算法的收斂性較好。白化白化操作：

fastICA實(shí)際上是一種尋找wTz（Y=wTz）的非高斯最大的不動(dòng)點(diǎn)迭代方案。為了推導(dǎo)近似牛頓法，首先wTz的近似負(fù)熵的極大值通常在E{g(wTz)}極值點(diǎn)處取得。根據(jù)拉格朗日條件，E{g(wTz)}在約束

條件下的極值，是在那些使得下面拉格朗日乘子式的梯度為零的點(diǎn)處取得：正交系統(tǒng)為拉格朗日乘子現(xiàn)在我們試圖采用牛頓法來求解方程。用F表示上方程的左部分，求的其梯度為：

為了簡化矩陣求