獨立分量分析課件

獨立分量分析1盲信號處理導論2獨立分量分析概述3基本概念4ICA的優(yōu)化判據(jù)5ICA的優(yōu)化算法盲信號處理導論（一）盲信號處理（BSP，BlindSignalProcessing）問題：當傳輸信道特性未知時，從一個傳感器或轉(zhuǎn)換器的輸出信號分離或估計原信號的波形。注：不確定性是指被估計信號任意比例伸縮，排序和時滯。依然保留了原信號的波形，是可以被BSP

接收的，對于BSP不是最關(guān)鍵的。盲信號處理導論三個主要方向：＊盲信號分離與提取（BSS：BlindSignalSeparation）確定一個或幾個具有特殊統(tǒng)計或性質(zhì)的子分量，舍棄不感興趣的信號或噪聲。用二階統(tǒng)計量可以完成。＊獨立分量分析（ICA：IndependentComponentAnalysis)

得到相互獨立的輸出分量。在實際應(yīng)用中應(yīng)作一定的處理。用高階統(tǒng)計量來進行分析。＊多通道盲解卷積和均衡（MBD）盲信號處理導論（三）應(yīng)用：醫(yī)學，語音增強，無線通信（1）生物醫(yī)學處理：非侵入式評估人體器官不同生理變化。典型：胎兒心電圖信號提取。測量方法：在母體腹部放置若干體表電極，測量電位差信號ECG：包括MECG，F(xiàn)ECG。母體心電圖信號=胎兒心電圖信×N（N=1.5～100）自適應(yīng)濾波；胎兒的心率與母體心率不同的，可看作是獨立的。測量盲信號處理導論（2）聲音提?。旱湫屠樱骸半u尾酒會”的問題。人的大腦可以很快辨出或集中聽某種需要關(guān)注聲音。麥克風1麥克風2麥克風3的設(shè)計，聲音識別，可以識別微弱聲音信號。歸結(jié)為

盲信號處理導論（3）數(shù)字通信系統(tǒng)：M1M0均衡器，濾波器。符合盲信號處理對多通道的要求，不需要有干擾信號的訓練樣本。獨立分量分析概述（一）前提：一般假設(shè)S中各分量相互獨立；零均值，且方差為1。以多導信號處理為基礎(chǔ)，即：必須借助于一組把信源按不同比例組合起來的多通道信號同步觀察。多導信號包括：主分量分析（PCA）；奇異值分解（SVD）。SXH獨立分量分析概述（二）多導信號處理基礎(chǔ)對于M通道的觀察值（每通道N點采樣數(shù)據(jù)）組成數(shù)據(jù)陣X其中是正交歸一陣，是準對角陣，N

不失一般性；通常設(shè)

為奇異值。

M獨立分量分析概述獨立分量分析概述ICA的簡單思路

ICA的任務(wù)明確為：在S，A均未知的情況下，求B，使Y=BX是

S的最優(yōu)逼迫?；驹瓌t:(1)非線性去相關(guān)。求B，使任意兩輸出yi,yj(i≠j)不相關(guān);且經(jīng)非線性變換g(yi),h(yi)也不相關(guān)（高階統(tǒng)計量）。

(2)使輸出盡可能非高斯化。Y的非高斯性的每個局部極大值都給了一個獨立分量。SX=ASY=BX混合矩陣解混矩陣AB獨立分量分析概述

對X求協(xié)方差陣（假設(shè)各導記錄的均值皆為0），則有：

為特征值，上式是對Cx的主分量分解。分解出的分量按能量大小排序。如果原始數(shù)據(jù)的秩小于M，則某些奇異值，特征值將等于0。

SVD，PCA分解,保證分解出來的各分量不相關(guān)，不能保證分量相互獨立。

ICA最早是針對“雞尾酒會問題”，從酒會嘈雜人聲中提取所關(guān)心對象的語音，針對CDMA把各用戶碼分解開來。獨立分量分析概述（三）ICA最簡單框圖說明

ICA任務(wù)：S，A均未知，求B，使Y=BX是S的最優(yōu)逼迫。分解基本原則：（1）非線性去相關(guān)。求B，使任意兩輸出yi,yj(i≠j)不相關(guān)；且經(jīng)非線性變換g(yi),h(yj)也不相關(guān)（高階統(tǒng)計量）。（2）使輸出盡可能非高斯化,Y方差恒定，

Y的非高斯性的每一個局部極大值給出了一個獨立分量。SY=BX混合矩陣解混矩陣X=ASBA獨立分量分析概述（3）芬蘭赫爾辛基工業(yè)大學神經(jīng)網(wǎng)絡(luò)研究中心

高階統(tǒng)計量引入PCA，提出了立足于逐次提取獨立分量的固定點算法（fixedpointalgorithm)

。fastICA:使提取信號非高斯性極大化。計算量小，收斂速度快。（4）法國學者：J.F.Cardoso.JADE算法批數(shù)據(jù)處理算法近年來引人注意的稀疏分量分析。

優(yōu)化判據(jù)優(yōu)化算法應(yīng)用基本概念（與ICA相關(guān)）（一）n階矩：一階均值三階偏斜度二階均方四階峰度

統(tǒng)計估計時，偏斜度，峰度是對標準化了的數(shù)據(jù)x(均值為0，方差為1）進行的。（二）n階累計量：

第二特征函數(shù)特征函數(shù)

均值

方差

Taylor展開

（moment）（cumulant）單變量基本概念（與ICA相關(guān)）說明：

(1)對單變量高斯型信號，二階以上的矩和累計量或為

0，或可由一，二階推導，是冗余的，因此，高斯型隨機變量可由一，二階統(tǒng)計特征來完整描述。

(2)當pdf關(guān)于原點偶對稱，m3=k3=0。

(3)k4>0超高斯,k4<0亞高斯,k4

常用于對非高斯，但對稱的pdf分類。用︱k4︱大小作為衡量信號距離高斯型程度的度量?；靖拍睿ㄅcICA相關(guān)）（四）熵：反映平均信息量。

（1）當隨機變量取值一定范圍時，其取值作均勻分布將具有最大熵值。（2）當隨機變量的功率一定時，高斯分布具有最大熵值

（五）KL散度:描述的是兩個概率密度函數(shù)間相似程度（kullback-leibler散度）單變量：多變量：

KL≥0；p(x)=q(x),KL=0.

反映了p(x),q(x)在某種意義下的距離。KL[p,q]≠KL[q,p]與距離對稱性不同，不宜稱為距離。重要應(yīng)用：用來度量任意多變量概率密度函數(shù)中各分量相互獨立程度。X代表矩陣干擾最佳形式基本概念（與ICA相關(guān)）（六）互信息：定義當p(X)為多變量[x1,x2,…xN]的聯(lián)合pdf，p(xi)為各分量邊際pdf.

稱為互信息I（mutualinformation).

性質(zhì)：（1）I(x)≥0，I(x)=0，x中各分量相互獨立。可作為獨立程度度量。（2）與信息熵的關(guān)系：

各分量信息熵的總和—聯(lián)合熵（3）反映了每個分量攜帶另一分量信息的含量。def基本概念（與ICA相關(guān)）（七）負熵：任意pdfp(x)和具有相同協(xié)方差陣的高斯分布pG(x)的KL散度，作為該pdf非高斯程度的度量。負熵（negentropy)

單變量：多變量：性質(zhì)：（1）J[p(x)]≥0，p(x)=pG(x)：當且僅當J[p(x)]=0代表高斯分布。

（2）

Cx是行列式互信息與負熵的關(guān)系。

獨立分量分析的實質(zhì)是優(yōu)化，即在某一衡量獨立性判據(jù)最有意義下尋求近似解。解是近似解，且排列次序上，幅度上允許不同ICA的優(yōu)化判據(jù)步驟：兩步法解混（1）球化：確定線性變換W使z(t)的各分量zi(t)的方差為1，且不相關(guān)（未必相互獨立）ICA的優(yōu)化判據(jù)（2）正交變換：yi的方差保持為1，且盡可能相互獨立第一步已經(jīng)滿足獨立性對二階統(tǒng)計量的要求，因此第二步只考慮三階以上的統(tǒng)計量ICA的優(yōu)化判據(jù)∴最直接的判據(jù)：互信息I(y)由于，未知，需要對其估計，實際做法是將pdf變成高階統(tǒng)計量的技術(shù)，或在輸出端引入某種非線性環(huán)節(jié)，來自動引入高階統(tǒng)計量一、統(tǒng)計獨立性與互信息測度間的關(guān)系ICA的優(yōu)化判據(jù)y中分量獨立時互信息極小化判據(jù)判據(jù)：選擇B，由x求達到極小判據(jù)的優(yōu)點：y中各分量的排序和幅度比例變化具有不變性仍涉及pdf，需要用高階統(tǒng)計量近似ICA的優(yōu)化判據(jù)最簡單的逼近思路輸入信號的熵與B無關(guān)等效于極小表示為高階統(tǒng)計量的組合若不等于1，則應(yīng)除以二、信息極大化判據(jù)（Informax）ICA的優(yōu)化判據(jù)By(t)x(t)y1(t)y2(t)yM(t)g1(*)g2(*)gM(*)r1(t)r2(t)rM(t)用非線性函數(shù)來代替高級統(tǒng)計量的估計由于是單調(diào)可逆，變換前后互信息具有不變性

接近信源的累計分布

判據(jù)：給定合適的后，使輸出的總熵量極大，或極小，或極大ICA的優(yōu)化判據(jù)

是接近信源的累積分布函數(shù)，單增，極小，極大可以用sigmoid，tanh等ICA的優(yōu)化判據(jù)通過非線性環(huán)節(jié)送出去的信息量最大，最大由于非線性環(huán)節(jié)確定，y一定下，r也確定0∴極大，極小極大，極小，各分量互信息極小極大，，三、極大似然判據(jù)ICA的優(yōu)化判據(jù)，定義最大為極大似然估計目標函數(shù)極大似然估計含義：選擇A，使極大，B給定，y分量獨立ICA中：x的對數(shù)極大似然函數(shù)在獨立的條件下，可以證明ICA的優(yōu)化判據(jù)使L(B)極大∴ICA的優(yōu)化判據(jù)

與B無關(guān)，可見極大，意味著互信息極小ICA的優(yōu)化判據(jù)四、高階統(tǒng)計量獨立性判據(jù)在多變量情況下，y中個分量相互獨立時，全部累計量=0，y的維數(shù)高時，計算量大，不太實用ICA的優(yōu)化判據(jù)五、判據(jù)近似逼近判據(jù)涉及pdfpdf未知pdf級數(shù)展開適當選取非線性函數(shù)簡化，逼近如：Informax，逐分量引入使極大gi的選擇，單增，之間，常用sigmod，tanh，等ICA的優(yōu)化算法批處理法：JADE對一批已取得的數(shù)據(jù)進行優(yōu)化自適應(yīng)算法：對輸入信號自適應(yīng)處理逐次提取JointCumulantandCorrelationbasedsignalseperationwithapplicationtoEEGdataanalysisICA的優(yōu)化算法一、逐次提取法投影跟蹤1、思路：從“最獨立的方向投影”實際工作中，以“投影后數(shù)據(jù)的pdf（概率密度函數(shù)）距離高斯分布最遠”，將各獨立分量逐個提取出來，每提取一個，把該分量從原始數(shù)據(jù)中剔除理由：∴對y中的某個元素有ICA的優(yōu)化算法若si非高斯的，比yj更接近高斯分布當vij其中只有一個為1，其余為0，yj=sk，距離高斯分布最遠最接近信源實際上，A未知，只能通過改變B中的元素，使yj的分布最非高斯ICA的優(yōu)化算法度量非高斯程度--負熵當分布是高斯分布越大，說明離高斯變量越遠ICA的優(yōu)化算法2、方法：（1）負熵可以表示稱高階統(tǒng)計量的函數(shù)較小，偶對稱結(jié)論：與獨立分量間的關(guān)系：調(diào)節(jié)v使達到最大/極大，就能得到獨立分量在一定約束條件下，的極值對應(yīng)與權(quán)重矢量v中只有一個元素為1，其余皆為0的情況，此時y的獨立分量為某一獨立分量sICA的優(yōu)化算法設(shè)有兩個獨立源，經(jīng)混合陣A，B得∵∴由于s1，s2獨立，有或由于s1，s2，y是零均值，方差為1§11.5ICA的優(yōu)化算法任務(wù)：使極大為便于討論，設(shè)上式極大發(fā)生在此時∴極大能得到獨立分量s1，s2ICA的優(yōu)化算法（2）為消除數(shù)據(jù)中的野點造成估計結(jié)果不夠穩(wěn)健的現(xiàn)象，可采用非多項式函數(shù)逼近概率密度函數(shù)

與標準高斯分布（方差為1，均值為0）相差不太大時，可用若干非多項式函數(shù)的加權(quán)和來逼近：滿足：正交歸一性矩消失性ICA的優(yōu)化算法可以證明同時還可證明負熵極大∴只要選定合適的，求各的統(tǒng)計均值就可以近似估計得ICA的優(yōu)化算法問題：如何選擇①統(tǒng)計特性不難求②的增長速度不能快于對野點不敏感實驗中，N常取1，2—和，奇函數(shù)，用來表示概率密度的非對稱性；偶函數(shù)，表現(xiàn)原點左右的雙峰性

正常數(shù)，是與同樣方差的零均值高斯變量ICA的優(yōu)化算法可用形式ICA的優(yōu)化算法ICA的優(yōu)化算法Z是一個分量相互正交，能量=1過程：輸入x方差x，cov(x’)特征向量，特征值白化陣ICA的優(yōu)化算法三、固定點算法由牛頓迭代中固定點映射而來，是一種遞推算法求方程的根，可將寫為，則稱為固定點映射如