盲源分離-獨立分量分析(ICA)

獨立分量分析法報告人：巫書航導(dǎo)師：山秀明蘇威積目錄目錄問題的提出數(shù)學(xué)準(zhǔn)備獨立分量法具體算法總結(jié)與展望目錄目錄問題的提出一、時域雷達(dá)信號分選二、信號與隨機(jī)變量間的關(guān)系三、獨立分量分析法(ICA)的基本問題四、獨立分量分析法(ICA)的歷史與應(yīng)用數(shù)學(xué)準(zhǔn)備獨立分量法具體算法總結(jié)與展望問題的提出：1、時域雷達(dá)信號分選一、時域雷達(dá)信號分選數(shù)學(xué)模型：時間、幅度圖像問題的提出：2、信號與隨機(jī)變量間的關(guān)系二、信號與隨機(jī)變量間的關(guān)系問題：隨機(jī)變量X在實際中的體現(xiàn)？答：獨立重復(fù)試驗，得到試驗樣本集{Xi}。由這組數(shù)據(jù)樣本點可以估計出隨機(jī)變量的各階矩，近而估計出pdf等全部統(tǒng)計信息。問題的提出：2、信號與隨機(jī)變量間的關(guān)系對一個信號X(t)：獨立重復(fù)試驗————抽樣ti，i=1,2,…N樣本集————{X(ti)}因而信號X(t)可以看成是一個隨機(jī)變量,并可估算它的各階矩，以及談?wù)撍膒df，獨立、相關(guān)等統(tǒng)計特性。例如：問題的提出：3、獨立分量分析法的基本問題假設(shè)源信號若干個統(tǒng)計上相互獨立的信號組成的，它們在空間中形成交疊，獨立分量分析(IndependentComponentAnalysis，ICA)是借助于多個信道同步觀察交疊信號，將觀察信號經(jīng)過解混分解成若干獨立成分，作為對源信號的一組估計。簡化假設(shè)：1、A是線性系統(tǒng)，可用矩陣表示.(實際仿真時是隨機(jī)陣)2、信道對信號無影響，觀察信道數(shù)與信號數(shù)相同，(A，B方陣)問題的提出：3、獨立分量分析法的基本問題問題的提出：3、獨立分量分析法的基本問題問題的提出：3、獨立分量分析法的基本問題幾點說明：1、解出來的Y只要求各分量獨立，因而解不是唯一的，可以有相移、次序顛倒、幅值變化等2、要解出Y，需要對Y各分量是否獨立進(jìn)行判斷。確切地說，需要找到某種判斷函數(shù)G，使Y個分量獨立時G(Y)達(dá)到最大或最小值。3、由于獨立判據(jù)函數(shù)G的不同，以及求解Y的步驟不同，有不同的獨立分量分析法。問題的提出：4、獨立分量分析法的歷史與應(yīng)用歷史：是盲信號處理的一種，是90年代后期發(fā)展起來的ICA是盲信號處理的一個組成部分，20世紀(jì)90年代后期(1986、1991)發(fā)展起來的一項新處理方法，最早是針對“雞尾酒會問題”這一聲學(xué)問題發(fā)展起來的雞尾酒會問題：從酒會的嘈雜的聲音中，如何分辨出所關(guān)心的聲音問題的提出：4、獨立分量分析法的歷史與應(yīng)用應(yīng)用：信號處理碼分多址通信，雷達(dá)信號分選等生物醫(yī)學(xué)心電圖(胎兒)，腦電圖等圖像處理圖像壓縮，數(shù)字識別，圖像融合等其他地震勘探、遙感遙測等，總之包含了信息、通訊、生命、材料、電力、機(jī)械、化學(xué)等各個學(xué)科目錄目錄問題的提出預(yù)備知識一、統(tǒng)計數(shù)學(xué)知識二、信息論基本知識三、概率密度函數(shù)的展開四、信號通過線性系統(tǒng)信息特征的變化獨立分量法介紹總結(jié)與展望預(yù)備知識：一、統(tǒng)計數(shù)學(xué)知識1、特征函數(shù)2、第二特征函數(shù)各分量獨立時：預(yù)備知識：一、統(tǒng)計數(shù)學(xué)知識3、矩n階矩：4、累計量n階累計量：預(yù)備知識：一、統(tǒng)計數(shù)學(xué)知識當(dāng)各分量獨立時：只有中一個非零，其他皆為零時，不為零。即互累計量為零。(可作為檢驗獨立的一個判據(jù))預(yù)備知識：二、信息論基本知識1、熵

信號中平均所含有的信息量。隨機(jī)信號單變量：多變量：聯(lián)合熵：各分量獨立時：在協(xié)方差矩陣相同的概率密度函數(shù)中，高斯分布的熵最大。預(yù)備知識：二、信息論基本知識2、Kullback-Leibler散度

兩個概率密度函數(shù)間相似程度的度量。概率密度函數(shù)：p(x),q(x)單變量：

多變量：

特點：預(yù)備知識：二、信息論基本知識3、互信息

可見，當(dāng)僅但當(dāng)各分量獨立時，

互信息是各分量獨立程度的最直接的量度！

預(yù)備知識：二、信息論基本知識4、負(fù)熵任意概率密度函數(shù)p(x)pG(x):與p(x)其具有相同協(xié)方差陣的高斯分布因為在協(xié)方差矩陣相同的概率密度函數(shù)中，高斯分布的熵最大，所以負(fù)熵非負(fù)。負(fù)熵用來度量p(x)的非高斯程度。非高斯性另一種衡量方法：四階累計量k4,峰度(kurtosis)，單變量。|k4|

高斯信號k4=0

k4>0,超高斯k4<0,亞高斯預(yù)備知識：三、概率密度函數(shù)的展開高階統(tǒng)計量形式：設(shè)x零均值，方差1（白化數(shù)據(jù)）Edgeworth展開Gram-Charlier展開缺點：大值野點會引起較大誤差預(yù)備知識：三、概率密度函數(shù)的展開非多項式函數(shù)的加權(quán)和形式：文獻(xiàn)提到，當(dāng)

與標(biāo)準(zhǔn)高斯分布

相差不太大時，

可用若干個非多項式函數(shù)的加權(quán)和來逼近：

需要滿足以下條件：(1)、正交歸一性(2)、矩消失性探查性投影追蹤為了使近似性能較好，F(xiàn)(y)除了上述性質(zhì)外，最好能有以下性質(zhì)：(1)、統(tǒng)計特性E[F(y)]不難求得(2)、當(dāng)y增大時，F(xiàn)(y)的增長速度不能快于，以使E[F(y)]對野點不太敏感。通常N取1或2。有以下函數(shù)形式可用：預(yù)備知識：四、信號通過線性系統(tǒng)信息特征的變化信號通過線性系統(tǒng)熵關(guān)系：

|B|=1，即系統(tǒng)正交歸一時，熵不變KL散度關(guān)系：|B|=1，即系統(tǒng)正交歸一時，KL散度為0預(yù)備知識：四、信號通過線性系統(tǒng)信息特征的變化互信息關(guān)系：負(fù)熵關(guān)系：目錄目錄問題的提出數(shù)學(xué)準(zhǔn)備獨立分量法具體算法一、主要步驟二、各類ICA算法簡介三、FastICA算法總結(jié)與展望目錄：獨立分量法具體算法獨立分量法具體算法一、主要步驟二、各類ICA算法簡介三、FastICA算法獨立分量法具體算法：一、主要步驟獨立分量分析：對交疊信號X，求解混矩陣B，使Y=BX各分量盡量相互獨立。獨立判據(jù)函數(shù)G。主要步驟：預(yù)處理部分（簡化計算）核心算法部分獨立分量法具體算法：一、主要步驟預(yù)處理部分：1、對X零均值處理√2、球化分解（白化）即：乘球化矩陣S，使Z=SX各行正交歸一，即ZZ’=I意義：消除原始各道數(shù)據(jù)間二階相關(guān)，以后只需要考慮高階矩量(因為獨立時各階互累積量為0)，使很多運算過程簡化。注意：各道數(shù)據(jù)間不相關(guān)，不一定獨立，除非是高斯信號獨立分量法具體算法:一、主要步驟——主成分分析與球化協(xié)方差矩陣：特征值分解：U:特征向量矩陣，正交歸一，每一列稱為一特征向量Λ:特征值對角矩陣，可排序：特征值代表分量功率大小。P中各行正交，稱為X的主分量，且可見各行能量從大到小排列可以選擇能量大的主分量代表X，此即為主成份分析的由來。獨立分量法具體算法:一、主要步驟——主成分分析與球化取球化陣：可見：滿足球化條件！獨立分量法具體算法：一、主要步驟主要步驟：預(yù)處理部分——得到0均值，方差1數(shù)據(jù)Z√核心算法部分

尋求解混矩陣U，使Y=UZ，Y各道數(shù)據(jù)盡可能獨立（獨立判據(jù)函數(shù)G）注意：(1)、由于Y獨立，各行必正交。且通常取U保持Y各行方差為1，故U是正交變換。

(2)、所有算法預(yù)處理部分相同，以后我們都設(shè)輸入的為球化數(shù)據(jù)z，尋找正交矩陣U，使Y=Uz獨立。由于獨立判據(jù)函數(shù)G的不同，以及步驟不同，有不同的獨立分量分析法。目錄：獨立分量法具體算法獨立分量法具體算法一、主要步驟二、各類ICA算法簡介三、FastICA算法獨立分量法具體算法：二、各類ICA算法二、各類ICA算法1、批處理2、自適應(yīng)算法3、探查性投影追蹤獨立分量法具體算法：二、各類ICA算法1、批處理算法：指依據(jù)一批已經(jīng)取得的數(shù)據(jù)X來進(jìn)行處理，而不是隨著數(shù)據(jù)的不斷輸入做遞歸式處理。已有算法：成對數(shù)據(jù)旋轉(zhuǎn)法(Jacobi法)及極大峰度法(Maxkurt法)特征矩陣的聯(lián)合近似對角化法(JADE法)四階盲辨識(FOBI)JADE法和Maxkurt法的混合獨立分量法具體算法：二、各類ICA算法2、自適應(yīng)算法：根據(jù)數(shù)據(jù)陸續(xù)得到而逐步跟新處理器參數(shù)，使處理所得逐步趨近于期望結(jié)果，即各分量獨立。已有算法：常規(guī)的隨機(jī)梯度法自然梯度與相對梯度串行矩陣更新及其自適應(yīng)算法擴(kuò)展的Infomax法非線性PCA自適應(yīng)法獨立分量法具體算法：二、各類ICA算法3、探查性投影追蹤按照一定次序把各獨立分量一個一個的逐次提取出來，每提取一個，就將該分量從原始數(shù)據(jù)中去掉，對剩下的部分提取下一個分量。已有算法：梯度算法旋轉(zhuǎn)因子乘積法固定點算法(FastICA)——最常用算法目錄：獨立分量法具體算法獨立分量法具體算法一、主要步