語音信號盲分離—ICA算法

1、語音信號盲分離 ICA算法主要內容u背景介紹u研究現(xiàn)狀介紹u盲分離的概念、方法和準則uFast ICA算法u語音信號盲分離實例背景介紹 語音信號的分離近年來成為信號處理領域的一個研究熱點，它在電話會議、助聽器及便攜設備、機器的語音識別方面有很多的應用與影響。而盲信號處理的方法常被用于語音分離中去，“盲”是指沒有關于源信號本身以及傳輸信道的知識，盲分離的理論基礎是獨立分量分析（ICA），其可以廣泛的被應用于通信、圖像、語音、生物醫(yī)學、雷達、地震、聲納等多種類型信號的處理。盲分離技術可以用于消除不需要的干擾以增加語音質量。 語音分離使得助聽器有更強大的處理功能，使得接收信號分離出盡可能接近原始的語

2、音。更適合于語音編碼和基音檢測。特別是在混合語音信號進行編碼方面，傳統(tǒng)的單通道方法處理起來十分困難，而混合語音可以看作多路語音信號的線性組合，其每一路語音信號都可視為獨立分量，這正好與ICA的假設相符。語音識別。機器的語音識別能力遠不及人類，尤其是在有噪音和干擾的背景下。 這時作為語音識別的前端處理，盲語音分離可以很好的去除干擾，不論是加性噪聲還是其他不感興趣的語音，這就大大增強了機器的識別率。 盲信號處理(Blind Signal Processing, BSP)作為計算智能學的核心研究內容，是20世紀最后十年迅速發(fā)展起來的一個新研究領域，是人工神經網絡與統(tǒng)計信號處理以及信息理論相結合的產物

3、，已經成為一些領域研究與發(fā)展的重要課題，它具有可靠的理論基礎和許多方面的應用潛力。事實上，盲信號處理已成為重要的研究課題，并在許多領域得到發(fā)展，特別是在生物醫(yī)學工程、醫(yī)療成像、語音增強、遙感、雷達與通信系統(tǒng)、地震勘探、地球物理學、計量經濟學、數(shù)據(jù)挖掘等方面均具有突出的作用。盲信號處理技術原則上不利用任何訓練數(shù)據(jù)，也沒有關于卷積、濾波、混合系統(tǒng)參數(shù)的先驗知識。而且隨著盲信號處理技術的不斷成熟，從傳統(tǒng)的信號處理、神經元網絡領域到通信、生物醫(yī)學工程、地球物理、以及圖像工程、控制工程等領域，盲信號處理技術正在得到越來越廣泛的應用。因此，大力發(fā)展盲信號處理技術，不僅會積極地促進信號處理、神經網絡的研究，

4、而且也將會對多個領域新技術的發(fā)展起到一定的促進作用。背景介紹研究現(xiàn)狀簡介 線性瞬時混合信號 較早進行盲源分離方法研究的是jutten和Herault,1986年，他們提出了一種盲源分離方法，該方法基于反饋神經網絡，通過選取奇次的非線性函數(shù)構成Hebb訓練，從而達到盲源分離的目的。但該方法不能完成多于兩個源信號的分離，非線性函數(shù)的選取具有隨意性，并且缺乏理論解釋。 1991年，Juttcn, Herault以及Comon和Sorouchyari在雜志Signal Processing上發(fā)表了關于盲信號分離的三篇經典文章，標志著盲源分離問題研究的重大進展.他們不僅提出了盲源分離中著名的H-J學習算

5、法，而且設計了專門的CMOS集成芯片來實現(xiàn)他們的算法。H-J方法后來由Jutten和Herault、Comon, Cichocki和Moszczynski以及其他研究者解釋并發(fā)展。Tong和liu分析了盲源分離的可分離性和不確定，并給出了一類基于高階統(tǒng)計量的矩陣代數(shù)分方法。 1993年，Cardoso提出了基于高階統(tǒng)計的聯(lián)合對角化盲源分離方法，并應用于波束形成。 1995年，Bell和Sejnowsk基于信息理論，通過最大化輸出非線性節(jié)點的熵，得出一種最大信息(Informatian Maximization,簡記Infomax)傳輸?shù)臏蕜t函數(shù)，并由此導出一種自適應盲源分離和盲反卷積方法，當該

6、方法中非線性函數(shù)的選取逼近源信號的概率分布時，可以較好地恢復出源信號。該算法雖有其局限性，但在分離線性混合的語音信號方面非常有效。 1997年，Hyvarinen等基于源信號非高斯性測度，給出一類定點訓練算法(fixed-point)，該類算法可以提取單個具有正或負峰度的源信號。 1999年，Lee、 Girolami和Sejnowski將信息最大化原則的獨立分量分析作了進一步的擴展，實現(xiàn)了超高斯源信號和亞高斯源信號的盲源分離，這個方法選取兩個不同的非線性函數(shù)分別實現(xiàn)超高斯信號和亞高斯信號的盲源分離。但是這個方法只局限于實現(xiàn)標準的獨立分量分析，不能解決當源信號維數(shù)大于混合信號維數(shù)時的盲源分離向

7、題，也不能實現(xiàn)具有噪音的獨立分量分析。研究現(xiàn)狀簡介非線性瞬時混合信號 最近，人們已經開始研究存在噪聲的混合和非線性混合信號的盲源分離問題。非線性盲源分離比線性情況的分離難度更大，目前基本還處在最初的摸索階段。較早涉及非線性混合信號盲源分離的是Burel,1992年他用一個兩層感知器和基于誤差后向傳輸思想的無監(jiān)督訓練算法，得到一種盲源分離算法，可以用于非線性混合信號的盲源分離。 1994年，Krob和Benidir研究了利用高階統(tǒng)計量解決多項式結構的非線性混合問題。 1995年，Deco和Brauer研究了一個基于Volume-Conserving結構的非線性變換的盲源分離。 1997年，Yan

8、g、Amari和Cichocki基于對于源信號各分量統(tǒng)計獨立的假設，利用兩層感知器網絡結構得出基于最大熵( Minimum Entropy，簡記ME)和最小互信息思想(Minimum Mutual information，簡記MMI )的代價函數(shù)，并提出了反向學習算法，當合理選擇非線性函數(shù)時該算法可以分離出一些特定非線性混合的源信號。研究現(xiàn)狀簡介 1998年，Taleb、Jutten 和 Olympieff 提出了一種非線性混合信號盲源分離算法，該算法基于熵，對于分離某些盲混合信號具有良好性能。 2001年，Valpola、Honkela 和 Karhunen提出了貝葉斯集合學習算法(Baye

9、sian Ensemble Learning Algorithm )，該算法采用多層感知器神經元網絡(MLP )，能夠對非線性靜態(tài)和動態(tài)過程實現(xiàn)盲源分離。Tan和Wang提出了基于遺傳算法( Genetic Algorithm)的盲源分離方法，該算法利用遺傳算法使信號非線性混合度最小化，然后對去除非線性后的數(shù)據(jù)進行線性分離，從而實現(xiàn)盲源分離。與傳統(tǒng)的梯度算法相比，基于遺傳算法的盲源分離方法有著更快的收斂速度和穩(wěn)定性，能夠在全局范圍內尋找最優(yōu)解。Tan、Wang和Zurada提出了徑向基網絡算法(Radial Basis Function Network Algorithm)，使用徑向基函數(shù)神經

10、網絡來逼近非線性混合的逆映射實現(xiàn)盲源分離。研究現(xiàn)狀簡介盲分離的概念、方法和準則盲分離的數(shù)學模型盲源分離原理可用如下圖所示的數(shù)學模型來描述：BBS的數(shù)學模型如上圖所示，其中 是n維未知源信號向量，A為未知混合系統(tǒng), 是m維的觀測信號矢量，它們均為源信號矢量的組合,并受到噪聲矢量 的干擾。盲源分離的目的就是在源信號s和混合系統(tǒng)A均未知的情況下，僅由觀測數(shù)據(jù)向量x通過調整分離系統(tǒng)W，使得輸出y是源信號s的估計，即： Tntststs,1 Tmtxtxtx,1 Tmtntntn,1 sxWy盲源分離的基本方法 盲源分離包含了線性瞬時混合和卷積混合兩種盲源分離問題。解決盲源分離問題的重要方法一獨立分量分

11、析(Independent Component Analysis，ICA)通常以線性瞬時混合為模型，而盲解卷積則是一種更為實際的盲源分離問題，其混合模型是一種卷積混合，線性卷積混合模型比較接近實際，這是因為： (1)實際中每一個源信號不會同時到達所有的傳感器，每一個傳感器對不同的源延時不同，延時值的大小取決于傳感器與源信號間的相對位置以及信號的傳播速度； (2)源信號到達傳感器是經過多途傳播的，即多徑效應。假設信號是線性組合的，則從傳感器觀測到的信號是源信號各種延時值的線性組合。解決此類問題的盲信號處理方法就是盲解卷積。特別地，ICA方法也可被用于盲解卷積或盲均衡。此外，盲信號處理還包括許多重

12、要內容，例如非線性BSS或非線性ICA問題、盲多用戶檢測以及盲波束形成等等。盲分離的概念、方法和準則盲源分離的基本方法 盡管有許多不同的盲源分離算法可用，但它們的原理卻都可以歸納為如圖所示的以下四個方法：相互獨立、非高斯、ICA時序結構、線性可預測時頻、譜和空間多樣性非穩(wěn)態(tài)、時變方差盲分離的概念、方法和準則盲源分離的基本方法 (1) 最普遍的方法就是使用代價函數(shù)來衡量信號獨立性和非高斯性或者稀疏性。當假信號具有統(tǒng)計獨立性，且沒有時間結構時，高階統(tǒng)計量方法是求解盲源分離問題的基段(間接或直接的)，這種方法對多于一個高斯分布的源信號不適用。 (2)如果源信號具有時序結構，則其有非零的時序相關數(shù)，從

13、而可以降低對統(tǒng)計獨立性的限制條件，用二階統(tǒng)計量方法(SOS)就足以估計混合矩陣和源信號。這種(SOS)方法不允許分離功率譜形狀相同或i.id(獨立同分布)的源信號。 (3)第三種方法即采用非平穩(wěn)性(Ns)和二階統(tǒng)計量(SOS)。由于源信號主要隨時間有不同的變化，就可以考慮利用二階非平穩(wěn)性。Matsuoka等人首先考慮了非平穩(wěn)性，并證明在盲源分離中可以應用簡單的解相關技術。與其他方法相比，基于非平穩(wěn)性信息的方法能夠分離具有相同功率譜形狀的有色高斯源，然而，卻不能夠分離具有相同非平穩(wěn)特性的源信號。盲分離的概念、方法和準則盲源分離的基本方法 (4)第四種方法運用了信號的不同多樣性，典型的是時域多樣性

14、、頻域多樣性(譜或時間相干性”)或者時頻域多樣性，更一般的，即聯(lián)合空間一時間一頻率(STF)多樣性。BSS和ICA的區(qū)別與關系 自從 BSS 和 ICA 的概念產生以來，人們幾乎是不加區(qū)分地使用這兩個概念。但是，如果深入研究 BSS 和ICA 的基本原理和作用對象，兩者之間的區(qū)別和聯(lián)系是顯而易見的。 Comon 對 ICA 給出了較嚴格的定義：對于觀測信號矢量，存在一個線性變換，使得觀測信號在線性變換下各分量的統(tǒng)計獨立性最大化。這一過程稱之為 ICA 過程。 與此對應，可以給出BSS的如下定義：對于觀測信號矢量，存在線性變換w，使得全局矩陣G的各行及各列中只有一個非零元素(不妨稱之為廣義對角矩

15、陣)，即G=PD。其中P為置換陣；D為對角陣，從而實現(xiàn)信號分離。盲分離的概念、方法和準則BSS和ICA的區(qū)別與聯(lián)系 ICA的目的是通過線性變換使得觀測信號的各個分量的統(tǒng)計獨立性最大化。通常用輸出信號的互信息、熵等作為統(tǒng)計獨立性的量度，如基于信息論的Informax 算法、Amari 的自然梯度算法等。如果源信號之間具有統(tǒng)計獨立性，那么可以通過ICA實現(xiàn)信號的分離。 BSS考察的是在什么條件下可以使全局矩陣實現(xiàn)廣義對角化，而不去衡量輸出信號的統(tǒng)計獨立性是否達到最大化。因此BSS并不一定要求源信號是統(tǒng)計獨立的。例如AMUSE、GED算法只要求源信號具有統(tǒng)計不相關性。如果源信號是統(tǒng)計獨立的，那么BS

16、S的輸出信號也一定是統(tǒng)計獨立的，這時BSS和ICA等價。 從作用對象看，ICA除了可以用于多源信號的分離外，還可以用于其它多維數(shù)據(jù)的分析，例如圖像的特征提取、經濟數(shù)據(jù)分析等。而BSS不僅僅局限于瞬時混合信號的分離，還包括實際應用中更重要的卷積混合信號的分離。 可以說ICA是實現(xiàn)BSS的一種方法，而BSS是ICA的一個具體的應用。盲分離的概念、方法和準則盲分離的目標準則 根據(jù)源信號不同的特征，盲源分離的實現(xiàn)方法有很多，但它們的原理可以歸納為以下四種準則： (1)獨立分量分析(Independent Component Analysis, ICA)：當假設源信號各分量間彼此統(tǒng)計獨立，且沒有時間結構

17、時，在某一分離準則下通過對神經網絡權值的反饋調整，使得變換后信號的不同分量之間的相依性最小，也即輸出達到盡可能的獨立。這種方法對多于一個高斯分布的源信號不適用(因為高斯信號的線性疊加仍是高斯信號)，這是近年來盲源分離的主要解決方法。 (2)主分量分析(Principal Component Analysis, PCA)的方法：在盡可能保持原始變量更多信息的前提下，導出一組零均值隨機變量相對少的不相關線性組合（主分量），并由此恢復出對源信號的估計。盲分離的概念、方法和準則盲分離的目標準則 (3)二階非平穩(wěn)性：即采用非平穩(wěn)性和二階統(tǒng)計量。由于源信號隨時間有不同的變化，所以可以考慮利用二階非平穩(wěn)性，

18、應用簡單的解相關技術實現(xiàn)盲源分離。與其他方法相比，它能夠分離具有相同功率譜形狀的有色高斯源，然而卻不能分離具有相同非平穩(wěn)特性的源信號。 (4)運用信號的不同多樣性，典型的是時域多樣性、頻域多樣性或時頻域多樣性，更一般的，即聯(lián)合空間-時間-頻率多樣性，如果源信號具有不同的時頻域多樣性，信號的時頻域特征不完全重疊，那么可以通過屏蔽時頻域的單個源信號或干擾信號，并從一個(或多個)傳感器信號中提取源信號，然后再在時頻域中合成，然而這些情況下，通常需要一些源信號的先驗知識，所以這種分離只能是一種半盲分離。盲分離的概念、方法和準則盲源分離的研究領域 在BSS問題的研究和發(fā)展過程中，基于其不同的應用環(huán)境，進

19、行了不同角度的擴展，形成了不同的研究領域，可以對BSS的研究領域做如下的分類： 依據(jù)信號混合方式不同，盲信號的混合方式有瞬態(tài)線性混合、卷積混合、非線性混合等方式，針對不同的混合方式需要采用不同的分離方法。在瞬態(tài)線性混合方式下，觀測信號是原始信號在相同時刻的線性疊加，即不同信號到達各個傳感器的時間差別可以忽略不計，此時混合矩陣是實矩陣，盲分離過程等價于尋找混合矩陣的逆矩陣過程。如果信道的傳輸延遲等對觀測信號的影響較大，觀測信號是原始信號在過去不同時刻的線性疊加，則屬于卷積混合方式，此時的傳遞通道矩陣可以用有限長沖激響應濾波器模型來構造，盲解卷過程就需要利用相應的解卷濾波器實現(xiàn)。如果信號所處的環(huán)境

20、是動態(tài)變化的且具有非線性特征，則需要利用非線性特征函數(shù)實現(xiàn)盲分離。盲分離的概念、方法和準則盲源分離的研究領域 對信號的處理角度不同，BSS可在時域、頻域或時頻域進行研究。時域盲分離比較直觀，但不能利用信號的頻譜特征，在瞬態(tài)線性混合情況下應用較多；頻域盲分離可以將時域上的卷積運算轉化為頻域上的直接乘積形式，從而可以利用時域盲分離算法解決盲解卷/盲均衡問題，但頻域上的尺度與交互不確定性問題以及較大的計算量是阻礙信號進行頻域盲分離的主要障礙。利用信號的時頻特性進行盲分離，可以充分利用時域和頻域分析的優(yōu)點，其主要困難在于時頻點的合理選擇。 信號本身的屬性有平穩(wěn)信號與非平穩(wěn)信號之分、窄帶信號與寬帶信號的

21、差別。平穩(wěn)信號的盲分離，常需要利用信號的高階統(tǒng)計量信息；而對于非平穩(wěn)信號，如語音信號，則利用信號的二階時間相關屬性實現(xiàn)盲分離；寬帶信號通常要先分解為多個窄帶信號，逐個進行盲分離。盲分離的概念、方法和準則盲分離的研究內容 盲源分離的基本框架是根據(jù)某種優(yōu)化準則，先選出合適的目標函數(shù)，然后通過某種優(yōu)化算法來搜索目標函數(shù)的極值點，其中優(yōu)化準則保證了算法實現(xiàn)的可能性和實現(xiàn)途徑；具體的目標函數(shù)決定了算法的統(tǒng)計性能，優(yōu)化算法則決定了算法的搜索性能。因此BSS的研究內容涉及優(yōu)化準則及目標函數(shù)的確定、信源概率密度函數(shù)(Probability density function, pdf)的估計、各種優(yōu)化算法、算法

22、的性能評價指標等多個方面。(1)優(yōu)化準則 獨立分量分析(ICA)是目前解決BSS問題的主要方法，而ICA的目的在于確定一非線性變換使得輸出各分量間盡可能的相互獨立，因此一般采用輸出各分量間的最大化獨立性作為算法的優(yōu)化準則。信號分量間的獨立性程度可以采用非高斯性、高階統(tǒng)計量、熵、互信息、概率密度函數(shù)(pdf)以及兩種pdf距離的Kullback-Leibler 散度等函數(shù)進行度量。盲分離的概念、方法和準則(2)信源概率密度函數(shù)的估計目標函數(shù)最優(yōu)解的迭代計算通常需要知道信源s的概率分布，這顯然不切實際，所以需要對輸出矢量的概率密度函數(shù)進行估計。常用的方法有采用級數(shù)展開的方法對概率密度函數(shù)進行逼近、

23、或通過估計概率模型中未知參數(shù)的方法估計概率密度函數(shù)、核函數(shù)法等方法，以及正在興起的結合神經網絡和機器學習理論的支持向量機（SVM）回歸估計方法等，本文正是在這個理論的基礎上對原有算法提出了新的改進，并取得而來良好的效果。(3)優(yōu)化算法及其性能分析 根據(jù)算法的迭代和搜索最優(yōu)點的過程是基于單次觀測樣本還是全部樣本，可以將算法分為在線自適應算法和離線批處理算法。評價算法性能的指標一般有收斂速度、分離精度、局部(全局)穩(wěn)定性、算法的復雜性以及適用范圍等，常用的具體函數(shù)有系統(tǒng)矩陣的串音誤差、與對角陣的距離，范數(shù)誤差等。盲分離的概念、方法和準則數(shù)據(jù)的預處理 一般情況下，獲得的數(shù)據(jù)具有相關性，要求對數(shù)據(jù)進行初步的白化或球化處理，因為白化處理可去除各觀測信號之間的相關性，簡化后續(xù)獨立分量的提取過程，通常情況下，數(shù)據(jù)進行白化處理與不對數(shù)據(jù)進行白化處理相比，算法的收斂性較好。 白化這種常規(guī)的方法作為ICA的預處理可以有效地降低問題的復雜度，而且算法簡單，用傳統(tǒng)的PCA就可完成。Fast ICA算法 Fast ICA算法，又稱固定點(Fixed-Point)算法，是一種快速