一種優(yōu)化動(dòng)量因子的盲分離算法論文

1、一種優(yōu)化動(dòng)量因子的非線性主分量分析算法摘 要 盲源分離算法收斂速度和穩(wěn)態(tài)誤差存在沖突，針對(duì)這一問題提出了通過引入動(dòng)量項(xiàng)并且對(duì)動(dòng)量因子進(jìn)行優(yōu)化的方法來使收斂速度和穩(wěn)態(tài)誤差之間沖突達(dá)到最小。該算法通過優(yōu)化的動(dòng)量項(xiàng)使非線性主成分分析的代價(jià)函數(shù)最速下降，從而使算法收斂速度加快。仿真實(shí)驗(yàn)證明了本文算法在平穩(wěn)及非平穩(wěn)環(huán)境下具有比LMS 和RLS更好的分離性能。關(guān)鍵詞 動(dòng)量項(xiàng) , 非線性主成分分析 , 自適應(yīng) , 盲源分離A new NPCA algorithm for blind source separationAbstract This paper addresses the problem of b

2、lind source separation (BSS) and presents an optimum momentum factor which makes the nonlinear principal component analysis (NPCA) cost function descend in the fastest way. By using the momentum item in self-stabilized NPCA algorithm, the new algorithm minimums the contradiction between convergence

3、speed and steady-state error. Simulations show that the new algorithm has faster convergence than the existing least-mean-square（LMS）algorithms and recursive least-squares (RLS) algorithm for BSS in stationary and non-stationary environments.Key words momentum factor , NPCA , adaptive , blind source

4、 separation盲源分離是指從未知觀測(cè)信號(hào)的線性混合信號(hào)中恢復(fù)出相互獨(dú)立的源信號(hào)，線性混合系數(shù)是未知的。由于這是實(shí)際應(yīng)用中經(jīng)常遇到的問題，近年來盲源分離在信號(hào)處理和通信方面引起廣泛關(guān)注?，F(xiàn)有的盲源分離算法分為批處理算法和自適應(yīng)算法兩大類。批處理算法復(fù)雜度高，需要對(duì)大量數(shù)據(jù)進(jìn)行統(tǒng)計(jì)處理，自適應(yīng)算法復(fù)雜度低，對(duì)數(shù)據(jù)邊輸入邊處理，具有可以實(shí)現(xiàn)混合信號(hào)在線處理的實(shí)時(shí)性特點(diǎn)，故自適應(yīng)在線算法得到廣泛研究和應(yīng)用。盲源分離算法中非線性主分量分析法采用自適應(yīng)算法，同大多數(shù)算法一樣存在收斂速度和穩(wěn)態(tài)誤差沖突的問題。為緩和這一沖突，通過改變步長參數(shù)使兩者平衡, 但變步長算法通常需要引入多個(gè)調(diào)節(jié)參數(shù), 調(diào)節(jié)參

5、數(shù)具有不確定性且部分算法易陷入局部極小點(diǎn), 不能實(shí)現(xiàn)對(duì)于突變環(huán)境的快速跟蹤，因此本文提出通過引入動(dòng)量項(xiàng)來加快收斂速度。但是固定動(dòng)量因子過大時(shí)可能導(dǎo)致發(fā)散，過小時(shí)可能算法收斂太慢。針對(duì)這一問題，本文提出通過對(duì)動(dòng)量因子進(jìn)行優(yōu)化，基于傳統(tǒng)最小均方算法（LMS）和動(dòng)量項(xiàng)LMS算法推導(dǎo)出使算法的收斂速度和穩(wěn)態(tài)誤差之間矛盾最小化的最優(yōu)化動(dòng)量因子迭代公式。仿真實(shí)驗(yàn)證明了本文算法在平穩(wěn)及非平穩(wěn)環(huán)境下具有比LMS 和RLS更好的分離性能。1 基于NPCA的盲源分離的描述噪聲通常符合高斯分布，可忽略。盲源分離問題可用如下方程式表示： (1)其中，是未知的滿秩（）的混合矩陣，是無法觀察的獨(dú)立源信號(hào)的向量，源信號(hào)至多

6、一個(gè)是高斯信號(hào)。是觀測(cè)信號(hào)組成的向量。盲源分離的目的是通過線性變換處理每個(gè)觀測(cè)信號(hào)得到輸出向量： (2)由上述可知，當(dāng)完全實(shí)現(xiàn)盲源分離時(shí)，合成矩陣是一個(gè)廣義置換矩陣（即矩陣每行每列只有一個(gè)非零元素）。分離矩陣可以由一層或者兩層分離系統(tǒng)確定，第一種方法是直接最小化目標(biāo)函數(shù)更新，第二種方法稱為非線性主分量分析法，是首先用白化矩陣對(duì)觀測(cè)數(shù)據(jù)進(jìn)行白化處理使白化信號(hào)滿足，然后用正交矩陣實(shí)現(xiàn)信號(hào)分離。因此，總分離矩陣。本文主要討論NPCA算法。考慮分離矩陣的正交約束性，可以得到兩種NPCA算法。一種是基于自然梯度NPCA算法： (3)另一種是自適應(yīng)NPCA算法： (4)上述(3)和(4)算法可以統(tǒng)一改寫為

7、形如： 其中，是與尋找方向相關(guān)的矩陣，由1,9理論分析和仿真結(jié)果顯示了(4)優(yōu)于算法(3)，從而最好選擇。算法(3)和(4)都屬于LMS算法。2 傳統(tǒng)融合動(dòng)量項(xiàng)LMS算法在LMS算法基礎(chǔ)上，引入動(dòng)量項(xiàng)可加快算法的收斂速度，提高系統(tǒng)性能。神經(jīng)網(wǎng)絡(luò)領(lǐng)域中，動(dòng)量項(xiàng)技術(shù)通過在當(dāng)前時(shí)刻算法的自適應(yīng)迭代規(guī)則中加入前一時(shí)刻抽頭系數(shù)的更新量，目的是提高系統(tǒng)收斂效率和跟蹤速度、改善算法輸出性能。動(dòng)量項(xiàng)技術(shù)具有計(jì)算量小、動(dòng)量因子上下邊界極值確定、且能有效加速系統(tǒng)收斂速度和避免算法陷入局部極小值等優(yōu)點(diǎn)，近年來在信號(hào)處理領(lǐng)域也正逐漸得到學(xué)者們的重點(diǎn)關(guān)注。為了進(jìn)一步提高算法的收斂速度，從而改善盲源分離算法分離性能，借鑒

8、動(dòng)量項(xiàng)技術(shù)的思想，在LMS算法中引入動(dòng)量項(xiàng)，提出融合動(dòng)量項(xiàng)LMS算法。算法結(jié)構(gòu)圖如下：圖 1 傳統(tǒng)融合動(dòng)量項(xiàng)LMS算法結(jié)構(gòu)圖Fig. 1 Illustration of the traditional LMS algorithm 其核心數(shù)學(xué)表達(dá)式： (5)其中，動(dòng)量項(xiàng)，為動(dòng)量項(xiàng)因子，取值范圍。動(dòng)量項(xiàng)能夠記憶分離矩陣的前一時(shí)刻變化方向，即時(shí)刻分離矩陣由時(shí)刻和時(shí)刻分離矩陣的變化方向共同決定，當(dāng)上兩次分離矩陣的變化方向相同時(shí)，說明算法處于收斂過程中，通過式(5)則會(huì)增大時(shí)刻分離矩陣的變化量，從而可以使算法快速收斂；而當(dāng)兩次分離矩陣的變化方向不同時(shí)，說明算法處于穩(wěn)態(tài)階段，則通過式(5)可以減少分離矩陣

9、的變化量，從而起到避免分離矩陣陷入局部極小值的作用。3 優(yōu)化動(dòng)量因子LMS算法 在融合動(dòng)量項(xiàng)LMS算法基礎(chǔ)上，對(duì)動(dòng)量因子進(jìn)行優(yōu)化獲得最優(yōu)動(dòng)量因子，使算法收斂速度和穩(wěn)態(tài)誤差之間矛盾最小化，這就構(gòu)成了本文提出的新算法。NPCA的代價(jià)函數(shù)： (6)其中，為非線性函數(shù)，信號(hào)符合亞高斯時(shí)選擇，信號(hào)符合超高斯時(shí)選擇。利用“投影近似”，上式中，為非線性變換的向量，從而得到更新代價(jià)函數(shù)： (7)將(5)代入(7)有如下關(guān)于的方程： (8)其中，上式明顯是關(guān)于動(dòng)量因子的二次函數(shù)，因此有唯一的極值，令上式對(duì)求導(dǎo)的結(jié)果為零，得到最優(yōu)化動(dòng)量因子： (9)考慮最優(yōu)動(dòng)量因子的在線可實(shí)現(xiàn)性，引入兩個(gè)輔助變量來代替數(shù)學(xué)期望，

10、這時(shí)(9)改為： (10) 其中，將變動(dòng)量因子(10)應(yīng)用于(5)，得到本文優(yōu)化動(dòng)量因子LMS算法，算法過程為： (11)另外，若分離矩陣無任何先驗(yàn)信息，則初始化為階 單位方陣，考慮算法計(jì)算量，自適應(yīng)NPCA非線性操作量是相同的，(4) 每次迭代需要次乘法計(jì)算，(5) 每次迭代需要次乘法計(jì)算，1需要次乘法計(jì)算，新算法(11)每次迭代需要，該算法計(jì)算量比傳統(tǒng)LMS算法要大，但是在容忍范圍內(nèi)。該算法結(jié)構(gòu)圖如圖2所示： 圖 2 本文算法結(jié)構(gòu)圖Fig. 2 Design of the New LMS algorithm4 仿真結(jié)果下面通過計(jì)算機(jī)仿真驗(yàn)證本文算法的整體性能，考慮5個(gè)源信號(hào)分別為：其中，=

11、區(qū)間內(nèi)均勻分布的源信號(hào)，仿真中混合矩陣通過隨機(jī)產(chǎn)生，對(duì)混合信號(hào)的采樣頻率為10kHz。傳統(tǒng)LMS算法中步長均設(shè)置為0.01，動(dòng)量因子取值0.7，新算法(11)中步長設(shè)置為0.06，取值0.01，取值0.3。對(duì)于RLS算法1，遺忘因子取值0.983。為估計(jì)盲源分離算法的性能，可用串音誤差作為性能指標(biāo)： (12)其中，是混合白化分離矩陣的結(jié)合矩陣，的值越大，算法分離性能越差，越小性能越好。為估計(jì)分離矩陣與正交性的絕對(duì)偏差，可用距離指數(shù)作為指標(biāo)： (13)其中，是由對(duì)角線元素組成的對(duì)角矩陣，為矩陣的范數(shù)。平穩(wěn)環(huán)境即混合矩陣始終保持不變，20次蒙特卡洛實(shí)驗(yàn)后結(jié)果如圖3、圖4和圖5，非平穩(wěn)環(huán)境即混合矩陣

12、在某時(shí)刻發(fā)生突變，算法仿真結(jié)果如圖6、圖7和圖8。如圖3、圖4和圖5分別顯示了在平穩(wěn)環(huán)境情況下各算法的性能、偏離距離和性能與乘法計(jì)算量的關(guān)系。圖6、圖7和圖8分別繪制了在非平穩(wěn)環(huán)境情況下(在2000次迭代時(shí)環(huán)境突變)各算法的性能、偏離距離和性能與乘法計(jì)算量的關(guān)系。從這些圖中，可以看出：(1) 平穩(wěn)環(huán)境和非平穩(wěn)環(huán)境下，每次引入優(yōu)化動(dòng)量因子的迭代，新算法(11)的收斂速度明顯快于原來的算法 (4)和(5)，甚至比基于自然梯度RLS算法稍微快一點(diǎn)；(2) 平穩(wěn)環(huán)境和非平穩(wěn)環(huán)境下，新算法的分離矩陣更快更好的與正交性重合，環(huán)境突變時(shí)，由圖(7)看出對(duì)分離矩陣的偏離性影響不大;(3) 平穩(wěn)環(huán)境和非平穩(wěn)環(huán)境

13、下，在計(jì)算量相同時(shí)，與其它算法相比，本文算法(11)性能指標(biāo)最低，分離性能最好。另外，RLS 算法比LMS算法分離性能好。圖3 算法收斂性能(平穩(wěn)環(huán)境)Fig. 3 Average performance index versus iteration number(stationary environment) 圖4 分離矩陣偏離正交性(平穩(wěn)環(huán)境)Fig. 4 Average deviations of the separation matrix away from orthogonality(stationary environment) 圖5 相對(duì)于計(jì)算量的算法特性Fig. 5 Avera

14、ge performance index versus Operations (stationary environment)圖6 算法收斂性能(非平穩(wěn)環(huán)境)Fig. 6 Average performance index versus iteration number(non-stationary environment)圖7 分離矩陣偏離正交性(平穩(wěn)環(huán)境)Fig. 7 Average deviations of the separation matrix away from orthogonality(non-stationary environment)圖8 相對(duì)于計(jì)算量的算法特性Fig

15、. 8 Average performance index versus Operations (non-stationary environment)5 結(jié)論 在LMS算法基礎(chǔ)上引入動(dòng)量項(xiàng)，然后利用投影近似和相鄰時(shí)刻代價(jià)函數(shù)相減法，得到關(guān)于動(dòng)量因子的二次函數(shù)，求極值得到最優(yōu)動(dòng)量因子，從而使代價(jià)函數(shù)最速下降，提高了算法收斂速度。在線盲源分離仿真實(shí)驗(yàn)結(jié)果驗(yàn)證了算法的可實(shí)現(xiàn)性，并同時(shí)仿真了傳統(tǒng)LMS算法和RLS算法。 References1 X. Zhu, X. Zhang, Adaptive RLS algorithm for blind source separation using a na

16、tural gradient, IEEE Signal Process. Lett. 9(12)(2002)432-435.2 Coviello C M, Yoon P A, Sibul L H. Source separation and tracking for time-varying systems. IEEE Transactions on Aerospace and Electronic Systems, 2008, 44(3): 1198-12143 Douglas S C, Cichocki A. Adaptive step size techniques for decorr

17、elation and blind source separation. In: Proceedings of the 32th Asilomar Conference on Signals, Systems, and Computers. Paci¯c Grove, USA: IEEE, 1998. 1191-11954 Ou S F, Zhao X H, Gao Y. Variable step size technique for adaptive blind decorrelation. In: Proceedings of the 8th ACIS Internationa

18、l Conference on Software Engineering, Artificial Intelligence, Networking, and Parallel/Distributed Computing. Qingdao, China: IEEE, 2007. 823-8265 Yuan L X, Wang W W, Chambers J A. Variable step-size sign natural gradient algorithm for sequential blind source separation. IEEE Signal Processing Letters, 2005, 12(8):589-5926 Hsieh S T, Sun T Y, Lin C L, Liu C C. Effective learning rate adjustment of blind source separation based on an improved particle swarm optimizer. IEEE Transactions on Evolutionary Computation, 200