PAST算法全解釋

1、投影近似子空間跟蹤in Yang抽象子空間估計(jì)在各種現(xiàn)代信號(hào)處理應(yīng)用中發(fā)揮著重要作用的.在本文中, 我們?yōu)楦櫺盘?hào)子空間遞歸提出了一種新的方法.它是基于一種新的解釋信號(hào)子空間作為解決類似的預(yù)測(cè) 無(wú)約束最小化問題。我們證明了遞推最小二乘技術(shù)可 以通過作出適當(dāng)?shù)耐队氨平鼞?yīng)用到解決這一問n題.由此算法產(chǎn)生的復(fù)雜度為，這里的是輸入向量的維數(shù)， 是期望得到rO(nr)的分解后的特征值數(shù)，仿真結(jié)果表 明，這些算法的跟蹤能力是類似的，且在某些情況下 比費(fèi)時(shí)計(jì)算機(jī)批量特征值分解更有效，在此對(duì)新算法 和其他子空間跟蹤方法的關(guān)系以及數(shù)值分析方法進(jìn)行 了討論.1.導(dǎo)言基于子空間高分辨率的方法已成功地 應(yīng)用于這兩個(gè)時(shí)

2、間和空間域頻譜分析.12典型的例子是多重信號(hào)分類算法(MUSIC),最小模估計(jì)方法，ESPRIT3計(jì)算法，和為正弦頻率估計(jì)或者平面波形 對(duì)撞天線陣列的到達(dá)方向的加權(quán)子空4間擬合算法， 另一個(gè)應(yīng)用是基于 Karhunen-LoCve轉(zhuǎn)變的數(shù)據(jù)壓縮 方法，一連5串的數(shù)據(jù)編碼的載體是其主要組成部分， 實(shí)現(xiàn)這些技術(shù)，是基于特征值分解批次的樣本相關(guān)矩 陣或奇異值分解的數(shù)據(jù)矩陣的.但這種做法不合適自 適應(yīng)處理，因?yàn)樗枰磸?fù)特征值分解和奇異值分解， 這是一個(gè)非常費(fèi)時(shí)的任務(wù).為了克服這一困難，過去已制定了一些子空間的跟蹤自適應(yīng)算法，大多數(shù)這些技 術(shù)可分為三個(gè)家族，第一個(gè)是，經(jīng)典的批量特征值分 解和奇異值分解

3、，雅克6-10比輪換，能量迭代，和 已被修改用來(lái)進(jìn)行自適應(yīng)處理的Lanczos方法；第二1112,13種是一種更新算法-變化的聚束矩陣的秩， 就像子空間求平均值.第三種經(jīng)典算法認(rèn)為批量特征 值分解和奇異值分解是一種限制或者無(wú)限制的優(yōu)化問 7,14-1920,2122題。梯度技術(shù)，高斯牛頓迭代,和共 輛梯度技術(shù)可以適用于尋求最大或最小特征值.222從計(jì)算的角度來(lái)看，我們可以區(qū)分的方法，需要將或 O(nr),O(n),O(nr)n者進(jìn)行一次一更新的運(yùn)算.其中是輸 入向量的維數(shù)，是期望得到r(r n)O(nr)的分解后的特征值數(shù)，各種各樣的復(fù)雜的原因歸結(jié)于 一些算法完全更新的特征結(jié)構(gòu)，是否明確計(jì)算的

4、樣本 相關(guān)矩陣，而其他的只跟蹤信號(hào)子空間或噪聲子空間， 25例如，一種簡(jiǎn)單概括的能量方法，適應(yīng)于的主要 特征向量的樣本相關(guān)矩陣在r27,17每次更新時(shí)給出一個(gè)能量進(jìn)行迭代，這種方法需要運(yùn)算，Stewart的O(nr)23URV更新算法跟蹤信號(hào)源與信號(hào)和噪聲子空 間而無(wú)須對(duì)樣本相關(guān)矩陣估值.2它有一個(gè)為的計(jì)算復(fù) 雜度，同一順序的計(jì)算也是所需要的Moonen et al.并O(nK亍方法，其中用交錯(cuò)的 QR三角和Jacobi輪換 更新奇異值分解，梯度型算法跟蹤無(wú)論是信號(hào)或噪聲 子空間，他們要求為運(yùn)算的梯度上升或逐步上升而且 運(yùn)算O(nr)213出附加標(biāo)準(zhǔn)正交化的特征向量的估計(jì) 值.DeGroat開

5、發(fā)一個(gè)信號(hào)平均算O(nr)法.這種方法平 均信號(hào)與噪聲特征使之稱為兩個(gè)子球。結(jié)果表明，子 空間跟蹤成為非迭代任務(wù)，只需要為運(yùn)算更新 .O(nr) 在本文中，我們用一種新的方式來(lái)跟蹤信號(hào)子空間， 它作為一種新的解釋的信號(hào)子空間的無(wú)約束最小化問 題的解決方案.我們首先討論一些梯度下降方法，其 余的內(nèi)容則側(cè)重于不同的做法，我們證明了通過作出 適當(dāng)?shù)耐队氨平茏畲笙薅鹊睾?jiǎn)化眾所周知的指數(shù)加 權(quán)最小二乘問題，遞歸最小二乘技術(shù)( RLS就可以 有效地用于跟蹤信號(hào)子空間，由此產(chǎn)生的算法有一 個(gè)計(jì)算復(fù)雜度為，我們O(nr)可以獲得(不完全正交) 信號(hào)子空間基值或信號(hào)特征向量的估計(jì)值.本文安排 如下，在第二節(jié)中

6、討論信號(hào)和噪聲子空間的定義以及 對(duì)他們?cè)谛盘?hào)處理中的一些應(yīng)用作簡(jiǎn)要說明。第三節(jié) 介紹了一種無(wú)約束成本函數(shù)，并證明它沒有局部極大 值和極小值除了一個(gè)唯一全局最小對(duì)應(yīng)的信號(hào)子空間， 在此基礎(chǔ)上觀察，在第四節(jié)將討論各種自適應(yīng)算法跟 蹤信號(hào)子空間的開發(fā)，第五節(jié)提出了一些仿真結(jié)果表 明來(lái)算法的適用性和性能.2.子空間和子空間應(yīng)用 n使作為所觀察到的數(shù)據(jù)矢量的快攝，在空間域頻譜分 析中，ix(t) C Tnx(t)包括的樣本相關(guān)陣歹U,同時(shí)在網(wǎng)域頻譜分析中，In Tnx(t)是矢量的 連續(xù)樣本時(shí)間序列，我們假定是 x(t) x(t),x(t l)r.,x(t n 1)窄帶信號(hào)波形對(duì)撞天線陣列的組成部分，或

7、者非相 干的復(fù)雜正弦被加性噪聲r(shí)r帶噪，由下面的公式給出：r( 1 )x(t) S(t)a() n(t) As(t) n(t)iii 1 n r 這里, 而且是確定的階矩陣，是奇異相關(guān)矩陣 A a(),.,a()S(t)Alr TH jj(n 1) a() 的一個(gè)隨機(jī)矢量源，為導(dǎo)向或頻率C ES(t)S(t)iiis矢量，在聲頻檢索中，是的正弦角頻率，在陣列處理中：iid sin 2ii保證平面波形對(duì)撞成為線性均勻探測(cè)陣列。這里是間距傳感要素，是波長(zhǎng)，d2是相對(duì)DOA陣列的寬邊.如果噪聲是白噪聲(也許是白化步長(zhǎng))與 有平u(t)i等的差異但與無(wú)關(guān)，下面的表達(dá)是為了觀 察相關(guān)矩陣的收率：S(t)

8、 HH2(3)c Ex(t)x(t) ACA Is讓和成為特征值和的相應(yīng)正交特征向量。在矩陣記法中u(i L“")CiiH n，。如果小于，無(wú)序非增長(zhǎng)的特 U u,“u diag()C U Urlnlr(7n 征值由下面的 式子給出：2(4)Irr In占主導(dǎo)地位的特征對(duì)，稱為 信號(hào)的特征值和特征向量信號(hào)，而(山)i,被稱為噪聲特征和噪音特征向量：(u)i r lr.t/nii和(5)U U"“/U U/.SlrNr In被定義為信號(hào)與噪聲子 空間，人們很容易以確認(rèn)與具有相同的欄跨度和AUs噪聲子空間的正交補(bǔ)的信號(hào)子空間， x(t)|t 1”,L 在數(shù)據(jù)壓縮中，我們感興趣的

9、是編碼序列隨機(jī)向量的 樣本x(t)占據(jù)最小的存儲(chǔ)空間，這里可能是序列圖像或語(yǔ)音音素，在最小二乘中解HL n決這一問題的方法是KL展開，經(jīng)過計(jì)算SVD的階矩陣或 X x,x(L) hhC XX/L者ed相應(yīng)的相應(yīng)的樣本相 關(guān)矩陣，每個(gè)樣本矢量編碼是由x(t) C 一個(gè)低維向量: ny(t)ux(t)f(t ir.,L) s n r這里包括占優(yōu)勢(shì)權(quán)奇異向量或者的等效特征相量， 現(xiàn)在階矩陣UrrCxS和都被替代，信號(hào)重建計(jì) 算 ：X(t)|t l,.LUy(t)|t L,“,LSHA(t) Uy(t) UUxx(t)(7)sss 很明顯，空間應(yīng)用的特點(diǎn)具有以下幾個(gè)特征：n .只有為數(shù)不多的幾個(gè)特征向

10、量是必需的.由于輸入向量維是 往往大于，比2r之與噪聲子空間它更有效地作用于 低維信號(hào)子空間.在許多應(yīng)用中，我們不需要特征 值.除了在利用 WSF估算和用特征值來(lái)估計(jì)信號(hào)的數(shù) 目來(lái)源時(shí)，在本文中我們假定是已知的.r .有時(shí)候, 沒有必要完全準(zhǔn)確地了解特征相量.例如，在多重信 號(hào)分析方法(MUSIC),最小模估計(jì)，或者 ESPRIT估 算中，用一個(gè)任意標(biāo)準(zhǔn)正交基信號(hào)子空間就足夠了.事實(shí)上，我們只需要一小部分的特征結(jié)構(gòu)就能夠通 過減少計(jì)算和存儲(chǔ)需求來(lái)發(fā)展子空間跟蹤算法 .3.一 種新的信號(hào)子空間的介紹 Hn設(shè)是一個(gè)隨機(jī)復(fù)雜值過 程向量且相關(guān)矩陣.我們考究以下的X CC XX標(biāo)量 函 數(shù)：2HHHH

11、J(W Ex WWx tr(C) 2tr(WCW) tr(WCW WW) (8) nr矩陣變量.在不喪失一般性的前提下，我們假設(shè)是一個(gè)秩為rWW C(r n)的滿秩矩陣.否則, 如果的秩，在方程(8)中的就經(jīng)常被另一個(gè)滿秩 WWr rH Hn rWW WW矩陣所替代以滿足 請(qǐng)注意我們對(duì)沒有任何的約束條件， W,尤其是沒有 的標(biāo)準(zhǔn)約束，因此沒有對(duì)進(jìn)行定義，因?yàn)樵谠跓o(wú)限 大時(shí)WWWJ(W他為無(wú)限大，我們感興趣的是極小的， 我們希望知道：J(W)是否存在全局最小值？ J(W)該最小值與信號(hào)子空間之間的關(guān)系？C.是否還有其他的局部極小值？J(W這些問題通過以下的定理可以得出：n rW UQ：有且僅有當(dāng)

12、時(shí)，是上一個(gè)穩(wěn)定 點(diǎn)，這里WU CJ(W)定理1,一r r包含了不同的標(biāo)準(zhǔn)向量。是任意酉矩陣.在各個(gè) 穩(wěn)定點(diǎn)，都等價(jià)CQ CJ(W)于那些特征向量不屬于的 特征值的總和.Ur證明：見附錄所有在上的穩(wěn)定點(diǎn)都 是谷點(diǎn)，除非當(dāng)包含的個(gè)最大特征ucj(wr定壬I 2： r向量.在這種情況下達(dá)到全局最小值.J(W)ffi明：見附 錄以下是對(duì)定理發(fā)表的評(píng)論：.當(dāng)出現(xiàn)最小值時(shí)的縱 向跨度等價(jià)于信號(hào)子空間同時(shí)沒有其他最小wj(wxt.通過迭代法尋求的最小值而且保證信號(hào)子空間整體 的收斂性.CJ(W)我們對(duì)的縱行標(biāo)準(zhǔn)沒有任何的約束 條件.上述兩個(gè)定理說明在(8)對(duì) W的求最小可以 自動(dòng)的將的縱行標(biāo)準(zhǔn)化.這就使得

13、我們的信號(hào)子空間 解釋W(xué)J(W)18得區(qū)別于那些標(biāo)準(zhǔn)化被明確提出以求 最優(yōu)的那些文獻(xiàn)解釋的.以Yang和KavehHH作為實(shí) 例，他們提出對(duì)服從求最大或最小值以找出中的 WW ICtr(WCW)信號(hào)或者干擾子空間.這是一個(gè)約束 最優(yōu)化問題，其結(jié)果是，每次更新(或周期)16,19后要重新正交化或做一些類似的近似規(guī)劃正交集，以迫使該算法收斂.W在方程(8 )中，我們處理的是一個(gè)無(wú)約束最小化的問題，要盡量少使用迭代算 法，在迭代過程中將總是收斂到信號(hào)子空間的一個(gè) 正交基而不需要正規(guī)J(W)iE交化處理.重要的是要注 意的最小值，不包含信號(hào)特征向量。取而代之的是 我WJ(W)(門得到由定理1中西矩陣所

14、標(biāo)示出的標(biāo)準(zhǔn) 正交化的基礎(chǔ)。這并不奇怪，因?yàn)閰?shù)H空間的轉(zhuǎn)換使得是不變的。，從另一方面說，當(dāng) QQ IJ(W)J(W) J(WQ),H為最小值時(shí)并不是唯一的， 但是向量積是唯一的.等價(jià)于信號(hào)子空WWWJ(W)間投 影矩陣.對(duì)于簡(jiǎn)單一維向量，求最小值的方法主要是 的歸一化特征向量(r l)J(W)子空間軌跡.c 4.子空間 跟蹤x(t)(t 12“J在快攝實(shí)際應(yīng)中，我們的主要興趣 在于估計(jì)遞歸信號(hào)子空間.t我們的目標(biāo)是開發(fā)有效 的運(yùn)算法則用來(lái)估算在時(shí)間內(nèi)信號(hào)子空間和引入的 樣本矢量，從以上信號(hào)子空間的解釋開始，產(chǎn)生了 各種不同的可能性.x(t)A.梯度法 自(8)描述了一種無(wú)約束成本函數(shù)是最小，

15、 它是適用于簡(jiǎn)單的梯度下降技術(shù)的子空間跟蹤，的 梯度和是由下面的式子給出的(見附錄)WJ(W)HH(9) J 2C CCW WWCW因此更新的子空間 可 以 寫 成：HHW(t) W(t 1) 2C(t) C(t)W(t l)W(t 1) W(tl)W(t l)C(t)W(t 1)(10)t 是相關(guān)矩陣在時(shí)間為時(shí)候的一個(gè)估這里且是適當(dāng)選擇得 到的步長(zhǎng)，C(t)c 0 C(t)計(jì)值，我們可能利用一個(gè)加 權(quán)指數(shù)或滑動(dòng)窗口來(lái)對(duì)進(jìn)行估值，最簡(jiǎn)單的選擇，HC(t) x(t)x(t)瞬時(shí)估計(jì)值就像在最小二乘技術(shù)(LMS)中用到的自適應(yīng)濾波算法，造成子空間更新是由：Hy(t) W(t l)X(t)HHHHW

16、(t) W(t 1) 2x(t)y(t) x(t)y(t) W(t l)W(t 1)W(t l)y(t)y(t)而細(xì)計(jì)算表明，這算法的計(jì)算復(fù)雜度為.O(nr)我們注意到，由單位矩 陣進(jìn)一步簡(jiǎn)化上述算法可以實(shí)現(xiàn)近似(ii)中HH ： W(t l)W(t l)W(t) W(t 1) x(t) W(t l)y(t)y(t)(12)這種近似的理由是通過我們的觀察將收斂到一個(gè)正 交矩陣(當(dāng) W(t) t )或者接近正交(當(dāng)是 一個(gè)足夠小的常量)的列平穩(wěn)信號(hào)，(t)0如果我們一維相量是(12)中所提到的情況，那么我們得到了：，(13)w(t) w(t 1) x(t) w(t l)y(t)y(t) h且，此

17、更新的公式與被設(shè)計(jì)用于通過一個(gè)單一的線性單位神y(t) W(t l)X(t) 15,19經(jīng)網(wǎng)絡(luò)提取第一主成分的Oja學(xué)習(xí)規(guī)則是相同的投影近似子空間跟蹤與基于壓縮技術(shù)的投影近似子空間跟蹤算法盡管(11)和(12)兩種基于梯度的空間更新方法的適用性已經(jīng)在我們的 模擬中得到證實(shí)(本文中并未提及)，這也不是本文 研究這些細(xì)節(jié)的目的，在這項(xiàng)工作中我們主要的興趣 聚焦于一個(gè)不同點(diǎn)，也就是所謂的投影近似子空間跟 蹤方26法，用指數(shù)加權(quán)增長(zhǎng)率和替換(8)中的期望值: t2 t iH J(w(t) x(i) w(t)w(t)x(i) i 1HHH trC(t) 2trW(t)C(t)W(t) trW(t)C(t

18、)W(t)W(t)W(t)(14) t所有有效的樣本向量在時(shí)間區(qū)間內(nèi)都涉及到在瞬時(shí)時(shí)刻對(duì)信號(hào) 子空間1 i t的估值，遺忘因子的用處是確保數(shù)據(jù)在遙遠(yuǎn)的過去下降了權(quán)重，以便當(dāng)01系統(tǒng)運(yùn)行在一個(gè)非平穩(wěn)環(huán)境時(shí)能夠提供跟蹤能力，對(duì)應(yīng)于不斷增長(zhǎng)的滑動(dòng)1窗口條件，當(dāng)，時(shí)有效窗口的長(zhǎng)度為111/(1 ) 1(14)中的和(8)中的顯然是相同的，除了利用指數(shù)加權(quán)樣本J(w(t)j(w)相關(guān)矩陣：t HHt i(15)C(t) x(i)x(i) C(t 1) x(t)x(t) 1h中代替，因此第田部分里的兩個(gè)定理 也滿足，換句話說，該J(W(t)C Exx欄目的也就是最小值來(lái)源于正交 基礎(chǔ)基的信號(hào)子空間的跨越主

19、rw(t)j(w(t)導(dǎo)特征向量，是四階函數(shù)的要素，迭代算法有必要盡量減小J(W(t)W(t)C(t)H.投影近似子空間跟蹤(PAST方法的關(guān)鍵是近似(14)中的，W(t)x(i)J(W(t)對(duì)中未知預(yù)測(cè)是 由可以在內(nèi)的任意瞬時(shí)t計(jì)算出的表達(dá)式x(i)l i tW(t) Hy(i) w(i l)x(i)給出，這樣的結(jié)果是改良成本函數(shù)：t2 t i(16) JT(W(t) x(i) W(t)y(i) 1也就是的二次要素。W(t)因此這一近能誤差，對(duì)不變或者緩慢變化的信號(hào) .表一 PAST算法用于信號(hào)子空間跟蹤選擇適當(dāng)?shù)暮蚉(0)W(0)for t 12 DOH 附 W(t l)x(t) h(t)

20、 P(t l)y(t)hg(t) h(t)/ y(t)h(t)1hP(t) TriP(t 1) g(t)h(t)e(t) x(t) W(t l)y(t)hw(t) W(t 1) e(t)g(t) HHt 和之間的差 別是很小的，特別是當(dāng)接近的時(shí)候，但遙 iW(t)x(i)W(i l)x(i) t遠(yuǎn)過去也就是遠(yuǎn)小于 時(shí)這種差別可能會(huì)變大，但是這種過去數(shù) 據(jù)對(duì)成本函數(shù)it的貢獻(xiàn)是隨著的增長(zhǎng)而 不斷減小的，我們因此期望是對(duì)的良好 J'(W)J(W)逼近，而且矩陣的最小化是 信號(hào)子空間的良好估計(jì)值，對(duì)于參 W(t)J'(W(t)C(t)數(shù)的突然變化，從 PAST方 法導(dǎo)出的算法在一些數(shù)

21、值試驗(yàn)時(shí)同樣是收 斂的.PAST法主要的優(yōu)點(diǎn)是指數(shù)加權(quán) 最小二乘準(zhǔn)則(16)也就是已經(jīng)被很好地 研究過的自適應(yīng)濾波，如果滿足下面的條 件 時(shí) 時(shí) 被 最 小 化 . J'(W(t) lW(t) C(t)C(t)(17) xyyyt HHt i(18)c(t) x(i)y(i) C(t 1) x(t)y(t)xyxyi It HHt i(19)C(t) y(i)y(i) C(t 1) y(t)y(t)yyyyi 12n r遞歸計(jì)算矩陣和矩陣分別需要 和 的 計(jì) 算 量， 此 C(t)C(t)r rO(r)O(nr)xyyy22C(t)C(t)外和計(jì) 算需要的計(jì)算量，一種更為有效的方法 O

22、(nr) O(r)W(t)xyyyC(t)C(t)是應(yīng)用矩陣逆 變換引理計(jì)算的逆或者用QR更新技術(shù)遞歸計(jì)算的yyyy27,28Cholesky因子，這樣導(dǎo) 致了各種各樣的RLS算法可資利用.由于這些算法早為人們所熟知，這里我們僅用 其中的一種更新而對(duì)其過程不加推導(dǎo).W(t) lP(t) C(t)Tri PAST 信號(hào)子 空間跟蹤算法見表一，其中表示只計(jì)算的 上yy 三角(或者下三角)部分并將其轉(zhuǎn)置作為下三角(或 者上三角)部分，該RLS方案減少了計(jì)算次數(shù)并且在 有舍入誤差是保持的對(duì)稱性.P(t)2 PAST算法每次更 新需要的計(jì)算量.初始值和必須選得3nr 0(r)W(0)P(0) 適當(dāng).應(yīng)包括個(gè)標(biāo)準(zhǔn)正交向量，必須是對(duì)稱正定矩陣，和rW(0)P(0)W(0)P(0的可由初始數(shù)據(jù)塊或任意初始數(shù)據(jù)計(jì)算而得，然而最簡(jiǎn)單的方法是設(shè)置的W(O)n n列向量為的單位矩陣的個(gè)主單