自適應(yīng)濾波器

1、第三章 自適應(yīng)數(shù)字濾波器,3.1 引 言,自適應(yīng)數(shù)字濾波器和維納濾波器一樣，都是符合某種準(zhǔn)則的最佳濾波器。維納濾波器的參數(shù)是固定的，適用于平穩(wěn)隨機(jī)信號(hào)的最佳濾波，但要設(shè)計(jì)這種濾波器，必須要求輸入信號(hào)是平穩(wěn)的，且具有信號(hào)和噪聲統(tǒng)計(jì)分布規(guī)律的先驗(yàn)知識(shí)。在實(shí)際中， 常常無(wú)法知道這些先驗(yàn)知識(shí)，且統(tǒng)計(jì)特性還會(huì)變化，因此實(shí)現(xiàn)最佳濾波是困難的,自適應(yīng)濾波器的特點(diǎn)是：濾波器的參數(shù)可以自動(dòng)地按照某種準(zhǔn)則調(diào)整到最佳濾波；實(shí)現(xiàn)時(shí)不需要任何關(guān)于信號(hào)和噪聲的先驗(yàn)統(tǒng)計(jì)知識(shí)，尤其當(dāng)輸入統(tǒng)計(jì)特性變化時(shí)，自適應(yīng)濾波器都能調(diào)整自身的參數(shù)來(lái)滿足最佳濾波的需要。 常常將這種輸入統(tǒng)計(jì)特性未知，調(diào)整自身的參數(shù)到最佳的過(guò)程稱為“學(xué)習(xí)過(guò)程”

2、。 將輸入信號(hào)統(tǒng)計(jì)特性變化時(shí)，調(diào)整自身的參數(shù)到最佳的過(guò)程稱為“跟蹤過(guò)程”，因此自適應(yīng)濾波器具有學(xué)習(xí)和跟蹤的性能。 由于自適應(yīng)濾波器有這些特點(diǎn)，自1967年威德諾(B.Widrow)等人提出自適應(yīng)濾波器以來(lái)，在短短十幾年中，自適應(yīng)濾波器發(fā)展很快，已廣泛地用于系統(tǒng)模型識(shí)別，通信信道的自適應(yīng)均衡， 雷達(dá)與聲納的波束形成，減少或消除心電圖中的周期干擾，噪聲中信號(hào)的檢測(cè)、跟蹤、 增強(qiáng)和線性預(yù)測(cè)等,3.2 自適應(yīng)橫向?yàn)V波器,自適應(yīng)濾波器的原理框圖如圖3.2.1所示，圖中x(n)稱為輸入信號(hào)，y(n)是輸出信號(hào)，d(n)稱為期望信號(hào)，或者稱為參考信號(hào)、訓(xùn)練信號(hào)，e(n)是誤差信號(hào)。 其中,e(n)=d(n)

3、-y(n,自適應(yīng)濾波器H(z)的系數(shù)根據(jù)誤差信號(hào)，通過(guò)一定的自適應(yīng)算法，不斷地進(jìn)行改變， 使輸出y(n)最接近期望信號(hào)d(n)。 這里暫時(shí)假定d(n)是可以利用的，實(shí)際中，d(n)要根據(jù)具體情況進(jìn)行選取， 能夠選到一個(gè)合適的信號(hào)作為期望信號(hào)，是設(shè)計(jì)自適應(yīng)濾波器的一項(xiàng)有創(chuàng)意的工作。如果真正的d(n)可以獲得， 我們將不需要做任何自適應(yīng)濾波器,圖 3.2.1 自適應(yīng)濾波器原理圖,3.2.1 自適應(yīng)線性組合器和自適應(yīng)FIR濾波器 1. 自適應(yīng)濾波器的矩陣表示式 圖 3.2.2 表示的是一個(gè)有N個(gè)權(quán)系數(shù)的自適應(yīng)線性組合器， 圖中N個(gè)權(quán)系數(shù)w1,w2,wN受誤差信號(hào)ej的自適應(yīng)控制。對(duì)于固定的權(quán)系數(shù)，輸

4、出yj是輸入信號(hào)x1j,x2j,xNj的線性組合，因此稱它為線性組合器。這里的x1j,x2j,xNj可以理解為是從N個(gè)不同的信號(hào)源到達(dá)的瞬時(shí)輸入，是一個(gè)多輸入系統(tǒng)， 也可以是同一個(gè)信號(hào)源的N個(gè)序貫樣本，如圖 3.2.3 所示。因此它是一個(gè)單輸入系統(tǒng)， 實(shí)際上這種單輸入系統(tǒng)就是一個(gè)FIR網(wǎng)絡(luò)結(jié)構(gòu)， 或者說(shuō)是一個(gè)自適應(yīng)橫向?yàn)V波器。其輸出y(n)用濾波器的單位脈沖相應(yīng)表示成下式,3.2.1,圖 3.2.2 自適應(yīng)線性組合器,圖 3.2.3 自適應(yīng)FIR濾波器,這里w(n)稱為濾波器單位脈沖響應(yīng)，令：i=m+1,wi=w(i-1), xi=x(n-i+1)，n用j表示，上式可以寫(xiě)成,3.2.2,這里w

5、i也稱為濾波器加權(quán)系數(shù)。用上面公式表示其輸出，適合于自適應(yīng)線性組合器，也適合于FIR濾波器。將上式表示成矩陣形式,3.2.3,式中,誤差信號(hào)表示為,3.2.4,2. 利用均方誤差最小準(zhǔn)則求最佳權(quán)系數(shù)和最小均方誤差 誤差信號(hào)被用來(lái)作為權(quán)系數(shù)的控制信號(hào)。下面采用均方誤差最小的準(zhǔn)則，求最佳權(quán)系數(shù)。由(3.2.4)式，均方誤差為,3.2.5,令,3.2.6,3.2.7,將(3.2.6)、 (3.2.7)式代入(3.2.5)式， 得到,3.2.8,Rdx稱為dj與Xj的互相關(guān)矩陣，是一個(gè)N維列矩陣；Rxx是輸入信號(hào)的自相關(guān)矩陣，特點(diǎn)如下： (1)是對(duì)稱矩陣，即; (2) 是正定或半正定的，因?yàn)閷?duì)于任意矢

6、量V滿足下式,自相關(guān)矩陣的主對(duì)角線是輸入信號(hào)的均方值， 交叉項(xiàng)是輸入信號(hào)的自相關(guān)值,3.2.8)式表明，當(dāng)輸入信號(hào)和期望信號(hào)是平穩(wěn)隨機(jī)信號(hào)時(shí)， 均方誤差信號(hào)Ee2j是權(quán)系數(shù)的二次函數(shù)，即將(3.2.8)式展開(kāi)時(shí)，公式中的權(quán)系數(shù)均以它的一次冪或二次冪出現(xiàn)。如果只有一個(gè)權(quán)系數(shù)w1,則Ee2j是w1的口向上的拋物線；如果有兩個(gè)權(quán)系數(shù)w1w2,則Eej2是它們的口向上的拋物面；對(duì)于兩個(gè)權(quán)系數(shù)以上的情況，則屬于超拋物面性質(zhì)。 Eej2在自適應(yīng)信號(hào)處理中是一個(gè)重要的函數(shù)，經(jīng)常稱它為性能函數(shù)。為選擇權(quán)系數(shù)，使性能函數(shù)到達(dá)它的最小點(diǎn)， 一些有用的自適應(yīng)方法都是基于梯度法的，我們用 表示Eej2的梯度向量，它是

7、用Eej2對(duì)每個(gè)權(quán)系數(shù)求微分而形成的一個(gè)列向量， 用公式表示如下,3.2.9,按照(3.2.4)式, 梯度推導(dǎo)如下,3.2.10,還可以用(3.2.8)式對(duì)W求導(dǎo)得到,3.2.11,令上式等于0, 得到最佳權(quán)矢量W*的表達(dá)式,3.2.12,對(duì)比第二章維納濾波器的最佳解，結(jié)果是一樣的。上式也稱為維納權(quán)矢量。當(dāng)自適應(yīng)濾波器的權(quán)系數(shù)滿足上式時(shí)，均方誤差將取最小值。將(3.2.12)式代入(3.2.8)式得到最小均方誤差,3.2.13,或者將上式取轉(zhuǎn)置，用下式表示,3.2.14,我們知道，在維納濾波器中，當(dāng)濾波器的單位脈沖響應(yīng)取最佳值時(shí)， 其誤差信號(hào)和輸入信號(hào)是正交的；這里也有相同的結(jié)果， 當(dāng)權(quán)矢量取

8、最佳值時(shí)，梯度為0，按照(3.2.10)式,例 3.2.1 一個(gè)單輸入的二維權(quán)矢量自適應(yīng)濾波器如圖 3.2.4所示，圖中輸入信號(hào)與期望信號(hào)分別為,這兩個(gè)信號(hào)都是周期性確定性信號(hào)， 因?yàn)槿魏握液瘮?shù)積的期望值，都可由這個(gè)積在一個(gè)或多個(gè)周期上作時(shí)間平均來(lái)計(jì)算， 可以推導(dǎo)出下面公式6,圖 3.2.4 兩個(gè)權(quán)的自適應(yīng)濾波器,上式表明性能函數(shù)Eej2對(duì)權(quán)函數(shù)是二次型的，用(3.2.11)式求梯度向量，得到,求最佳權(quán)矢量可以用(3.2.12)式，通過(guò)對(duì)Rxx求逆得到，也可以通過(guò)上式，令 ，而求出,用(3.2.13)式求最小均方誤差,上式說(shuō)明只要N2,不管N取多少，通過(guò)對(duì)權(quán)系數(shù)的調(diào)整可使均方誤差達(dá)到0，此時(shí)

9、輸出信號(hào)yj完全等于期望信號(hào)dj, 例如N=2， 按照上面公式，可以求出輸入、輸出信號(hào)以及最佳權(quán)系數(shù)如下,3.2.2 性能函數(shù)表示式及其幾何意義 在自適應(yīng)濾波器的分析研究中，性能函數(shù)是一個(gè)重要函數(shù)， 前面已推導(dǎo)出性能函數(shù)用(3.2.8)式表示，重寫(xiě)如下,下面我們推導(dǎo)它的其它表示方法以及幾何意義。 均方誤差是權(quán)系數(shù)的二次函數(shù)，當(dāng)權(quán)系數(shù)取最佳值時(shí)， 均方誤差取最小值，將(3.2.14)式代入(3.2.8)式，可以用最小均方誤差表示性能函數(shù)，推導(dǎo)如下： 為了表示方便，令 =Ee2j, 則,將(3.2.12)式代入上式，得到,3.2.15,令,V=W-W*=v1, v2, , vNT,3.2.16,V

10、稱為偏差權(quán)向量，它表示權(quán)向量對(duì)最佳權(quán)向量的偏差。這樣性能函數(shù)可以表示得更簡(jiǎn)單,3.2.17,因?yàn)镽xx是對(duì)稱的，正定或半正定的，利用它的特征值和特征向量再進(jìn)一步簡(jiǎn)化，假設(shè)Rxx是NN維，它的N個(gè)特征值為： 1,2,N，將Rxx進(jìn)行分解，得到,Rxx=QTQ,=QTRxxQ,3.2.18,通過(guò)調(diào)節(jié)使Q歸一化，即,3.2.19,3.2.20,式中，Q稱為正交矩陣或特征矩陣，qi稱為特征向量，滿足下式,3.2.21,3.2.22,是由特征值組成的對(duì)角矩陣， 用下式表示,3.2.23,將(3.2.18)式代入(3.2.17)式，得到,令,3.2.24,則,3.2.25,上式將性能函數(shù)變成了平方和的形式

11、。再觀察(3.2.24)式， 該式將V坐標(biāo)中的Rxx的特征向量變成了V坐標(biāo)中的單位向量。 利用(3.2.24)式將特征向量qi變成qi，再利用(3.2.20)、 (3.2.21)式， 可得,3.2.26,也就是說(shuō)，qi為V坐標(biāo)中的第i個(gè)單位向量，qi亦是矩陣對(duì)應(yīng)于i的特征向量。下面用二維權(quán)矢量的情況說(shuō)明它的幾何意義。對(duì)于二維權(quán)矢量情況，有下面公式,圖 3.2.5 二維權(quán)矢量性能表面,圖 3.2.6 等均方誤差的橢圓曲線族,按照(3.2.17)式，有,或,當(dāng)c=min時(shí)，對(duì)應(yīng)橢圓的中心，V=W-W*, 則相當(dāng)于W坐標(biāo)平移到V坐標(biāo)的原點(diǎn)，即V坐標(biāo)的原點(diǎn)對(duì)應(yīng)W坐標(biāo)的最佳點(diǎn)W *。這里, v1v2不是

12、橢圓的主軸。但經(jīng)過(guò)對(duì)Rxx的分解,且V=QTV將性能函數(shù)的橢圓族(按照(3.2.25)式)變成,即,或者,3.2.27,顯然，上式是一個(gè)橢圓方程，v1和v2是橢圓族的主軸，如果12,則v1是長(zhǎng)軸，v2是短軸。因此(3.2.24)式起坐標(biāo)旋轉(zhuǎn)的作用，將v1v2旋轉(zhuǎn)到主軸上，形成v1v2主軸。對(duì)于維數(shù)N2的情況，長(zhǎng)軸對(duì)應(yīng)最小特征值，按照上面的橢圓方程長(zhǎng)軸正比于；短軸對(duì)應(yīng)于最大特征值，正比于 。另外， 因?yàn)?得到,3.2.28,V中單位矢量就是V坐標(biāo)中的Rxx的特征矢量,3.2.3 最陡下降法,1. 最陡下降法的遞推公式 將(3.2.11)式代入(3.2.29)式，得到,3.2.30,3.2.31,

13、在上式兩邊都減去W *,并令Vj=W j-W*, 得到,Vj+1=I-2RxxVj,3.2.32,上式是一個(gè)遞推公式，由于項(xiàng)不是對(duì)角矩陣，計(jì)算與分析均復(fù)雜。下面仍然采用坐標(biāo)旋轉(zhuǎn)的方法進(jìn)行推導(dǎo),3.2.33,此時(shí)，項(xiàng)已變成對(duì)角矩陣，假設(shè)起始值是V0，可得到上式的遞推解為,3.2.34,再將(3.2.24)式代入，再經(jīng)過(guò)坐標(biāo)平移，即代入Vj=Wj-W*式， 最后得到權(quán)系數(shù)的遞推公式,3.2.35,上面遞推公式中，部分已變成對(duì)角矩陣， 這使分析與研究自適應(yīng)特性變得簡(jiǎn)單了,2. 收斂條件 由最陡下降法的遞推公式不難分析出它的收斂條件，即當(dāng)?shù)螖?shù)j趨于時(shí)，權(quán)系數(shù)收斂最佳時(shí)的條件。按照上式， 顯然只有當(dāng)

14、,3.2.36,3.2.37,滿足時(shí)，才能得到： 。(3.2.37)式即是最陡下降法的收斂條件，式中max是Rxx的最大特征值。(3.2.36)式中的0表示0矢量,3. 過(guò)渡過(guò)程 過(guò)渡過(guò)程是指權(quán)矢量和性能函數(shù)由起始點(diǎn)隨迭代次數(shù)的增加，進(jìn)行變化的過(guò)程。下面從權(quán)矢量和性能函數(shù)兩方面討論自適應(yīng)濾波器的過(guò)渡過(guò)程。權(quán)矢量的過(guò)渡過(guò)程討論如下： 按照(3.2.34)式，權(quán)矢量的遞推解是,第i個(gè)權(quán)系數(shù)遞推方程是,3.2.38,令,3.2.39,將上式代入(3.2.38)式，得到,3.2.40,上式說(shuō)明第i個(gè)分量v i按指數(shù)規(guī)律變化，其時(shí)常數(shù)為,i=1, 2, 3, , N,3.2.41,因?yàn)橐话闳〉帽容^小，可

15、以近似為,i=1, 2, 3, , N,3.2.42,因?yàn)?所以,再將(3.2.40)式代入，得到,3.2.43,3.2.44,式中,3.2.45,上式說(shuō)明第i個(gè)加權(quán)系數(shù)按照N個(gè)指數(shù)和的規(guī)律變化，由初始值收斂到最佳值，其時(shí)常數(shù)與特征值成反比。下面分析性能函數(shù)的過(guò)渡過(guò)程。按照(3.2.25)式，性能函數(shù)如下式,3.2.46,將(3.2.40)式代入，得到,3.2.47,上式說(shuō)明性能函數(shù)也是按N個(gè)指數(shù)和的規(guī)律變化，和加權(quán)系數(shù)過(guò)渡過(guò)程不同的是時(shí)間常數(shù)不同， 它的時(shí)常數(shù)為,3.2.48,我們已經(jīng)知道，性能函數(shù)和各個(gè)加權(quán)系數(shù)都是按照N個(gè)具有不同時(shí)常數(shù)的指數(shù)和的規(guī)律變化的，時(shí)常數(shù)和特征值成反比，不同的特征

16、值對(duì)應(yīng)的收斂時(shí)間是不一樣的，但最終的收斂要取決于最慢的指數(shù)過(guò)程，它的時(shí)常數(shù)最大，對(duì)應(yīng)最小的特征值，公式如下,3.2.49,3.2.50,但為保證收斂，不能取得太大，受限于最大特征值max。 這樣，如果特征值比較分散時(shí)，即max和min相差很大時(shí)， 使最陡下降法的收斂性能很差。下面分析值的影響。 值收斂過(guò)程影響很大，首先必須選擇得足夠小，使之滿足收斂條件,但按照(3.2.47)、 (3.2.48)式，它影響收斂速度。 一般希望在保證收斂的條件下，選大一些，使時(shí)間常數(shù)小一些，收斂的速度快一些。但當(dāng)選擇得太大時(shí)，即使收斂條件滿足，也可能形成振動(dòng)性的過(guò)渡特性。 在圖 3.2.7 中，圖(a)是較小時(shí)的

17、情況；圖(b)是較大時(shí)的情況，此時(shí)過(guò)渡過(guò)程已發(fā)生振蕩,3.2.4 最小均方(LMS)算法,1. LMS算法的權(quán)值計(jì)算 LMS(Least Mean Square)算法的梯度估計(jì)值用一條樣本曲線進(jìn)行計(jì)算，公式如下,3.2.51,因?yàn)?所以,3.2.52,3.2.53,FIR濾波器中的第i個(gè)權(quán)系數(shù)的計(jì)算公式為,3.2.54,FIR濾波器中的第i個(gè)權(quán)系數(shù)的控制電路如圖3.2.8所示, LMS自適應(yīng)濾波器的總框圖如圖 3.2.9 所示,圖 3.2.8 FIR第i個(gè)支路的控制電路,LMS算法的加權(quán)系數(shù)按照(3.2.53)式進(jìn)行控制， 式中加權(quán)矢量的改變量是2ejXj，梯度的估計(jì)值是-2ejXj。顯然，這

18、是一個(gè)隨機(jī)變量，這說(shuō)明LMS算法的加權(quán)矢量是隨機(jī)變化的。因此，LMS算法又稱為隨機(jī)梯度法。下面對(duì)這種算法的性能進(jìn)行分析， 主要分析加權(quán)矢理和性能函數(shù)的平均變化規(guī)律以及它們的隨機(jī)性造成的影響。 按照(3.2.52)式， 對(duì)梯度估計(jì)值求統(tǒng)計(jì)平均， 得到,3.2.55,上式說(shuō)明梯度估計(jì)值是無(wú)偏估計(jì)的，梯度的估計(jì)量在理想梯度j附近隨機(jī)變化，權(quán)系數(shù)也是在理想情況下的權(quán)軌跡附近隨機(jī)變化的,圖 3.2.8 LMS自適應(yīng)濾波器總計(jì)算框圖,2.LMS算法加權(quán)矢量的過(guò)渡過(guò)程 將誤差公式(3.2.4)式代入(3.2.53)式，得到,3.2.56,按照(3.2.53)式， 對(duì)加權(quán)矢量取統(tǒng)計(jì)平均,3.2.57,類(lèi)似于最

19、陡下降法的推導(dǎo)，經(jīng)過(guò)坐標(biāo)平移和旋轉(zhuǎn)，變換到V坐標(biāo)中。其公式推導(dǎo)如下: 令,Vj=Wj-W,3.2.58,那么,EVj=EWj-W,EVj+1=EWj+1-W,3.2.59,將上面兩式代入(3.2.57)式中，得到,它的遞推解是,令,Rxx=QQ T, =QRxxQT,3.2.60,得到,3.2.61,3.2.62,再將(3.2.59)、(3.2.60)和(3.2.61)式代入上式，得到,EWj=W*+QI-2j Q-1(W0-W*,3.2.63,對(duì)比(3.2.35)式，說(shuō)明LMS算法加權(quán)矢量的統(tǒng)計(jì)平均值的過(guò)渡過(guò)程和最陡下降法加權(quán)矢量的過(guò)渡過(guò)程是一樣的。換句話說(shuō)， LMS算法加權(quán)矢量是在最陡下降

20、法加權(quán)矢量附近隨機(jī)變化的， 其統(tǒng)計(jì)平均值等于最陡下降法加權(quán)矢量，那么，其收斂條件同樣為,3.2.64,在滿足收斂條件的情況下，才有下式,由于最大的特征值max不可能大于R的跡(R的主對(duì)角線元素之和)，即,因此收斂條件可以表示為,3.2.65,對(duì)于橫向?yàn)V波器， 式中的跡是NEx2j，即N倍的輸入功率， 那么,3.2.66,實(shí)際中，通常選得很小，選,3.2.67,同樣由(3.2.62)式，第i個(gè)分量為,3.2.68,同樣引入時(shí)常數(shù)i,3.2.69,3.2.70,3.2.71,同樣，第i個(gè)權(quán)系數(shù)可以表示成,3.2.72,3 . LMS算法性能函數(shù)的過(guò)渡過(guò)程學(xué)習(xí)過(guò)程 由于LMS算法加權(quán)矢量的平均值的變

21、化規(guī)律與最陡下降法的加權(quán)矢量一樣，可以推想它的均方誤差也會(huì)按照最陡下降的均方誤差變化規(guī)律變化。下面進(jìn)行推導(dǎo)。 按照(3.2.4)式， 信號(hào)誤差為,3.2.73,式中，eoptj=dj-XjTW*，稱為最佳誤差信號(hào)，它對(duì)應(yīng)于最小均方誤差， 即,按照(3.2.73)式寫(xiě)出均方誤差表示式,假定Xj和Vj不相關(guān)，上式中最后一項(xiàng)為0，那么,同樣，假設(shè)加權(quán)系數(shù)變化很小，Vj也變化很小，EVjVj，這樣,類(lèi)似前面的推導(dǎo)，得到,3.2.74,3.2.75,對(duì)照最陡下降法性能曲線(3.2.47)式，LMS均方誤差變化規(guī)律和最陡下降法完全一樣，學(xué)習(xí)曲線同樣近似為幾個(gè)不同時(shí)間常數(shù)的指數(shù)和,4. 穩(wěn)態(tài)誤差和失調(diào)系數(shù)

22、由上面分析知道，權(quán)矢量的平均值可以收斂到它的最佳值， 但權(quán)矢量變化過(guò)程是隨機(jī)的，即使其平均值收斂到最佳值，它仍然按照下式,Wj+1=Wj+2ejXj,隨機(jī)地進(jìn)行變化，這樣使權(quán)矢量仍在最佳值附近隨機(jī)變化， 但均方誤差將大于最小均方誤差，如圖 3.2.10 所示。為此，引入失調(diào)系數(shù)M，M定義為,3.2.76,圖 3.2.10 LMS算法穩(wěn)態(tài)誤差,可以推出5失調(diào)系數(shù)為,3.2.77,或者 M=NPin,3.2.78,式中，N是濾波器的階數(shù)，Pin是輸入信號(hào)功率。上式說(shuō)明和輸入功率加大都會(huì)增加失調(diào)系數(shù)。 在保證收斂的情況下加大，會(huì)提高收斂速度，也說(shuō)明為了減小失調(diào)系數(shù)， 應(yīng)該適當(dāng)選擇收斂速度，以保證收斂

23、速度和失調(diào)系數(shù)都滿足要求,圖 3.2.11 是一個(gè)LMS自適應(yīng)濾波器的計(jì)算機(jī)結(jié)果5，階數(shù)N=5，其輸入是信號(hào)加白噪聲， 輸入信號(hào)功率為1，中心頻率是0.03fs(fs為采樣頻率)，噪聲功率為0.5, 輸入信號(hào)自相關(guān)函數(shù)的特征值為： 5.14、0.853、0.502、0.500、0.500 ，權(quán)系數(shù)初始值取0，=0.0065。圖中畫(huà)出了一條樣本學(xué)習(xí)曲線和150條樣本學(xué)習(xí)曲線的平均曲線。該圖表明個(gè)別學(xué)習(xí)曲線起伏較大，平均學(xué)習(xí)曲線起伏很小，計(jì)算出的維納最小均方誤差為0.743 96，用LMS算法得到的穩(wěn)態(tài)誤差大于該值，按(3.2.77)式計(jì)算的失調(diào)系數(shù)是4.87%，按計(jì)算機(jī)模擬結(jié)果測(cè)得的失調(diào)系數(shù)是5

24、.40,圖 3.2.11 LMS算法的學(xué)習(xí)曲線,3.3 自適應(yīng)格型濾波器,3.3.1,由于假設(shè)了信號(hào)是實(shí)的，式中預(yù)測(cè)誤差ep(n)和系數(shù)ap,k均是實(shí)數(shù)。(3.3.1)式表明 是由n時(shí)刻以前的p個(gè)數(shù)據(jù)x(n-1)、 x(n-2)x(n-p)得到的估計(jì)，因此稱 為前向預(yù)測(cè)誤差。將前向預(yù)測(cè)誤差用 表示，上式重寫(xiě)為,3.3.2,對(duì)上式進(jìn)行Z變換，得到,3.3.3,令,3.3.4,Hf(z)稱為前向預(yù)測(cè)誤差濾波器的系統(tǒng)函數(shù)。前向預(yù)測(cè)誤差濾波器的結(jié)構(gòu)圖如圖 3.3.1所示,圖 3.3.1 前向預(yù)測(cè)誤差濾波器,用均方誤差最小的準(zhǔn)則求前向預(yù)測(cè)誤差濾波器的最佳系數(shù)ap,k,k=1, 2, ，p,3.3.5,將

25、(3.3.2)式代入上式，得到,k=1, 2, 3,，p,3.3.6,上式表明前向預(yù)測(cè)誤差與用于預(yù)測(cè)的數(shù)據(jù)正交，這就是對(duì)于前向預(yù)測(cè)誤差的正交原理。按照第二章的推導(dǎo)，前向預(yù)測(cè)誤差濾波器的最佳系數(shù)ap,k和信號(hào)的自相關(guān)函數(shù)之間的關(guān)系式稱為Yule-Walker方程式，重寫(xiě)如下,3.3.7,將上式用矩陣方程表示為,3.3.8,2. 后向線性預(yù)測(cè)誤差濾波器 如果利用x(n+1),x(n+2), ,x(n+p)數(shù)據(jù)預(yù)測(cè)x(n)，則稱為后向預(yù)測(cè)，其估計(jì)值用 表示。這樣,3.3.9,一般前向、后向預(yù)測(cè)用同一數(shù)據(jù)進(jìn)行，即利用x(n),x(n-1)， x(n-2)，,x(n-p)進(jìn)行預(yù)測(cè)，為此，將上式改為,3.

26、3.10,圖 3.3.2 前向預(yù)測(cè)數(shù)據(jù)之間的關(guān)系,設(shè)后向預(yù)測(cè)誤差用 表示(實(shí)際表示的是信號(hào)在n-p時(shí)刻的預(yù)測(cè)誤差)， 這樣,3.3.11,同樣，利用最小均方誤差的準(zhǔn)則，可以得到關(guān)于后向預(yù)測(cè)時(shí)的正交原理以及Yule-Walker方程，它們分別用下面的(3.3.12)和(3.3.13)式表示,k=1, 2, 3, , p,k=1, 2, 3, , p,3.3.12,3.3.13,式中， 是后向預(yù)測(cè)誤差的最小誤差功率。將(3.3.13)式和(3.3.7)式進(jìn)行對(duì)比，它們極其相似。利用Toeplitz矩陣的性質(zhì)， 可得到以下重要關(guān)系,3.3.14,3.3.15,上面兩式表明前、后向預(yù)測(cè)的最小誤差功率相

27、等，系數(shù)也相等(如果是復(fù)數(shù)，則是共軛關(guān)系)。由(3.3.10)、 (3.3.11)、 (3.3.14)式得到,3.3.16,式中，當(dāng)k=0, 1, 2, 3, , p時(shí)， p-k=p, p-1, p-2, , 0, 因此也可以寫(xiě)成下式,由上式畫(huà)出后向預(yù)測(cè)誤差濾波器的結(jié)構(gòu)圖如圖 3.3.3 所示,圖 3.3.3 后向預(yù)測(cè)誤差濾波器,對(duì)比圖 3.3.1 和圖 3.3.3, 或者對(duì)比公式(3.3.2)和(3.3.17)， 它們的系數(shù)雖然一樣，但后向預(yù)測(cè)誤差濾波器的系數(shù)排序卻是前向預(yù)測(cè)誤差濾波器系數(shù)排序的逆轉(zhuǎn)排列。 對(duì)(3.3.16)式進(jìn)行Z變換，得到,3.3.18,后向預(yù)測(cè)誤差濾波器的系統(tǒng)函數(shù)為,3

28、.3.19,將上式與前向預(yù)測(cè)誤差濾波器的系統(tǒng)函數(shù)(3.3.4)式對(duì)比，得到前、 后向預(yù)測(cè)誤差濾波器的系數(shù)函數(shù)之間的關(guān)系是,為了求解前、后向預(yù)測(cè)誤差濾波器的最佳系數(shù)，需要解Yule-Walker方程?？梢圆捎酶咚瓜ń獬鯽p,k(k=1,2, 3,p)以及2p,但需要p3量級(jí)運(yùn)算量。利用Yule-Walker方程中的自相關(guān)矩陣是一個(gè)埃爾米特(Hermitain)和托布列斯(Toeplitz)矩陣的特點(diǎn)，且至少是半正定的，可以有效地減少運(yùn)算量，這就是下面要推導(dǎo)的Levinson-Durbin算法，它的運(yùn)算量級(jí)是p2,3.Levinson-durbin算法 Levinson-Durbin算法首先由

29、一階AR模型開(kāi)始，按照(3.3.8)式，一階AR模型(p=1)的Yule-Walker為,由該方程解出,然后增加一階，即令p=2，按照(3.3.8)式得到,由上面方程解出,然后令p=3, 4, , 以此類(lèi)推， 可以得到一般遞推公式如下,上面(3.3.21)(3.3.25)式就是Levinson-Durbin遞推公式， 該式中的kp稱為反射系數(shù)。在(3.3.24)式中，2p和2p-1是預(yù)測(cè)誤差的均方值，因此1-k2p必須大于等于0，這樣kp應(yīng)要求滿足下式,3.3.26,進(jìn)而得到 ，即預(yù)測(cè)誤差隨遞推次數(shù)增加而減少。把kp稱作反射系數(shù)，是類(lèi)似于傳輸線的情況，如圖3.3.4 所示，第p節(jié)的輸出功率(即

30、下一級(jí)的輸入功率)等于前一級(jí)的輸出功率減去本級(jí)的反射功率，用公式表示如下,3.3.27,圖3.3.4 傳輸線,3.3.2 格型濾波器 1. 由預(yù)測(cè)誤差濾波器導(dǎo)出格型濾波器 將前面已推導(dǎo)的前向預(yù)測(cè)誤差公式(3.3.2)重寫(xiě)如下,再將系數(shù)ap,k(k=1,2,3,p)的遞推公式(3.3.23)代入上式，并令kp=ap,p，得到,將上式與(3.3.2)式對(duì)比，方程式的右邊前兩項(xiàng)是p-1階前向預(yù)測(cè)誤差， 即,3.3.28)方程式的右邊最后一項(xiàng)中，因?yàn)閗=1,2,3,p-1時(shí)， p-k=p-1, p-2, ,1，方括號(hào)部分可以寫(xiě)成,將上式右邊與(3.3.16)式對(duì)比，該部分就是n-1時(shí)刻p-1階的后向預(yù)

31、測(cè)誤差， 即,這樣由(3.3.28)式，得到前向預(yù)測(cè)誤差的遞推公式， 即,3.3.29,類(lèi)似地，得到后向預(yù)測(cè)誤差的遞推公式為,3.3.30,利用(3.3.29)式和(3.3.30)式，組成格型濾波器的第p節(jié)的結(jié)構(gòu)圖, 如圖 3.3.5(a)所示,圖 3.3.5 全零點(diǎn)格型濾波器,對(duì)于p=0的情況， 按照(3.3.2)式和(3.3.11)式， 得到,整個(gè)預(yù)測(cè)誤差格型濾波器的結(jié)構(gòu)如圖 3.3.5(b)所示。由于沒(méi)有反饋支路，它是一個(gè)全零點(diǎn)格型濾波器。 經(jīng)過(guò)變形還可得到其他類(lèi)型，如全極點(diǎn)格型濾波器、全極點(diǎn)橫向?yàn)V波器，等等5,2. 格型濾波器的性質(zhì) (1) 各階后向預(yù)測(cè)誤差相互正交。 用公式表示如下,

32、設(shè)ij,按照(3.3.12)式， 與x(n-j+1),x(n-j+2), x(n-i),x(n-i+1),x(n)數(shù)據(jù)正交，但按照(3.3.16)式， 是x(n-i),x(n-i+1), , x(n)的線性組合，因此 與 相互正交。 各階后向預(yù)測(cè)誤差相互正交的結(jié)果，使濾波器前后級(jí)互相解耦，對(duì)于系統(tǒng)最小化問(wèn)題化為一系列獨(dú)立的對(duì)每一級(jí)局部最小化問(wèn)題。用作自適應(yīng)濾波時(shí)，各級(jí)可選用不同的自適應(yīng)步長(zhǎng)， 使收斂速度提高。另外，為提高線性預(yù)測(cè)性能，需要增加一節(jié)或幾節(jié)，可以只對(duì)新增加的級(jí)進(jìn)行獨(dú)立的調(diào)節(jié)，達(dá)到輸出均方誤差最小，無(wú)需再調(diào)節(jié)前面的系數(shù),2) 平穩(wěn)隨機(jī)序列可由自相關(guān)函數(shù)或反射系數(shù)表征。按照Levins

33、on-Durbin遞推公式，已知rxx(0),k1,k2,kp,從一階開(kāi)始，可以推出全部的預(yù)測(cè)系數(shù)ap,1,ap,2, ,ap,p和2p，把得到的這些數(shù)據(jù)代入Yule-walker方程，可求得信號(hào)的自相關(guān)函數(shù)rxx(0), rxx(1), rxx(2),rxx(p)。以上說(shuō)明平穩(wěn)隨機(jī)序列可由自相關(guān)函數(shù)表征，也可由rxx(0),k1,k2,kp表征。 (3) 前向預(yù)測(cè)誤差濾波器是最小相位濾波器，即它的全部零點(diǎn)在單位圓內(nèi),3.3.32,對(duì)于前向預(yù)測(cè)誤差的正交原理，則用下式表示,3.3.33,前向預(yù)測(cè)誤差濾波器的預(yù)測(cè)系數(shù)和信號(hào)自相關(guān)函數(shù)之間的Yule-Walker方程仍和(3.3.8)式一樣,后向預(yù)

34、測(cè)誤差和后向預(yù)測(cè)誤差濾波器系統(tǒng)函數(shù)分別用下式表示,3.3.34,3.3.35,對(duì)于后向預(yù)測(cè)誤差的正交原理為,3.3.36,對(duì)于復(fù)信號(hào)的Levinson-Durbin遞推公式為,3.3.37,k=1, 2, 3, , p-1,3.3.38,3.3.39,3.3.40,3.3.41,復(fù)信號(hào)的全零點(diǎn)格型濾波器預(yù)測(cè)誤差遞推公式為,3.3.42,3.3.43,圖 3.3.6 復(fù)信號(hào)預(yù)測(cè)誤差全零點(diǎn)格型濾波器,3.3.3 最小均方誤差自適應(yīng)格型濾波器,P階格型濾波器由p節(jié)組成，如果前m節(jié)的參數(shù)ki(i=1, 2, 3,m)為最佳，相應(yīng)的預(yù)測(cè)誤差功率是最小，而后面的節(jié)的參數(shù)對(duì)前面的最佳參數(shù)無(wú)影響，因此在m節(jié)的

35、基礎(chǔ)上再加一節(jié)， 則只需根據(jù)使第m+1節(jié)的預(yù)測(cè)誤差功率最小的原則選擇km+1即可。 預(yù)測(cè)誤差功率有前向預(yù)測(cè)誤差功率和后向預(yù)測(cè)誤差功率，這里采用使前、后向預(yù)測(cè)誤差功率的和為最小的原則求反射系數(shù)。 公式為,3.3.44,將(3.3.29)、(3.3.30)代入上式， 可以得到,3.3.45,實(shí)際計(jì)算時(shí)，上式中的統(tǒng)計(jì)平均值用時(shí)間平均計(jì)算， 公式為,3.3.46,對(duì)于復(fù)信號(hào)情況，公式為,3.3.47,上面兩式便是直接利用數(shù)據(jù)計(jì)算反射系數(shù)的遞推公式。下面討論公式中的求和限問(wèn)題，如果輸入數(shù)據(jù)為x(i), i=0, 1, 2, , n， 當(dāng)p=1時(shí),這里,因此,上式中，求和限必須限制在已知的輸入數(shù)據(jù)范圍內(nèi)計(jì)

36、算，這樣求和限應(yīng)為i=1,2,3, , n，計(jì)算公式為,當(dāng)p=2時(shí),按照(3.3.29)、(3.3.30)式，得到,將上面兩式帶入 公式中，可以計(jì)算出 ，考慮到輸入數(shù)據(jù)的范圍，具體計(jì)算公式為,再根據(jù) ,按照(3.3.29)、(3.3.30)式計(jì)算e2(i)、b2(i)，按照(3.3.46)式計(jì)算 , 以此類(lèi)推。 這樣，對(duì)于 具體計(jì)算公式為,3.3.48,以上便是直接采用信號(hào)數(shù)據(jù)計(jì)算格型濾波器的反射系數(shù)以及最小預(yù)測(cè)誤差的方法。但這種算法必須從低階推起，要求較大的存儲(chǔ)時(shí)，有較大的計(jì)算延遲，使應(yīng)用受到限制。下面介紹梯度算法， 這種算法可以減少運(yùn)算量， 且適合非平穩(wěn)情況,自適應(yīng)格型濾波器的梯度算法中反

37、射系數(shù)的計(jì)算，類(lèi)似于自適應(yīng)橫向?yàn)V波器中系數(shù)的遞推算法，公式為,3.3.49,式中，仍然是控制收斂速度和收斂的參數(shù)；kp表示對(duì)方括弧中的部分求梯度,將上式代入(3.3.49)式中， 得到,式中，=2，為步長(zhǎng)因子。這部分內(nèi)容可參考文獻(xiàn)5,3.3.50,3.4 最小二乘自適應(yīng)濾波,本節(jié)討論另外一種以誤差的平方和最小作為最佳準(zhǔn)則的誤差準(zhǔn)則最小二乘(Least Square)準(zhǔn)則。 定義,3.4.1,式中, (n)是誤差信號(hào)的平方和；ej是j時(shí)刻的誤差信號(hào),dj是j時(shí)刻的期望信號(hào)，Xj是j時(shí)刻的輸入信號(hào)構(gòu)成的向量， W表示濾波器的權(quán)系數(shù)構(gòu)成的向量。通過(guò)選擇W，使(n)取得最小值的濾波稱為最小二乘(Lea

38、st Square,簡(jiǎn)稱LS)濾波，而滿足Ee2j取得最小值的濾波稱為最小均方誤差(Least Mean Square, 簡(jiǎn)稱LMS)濾波。和LMS濾波相比，LS濾波對(duì)非平穩(wěn)信號(hào)的適應(yīng)性要強(qiáng)許多，這是由于LS濾波總是采用新的準(zhǔn)則，在每一個(gè)時(shí)刻對(duì)所有已輸入信號(hào)而言，重新評(píng)估使其誤差的平方和最小，因此具有更精確的含義，屬于精確分析法。 而LMS濾波是以集合平均為基礎(chǔ)的，屬于統(tǒng)計(jì)分析的方法,3.4.1 最小二乘濾波,1. 最小二乘的基本問(wèn)題 已知n個(gè)數(shù)據(jù)x(1),x(2),x(n)，采用M個(gè)權(quán)的FIR濾波器對(duì)數(shù)據(jù)進(jìn)行濾波，假設(shè)期望信號(hào)為d(i)，如圖3.4.1所示,濾波器的輸出 是對(duì)期望信號(hào)d(i)

39、的估計(jì),其中，wk(i),k=1,2, ,M，為FIR濾波器在i時(shí)刻的M個(gè)系數(shù)值(說(shuō)明濾波器的系數(shù)可以變化)，它是一個(gè)M維的向量，記為wM(i)=w1(i),w2(i),wM(i)T。同理，輸入信號(hào)也是一個(gè)M維的向量，xM(i)=x1(i), x2(i), , xM(i)T。n時(shí)刻，估計(jì)誤差為,3.4.2,誤差信號(hào)的平方加權(quán)和為,上式中，由于數(shù)據(jù)長(zhǎng)度有限，對(duì)觀測(cè)區(qū)間以外的數(shù)據(jù)所做的約定不同，當(dāng)i的取值范圍不同時(shí)，得到不同的(n)。這里采用前加窗法，約定,x(i)=0 i0,得到,3.4.3,圖 3.4.1 M個(gè)權(quán)的FIR濾波器,為了后面敘述方面，引入一些符號(hào)。令M維向量wM(n)和xM(n)分

40、別表示n時(shí)刻的濾波器的權(quán)向量和輸入信號(hào)向量,當(dāng)i=1,2, ,n時(shí)，引入n維誤差向量e(n)和期望信號(hào)向量d (n)，以及輸入信號(hào)構(gòu)成的Mn維矩陣XM(n,e(n)=e(1), e(2), , e(n)T,d(n)=d(1), d2), , d(n)T,XM(n)=xM(1),xM(2),xM(n,3.4.5a,3.4.5b,3.4.5a,為了后面推導(dǎo)方便，引入nM維矩陣C，定義,3.4.5b,應(yīng)用這些符號(hào)，期望信號(hào)的估計(jì)和估計(jì)誤差可以表示為,3.4.6,3.4.7,將(3.4.7)式代入(3.4.3)式，得到誤差信號(hào)能量,式中,是加權(quán)矩陣，對(duì)角線上的元素稱為加權(quán)因子。為了推導(dǎo)簡(jiǎn)單起見(jiàn)， 在后

41、面的分析中，取=I，則,3.4.9,要使(n)取得最小值，滿足,3.4.10,成立的w(n)就是wM(n)的最小二乘估計(jì)，記為 。 應(yīng)用標(biāo)量求導(dǎo)公式， 計(jì)算得到,3.4.11,將(3.4.5b)式和(3.4.7)式代入上式，有,3.4.12,將(3.4.11)式展開(kāi),3.4.13,引入M維向量pM(n)以及MM維矩陣RM(n,3.4.14,3.4.15,則(3.4.13)式可以寫(xiě)為,3.4.16,可以看出，RM(n)類(lèi)似于輸入信號(hào)的自相關(guān)特性，pM(n)類(lèi)似于輸入信號(hào)與期望信號(hào)的互相關(guān)特性。(3.4.16)式與第二章中的維納-霍夫(Wiener-Hopf)方程相似，不同之處在于維納-霍夫方程中

42、的數(shù)學(xué)期望符號(hào)用求和符號(hào)所代替,若矩陣XM(n)的秩等于M，記做rankXM(n)=M,則XM(n)XMT (n)非奇異，求解(3.4.16)式，可以得到wM(n)的最小二乘估計(jì)wLS(n,3.4.17,若rankXM(n)M, 則wM(n)不能唯一辨識(shí)。 在(3.4.12)式兩邊同左乘以 ，得,3.4.18,應(yīng)用(3.4.6)式，得到,3.4.19,圖 3.4.2 最小二乘估計(jì)的幾何解釋,當(dāng) 存在時(shí)，最小二乘的估計(jì)值 為,最小二乘估計(jì)的誤差信號(hào)能量min為,3.4.20,綜合前面的分析，我們可以把最小二乘問(wèn)題用模型,z=A+n,3.4.21,來(lái)描述，其中，z是觀測(cè)信號(hào)，n為噪聲信號(hào)，A可看作

43、一數(shù)據(jù)矩陣，表征輸入與輸出之間的關(guān)系，是可調(diào)整量。與前面的分析相對(duì)應(yīng)，參見(jiàn)(3.4.7)式，n類(lèi)似于誤差信號(hào)e(n)，z類(lèi)似于信號(hào)真值d(n)，A類(lèi)似于信號(hào)的估計(jì)值 ，且A矩陣與C矩陣相對(duì)應(yīng)， 在數(shù)據(jù)矩陣A已經(jīng)確定的情況下，對(duì)z的最小二乘估計(jì)為,與圖3.4.2的信號(hào)向量相對(duì)應(yīng)，觀測(cè)信號(hào)z構(gòu)成的觀測(cè)值向量與d(n)相對(duì)應(yīng)，A與估計(jì)向量 相對(duì)應(yīng)，噪聲信號(hào)n與圖中的估計(jì)誤差e(n)相對(duì)應(yīng),令誤差信號(hào)能量為J，并取加權(quán)矩陣=I，則,3.4.23,2. 最小二乘估計(jì)的質(zhì)量 假設(shè)誤差向量n(k)是獨(dú)立同分布的，具有零均值,方差為2, 那么，最小二乘估計(jì)是無(wú)偏估計(jì); 若噪聲是高斯噪聲， 則最小二乘估計(jì)是一致

44、估計(jì)。 (1) 無(wú)偏性,3.4.24,2) 一致性：如果噪聲是高斯噪聲，那么最小二乘參數(shù)估計(jì)一致收斂， 即,3.4.25,這里，W.P.1表示以概率為1的收斂,證明 首先求解最小二乘估計(jì)的協(xié)方差，令 表示最小二乘估計(jì)的誤差， 即,那么，當(dāng)具有零均值時(shí)，最小二乘估計(jì)的協(xié)方差為,3.4.26,已知噪聲為高斯噪聲，則EnnT=2I，得到最小二乘估計(jì)的協(xié)方差為,式中， 將以概率1收斂于一個(gè)正定陣，且2是有界的， 因此,最小二乘估計(jì)的無(wú)偏性已經(jīng)保證了偏移量為0， 因此， 一致性得證。 前面，所討論的信號(hào)模型都是MA模型，即最小二乘濾波器用FIR濾波器實(shí)現(xiàn)，若信號(hào)是一ARMA模型，那么怎樣來(lái)求出信號(hào)所對(duì)應(yīng)

45、的最小二乘估計(jì)呢? 下面舉一例說(shuō)明,例 3.4.1 已知模型,z(k)+az(k-1)=bx(k-1)+n(k,其中，n(k)是均值為0，且與x(k)不相關(guān)的噪聲信號(hào)，設(shè)定n(k)是各態(tài)遍歷的高斯噪聲，求LS的最小二乘估計(jì)。 這是一個(gè)近似的ARMA(1, 1)模型，其輸出信號(hào)為z(k)， 輸入信號(hào)是x(k)。這個(gè)模型的近似性表現(xiàn)在不包含當(dāng)前的輸入信號(hào)，僅包含前一時(shí)刻的輸入，并且模型還包括噪聲信號(hào)n(k)。 設(shè)定n個(gè)觀測(cè)值構(gòu)成的觀測(cè)向量表示為zn=z(0), z(1), , z(n)T,和一般的最小二乘估計(jì)的模型z=A+n相比，這個(gè)問(wèn)題的關(guān)鍵是如何確定A矩陣。MA模型的輸出完全由輸入信號(hào)所決定，

46、 而ARMA模型的輸出還包括以前時(shí)刻的輸出對(duì)當(dāng)前輸出的反饋， 因此，ARMA模型的A矩陣應(yīng)同時(shí)包括輸出和輸入數(shù)據(jù)。針對(duì)這個(gè)例題所選的模型，可以確定A矩陣為,其中，z(i)和x(i)分別表示i時(shí)刻的觀測(cè)值和輸入值,解 根據(jù)(3.4.17)式，計(jì)算,其中，Rz表示z的自相關(guān)函數(shù)，假設(shè)信號(hào)具有遍歷性，則 ，同理，得到Rx(0),Rxz(0)，Rn(1)等。 考慮n(k)與x(k)是統(tǒng)計(jì)獨(dú)立的及En(k)=0， 記=Rz(0)Rx(0)-Rxz2 (0)，由已知模型關(guān)系,其中，a0和b0為參數(shù)真值，得到,由此可以看出，只有當(dāng)n(k)是白噪聲時(shí)，Rn(1)=0，才能使得,簡(jiǎn)單地說(shuō)，所謂的最小二乘估計(jì)，是

47、指在每個(gè)時(shí)刻對(duì)所有已輸入的信號(hào)而言，誤差平方和最小。最小二乘法的原理簡(jiǎn)單， 編程也易實(shí)現(xiàn)， 因此獲得了廣泛的應(yīng)用,3.4.2 遞推最小二乘法(RLS) 遞推最小二乘法(Recursive of Least Square，簡(jiǎn)稱RLS)的基本思想就是新的估計(jì)值是在老的估計(jì)值的基礎(chǔ)上修正而成的，為了分析簡(jiǎn)單，便設(shè)為一向量，且僅與當(dāng)前觀測(cè)值有關(guān)，則,因此，最小二乘遞推算法的關(guān)鍵是得到修正項(xiàng)的表達(dá)式。根據(jù)最小二乘估計(jì)式(3.4.22),用a(i)表示第i步迭代時(shí)A的取值，Ak表示前k步A的數(shù)值構(gòu)成的向量,定義一個(gè)變量P,3.4.29,其中,那么,3.4.30,3.4.31,令觀測(cè)信號(hào)向量為,3.4.32

48、a,3.4.32b,這里，z(j)表示j時(shí)刻觀測(cè)信號(hào)的大小。 把(3.4.29)式代入(3.4.22)式， k-1時(shí)刻的估計(jì)值,3.4.33,上式兩邊同時(shí)左乘P-1(k-1)，得,3.4.34,把(3.4.33)式和(3.4.34)式代入(3.4.22)式， 并應(yīng)用(3.4.30)式,3.4.35,為了進(jìn)一步得到加權(quán)矩陣的表達(dá)式，可定義q(k,3.4.36,則(3.4.35)式可以寫(xiě)為,3.4.37,根據(jù)矩陣反演公式,3.4.38,這里，A, C為一個(gè)具體數(shù)值，代入(3.4.31)式，得,3. 4.39,至此，得到了最小二乘遞推算法的一種形式,3. 4.40,也可以將(3.4.39)式代入(3

49、.4.36)式， 整理后得,3.4.41,因此可以得到遞推最小二乘的另一種形式,3.4.42,3.4.3 線性向量空間,1. 向量空間的基本概念 1) 希爾伯特空間 我們知道，一組數(shù)據(jù)可以看作是空間中的一個(gè)向量，一組向量可以確定一個(gè)空間，稱為張成一個(gè)空間， 如二維空間可以由兩個(gè)向量x=1, 0T和y=0,1T所張成，三維空間可以由三個(gè)向量x=1, 0, 0T,y=0, 1, 0T和z=0, 0, 1T所張成，那么,M維向量空間，可理解為由M個(gè)基本向量uM(n)所張成(這里的基本向量是指這些向量相互獨(dú)立且正交,M個(gè)基本向量uM(n)構(gòu)成一個(gè)數(shù)據(jù)矩陣，記為U=u1(n), u2(n), ,uM(n

50、)，那么矩陣U所張成的空間，記為U。因此， 一組數(shù)據(jù)對(duì)應(yīng)于一個(gè)向量，一個(gè)(數(shù)據(jù))矩陣對(duì)應(yīng)于一個(gè)空間。 所謂的線性向量空間U, 是由若干個(gè)向量uM(n)線性組合得到的，空間的維數(shù)是指用來(lái)張成該空間的最少的向量數(shù)。 通常，我們所研究的向量空間都是希爾伯特空間，它與內(nèi)積空間有緊密的聯(lián)系。我們首先給出內(nèi)積空間的定義,1) 內(nèi)積空間。若u(n),v(n),w(n)是空間U中的任意向量， 且a為任一數(shù)，任意兩個(gè)向量的內(nèi)積為一個(gè)數(shù)，并滿足下面的性質(zhì),則稱U為內(nèi)積空間,2) 希爾伯特空間。若某空間是一個(gè)線性內(nèi)積空間的完整部分，則稱該空間為希爾伯特空間，簡(jiǎn)稱希氏空間。所謂的完整，是指不存在這樣的向量，可以任意接

51、近該空間但不屬于該空間。 自適應(yīng)濾波這一章的內(nèi)容所涉及的空間都是希爾伯特空間， 數(shù)學(xué)中常用的歐幾里德空間也是希爾伯特空間,2) 子空間 (1) 子空間。所謂的子空間，是指用少于空間維數(shù)的向量所張成的空間。如在幾何中，X-Y平面是立體X-Y-Z的一個(gè)子空間； 假設(shè)由向量u1(n)=u1(1),u1(2), , u1(n)T和u2(n)=u2(1), u2(2), , u2(n)T分別張成空間u1和u2，由向量u(n)=u1T,u2T T=u1(1),u1(2),u1(n),u2(1),u2(2),u2(n)T張成空間記為U, 那么u1、u2都是U的子空間。 所謂相互正交的兩個(gè)子空間，是指在這兩個(gè)

52、子空間上的任意向量u(n), v(n)的內(nèi)積都等于0，即,3.4.43,2) 兩子空間之和。由空間U1的向量u1(n)和子空間U2的向量u2(n)的所有線性組合所張成的空間稱為這兩個(gè)子空間之和，記為U1U2, 簡(jiǎn)記為U1U2,2. 投影與投影矩陣 這里所說(shuō)的投影的含義與幾何中投影的直觀含義相同， M+1維空間中的某一點(diǎn)與原點(diǎn)構(gòu)成的向量在M維子空間的投影， 可以用該向量與一加權(quán)矩陣相乘來(lái)表示，這個(gè)加權(quán)矩陣稱作投影矩陣或投影算子。當(dāng)然，投影矩陣也可以是一個(gè)向量。具體的定義如下： 假設(shè)在n時(shí)刻得到的數(shù)據(jù)向量為x(n)=x(1),x(2), , x(n-1),x(n)T,U表示一個(gè)數(shù)據(jù)矩陣或數(shù)據(jù)向量，

53、記為U，由U張成的空間記為U, 定義,3.4.44,稱PU為在U上的投影矩陣或投影算子。若U是一個(gè)Mn維的矩陣， 則PU是一個(gè)MM的方陣,投影定理：給定希爾伯特空間中的子空間U和向量x， 在U中必有唯一向量PUx,使得在U中的任意向量y， 均滿足,3.4.45,PUx稱為x在U中的投影向量。該式可以理解為向量x-PUx與子空間U正交，或者由該向量張成的一維子空間x-PUx與子空間U正交。(3.4.45)式啟示我們， 在進(jìn)行空間分解時(shí)，可以采用正交分解的方法，使得張成空間所需的向量數(shù)目最少。 一個(gè)M維線性向量空間U可以分解為一組相互正交的子空間,定理：若U1, U2為希爾伯特空間H中的相互正交的

54、子空間，那么，對(duì)H中的任一向量x，均滿足,3.4.46,即當(dāng)子空間相互正交時(shí)，向量在子空間和上的投影等于在各子空間上投影之和。 若已知一個(gè)向量在某子空間U上的投影矩陣為PU,則該向量在U的正交子空間上的投影矩陣稱為正交投影矩陣，記為,3.4.47,圖 3.4.3 所示是投影矩陣和正交投影矩陣的含義，從向量x在向量u上的投影和正交投影中可以看出，投影矩陣和正交投影矩陣的實(shí)質(zhì)是一加權(quán)向量。對(duì)于維數(shù)較高的子空間，投影矩陣和正交投影矩陣實(shí)質(zhì)上是一加權(quán)矩陣,圖 3.4.3 投影矩陣和正交投影矩陣,容易證明，投影矩陣和正交投影矩陣具有下面的性質(zhì)： (1) 冪等性，即,3.4.48,2) 反身性，也稱對(duì)稱性

55、， 即,3.4.49,3) 正交性，即,3.4.50,3. 數(shù)據(jù)向量的擴(kuò)充及投影矩陣的更新 若數(shù)據(jù)矩陣U張成的空間是U，它的投影矩陣和正交投影矩陣分別為PU、 ，當(dāng)一個(gè)新的向量u增加到U中時(shí)產(chǎn)生一新矩陣，新矩陣記為(U,u)，由(U,u)所張成的空間為U,u，該空間的投影矩陣和正交投影矩陣分別記為PU,u和 ,u，那么由于向量u的增加帶來(lái)的投影矩陣的變化可以表示為,PU,u=PU+校正項(xiàng),PU,u相當(dāng)于對(duì)新數(shù)據(jù)矩陣U, u進(jìn)行分解，其中PU是原來(lái)的投影矩陣，校正項(xiàng)為新的投影矩陣與原投影矩陣的差或稱為誤差項(xiàng)。對(duì)PU,u進(jìn)行正交分解，可以得到,3.4.51,說(shuō)明w向量所張成的空間W與U正交。一般情

56、況下,u與U不一定正交，即uw。因此需要進(jìn)行的分解就是把向量u向空間U和與U垂直的空間W上進(jìn)行投影，換言之，w向量就是向量u在與U垂直空間上的投影,圖 3.4.4 子空間U,u及其等效子空間U,w,采用正交分解方法，保證了U,u和U,w包含的信息是一樣的(如圖 3.4.4 所示)。那么空間W上的投影矩陣Pw可以計(jì)算， 即,3.4.53,利用投影矩陣的反身性， 上式可以化簡(jiǎn)為,分別用PU左乘和右乘(3.4.53)式，可以證明Pw與PU滿足正交性,把前面得到的投影矩陣的變化應(yīng)用于實(shí)際問(wèn)題中， 可以看到，當(dāng)由數(shù)據(jù)矩陣U變?yōu)?U, u)，投影矩陣和正交投影矩陣的更新公式為,3.4.54,若某一向量y(

57、n)在U上的投影存在，記為PUy，當(dāng)數(shù)據(jù)矩陣發(fā)生變化時(shí)， 同一向量y(n)在新空間U,u的投影分別是,3.4.55,研究自適應(yīng)濾波器的遞推算法，當(dāng)然要研究輸出信號(hào)的變化，某時(shí)刻濾波器的估計(jì)誤差及誤差信號(hào)能量都是標(biāo)量。鑒于標(biāo)量可以用一廣義內(nèi)積來(lái)表示，因此，當(dāng)空間發(fā)生變化時(shí)， 標(biāo)量的更新用投影向量與某一向量?jī)?nèi)積的變化來(lái)表示， 這里假設(shè)向量z不變，另一個(gè)向量由PUy變化為PU,uy，根據(jù)內(nèi)積運(yùn)算的性質(zhì)， 可以得到標(biāo)量的更新公式,3.4.56,4. 用向量空間法描述最小二乘問(wèn)題 首先介紹怎樣由數(shù)據(jù)向量構(gòu)造數(shù)據(jù)矩陣。已知一組數(shù)據(jù)x(1),x(2), ,x(n)T構(gòu)成一個(gè)向量x(n)，通過(guò)對(duì)x(n)平移，

58、 并在前端添0，可以構(gòu)成一系列向量z-jx(n)(0jn)。這些向量的組合可構(gòu)成數(shù)據(jù)矩陣，由這些數(shù)據(jù)矩陣分別張成相應(yīng)的向量空間,其中，數(shù)據(jù)矩陣X1,M(n)和X0,M-1(n)分別為,3.4.57,這里，X1,M(n)是一個(gè)nM維的矩陣,這里，X0,M-1(n)是一個(gè)nM維的矩陣。根據(jù)X0,M-1(n)的定義， 可以得到X0,M-1(n-1)是一個(gè)(n-1)M的矩陣，其表達(dá)式為,比較上式和(3.4.57)式， 可以看出,3.4.58,將數(shù)據(jù)矩陣X1,M(n)和X0,M-1(n)張成的向量空間，分別記為X1,M(n)、X0,M-1(n)。 仍用前加窗的方法討論最小二乘問(wèn)題。參照?qǐng)D 3.4.1，

59、已知數(shù)據(jù)x(1), x(2), ,x(n)T，依次通過(guò)M個(gè)權(quán)的FIR濾波器， 第i個(gè)誤差信號(hào)為,1in,將n個(gè)誤差信號(hào)全部寫(xiě)出來(lái)，得到,寫(xiě)成向量的形式,根據(jù)(3.4.17)式得到最小二乘意義下， 的最佳解及其最佳估計(jì),根據(jù)投影矩陣的定義式(3.4.44)，子空間X0,M-1(n)投影矩陣P0,M-1(n)為,得到,5. 抽取參量和角參量 1) 抽取向量(n) 抽取向量(n)用于提取一個(gè)向量最新時(shí)刻的分量，也稱為單位時(shí)間向量，或現(xiàn)時(shí)向量，為了書(shū)寫(xiě)方便，簡(jiǎn)寫(xiě)為(n,n)=0, 0， ，1T,3.4.59,可以看出，(n)表征的是當(dāng)前數(shù)據(jù)向量的方向，因此可以把數(shù)據(jù)空間分解為過(guò)去與當(dāng)前兩個(gè)數(shù)據(jù)子空間。

60、假設(shè)一個(gè)n維數(shù)據(jù)向量x(n)=x(1), x(2), ,x(n)T，它的現(xiàn)時(shí)分量的值可以表示為,x(n)=(n), x(n,3.4.60,n)到(n)的投影矩陣P(n)和正交投影矩陣 分別為,3.4.61,3.4.62,設(shè)定U是一個(gè)nM維矩陣，取u=(n)，考慮當(dāng)U增加了這樣一個(gè)列向量后，投影矩陣和正交投影矩陣發(fā)生的變化。這里， (U,(n)是n (M+1)維的矩陣，因此PU(n)仍是一個(gè)nn維的矩陣，將u的取值代入(3.4.54)式，得到,3.4.63,3.4.64,2) 角參量U(n) 我們先給出角參量的定義， 然后解釋其名稱的由來(lái)。角參量定義為,根據(jù)投影矩陣的反身性,3.4.65,取U(