第2章 維納濾波

1、1第第2章章 維納濾波維納濾波 2.1問題的提出問題的提出)(nu)(ny)(nd)(ne線性離散時(shí)間濾波器)(nh離散形式維納濾波問題示意圖離散形式維納濾波問題示意圖 在給定的約束在給定的約束條件以及最優(yōu)條件以及最優(yōu)準(zhǔn)則下來設(shè)計(jì)準(zhǔn)則下來設(shè)計(jì)最佳濾波器最佳濾波器 要求要求: 濾波器是離散時(shí)間濾波器；濾波器是線性的；濾波器為無限沖激響應(yīng)（IIR）濾波器，有限沖激響應(yīng)濾波器可以看成是它的一個(gè)特例。準(zhǔn)則準(zhǔn)則: 最小均方誤差（MMSE）準(zhǔn)則。 維納濾波器維納濾波器: 輸入信號(hào)和期望響應(yīng)平穩(wěn)且聯(lián)合平穩(wěn)時(shí)所得到的最佳濾波器。本質(zhì)：本質(zhì)：給定一個(gè)輸入信號(hào)，設(shè)計(jì)一個(gè)線性離散濾波器，對(duì)期望響應(yīng)估計(jì)，使得其估計(jì)誤

2、差的均方值為最小。2第第2章章 維納濾波維納濾波 2.2離散形式維納濾波器的解離散形式維納濾波器的解 單位沖激響應(yīng)單位沖激響應(yīng) 用用 表示，則濾波器的輸出表示，則濾波器的輸出 為線性卷積和為線性卷積和 最小均方誤差準(zhǔn)則下的代價(jià)函數(shù)最小均方誤差準(zhǔn)則下的代價(jià)函數(shù)代價(jià)函數(shù)的梯度向量代價(jià)函數(shù)的梯度向量 進(jìn)一步可求得進(jìn)一步可求得)(nh,210www)(ny, 2 , 1 , 0)()(0nknuwnykk)(2neEJ , 2 , 1 , 0kwJJkk, 2 , 1 , 0)()(2)()(2)(2kneknuEnewneEwneEwJJkkkk3第第2章章 維納濾波維納濾波 置梯度為零置梯度為零,

3、得得維納濾波器最優(yōu)解的一個(gè)充要條件維納濾波器最優(yōu)解的一個(gè)充要條件 ()式中式中 表示濾波器工作在最優(yōu)條件下的估計(jì)誤差。表示濾波器工作在最優(yōu)條件下的估計(jì)誤差。正交原理正交原理: 使均方誤差代價(jià)函數(shù)達(dá)到最小值的充要條件是其相應(yīng)的估計(jì)誤差使均方誤差代價(jià)函數(shù)達(dá)到最小值的充要條件是其相應(yīng)的估計(jì)誤差 正交于正交于用于估計(jì)期望響應(yīng)的每個(gè)輸入樣本值。用于估計(jì)期望響應(yīng)的每個(gè)輸入樣本值。 充要條件之二充要條件之二的推導(dǎo)的推導(dǎo):由正交原理出發(fā)由正交原理出發(fā)整理得整理得定義濾波器輸入的自相關(guān)函數(shù)定義濾波器輸入的自相關(guān)函數(shù) 濾波器輸入與期望響應(yīng)的互相關(guān)函數(shù)濾波器輸入與期望響應(yīng)的互相關(guān)函數(shù) , 2 , 1 , 00)()

4、(kneknuEo)(neo)(neo, 2 , 1 , 00)()()()()()()()(0kinuwndknuEnyndknuEneknuEioioo, 2 , 1 , 0)()()()(0kndknuEinuknuEwioi)()()(kirinuknuE)()()(kpndknuE因輸入平穩(wěn)，因輸入平穩(wěn)，故只與和故只與和的差有關(guān)的差有關(guān)4第第2章章 維納濾波維納濾波 得到得到維納濾波器的另一個(gè)充要條件維納濾波器的另一個(gè)充要條件，即著名的，即著名的維納維納-霍夫（霍夫（Wiener-Hopf）方程）方程為為 2.3離散形式維納濾波器的性質(zhì)離散形式維納濾波器的性質(zhì) 2.3.1正交原理的幾

5、何解釋正交原理的幾何解釋, 2 , 1 , 0)()(0kkpkirwioi樣本空間)0(u)1(u)1(doy) 1 (oe正交原理的幾何解釋（二維的情況）正交原理的幾何解釋（二維的情況） 5第第2章章 維納濾波維納濾波 2.3.2正交原理推論正交原理推論考察濾波器輸出信號(hào)與估計(jì)誤差之間的相關(guān)特性考察濾波器輸出信號(hào)與估計(jì)誤差之間的相關(guān)特性最優(yōu)狀態(tài)下，上式為最優(yōu)狀態(tài)下，上式為 由正交原理由正交原理(右端為零右端為零)可得可得()結(jié)論：維納濾波器的估計(jì)誤差輸入樣本值結(jié)論：維納濾波器的估計(jì)誤差輸入樣本值 和濾波器的輸出正交。和濾波器的輸出正交。 00)()()()()()(kkkkneknuEwn

6、eknuwEnenyE00)()()()()()(kookokokooneknuEwneknuwEnenyE0)()(nenyEoo)(neo)(nyo( )u n6第第2章章 維納濾波維納濾波 2.3.3最小均方誤差最小均方誤差維納濾波器的估計(jì)誤差為維納濾波器的估計(jì)誤差為 ()定義最小均方誤差為定義最小均方誤差為假定假定 和和 為零均值，對(duì)為零均值，對(duì)式兩邊同時(shí)取方差，得式兩邊同時(shí)取方差，得 即即式中：是期望響應(yīng)的方差，是其最優(yōu)估值式中：是期望響應(yīng)的方差，是其最優(yōu)估值 的方差。的方差。 結(jié)論：維納濾波器所得最小均方誤差等于期望響應(yīng)的方差與濾波器輸出方差的差值。結(jié)論：維納濾波器所得最小均方誤差

7、等于期望響應(yīng)的方差與濾波器輸出方差的差值。 )()()()()(ndndnyndneooo( )( )( )ood nd ne n)(2minneEJomin22Jodd22minoddJ2d)(nd2od)(ndo)(ndo( )d n7第第2章章 維納濾波維納濾波 2.4橫向?yàn)V波器的維納解橫向?yàn)V波器的維納解2.4.1橫向?yàn)V波器的維納橫向?yàn)V波器的維納-霍夫方程及其解霍夫方程及其解由級(jí)抽頭延遲線級(jí)聯(lián)而成，每個(gè)抽頭的輸入分別為由級(jí)抽頭延遲線級(jí)聯(lián)而成，每個(gè)抽頭的輸入分別為 各抽頭權(quán)值分別為各抽頭權(quán)值分別為 ，構(gòu)成一組權(quán)系數(shù)，構(gòu)成一組權(quán)系數(shù) 。 1z0w1Mw2Mw1z1z1w)(nu) 1( nu

8、)2(Mnu)1( Mnu)(nd)(nd)(ne橫向?yàn)V波器結(jié)構(gòu)示意圖橫向?yàn)V波器結(jié)構(gòu)示意圖 ) 1(,),1(),(Mnununu110,Mwww) 1, 1 , 0(Mkwk8第第2章章 維納濾波維納濾波 濾波器的當(dāng)前輸入值：濾波器的當(dāng)前輸入值： ，當(dāng)前輸出，期望響應(yīng)為，當(dāng)前輸出，期望響應(yīng)為 重寫維納重寫維納-霍夫方程霍夫方程 定義橫向?yàn)V波器的抽頭輸入定義橫向?yàn)V波器的抽頭輸入 的相關(guān)矩陣為，則的相關(guān)矩陣為，則 式中：式中： 是抽頭輸入向量，矩陣對(duì)稱。是抽頭輸入向量，矩陣對(duì)稱。定義橫向?yàn)V波器抽頭輸入與期望響應(yīng)的互相關(guān)向量為，則定義橫向?yàn)V波器抽頭輸入與期望響應(yīng)的互相關(guān)向量為，則 則橫向?yàn)V波器的維

9、納則橫向?yàn)V波器的維納-霍夫方程式的矩陣表示形式為，即維納解為霍夫方程式的矩陣表示形式為，即維納解為 式中：式中： 是橫向?yàn)V波器最優(yōu)抽頭權(quán)向量。是橫向?yàn)V波器最優(yōu)抽頭權(quán)向量。)(nd)(nu)(ny, 2 , 1 , 0)()(10kkpkirwMioi) 1(,),1(),(Mnununu(0)(1)(1)(1)(0)(2) ( )( )(1)(2)(0)Trrr Mrrr MEnnr Mr MrRuuTMnununun)1(,),1(),()(uTMpppndnE)1 (,),1(),0()()(uppRw opRw1oTMoooowww,1,1 ,0,w9第第2章章 維納濾波維納濾波 2.4

10、.2橫向?yàn)V波器的誤差性能橫向?yàn)V波器的誤差性能一、誤差性能曲面一、誤差性能曲面輸出：輸出：估計(jì)誤差：估計(jì)誤差：均方誤差：均方誤差：誤差性能曲面：將代價(jià)函數(shù)相對(duì)于抽頭權(quán)值的關(guān)系曲面。誤差性能曲面：將代價(jià)函數(shù)相對(duì)于抽頭權(quán)值的關(guān)系曲面。 )()()()()()(10nnnnknuwnyTTMkkuwwu)()()()()()(nnndnyndneTuw22222( ) ( )( ) ( )( ) ( ) ( )( ) ( )( ) ( )2( ) ( ) ( )( )( )2( )TTTTTTdJE e nEd ny nEd nnnE dnn Ennnn E d nnnnnwuwuuwwuwRwwp1

11、0第第2章章 維納濾波維納濾波 代價(jià)函數(shù)是抽頭權(quán)值的二次函數(shù)；代價(jià)函數(shù)是抽頭權(quán)值的二次函數(shù)；如果矩陣是正定，誤差性能曲面就是一個(gè)碗狀曲面，且有唯一的最小值點(diǎn)如果矩陣是正定，誤差性能曲面就是一個(gè)碗狀曲面，且有唯一的最小值點(diǎn) 。該點(diǎn)所對(duì)應(yīng)的權(quán)值為濾波器最優(yōu)權(quán)值，該點(diǎn)的梯度向量等于零該點(diǎn)所對(duì)應(yīng)的權(quán)值為濾波器最優(yōu)權(quán)值，該點(diǎn)的梯度向量等于零 ：而而故可推出，與維納故可推出，與維納-霍夫方程一致?；舴蚍匠桃恢?。minJ0wTMwJwJwJJJ110,pRw2)(2nJpRw o11第第2章章 維納濾波維納濾波 二、最小均方誤差的其他二、最小均方誤差的其他3種表達(dá)式種表達(dá)式最優(yōu)條件下最優(yōu)條件下 又又在零均值

12、的假定條件下，得在零均值的假定條件下，得 進(jìn)一步進(jìn)一步由由 ，得最小均方誤差的，得最小均方誤差的3種表達(dá)式種表達(dá)式 )()(nyndoo)()(nnyToouwoTooTTooTToodnnEnnEndEoRwwwuuwwuuw)()()()()(22pRpwppw12ToTTodo22minoddJpRpwpRww1222minTdoTdoTodJ12第第2章章 維納濾波維納濾波 例例2-1 如圖所示的橫向?yàn)V波器，該系統(tǒng)輸入信號(hào)為，期望響應(yīng)如圖所示的橫向?yàn)V波器，該系統(tǒng)輸入信號(hào)為，期望響應(yīng)試計(jì)算在均方誤差意義下的最佳權(quán)向量和最小均方誤差試計(jì)算在均方誤差意義下的最佳權(quán)向量和最小均方誤差 。解：輸

13、入的自相關(guān)函數(shù)為解：輸入的自相關(guān)函數(shù)為輸入與期望響應(yīng)的互相關(guān)函數(shù)為輸入與期望響應(yīng)的互相關(guān)函數(shù)為 )2sin()(Nnnu)2cos(2)(NnndowminJ0w1z1w)2sin()(Nnnu) 1( nu)2cos(2)(Nnnd)(nd)(ne1 , 02cos5 . 0)(2sin2sin1)()()(1kNkNknNnNknunuEkrNn1 , 02sin)(2sin2cos2)()()(1kNkNknNnNndknuEkpNn13第第2章章 維納濾波維納濾波 由此可得輸入自相關(guān)矩陣和互相關(guān)向量分別為由此可得輸入自相關(guān)矩陣和互相關(guān)向量分別為由，可求得由，可求得可以求得，結(jié)合和的結(jié)果

14、，可得均方誤差性能函數(shù)及其梯度向可以求得，結(jié)合和的結(jié)果，可得均方誤差性能函數(shù)及其梯度向量為量為最佳權(quán)向量也可以通過置均方誤差性能函數(shù)的梯度向量為最佳權(quán)向量也可以通過置均方誤差性能函數(shù)的梯度向量為0求得，見教材求得，見教材13頁(yè)。頁(yè)。本題中最小均方誤差為本題中最小均方誤差為0，但它不是說任何問題中都為，但它不是說任何問題中都為0，一般時(shí)候大于，一般時(shí)候大于0。2)(22ndEdToNN2csc22cot2wpRwo2min22cot220sin022cscTdoNJNNp w5 . 02cos5 . 02cos5 . 05 . 0)0() 1 () 1 ()0(NNrrrrRTTNpp2sin0

15、) 1()0(p14第第2章章 維納濾波維納濾波 三、二次型誤差性能曲面的性質(zhì)三、二次型誤差性能曲面的性質(zhì)把誤差性能函數(shù)重新表示為把誤差性能函數(shù)重新表示為 （該式表明最佳權(quán)向量與最小均方誤差的對(duì)應(yīng)關(guān)系）（該式表明最佳權(quán)向量與最小均方誤差的對(duì)應(yīng)關(guān)系）為使誤差性能曲面的表達(dá)式簡(jiǎn)單化，定義權(quán)偏差向量為為使誤差性能曲面的表達(dá)式簡(jiǎn)單化，定義權(quán)偏差向量為 此時(shí)的二次型誤差性能函數(shù)可以表示為此時(shí)的二次型誤差性能函數(shù)可以表示為 )()()()()()(2min11min111222oToTTTdTTTdTTdJJJwwRwwpRwRpRwpRwRpRwpRpRwwwppwpwRwwTMowww110,wwww

16、RwTJJmin15第第2章章 維納濾波維納濾波 0w1w橫向?yàn)V波器的二次誤差性能曲面和等高線橫向?yàn)V波器的二次誤差性能曲面和等高線 為直觀起見，考慮只有兩個(gè)權(quán)值為直觀起見，考慮只有兩個(gè)權(quán)值 和和 的橫向?yàn)V波器。此時(shí)，誤差性的橫向?yàn)V波器。此時(shí)，誤差性能曲面是三維空間中的一個(gè)拋物面，如圖所示。若用一組能曲面是三維空間中的一個(gè)拋物面，如圖所示。若用一組 J=C 的等值的等值平面來截取誤差性能表面，并向權(quán)值平面投影，則可在權(quán)值平面上可平面來截取誤差性能表面，并向權(quán)值平面投影，則可在權(quán)值平面上可得到一組同心橢圓，這就是誤差性能曲面的等高線圖。橢圓的中心為得到一組同心橢圓，這就是誤差性能曲面的等高線圖。橢

17、圓的中心為性能表面最低點(diǎn)的投影。性能表面最低點(diǎn)的投影。16第第2章章 維納濾波維納濾波 相關(guān)矩陣相關(guān)矩陣R的特征分解與化為標(biāo)準(zhǔn)形的特征分解與化為標(biāo)準(zhǔn)形 誤差性能表面的另一種表示形式誤差性能表面的另一種表示形式: 其中其中要點(diǎn)要點(diǎn):相關(guān)矩陣相關(guān)矩陣R的特征向量矩陣的特征向量矩陣(為正交陣為正交陣)Q可用來實(shí)現(xiàn)坐標(biāo)變換（左乘可用來實(shí)現(xiàn)坐標(biāo)變換（左乘Q逆）。逆）。0det IR110000000M110MqqqQ110,MTQQRnnnqRqvvwQwQwQQwTTTTTTJJJJminminmin)()()(1Tv Q wQ w17第第2章章 維納濾波維納濾波 補(bǔ)充知識(shí)：主成分分析補(bǔ)充知識(shí)：主成分

18、分析PCA（亦稱主成分變換（亦稱主成分變換PCT 或或 K-L變換）變換）PCA：將具有一定相關(guān)性的數(shù)據(jù)重新組合成一組新的相互無關(guān)的數(shù)據(jù)來代替原來數(shù)據(jù)。：將具有一定相關(guān)性的數(shù)據(jù)重新組合成一組新的相互無關(guān)的數(shù)據(jù)來代替原來數(shù)據(jù)。 PCA變換是滿足以下兩個(gè)條件的線性變換：去除變換系數(shù)之間的相關(guān)性，即變換系數(shù)的變換是滿足以下兩個(gè)條件的線性變換：去除變換系數(shù)之間的相關(guān)性，即變換系數(shù)的協(xié)方差矩陣是對(duì)角陣；使變換系數(shù)的方差高度集中，即變換后能量主要集中在前協(xié)方差矩陣是對(duì)角陣；使變換系數(shù)的方差高度集中，即變換后能量主要集中在前M項(xiàng)，保證特征提取時(shí)去掉后面若干項(xiàng)后的均方誤差最小。項(xiàng)，保證特征提取時(shí)去掉后面若干項(xiàng)后的均方誤差最小。 關(guān)鍵：變換矩陣的求取。關(guān)鍵：變換矩陣的求取。 18第第2章章 維納濾波維納濾波 數(shù)學(xué)原理：相當(dāng)于坐標(biāo)的線性變換數(shù)學(xué)原理：相當(dāng)于坐標(biāo)的線性變換首先平移、然后旋轉(zhuǎn)