第7章 線性預(yù)測(cè)和最優(yōu)線性濾波器

1、7.2 前向線性預(yù)測(cè)前向線性預(yù)測(cè)第七章第七章 線性預(yù)測(cè)和最優(yōu)線性濾波器線性預(yù)測(cè)和最優(yōu)線性濾波器7.3 后向線性預(yù)測(cè)后向線性預(yù)測(cè)7.5 最優(yōu)化正規(guī)方程解法最優(yōu)化正規(guī)方程解法7.6 用于濾波和預(yù)測(cè)維納濾波器用于濾波和預(yù)測(cè)維納濾波器7.1 線性預(yù)測(cè)的依據(jù)和特點(diǎn)線性預(yù)測(cè)的依據(jù)和特點(diǎn)7.4 預(yù)測(cè)器與格型濾波器關(guān)系預(yù)測(cè)器與格型濾波器關(guān)系1. 前向預(yù)測(cè)概念前向預(yù)測(cè)概念2. 預(yù)測(cè)器格型表示預(yù)測(cè)器格型表示3. 前向預(yù)測(cè)中的正規(guī)方程的解法前向預(yù)測(cè)中的正規(guī)方程的解法4. 維納濾波器理論及其設(shè)計(jì)方法維納濾波器理論及其設(shè)計(jì)方法l 重點(diǎn)和要求重點(diǎn)和要求7.2 前向線性預(yù)測(cè)前向線性預(yù)測(cè)第七章第七章 線性預(yù)測(cè)和最優(yōu)線性濾波器

2、線性預(yù)測(cè)和最優(yōu)線性濾波器7.3 后向線性預(yù)測(cè)后向線性預(yù)測(cè)7.5 最優(yōu)化正規(guī)方程解法最優(yōu)化正規(guī)方程解法7.6 用于濾波和預(yù)測(cè)維納濾波器用于濾波和預(yù)測(cè)維納濾波器7.1 線性預(yù)測(cè)的依據(jù)和特點(diǎn)線性預(yù)測(cè)的依據(jù)和特點(diǎn)7.4 預(yù)測(cè)器與格型濾波器關(guān)系預(yù)測(cè)器與格型濾波器關(guān)系信號(hào)之間的關(guān)聯(lián)性信號(hào)之間的關(guān)聯(lián)性系統(tǒng)的慣性系統(tǒng)的慣性隨機(jī)信號(hào)預(yù)測(cè)特點(diǎn)隨機(jī)信號(hào)預(yù)測(cè)特點(diǎn)1.信號(hào)之間的關(guān)聯(lián)性信號(hào)之間的關(guān)聯(lián)性 信號(hào)之所以能夠預(yù)測(cè)，在于數(shù)據(jù)間存在不同信號(hào)之所以能夠預(yù)測(cè)，在于數(shù)據(jù)間存在不同程度的關(guān)聯(lián)性。預(yù)測(cè)就是利用數(shù)據(jù)前后的關(guān)聯(lián)性，程度的關(guān)聯(lián)性。預(yù)測(cè)就是利用數(shù)據(jù)前后的關(guān)聯(lián)性，根據(jù)其中一部分推知其余部分。顯然數(shù)據(jù)間關(guān)聯(lián)根據(jù)其中一部分推

3、知其余部分。顯然數(shù)據(jù)間關(guān)聯(lián)越密切，預(yù)測(cè)越準(zhǔn)確；完全不關(guān)聯(lián)，則無(wú)法預(yù)測(cè)。越密切，預(yù)測(cè)越準(zhǔn)確；完全不關(guān)聯(lián)，則無(wú)法預(yù)測(cè)。1. 信號(hào)之間的關(guān)聯(lián)性信號(hào)之間的關(guān)聯(lián)性周期信號(hào)周期信號(hào)：只要知道一個(gè)周期，則以后的：只要知道一個(gè)周期，則以后的信號(hào)就可以按照第一個(gè)周期完全無(wú)誤地預(yù)信號(hào)就可以按照第一個(gè)周期完全無(wú)誤地預(yù)測(cè)出來(lái)。測(cè)出來(lái)。 白噪聲信號(hào)白噪聲信號(hào)：由于其前后毫無(wú)關(guān)聯(lián)，使預(yù)：由于其前后毫無(wú)關(guān)聯(lián)，使預(yù)測(cè)無(wú)所依據(jù)而無(wú)法預(yù)測(cè)。測(cè)無(wú)所依據(jù)而無(wú)法預(yù)測(cè)。平穩(wěn)隨機(jī)信號(hào)平穩(wěn)隨機(jī)信號(hào)：均值為常數(shù)，自相關(guān)函數(shù)：均值為常數(shù)，自相關(guān)函數(shù)只與時(shí)間間隔有關(guān)，可以進(jìn)行預(yù)測(cè)。只與時(shí)間間隔有關(guān)，可以進(jìn)行預(yù)測(cè)。2. 系統(tǒng)慣性系統(tǒng)慣性 ( )H

4、z nx是有慣性的系統(tǒng)，因而是有慣性的系統(tǒng)，因而 是有色的。是有色的。)(n( )H z)(nx ( )( )x nnh n3. 隨機(jī)信號(hào)預(yù)測(cè)特點(diǎn)隨機(jī)信號(hào)預(yù)測(cè)特點(diǎn)l只能利用隨機(jī)信號(hào)的統(tǒng)計(jì)規(guī)律作為預(yù)測(cè)的依據(jù)，只能利用隨機(jī)信號(hào)的統(tǒng)計(jì)規(guī)律作為預(yù)測(cè)的依據(jù)， 也就是說(shuō)隨機(jī)信號(hào)之所以能夠預(yù)測(cè)在于其存在也就是說(shuō)隨機(jī)信號(hào)之所以能夠預(yù)測(cè)在于其存在某些統(tǒng)計(jì)上的規(guī)律。某些統(tǒng)計(jì)上的規(guī)律。l不能精確使預(yù)測(cè)誤差為零，而只能從統(tǒng)計(jì)意義不能精確使預(yù)測(cè)誤差為零，而只能從統(tǒng)計(jì)意義 上做到最優(yōu)預(yù)測(cè)，使預(yù)測(cè)誤差的均方值最小。上做到最優(yōu)預(yù)測(cè)，使預(yù)測(cè)誤差的均方值最小。l實(shí)際獲得的信號(hào)是帶噪聲干擾的，這使得預(yù)測(cè)實(shí)際獲得的信號(hào)是帶噪聲干擾的

5、，這使得預(yù)測(cè)和濾波緊密相連，稱為帶濾波的預(yù)測(cè)或預(yù)測(cè)濾和濾波緊密相連，稱為帶濾波的預(yù)測(cè)或預(yù)測(cè)濾波。不考慮噪聲干擾時(shí)的預(yù)測(cè)或不帶濾波的預(yù)波。不考慮噪聲干擾時(shí)的預(yù)測(cè)或不帶濾波的預(yù)測(cè)為純預(yù)測(cè)。測(cè)為純預(yù)測(cè)。7.2 前向線性預(yù)測(cè)前向線性預(yù)測(cè)第七章第七章 線性預(yù)測(cè)和最優(yōu)線性濾波器線性預(yù)測(cè)和最優(yōu)線性濾波器7.3 后向線性預(yù)測(cè)后向線性預(yù)測(cè)7.5 最優(yōu)化正規(guī)方程解法最優(yōu)化正規(guī)方程解法7.6 用于濾波和預(yù)測(cè)維納濾波器用于濾波和預(yù)測(cè)維納濾波器7.1 線性預(yù)測(cè)的依據(jù)和特點(diǎn)線性預(yù)測(cè)的依據(jù)和特點(diǎn)7.4 預(yù)測(cè)器與格型濾波器關(guān)系預(yù)測(cè)器與格型濾波器關(guān)系 前向線性預(yù)測(cè)前向線性預(yù)測(cè) 后向線性預(yù)測(cè)后向線性預(yù)測(cè) 格形濾波器格形濾波器 已

6、知已知n時(shí)刻以前的時(shí)刻以前的p個(gè)信號(hào)數(shù)據(jù)個(gè)信號(hào)數(shù)據(jù) ，用這，用這p個(gè)數(shù)據(jù)來(lái)線性預(yù)測(cè)個(gè)數(shù)據(jù)來(lái)線性預(yù)測(cè)n時(shí)刻信號(hào)時(shí)刻信號(hào) 的值，如圖所示，預(yù)測(cè)值為的值，如圖所示，預(yù)測(cè)值為(),x np(1), (1)x npx n)(nx1( )( ) ()ppkx nak x nk 其預(yù)測(cè)誤差為其預(yù)測(cè)誤差為 (a) 稱此預(yù)測(cè)稱此預(yù)測(cè)器為器為p p階階前向線性預(yù)測(cè)器。前向線性預(yù)測(cè)器。 令誤差令誤差的的均方均方值最小，值最小，即求即求由此解得由此解得將式將式(a)代入上式，得代入上式，得 2( )0( )ppEfnak()( )01,2,pE x ni fnip1( )( )( )( )( ) ()pppkfnx

7、nx nx nak x nk (b)由最小均方誤差的表達(dá)式及正交性原理可求得最由最小均方誤差的表達(dá)式及正交性原理可求得最小的均方誤差為小的均方誤差為 (c)聯(lián)立式聯(lián)立式(b)與式與式(c)得得 1( )( )()1,2,pxpxkr iak r ikip 2min( )( ( )( )( )ffPPppEEfnEx nx nfn( )( )( )( )( )pE x n fnE x nx nx n1(0)( ) ( )pxpxkrak r k (d) 前向線性預(yù)測(cè)的前向線性預(yù)測(cè)的Wiener-Hopf方程方程 解此方程則得解此方程則得p階線性預(yù)測(cè)器的最佳參數(shù)階線性預(yù)測(cè)器的最佳參數(shù) 及及 。11

8、( )( ) ()1,2,(0)( ) ( )pxpxkpfxpxPkr iak r ikiprak r kE ( )pakfPEx1xx(0) (1) ( )( 1) (0) (1) () (1) (0)xxxxpxxrrrparrrparprpr 100fpE矩陣矩陣形式形式前向預(yù)測(cè)濾波器性質(zhì)：前向預(yù)測(cè)濾波器性質(zhì)： 白化性質(zhì)白化性質(zhì) 預(yù)測(cè)濾波器是預(yù)測(cè)濾波器是 最小相位系統(tǒng)最小相位系統(tǒng)首先我們闡述白化性質(zhì)，回憶首先我們闡述白化性質(zhì)，回憶AR過(guò)程的過(guò)程的Yule-Walker方方程：程： 121*()( )()0()0pk xkpxk xwkxa r mkmqr ma r mkmqrmm（d）

9、式與）式與AR模型參數(shù)的正則方程式極其相似，有模型參數(shù)的正則方程式極其相似，有 ， 成立。這說(shuō)明，對(duì)于同一個(gè)成立。這說(shuō)明，對(duì)于同一個(gè)p階的階的AR隨機(jī)信號(hào)隨機(jī)信號(hào) ，其，其AR模型和同階的最模型和同階的最佳線性預(yù)測(cè)器模型是佳線性預(yù)測(cè)器模型是等價(jià)等價(jià)的。所以有的。所以有 (f )即即p階線性預(yù)測(cè)器的輸出是一個(gè)白噪聲序列。階線性預(yù)測(cè)器的輸出是一個(gè)白噪聲序列。 ( )( )paka k2fpwE)(nx1( )( )( )( )( ) ()pppkfnx nx nx nak x nk1( )( ) ()( )mkx na k x nkw n結(jié)論結(jié)論：對(duì)于給定的隨機(jī)信號(hào)對(duì)于給定的隨機(jī)信號(hào) ，若其最佳前

10、向線性，若其最佳前向線性預(yù)測(cè)器的階次等于預(yù)測(cè)器的階次等于 的的AR模型階次時(shí)，其前向線性模型階次時(shí)，其前向線性預(yù)測(cè)誤差為白噪聲序列。所以階次等于預(yù)測(cè)誤差為白噪聲序列。所以階次等于AR模型階次的模型階次的最佳前向預(yù)測(cè)誤差濾波器實(shí)際上是最佳前向預(yù)測(cè)誤差濾波器實(shí)際上是AR模型的逆系統(tǒng)，模型的逆系統(tǒng)，即白化濾波器。即白化濾波器。 )(nx)(nx1( )( )H zA z( )x n( )w n-1( )( )HzA z( )x n( )w n圖a AR(p)模型圖b 預(yù)測(cè)誤差模型7.2 前向線性預(yù)測(cè)前向線性預(yù)測(cè)第七章第七章 線性預(yù)測(cè)和最優(yōu)線性濾波器線性預(yù)測(cè)和最優(yōu)線性濾波器7.3 后向線性預(yù)測(cè)后向線性

11、預(yù)測(cè)7.5 最優(yōu)化正規(guī)方程解法最優(yōu)化正規(guī)方程解法7.6 用于濾波和預(yù)測(cè)維納濾波器用于濾波和預(yù)測(cè)維納濾波器7.1 線性預(yù)測(cè)的依據(jù)和特點(diǎn)線性預(yù)測(cè)的依據(jù)和特點(diǎn)7.4 預(yù)測(cè)器與格型濾波器關(guān)系預(yù)測(cè)器與格型濾波器關(guān)系用同一組數(shù)據(jù)用同一組數(shù)據(jù)來(lái)同時(shí)實(shí)現(xiàn)前向和后向預(yù)測(cè)，則后向預(yù)測(cè)器表示來(lái)同時(shí)實(shí)現(xiàn)前向和后向預(yù)測(cè)，則后向預(yù)測(cè)器表示為為 預(yù)測(cè)誤差預(yù)測(cè)誤差10()( ) ()ppkx npb k x nk ( ),x n(1), (1)x npx n100( )()()()( ) ()( ) (),( )1pppkpppkgnx npx npx npbk x nkbk x nk bp 后向預(yù)測(cè)器也可用直接型后向預(yù)測(cè)器

12、也可用直接型FIR濾波器結(jié)構(gòu)或格型濾波器結(jié)構(gòu)或格型結(jié)構(gòu)實(shí)現(xiàn)，其對(duì)應(yīng)系數(shù)和前向?yàn)V波器的關(guān)系如下：結(jié)構(gòu)實(shí)現(xiàn)，其對(duì)應(yīng)系數(shù)和前向?yàn)V波器的關(guān)系如下：預(yù)測(cè)誤差可以表示為預(yù)測(cè)誤差可以表示為 *101( )()()()( ) ()()( ) ()pppkppkgnx npx npx npb k x nkx npak x npk*( )(),0,1,ppbkapkkp對(duì)應(yīng)的均方誤差為對(duì)應(yīng)的均方誤差為仿照前向預(yù)測(cè)器的推導(dǎo)方法，最小化均方誤差可仿照前向預(yù)測(cè)器的推導(dǎo)方法，最小化均方誤差可導(dǎo)出：導(dǎo)出：對(duì)應(yīng)的最小均方誤差和前向預(yù)測(cè)器相同。對(duì)應(yīng)的最小均方誤差和前向預(yù)測(cè)器相同。120( )(0)( ) ( )pbPpxpxk

13、Egnrbk r k1( )( ) ()1,2,pxpxkr lak r lklp 1(0)( ) ()pbfPPxpxkEErak rk=minbbPPE后向預(yù)測(cè)濾波器性質(zhì)：后向預(yù)測(cè)濾波器性質(zhì)： 最大相位系統(tǒng)性質(zhì)最大相位系統(tǒng)性質(zhì) 具有最小相位具有最小相位 后向預(yù)測(cè)誤差的正交性后向預(yù)測(cè)誤差的正交性 前后向預(yù)測(cè)濾波器的其他性質(zhì)，教材前后向預(yù)測(cè)濾波器的其他性質(zhì)，教材633頁(yè)頁(yè)*1( )()pppBzzAz( )pAz*0,01( )( ),mlbmlmE gn g nElm 7.2 前向線性預(yù)測(cè)前向線性預(yù)測(cè)第七章第七章 線性預(yù)測(cè)和最優(yōu)線性濾波器線性預(yù)測(cè)和最優(yōu)線性濾波器7.3 后向線性預(yù)測(cè)后向線性預(yù)

14、測(cè)7.5 最優(yōu)化正規(guī)方程解法最優(yōu)化正規(guī)方程解法7.6 用于濾波和預(yù)測(cè)維納濾波器用于濾波和預(yù)測(cè)維納濾波器7.1 線性預(yù)測(cè)的依據(jù)和特點(diǎn)線性預(yù)測(cè)的依據(jù)和特點(diǎn)7.4 預(yù)測(cè)器與格型濾波器關(guān)系預(yù)測(cè)器與格型濾波器關(guān)系預(yù)測(cè)誤差可以表示成直接型預(yù)測(cè)誤差可以表示成直接型FIR濾波器濾波器0( )( )pkppkAzak z前后向預(yù)測(cè)誤差濾波器系數(shù)之間關(guān)系的前后向預(yù)測(cè)誤差濾波器系數(shù)之間關(guān)系的z域表示：域表示：*( )(),0,1,ppbkapkkp( )( )( )ppGzBz X z0( )( )( )( )( )pppGzGzBzX zG z*00*10( )( )()( )()ppkkpppkkppkpppk

15、Bzb k zapk zzak zzAz直接型直接型FIR濾波器的全零點(diǎn)格型濾波器等效：濾波器的全零點(diǎn)格型濾波器等效：其中其中 為反射系數(shù)，為反射系數(shù)， 為后向預(yù)測(cè)誤差。為后向預(yù)測(cè)誤差。( )mgnmK0011*11( )( )( )( )( )(1),1,2,( )( )(1),1,2,mmmmmmmmfng nx nfnfnK gnmpgnK fngnmp全零點(diǎn)格型濾波器和前后向預(yù)測(cè)器誤差的關(guān)系：全零點(diǎn)格型濾波器和前后向預(yù)測(cè)器誤差的關(guān)系：3. 格型濾波器的格型濾波器的Z域表示域表示相應(yīng)的相應(yīng)的z變換的表達(dá)式為變換的表達(dá)式為格型濾波器的時(shí)域表達(dá)式為格型濾波器的時(shí)域表達(dá)式為0011*11( )

16、( )( )( )( )(1),1,2,( )( )(1),1,2,mmmmmmmmfng nx nfnfnK gnmpgnK fngnmp00111*111( )( )( )( )( )( ),1,2,( )( )( ),1,2,mmmmmmmmF zG zX zFzFzK z Gz mpGnK Fzz Gz mp3. 格型濾波器的格型濾波器的Z域表示域表示它們它們z變換的表達(dá)式為變換的表達(dá)式為把它們都除以把它們都除以X(z)得到得到其對(duì)應(yīng)的矩陣形式為其對(duì)應(yīng)的矩陣形式為00111*111( )( )( )( )( )( ),1,2,( )( )( ),1,2,mmmmmmmmF zG zX

17、zFzFzK z Gz mpGnK Fzz Gz mp00111*111( )( )1( )( )( ),1,2,( )( )( ),1,2,mmmmmmmmA zB zAzAzK z Bz mpBnK Azz Bz mp11*11( )1( )( )( )mmmmmmAzK zAzBzBzKz4. 預(yù)測(cè)系數(shù)遞推公式預(yù)測(cè)系數(shù)遞推公式從上式可以推出：從上式可以推出：00111*111( )( )1( )( )( ),1,2,( )( )( ),1,2,mmmmmmmmA zB zAzAzK z Bz mpBnK Azz Bz mp11111*(1)11000( )( )( ),1,2,( )(

18、)(1)mmmmmmmkkkmmmmkkkAzAzK z Bz mpak zak zKamk z 4. 預(yù)測(cè)系數(shù)遞推公式預(yù)測(cè)系數(shù)遞推公式遞推關(guān)系：遞推關(guān)系：具體如下：具體如下：11111*(1)11000( )( )( ),1,2,( )( )(1)mmmmmmmkkkmmmmkkkAzAzK z Bz mpak zak zKamk z *11*11(0)1,( )( )( )()( )( )(),11,1,2,mmmmmmmmmmaamKakakK amkakam amkkmmp5. 反射系數(shù)遞推公式反射系數(shù)遞推公式遞推公式為：遞推公式為：詳細(xì)公式為：詳細(xì)公式為：112( )( )( )(

19、),1,2,1ppmmmmmKapAzK BzAzmpK*122( )( )( )( )( )()( ),11( )1,2,mmmmmmmmmmmKamakK bkakam amkakKammp7.2 前向線性預(yù)測(cè)前向線性預(yù)測(cè)第七章第七章 線性預(yù)測(cè)和最優(yōu)線性濾波器線性預(yù)測(cè)和最優(yōu)線性濾波器7.3 后向線性預(yù)測(cè)后向線性預(yù)測(cè)7.5 最優(yōu)化正規(guī)方程解法最優(yōu)化正規(guī)方程解法7.6 用于濾波和預(yù)測(cè)維納濾波器用于濾波和預(yù)測(cè)維納濾波器7.1 線性預(yù)測(cè)的依據(jù)和特點(diǎn)線性預(yù)測(cè)的依據(jù)和特點(diǎn)7.4 預(yù)測(cè)器與格型濾波器關(guān)系預(yù)測(cè)器與格型濾波器關(guān)系1. 正規(guī)方程正規(guī)方程前向預(yù)測(cè)誤差均方值最小化得到的預(yù)測(cè)器系數(shù)為正規(guī)前向預(yù)測(cè)誤差

20、均方值最小化得到的預(yù)測(cè)器系數(shù)為正規(guī)方程，即方程，即其對(duì)應(yīng)的緊湊形式為其對(duì)應(yīng)的緊湊形式為其其MMSE為為1( )( ) (),1,2,pxpxkr lak r lk lp 0( ) ()0,1,2,(0)1ppxkpak r lklpa1min(0)( ) ()pffppxpxkErak rk 二者結(jié)合得到擴(kuò)展正規(guī)方程為：二者結(jié)合得到擴(kuò)展正規(guī)方程為：2. Levinson-Durbin算法算法正規(guī)方程的緊湊形式為正規(guī)方程的緊湊形式為0,0( ) ()0,1,2,fpppxkElak r lklp0( ) ()0,1,2,(0)1ppxkpak r lklpa其對(duì)應(yīng)的自相關(guān)矩陣為其對(duì)應(yīng)的自相關(guān)矩陣

21、為由于由于Toeplitz矩陣矩陣Hermitian矩陣矩陣2. Levinson-Durbin算法算法*(0)(1)(1)(1)(0)(2)=(1)(2)(0)xxxxxxpxxxrrrprrrprprpr ( , )=()ppi jij*( , )=( , )ppi jj i2. Levinson-Durbin算法算法算法思路為利用矩陣算法思路為利用矩陣Toeplitz性質(zhì)，遞推處理得到最后性質(zhì)，遞推處理得到最后的解。先從階數(shù)的解。先從階數(shù)1的預(yù)測(cè)器開始，再遞推地增加階數(shù)，的預(yù)測(cè)器開始，再遞推地增加階數(shù)，使用低階的解得到下一個(gè)高階解。使用低階的解得到下一個(gè)高階解。通過(guò)求解如下方程通過(guò)求解如

22、下方程一階預(yù)測(cè)器的解為一階預(yù)測(cè)器的解為0( ) ()0,1,2,(0)1ppxkpak r lklpa1(1)(1)(0)xxrar 2. Levinson-Durbin算法算法對(duì)應(yīng)的一階對(duì)應(yīng)的一階MMSE為：為：對(duì)于二階通過(guò)求解如下方程對(duì)于二階通過(guò)求解如下方程得到兩個(gè)方程為得到兩個(gè)方程為0( ) ()0,1,2,(0)1ppxkpak r lklpa2111(0)(1) ( 1)(0) 1(1)fxxxErarra*2222(1) (0)(2)(1)(1)(1) (1)(2) (0)(2)xxxxxxararrararr 2. Levinson-Durbin算法算法結(jié)合一階方程的解，得到二階

23、預(yù)測(cè)器系數(shù)：結(jié)合一階方程的解，得到二階預(yù)測(cè)器系數(shù)：112211*2121(2)(1) (1)(2)(1) (1)(2)(0) 1(1)(1)(1)(2)(1)xxxxfxrarraraEraaaaa 按照此規(guī)律即可利用前一階得到后一階的系數(shù)，按照此規(guī)律即可利用前一階得到后一階的系數(shù)，將系數(shù)向量寫成向量和的形式，如下將系數(shù)向量寫成向量和的形式，如下是第是第m-1階預(yù)測(cè)器的系數(shù)向量，向量階預(yù)測(cè)器的系數(shù)向量，向量 ， 標(biāo)標(biāo)量待定。量待定。2. Levinson-Durbin算法算法11(1)(2)( )0mmmmmmmaaKamdaa1mdmK首先處理自相關(guān)矩陣，公式如下：首先處理自相關(guān)矩陣，公式如

24、下：其中其中 ，星號(hào)表示共軛，星號(hào)表示共軛，t表示轉(zhuǎn)置，上標(biāo)表示轉(zhuǎn)置，上標(biāo)b表示向量表示向量 的元素的元素按照倒序排列。按照倒序排列。2. Levinson-Durbin算法算法11(1)(2)(1)()btbtmxxxmrmrmr rr*1111=(0)bmmmbtmmrrr求解如下方程：求解如下方程： ，得到如下解，得到如下解2. Levinson-Durbin算法算法=-mmm ar*11-11-1111+0(0)( )bmmmmmbtmmmmKrrm rdrar通過(guò)上式得到如下兩個(gè)方程通過(guò)上式得到如下兩個(gè)方程*1-11-1111-11-1(0)( )bmmmmm mmbtbtmmmmm

25、 xxKK rrm adrrrard由于由于 ，得到第一個(gè)方程的解為，得到第一個(gè)方程的解為2. Levinson-Durbin算法算法111=-mmmar*1*1-11*1(1)(2)(1)mbmmmmmmamamKKada結(jié)合結(jié)合 ，利用第二個(gè)方程求解，利用第二個(gè)方程求解mK1md*1-11-1111-11-1(0)( )bmmmmm mmbtbtmmmmm xxKK rrm adrrrard2. Levinson-Durbin算法算法*111111*11(0)( )( )(0)btbbtmxmmmmxbtxmmmbtbxmmKrrmrmKr rararara2. Levinson-Durb

26、in算法算法得到得到 的表達(dá)式為：的表達(dá)式為：mK1111*11*11*11( )( )( )(0)( )( )()( )( )()1,2,1,1,2,btbtxmmxmmmmfbtbmxmmmmmmmmmrmrmamKErakakK amkakam amkkmmp rarara結(jié)合結(jié)合 和和 的解，得到算法的表達(dá)式的解，得到算法的表達(dá)式mK1md算法對(duì)應(yīng)的算法對(duì)應(yīng)的MMSE表達(dá)式為表達(dá)式為2. Levinson-Durbin算法算法1*1112211(0)( )()(0)( )( )()()1( )1,1,2,fmxmxkmxmmmxkffmmmmErak rkrakam amkrkEamE

27、Kmp7.2 前向線性預(yù)測(cè)前向線性預(yù)測(cè)第七章第七章 線性預(yù)測(cè)和最優(yōu)線性濾波器線性預(yù)測(cè)和最優(yōu)線性濾波器7.3 后向線性預(yù)測(cè)后向線性預(yù)測(cè)7.5 最優(yōu)化正規(guī)方程解法最優(yōu)化正規(guī)方程解法7.6 用于濾波和預(yù)測(cè)維納濾波器用于濾波和預(yù)測(cè)維納濾波器7.1 線性預(yù)測(cè)的依據(jù)和特點(diǎn)線性預(yù)測(cè)的依據(jù)和特點(diǎn)7.4 預(yù)測(cè)器與格型濾波器關(guān)系預(yù)測(cè)器與格型濾波器關(guān)系在生產(chǎn)實(shí)踐中，信號(hào)都會(huì)受到噪聲干擾的。如何最大在生產(chǎn)實(shí)踐中，信號(hào)都會(huì)受到噪聲干擾的。如何最大限度地抑制噪聲，將有用信號(hào)分離出來(lái)？限度地抑制噪聲，將有用信號(hào)分離出來(lái)？濾波器：當(dāng)信號(hào)與噪聲同時(shí)輸入時(shí)，在輸出端能將信濾波器：當(dāng)信號(hào)與噪聲同時(shí)輸入時(shí)，在輸出端能將信號(hào)盡可能精確

28、地重現(xiàn)，而噪聲受到最大抑制。號(hào)盡可能精確地重現(xiàn)，而噪聲受到最大抑制。維納過(guò)濾與卡爾曼過(guò)濾就是一類從噪聲中提取信號(hào)的維納過(guò)濾與卡爾曼過(guò)濾就是一類從噪聲中提取信號(hào)的方法。方法。1. 引言引言2020世紀(jì)著名數(shù)學(xué)家諾伯特世紀(jì)著名數(shù)學(xué)家諾伯特維納，從小就智力超維納，從小就智力超常，三歲時(shí)就能讀寫，十四歲時(shí)就大學(xué)畢業(yè)了。常，三歲時(shí)就能讀寫，十四歲時(shí)就大學(xué)畢業(yè)了。幾年后，他又通過(guò)了博士論文答辯，成為美國(guó)哈幾年后，他又通過(guò)了博士論文答辯，成為美國(guó)哈佛大學(xué)的科學(xué)博士。佛大學(xué)的科學(xué)博士。維納維納在其維納在其5050年的科學(xué)生涯中，先后涉足哲學(xué)、數(shù)學(xué)、年的科學(xué)生涯中，先后涉足哲學(xué)、數(shù)學(xué)、物理學(xué)和工程學(xué)，最后轉(zhuǎn)向生

29、物學(xué)，在各個(gè)領(lǐng)域中物理學(xué)和工程學(xué)，最后轉(zhuǎn)向生物學(xué)，在各個(gè)領(lǐng)域中都取得了豐碩成果，稱得上是恩格斯頌揚(yáng)過(guò)的、本都取得了豐碩成果，稱得上是恩格斯頌揚(yáng)過(guò)的、本世紀(jì)多才多藝和學(xué)識(shí)淵博的科學(xué)巨人。他一生發(fā)表世紀(jì)多才多藝和學(xué)識(shí)淵博的科學(xué)巨人。他一生發(fā)表論文論文240240多篇，著作多篇，著作1414本。他的主要成果有如下幾本。他的主要成果有如下幾個(gè)方面：個(gè)方面：l建立維納測(cè)度建立維納測(cè)度l引進(jìn)巴拿赫引進(jìn)巴拿赫維納空間維納空間l闡述位勢(shì)理論闡述位勢(shì)理論l發(fā)展調(diào)和分析發(fā)展調(diào)和分析l發(fā)現(xiàn)發(fā)現(xiàn)維納維納霍普夫方法霍普夫方法l創(chuàng)立控制論創(chuàng)立控制論提出維納濾波理論：在第二次世界大戰(zhàn)期間，為了解決防空提出維納濾波理論：在第

30、二次世界大戰(zhàn)期間，為了解決防空火力控制和雷達(dá)噪聲濾波問(wèn)題，維納綜合運(yùn)用了他以前幾方火力控制和雷達(dá)噪聲濾波問(wèn)題，維納綜合運(yùn)用了他以前幾方面的工作，于面的工作，于19421942年年2 2月首先給出了從時(shí)間序列的過(guò)去數(shù)據(jù)推月首先給出了從時(shí)間序列的過(guò)去數(shù)據(jù)推知未來(lái)的維納濾波公式，知未來(lái)的維納濾波公式，建立了在最小均方誤差準(zhǔn)則建立了在最小均方誤差準(zhǔn)則下利用下利用時(shí)間序列進(jìn)行預(yù)測(cè)的維納濾波理論。時(shí)間序列進(jìn)行預(yù)測(cè)的維納濾波理論。 維納在問(wèn)題中引進(jìn)維納在問(wèn)題中引進(jìn)統(tǒng)計(jì)因素統(tǒng)計(jì)因素并使用了并使用了自相關(guān)和互相關(guān)自相關(guān)和互相關(guān)函數(shù)函數(shù)，事實(shí)證明這是極其重要的。維納濾波模型在，事實(shí)證明這是極其重要的。維納濾波模型

31、在5050年代年代被推廣到僅在有限時(shí)間區(qū)間內(nèi)進(jìn)行觀測(cè)的平穩(wěn)過(guò)程以及某被推廣到僅在有限時(shí)間區(qū)間內(nèi)進(jìn)行觀測(cè)的平穩(wěn)過(guò)程以及某些特殊的外平穩(wěn)過(guò)程，其應(yīng)用范圍也擴(kuò)充到更多的領(lǐng)域，些特殊的外平穩(wěn)過(guò)程，其應(yīng)用范圍也擴(kuò)充到更多的領(lǐng)域，至今它仍是處理各種動(dòng)態(tài)數(shù)據(jù)至今它仍是處理各種動(dòng)態(tài)數(shù)據(jù)( (如氣象、水文、地震勘探等如氣象、水文、地震勘探等) )及預(yù)測(cè)未來(lái)的有力工具之一。及預(yù)測(cè)未來(lái)的有力工具之一?？柭诳柭?9601960年提出了另一種適年提出了另一種適合于數(shù)字計(jì)算機(jī)計(jì)算的遞推濾波合于數(shù)字計(jì)算機(jī)計(jì)算的遞推濾波法，即所謂的卡爾曼濾波。這種法，即所謂的卡爾曼濾波。這種濾波方法不需要求解積分方程，濾波方法不需要

32、求解積分方程，既適用于平穩(wěn)隨機(jī)過(guò)程，也適用既適用于平穩(wěn)隨機(jī)過(guò)程，也適用于非平穩(wěn)隨機(jī)過(guò)程，是一種有廣于非平穩(wěn)隨機(jī)過(guò)程，是一種有廣泛應(yīng)用價(jià)值的工程方法。泛應(yīng)用價(jià)值的工程方法。 卡爾曼(1)維納濾波根據(jù)估計(jì)信號(hào)的維納濾波根據(jù)估計(jì)信號(hào)的當(dāng)前值，它的解以系統(tǒng)的當(dāng)前值，它的解以系統(tǒng)的系統(tǒng)函數(shù)或單位脈沖響系統(tǒng)函數(shù)或單位脈沖響應(yīng)應(yīng)形式給出。這種系統(tǒng)常稱為最佳線性濾波器。形式給出。這種系統(tǒng)常稱為最佳線性濾波器?？柭鼮V波用前一個(gè)估計(jì)值和最近一個(gè)觀察數(shù)據(jù)來(lái)估卡爾曼濾波用前一個(gè)估計(jì)值和最近一個(gè)觀察數(shù)據(jù)來(lái)估計(jì)信號(hào)當(dāng)前值，它用狀態(tài)方程和遞推的方法進(jìn)行估計(jì)，計(jì)信號(hào)當(dāng)前值，它用狀態(tài)方程和遞推的方法進(jìn)行估計(jì)，它的它的解以估計(jì)

33、值解以估計(jì)值（常是狀態(tài)變量值）形式給出。系統(tǒng)（常是狀態(tài)變量值）形式給出。系統(tǒng)常稱為線性最優(yōu)估計(jì)器。常稱為線性最優(yōu)估計(jì)器。共同點(diǎn)：共同點(diǎn)：都解決最佳線性濾波和預(yù)測(cè)問(wèn)題，都以均都解決最佳線性濾波和預(yù)測(cè)問(wèn)題，都以均方誤差最小為最優(yōu)準(zhǔn)則，平穩(wěn)條件下它們得到的穩(wěn)方誤差最小為最優(yōu)準(zhǔn)則，平穩(wěn)條件下它們得到的穩(wěn)態(tài)結(jié)果一致。態(tài)結(jié)果一致。( )H z( )h n維納濾波和卡爾曼濾波比較：維納濾波和卡爾曼濾波比較：不同點(diǎn)：不同點(diǎn)：( ), (1), ()x n x nx nm(2)維納濾波維納濾波只適用于平穩(wěn)隨機(jī)過(guò)程，卡爾曼濾波，卡爾曼濾波適用于平穩(wěn)和非平穩(wěn)隨機(jī)過(guò)程。(3)維納濾波維納濾波設(shè)計(jì)時(shí)要已知信號(hào)與噪聲的統(tǒng)

34、計(jì)分布規(guī)律?？柭鼮V波卡爾曼濾波設(shè)計(jì)時(shí)要求已知狀態(tài)方程和量測(cè)方程。(4) 卡爾曼濾波比維納濾波優(yōu)越，計(jì)算方便，可用卡爾曼濾波比維納濾波優(yōu)越，計(jì)算方便，可用于平穩(wěn)和非平穩(wěn)隨機(jī)過(guò)程、時(shí)變和非時(shí)變系統(tǒng)。于平穩(wěn)和非平穩(wěn)隨機(jī)過(guò)程、時(shí)變和非時(shí)變系統(tǒng)。(5) (5) 卡爾曼濾波是在維納濾波基礎(chǔ)上發(fā)展的，是對(duì)卡爾曼濾波是在維納濾波基礎(chǔ)上發(fā)展的，是對(duì)最佳線性過(guò)濾問(wèn)題的一種新的算法。維納濾波的物最佳線性過(guò)濾問(wèn)題的一種新的算法。維納濾波的物理概念更清楚。理概念更清楚。( )( )( )( )( ) ()mx ns nv ny nh m x nm=+=-維納濾波器輸入輸出關(guān)系維納濾波器輸入輸出關(guān)系( )( )+ +s

35、 nv n希望希望x(n)通過(guò)線性系統(tǒng)通過(guò)線性系統(tǒng)h(n)后得到的后得到的y(n)盡量接近盡量接近s(n)，稱稱y(n)為為s(n)的估計(jì)值的估計(jì)值, 用用 表示。表示。( )s n( )( )= =y ns n這種線性系統(tǒng)這種線性系統(tǒng)h(.)稱為對(duì)于稱為對(duì)于s(n)的一種估計(jì)器。的一種估計(jì)器。( )( ) ()my nh m x nm=- 從從當(dāng)前和過(guò)去當(dāng)前和過(guò)去的觀測(cè)值的觀測(cè)值x(n),x(n-1),x(n-2), x(n),x(n-1),x(n-2), x(n-m) x(n-m) 估計(jì)估計(jì)當(dāng)前當(dāng)前的信號(hào)值的信號(hào)值 稱為稱為濾波濾波。( )( )y ns n= 從從過(guò)去過(guò)去的觀測(cè)值的觀測(cè)值

36、x(nx(n1),x(n-2), x(n-m)1),x(n-2), x(n-m)估計(jì)估計(jì)當(dāng)前當(dāng)前 的或?qū)?lái)的或?qū)?lái)的信號(hào)值的信號(hào)值 稱為稱為預(yù)測(cè)或預(yù)測(cè)或 外推外推。( )() (0)y ns nNN=+ 從從過(guò)去過(guò)去的觀測(cè)值的觀測(cè)值x(nx(n1),x(n-2), x(n-m)1),x(n-2), x(n-m)估計(jì)估計(jì)過(guò)過(guò) 去去的信號(hào)的信號(hào) 值，稱為平滑或內(nèi)插。值，稱為平滑或內(nèi)插。( )() (1)y ns nNN=- 假設(shè)假設(shè)s(n),w(n),d(n)是零均值廣義平穩(wěn)過(guò)程，線性是零均值廣義平穩(wěn)過(guò)程，線性濾波器是濾波器是FIR或或IIR濾波器。最優(yōu)化濾波器沖激響應(yīng)的濾波器。最優(yōu)化濾波器沖激響

37、應(yīng)的準(zhǔn)則為均方誤差最小。所謂維納濾波是指最小均方誤準(zhǔn)則為均方誤差最小。所謂維納濾波是指最小均方誤差（差（MMSE）意義上的最優(yōu)線性濾波器。均方誤差是）意義上的最優(yōu)線性濾波器。均方誤差是以估計(jì)結(jié)果與信號(hào)真值之間的誤差的均方值。以估計(jì)結(jié)果與信號(hào)真值之間的誤差的均方值。2. 維納濾波的應(yīng)用維納濾波的應(yīng)用在通信系統(tǒng)中，為了在接收端補(bǔ)償信道傳輸引入的在通信系統(tǒng)中，為了在接收端補(bǔ)償信道傳輸引入的各種畸變，在對(duì)接收信號(hào)進(jìn)行檢測(cè)之前，通過(guò)一個(gè)各種畸變，在對(duì)接收信號(hào)進(jìn)行檢測(cè)之前，通過(guò)一個(gè)濾波器對(duì)信道失真進(jìn)行校正，這個(gè)濾波器稱為信道濾波器對(duì)信道失真進(jìn)行校正，這個(gè)濾波器稱為信道均衡器。均衡器。信道均衡器的結(jié)構(gòu)示意l

38、 通信的信道均衡器通信的信道均衡器2. 維納濾波的應(yīng)用維納濾波的應(yīng)用 發(fā)送端發(fā)送序列發(fā)送端發(fā)送序列( )s n 經(jīng)信道傳輸后，接收端的濾波器輸入信經(jīng)信道傳輸后，接收端的濾波器輸入信 號(hào)，可能號(hào)，可能包含畸變，加性噪聲，多徑效應(yīng)。包含畸變，加性噪聲，多徑效應(yīng)。( )x n 期望信號(hào)，期望信號(hào)，( )d n( )( )d ns n 盡量確定維納濾波器系數(shù)，使盡量確定維納濾波器系數(shù)，使 盡可能逼盡可能逼近近 即即 ，也就是使估計(jì)誤差的均，也就是使估計(jì)誤差的均方值最小，（均方誤差最小準(zhǔn)則）方值最小，（均方誤差最小準(zhǔn)則）( )s n( )s n( )( )( )e ns ns nl 通信的信道均衡器通信

39、的信道均衡器l 系統(tǒng)辨識(shí)系統(tǒng)辨識(shí)2. 維納濾波的應(yīng)用維納濾波的應(yīng)用有一個(gè)系統(tǒng)是未知的，設(shè)計(jì)一個(gè)線性濾波器盡可有一個(gè)系統(tǒng)是未知的，設(shè)計(jì)一個(gè)線性濾波器盡可能精確的逼近這個(gè)未知系統(tǒng)，維納濾波器實(shí)現(xiàn)一能精確的逼近這個(gè)未知系統(tǒng)，維納濾波器實(shí)現(xiàn)一個(gè)個(gè)統(tǒng)計(jì)意義上最優(yōu)（統(tǒng)計(jì)意義上最優(yōu)（估計(jì)誤差的均方值最小估計(jì)誤差的均方值最?。┑牡膶?duì)未知系統(tǒng)的逼近。對(duì)未知系統(tǒng)的逼近。2. 維納濾波的應(yīng)用維納濾波的應(yīng)用l 最優(yōu)線性預(yù)測(cè)最優(yōu)線性預(yù)測(cè)通過(guò)一個(gè)隨機(jī)信號(hào)已存在的數(shù)據(jù)通過(guò)一個(gè)隨機(jī)信號(hào)已存在的數(shù)據(jù) (1) , (2) , ,x nx n 來(lái)預(yù)測(cè)一個(gè)新值來(lái)預(yù)測(cè)一個(gè)新值 ，這是一步前向線，這是一步前向線性預(yù)測(cè)問(wèn)題。由性預(yù)測(cè)問(wèn)題。

40、由 的線性的線性組合得到對(duì)組合得到對(duì) 的最優(yōu)估計(jì)，相當(dāng)于設(shè)計(jì)一個(gè)的最優(yōu)估計(jì)，相當(dāng)于設(shè)計(jì)一個(gè)FIR濾濾波器對(duì)波器對(duì) ， 進(jìn)行線性運(yùn)進(jìn)行線性運(yùn)算，來(lái)估計(jì)期望響應(yīng)算，來(lái)估計(jì)期望響應(yīng) ，維納濾波器可以用，維納濾波器可以用于設(shè)計(jì)均方誤差最小的最優(yōu)預(yù)測(cè)器。于設(shè)計(jì)均方誤差最小的最優(yōu)預(yù)測(cè)器。(1)x nm( )x n (1), (2), (1)x nx nx nm( )x n (1) , (2) ,x nx n, (1)x nm( )( )d nx n3. 維納濾波器的時(shí)域解維納濾波器的時(shí)域解假設(shè)濾波系統(tǒng)假設(shè)濾波系統(tǒng) 是一個(gè)線性時(shí)不變系統(tǒng)，它的是一個(gè)線性時(shí)不變系統(tǒng)，它的 和輸入信號(hào)都是復(fù)函數(shù)，設(shè)和輸入信號(hào)都是

41、復(fù)函數(shù)，設(shè)維納濾波器設(shè)計(jì)的任務(wù)就是選擇維納濾波器設(shè)計(jì)的任務(wù)就是選擇,使其輸出使其輸出信號(hào)信號(hào) 與期望信號(hào)誤差的均方值最小，實(shí)質(zhì)是與期望信號(hào)誤差的均方值最小，實(shí)質(zhì)是解維納霍夫方程。解維納霍夫方程。( )h n( )h n( )y n( )( )( )h na njb n( )d n3.1維納濾波器時(shí)域求解的方法維納濾波器時(shí)域求解的方法( )h n0,1,n 3.1維納濾波器時(shí)域求解的方法維納濾波器時(shí)域求解的方法考慮系統(tǒng)的因果性，可得到濾波器的輸出考慮系統(tǒng)的因果性，可得到濾波器的輸出 0( )( )( )( ) ()my nh nx nh m x nm0,1,n 設(shè)期望信號(hào)設(shè)期望信號(hào) ，誤差信號(hào)，

42、誤差信號(hào) 及其均方誤差及其均方誤差 分別為分別為( )d n2( )E e n( )( )( )( )( )e nd ny ns ny n2220( )( )( )( )( ) ()mE e nE d ny nE d nh m x nm( )e n3.1維納濾波器時(shí)域求解的方法維納濾波器時(shí)域求解的方法要使均方誤差為最小，需滿足：要使均方誤差為最小，需滿足：2( )0jE e nh這里，表示這里，表示 ，用，用 ， 表示表示 ，。，。ja( )h jjhjb( )a j( )b j由于由于 是一標(biāo)量，因此上式是一個(gè)標(biāo)量對(duì)是一標(biāo)量，因此上式是一個(gè)標(biāo)量對(duì)復(fù)函數(shù)求導(dǎo)的問(wèn)題，等價(jià)于復(fù)函數(shù)求導(dǎo)的問(wèn)題，等價(jià)

43、于2( )E e n3.1維納濾波器時(shí)域求解的方法維納濾波器時(shí)域求解的方法記記22( )( )0( )jjEe nEe njab0,1,2,j jjjjab 0,1,2,j 則則 式可寫為式可寫為2( )0jEe n( )3.1維納濾波器時(shí)域求解的方法維納濾波器時(shí)域求解的方法2( )( )( )( )( )( )( )( )( )0jjjjje ne ne ne nE e nEe ne nje nje naabb0( )( )( )( )( ) ()me nd ny nd nh m x nm( )()je nx nja 得得將上式展開將上式展開由于由于( )()je njx njb ( )()

44、je nx nja ( )()je njx njb 3.1維納濾波器時(shí)域求解的方法維納濾波器時(shí)域求解的方法將如上各項(xiàng)代入將如上各項(xiàng)代入 表達(dá)式，整理得：表達(dá)式，整理得：0,1,2, ,j2( )2() ( )0jE e nE x nj e n 2( )jE e n因此因此() ( )0E x nj e n等價(jià)于等價(jià)于() ( )0E xn je n上式說(shuō)明，均方誤差達(dá)到最小值的充要條件是誤差上式說(shuō)明，均方誤差達(dá)到最小值的充要條件是誤差信號(hào)與任一進(jìn)入估計(jì)的輸入信號(hào)正交，這就是信號(hào)與任一進(jìn)入估計(jì)的輸入信號(hào)正交，這就是正交正交性原理性原理。3.1維納濾波器時(shí)域求解的方法維納濾波器時(shí)域求解的方法00(

45、 )( )( ) ()( )( )()( )jjE y n e nEh j x nj e nh j E x nj e n下面計(jì)算輸出信號(hào)與誤差信號(hào)的互相關(guān)函數(shù)下面計(jì)算輸出信號(hào)與誤差信號(hào)的互相關(guān)函數(shù)假定濾波器工作于最佳狀態(tài)，濾波器的輸出假定濾波器工作于最佳狀態(tài)，濾波器的輸出 與期望信號(hào)與期望信號(hào) 的誤差為的誤差為 ，則，則( )( )0optoptE yn en ( )optyn( )d n( )opten可見(jiàn)，在濾波器工作于最佳狀態(tài)時(shí)，輸出和誤差信可見(jiàn)，在濾波器工作于最佳狀態(tài)時(shí)，輸出和誤差信號(hào)也是正交的。號(hào)也是正交的。3.2 維納維納-霍夫方程霍夫方程將將 展開，得展開，得()( )0E x

46、nk e n0()( )( )()0mE x nk dnh m x nm整理得整理得0()( )()dxxxmrkh m rmk0,1,2,k 對(duì)兩邊取共軛，并利用相關(guān)函數(shù)的性質(zhì)對(duì)兩邊取共軛，并利用相關(guān)函數(shù)的性質(zhì) ,得得()( )yxxyrkrk0( )( )()( )( )xdxxxxmrkh m rkmh krk0,1,2,k 3.2 維納維納-霍夫方程霍夫方程 此式稱為維納此式稱為維納-霍夫霍夫(Wiener-Hopf)方程。解此方程方程。解此方程可得到最優(yōu)權(quán)系數(shù)可得到最優(yōu)權(quán)系數(shù) ，此式是維納濾波，此式是維納濾波器的一般方程，根據(jù)權(quán)系數(shù)是有限個(gè)還是無(wú)限個(gè)可器的一般方程，根據(jù)權(quán)系數(shù)是有限個(gè)

47、還是無(wú)限個(gè)可以分別設(shè)計(jì)以分別設(shè)計(jì)IIR型和型和FIR型維納濾波器。型維納濾波器。012,h h h 3.3 FIR型維納濾波器型維納濾波器 FIR濾波器濾波器 是一個(gè)長(zhǎng)度為是一個(gè)長(zhǎng)度為M的因果序列的因果序列(即即 是一個(gè)長(zhǎng)度為是一個(gè)長(zhǎng)度為M的的FIR濾波器濾波器)時(shí)，維納時(shí)，維納-霍夫方程霍夫方程表述為表述為( )h n( )h n10( )( )()( )( )Mxdxxxxmrkh m rkmh krk0,1,2,1kM把把 的取值代入上式，得的取值代入上式，得k 時(shí)1k 12(1)(0)(2)(1)xxxxMxxxdhrh rh rMr 時(shí)1kM12(1)(2)(0)(1)xxxxMxx

48、xdhrMh rMh rrM 時(shí)0k 12(0)( 1)(1)(0)xxxxMxxxdhrh rh rMr3.3 FIR型維納濾波器型維納濾波器則維納則維納-霍夫方程可寫成矩陣形式霍夫方程可寫成矩陣形式定義定義121MMhhhh1(0)(1)(1)xdxdxdxdMrrr MR(0)(1 )(1 )(1 )(0)(2)(1 )(2)(0)xxxxxxxxxxxxxxxxxxxxM Mrrr Mrrr Mr Mr MrRxdxxRR h對(duì)上式求逆，得對(duì)上式求逆，得1xxxdhR R3.3 FIR型維納濾波器型維納濾波器1xxxdhR R維納維納-霍夫方程矩陣形式霍夫方程矩陣形式 此式表明，此式表

49、明，已知期望信號(hào)與觀測(cè)數(shù)據(jù)的互相關(guān)已知期望信號(hào)與觀測(cè)數(shù)據(jù)的互相關(guān)函數(shù)及觀測(cè)數(shù)據(jù)的自相關(guān)函數(shù)函數(shù)及觀測(cè)數(shù)據(jù)的自相關(guān)函數(shù)時(shí)，可以通過(guò)矩陣求時(shí)，可以通過(guò)矩陣求逆運(yùn)算，得到維納濾波器的最佳解。逆運(yùn)算，得到維納濾波器的最佳解。 同時(shí)可以看到，直接從時(shí)域求解維納濾波器，同時(shí)可以看到，直接從時(shí)域求解維納濾波器，并不是一個(gè)有效的方法，當(dāng)并不是一個(gè)有效的方法，當(dāng) 較大時(shí)，計(jì)算量很大，較大時(shí)，計(jì)算量很大，并需計(jì)算并需計(jì)算 ，從而要求存儲(chǔ)量也很大。另外，具，從而要求存儲(chǔ)量也很大。另外，具體實(shí)現(xiàn)時(shí)，濾波器的長(zhǎng)度由實(shí)驗(yàn)確定，體實(shí)現(xiàn)時(shí)，濾波器的長(zhǎng)度由實(shí)驗(yàn)確定， 增加，需增加，需在新在新 基礎(chǔ)上重新計(jì)算?；A(chǔ)上重新計(jì)算。M

50、MMxxR3.3 FIR型維納濾波器型維納濾波器FIR型維納濾波器的最小均方誤差型維納濾波器的最小均方誤差22( )( )( )E e nE d ny n 設(shè)所研究的信號(hào)是零均值的，濾波器為設(shè)所研究的信號(hào)是零均值的，濾波器為FIR型，長(zhǎng)型，長(zhǎng)度等于度等于M，則，則210( )( ) ()MkE d nh k x nk*1100( )( ) ()( )( ) ()MMkiEd nh k x nkd nh i x ni 3.3 FIR型維納濾波器型維納濾波器1220( )( )( )() ( )MkE e nE d nh k E x nk d n111*000( )()( )( ) ( ) ()

51、()MMMikih i E x ni dnh k h i E x nk x ni 111120000( )( )( )( )( ) ( )()MMMMdxdxdxxkkkih k rkh k rkh k h i rki 2()()()TTTdxdxdxxhRRhhR h2111()() ()TTdxdxxxdxxxdxxxxxdRR RhR RRhR R3.3 FIR型維納濾波器型維納濾波器將將 代入得代入得:2212min( )()()TTdxdxxxddxdoptE e nRR RRh1xxxdhR R4.離散維納濾波的離散維納濾波的Z域解域解時(shí)域求解維納濾波器很困難，用時(shí)域求解維納濾波器

52、很困難，用Z域求解。又因?yàn)閷?shí)際域求解。又因?yàn)閷?shí)際的系統(tǒng)是因果的，維納的系統(tǒng)是因果的，維納-霍夫方程有個(gè)霍夫方程有個(gè) 的約束條件，所的約束條件，所以不能直接轉(zhuǎn)入以不能直接轉(zhuǎn)入Z域求解它的域求解它的 。這是因?yàn)檩斎胄盘?hào)與期望信號(hào)的互是一個(gè)因果序列。這是因?yàn)檩斎胄盘?hào)與期望信號(hào)的互是一個(gè)因果序列。這里我們利用將這里我們利用將 加以白化的方法來(lái)求維納加以白化的方法來(lái)求維納-霍夫方程的霍夫方程的Z域解域解(由波德由波德(Bode)和香農(nóng)和香農(nóng)(Shannon)首先提出的方法首先提出的方法)。0k ( )( )optoptHzht( )x n4.離散維納濾波的離散維納濾波的Z域解域解21( )( ) ()x

53、xwszB z B z 是一個(gè)因果是一個(gè)因果(物理可實(shí)現(xiàn)物理可實(shí)現(xiàn))的最小相位系統(tǒng)。的最小相位系統(tǒng)。把信號(hào)轉(zhuǎn)化為白噪聲的過(guò)程稱為白化。把信號(hào)轉(zhuǎn)化為白噪聲的過(guò)程稱為白化。白化濾波器( )B z( )w n( )x n( )B z1( )Bz( )w n( )x n白噪聲功率譜密度為：白噪聲功率譜密度為：( )( )( )x ns nv n=+21ss( )( ) ()wzA z A zs sF F-=s(n)的信號(hào)模型的信號(hào)模型x(n)的信號(hào)模型的信號(hào)模型2( )wwwzs sF F=4. 離散維納濾波的離散維納濾波的Z域解域解21( )( ) ()xxwzB z B zs sF F-=B(z)

54、是是x(n)的的形成網(wǎng)絡(luò)的傳形成網(wǎng)絡(luò)的傳函函維納濾波器輸入輸出的維納濾波器輸入輸出的信號(hào)模型信號(hào)模型( )( )( )x ns nv n=+x(n)的信號(hào)模型的信號(hào)模型4. 離散維納濾波的離散維納濾波的Z域解域解如果如果 是是 在單位圓內(nèi)在單位圓內(nèi)( )的一對(duì)共軛的一對(duì)共軛極點(diǎn)（零點(diǎn)），則極點(diǎn)（零點(diǎn)），則 必是單位圓外一對(duì)相應(yīng)必是單位圓外一對(duì)相應(yīng)的極點(diǎn)（零點(diǎn)）。的極點(diǎn)（零點(diǎn)）。11,21jzrew w=( )xxzF F11r 11,21/jzerw w=m m令令B(z)是由圓內(nèi)的零極點(diǎn)組成，則是由圓內(nèi)的零極點(diǎn)組成，則B(z-1)是由相應(yīng)的圓是由相應(yīng)的圓外的零極點(diǎn)組成。外的零極點(diǎn)組成。一個(gè)穩(wěn)

55、定因果系統(tǒng)，其收斂域?yàn)橐粋€(gè)穩(wěn)定因果系統(tǒng)，其收斂域?yàn)?，即，即H(z)的全部的全部極點(diǎn)應(yīng)落在單位圓內(nèi)。因此極點(diǎn)應(yīng)落在單位圓內(nèi)。因此B(z)是因果且最小相位系統(tǒng)，是因果且最小相位系統(tǒng)，1/B(z)也是也是因果最小相位系統(tǒng)因果最小相位系統(tǒng)。1z ( )( )( )X zB z W z=1( )( )( )W zX zB z=4. 離散維納濾波的離散維納濾波的Z域解域解利用白化利用白化x(n)的方法來(lái)求解維納霍夫方程的方法來(lái)求解維納霍夫方程4. 離散維納濾波的離散維納濾波的Z域解域解求解步驟：求解步驟： 對(duì)觀測(cè)信號(hào)對(duì)觀測(cè)信號(hào) 的自相關(guān)函數(shù)的自相關(guān)函數(shù) 求求z變換得變換得 。 利用等式利用等式 ，找到最

56、小相位系統(tǒng)，找到最小相位系統(tǒng)B(z) 。 利用均方誤差最小原則求解利用均方誤差最小原則求解G(z)。 H(z) =G(z)/B(z)，得到維納霍夫方程的系統(tǒng)函數(shù)解。，得到維納霍夫方程的系統(tǒng)函數(shù)解。 ( )x n()xxmf f( )xxzf f21( )( ) ()xxwzB z B zs sF F-=4. 離散維納濾波的離散維納濾波的Z域解域解4.1 非因果維納濾波器的求解非因果維納濾波器的求解該信號(hào)為實(shí)信號(hào)，該信號(hào)為實(shí)信號(hào)， 是是 的逆的逆Z變換。變換。( )g n( )G z( )( )( )( )( ) ()ky ns nw ng ng k w nk( )( )( )e ns ns n

57、22( )( )( ) ()kE e nEs ng k w nk2( )( ) ( )() ()krEs nEg k g r w nk w nr ( )() ( )( ) ()( )kkEgk w nk s ng r w nr s n要使均方誤差最小，當(dāng)且僅當(dāng)要使均方誤差最小，當(dāng)且僅當(dāng)22(0)( )( )( )( )( )sswwswskkkrg kg k rkg k rk222( )( )(0)( )wswssswkkwwrkrkrg kk ( )( )0wswwrkg k因此因此 的最佳值為的最佳值為( )g n4.1 非因果維納濾波器的求解非因果維納濾波器的求解兩邊取兩邊取Z變換變換k

58、 2( )( )wsoptwrkgk2( )( )wsoptwSzGz非因果維納濾波器的最佳解為非因果維納濾波器的最佳解為2( )( )1( )( )( )optwsoptwGzSzHzB zB z4.1 非因果維納濾波器的求解非因果維納濾波器的求解因?yàn)橐驗(yàn)?，且，且 根據(jù)相根據(jù)相關(guān)卷積定理，得關(guān)卷積定理，得()xswsrrbm兩邊取兩邊取Z變換變換1( )( ) ()xswsSzSz B z( )( )( )s ns nn( )( )( )x nw nb n1( ) ( )()xswsSzSzB z代入代入 得到得到( )optHz21( )1( )( ) ()( )xsxsoptwxxSS

59、zHzB z B zSz4.1 非因果維納濾波器的求解非因果維納濾波器的求解假定信號(hào)與噪聲不相關(guān)，即假定信號(hào)與噪聲不相關(guān)，即 ，有，有( ) ( )0E s n v n( )( ( )( )()( )xsssrmEs nv ns nmrm( )( ( )( ) ( ()()( )( )xxssvvrmEs nv ns nmv nmr mrm兩邊取兩邊取Z變換，得變換，得( )( )xsssSzSz代入代入 表達(dá)式，得表達(dá)式，得( )wsSz1( )( )()sswsSzSzB z( )( )( )xxssvvSzSzSz4.1 非因果維納濾波器的求解非因果維納濾波器的求解代入代入 式，非因果維

60、納濾波器的復(fù)頻域式，非因果維納濾波器的復(fù)頻域最佳解最佳解( )( )( )( )( )xsssoptxxssvvSzSzHSzSzSz非因果維納濾波器的頻率響應(yīng)為非因果維納濾波器的頻率響應(yīng)為()( )()()()( )( )jjssssoptjjssvvssvvSePHeSeSePP( )( )( )xsoptxxSzHzSz4. 離散維納濾波的離散維納濾波的Z域解域解4.1 非因果維納濾波器的求解非因果維納濾波器的求解()( )()()()( )( )jjssssoptjjssvvssvvePHeeePPw ww wwwwww wwwwwF F FFFF 決定于信號(hào)與噪聲的功率譜密度。決定于