北航 時間序列與譜估計(2017-L3-4)

第六章自回歸譜估計：概述引言AR過程的特性AR過程譜估計器的特性AR過程參數(shù)和反射系數(shù)的估計AR過程功率譜密度的估計噪聲對AR譜估計器的影響模型階次的選擇經(jīng)典譜估計：給定隨機(jī)時間序列{x(n)|n=0,1,…}的一個長度為N的測量數(shù)據(jù)x(0),x(1),…,x(N-1),估計r(k),得到P(f)的估計,r(k)的估計值只有有限個非零值。其中r(k),P(f)的理論值和關(guān)系如下：ARMA時間序列{x(n)}譜估計：給定隨機(jī)時間序列{x(n)|n=0,1,…}的一個長度為N的測量數(shù)據(jù)x(0),x(1),…,x(N-1),估計幾個精度較高的r(k),得到模型的參數(shù)估計，從而得到P(f)的估計。其中r(k)與模型參數(shù)的關(guān)系：ARMA參數(shù)建模譜估計擴(kuò)展Yule-Walker方程AR，MA參數(shù)建模譜估計AR模型有時稱為全極點模型。MA模型有時稱為全零點模型AR參數(shù)建模譜估計方法理論：由參數(shù)估計：根據(jù){x[0],x[1],…,x[N-1]}，估計,k=0,1,…,p解Yule-Walker方程，得到及，從而得到Y(jié)ule-Walker方程Yule-Walker方程AR過程自相關(guān)矩陣AR過程參數(shù)Yule-Walker方程對于k=1,2,…,p對于k=0,1,2,…,p自回歸譜估計：引言AR過程的特性線性預(yù)測與AR模型的關(guān)系；最小相位特性；Levinson算法；AR過程的等價表示；格型濾波器；自相關(guān)矩陣求逆。AR過程譜估計器的特性隱含的自相關(guān)函數(shù)延拓；最大熵譜估計；譜的平坦度；AR譜估計的界。AR過程參數(shù)和反射系數(shù)的估計極大似然估計；AR參數(shù)和反射系數(shù)估計的統(tǒng)計特性；AR過程功率譜密度的估計極大似然估計；AR功率譜密度估計的統(tǒng)計特性。噪聲對AR譜估計器的影響模型階次的選擇自回歸譜估計：引言AR譜估計是最常用的時間序列建模譜估計方法AR參數(shù)的精確估計可以通過解一組線性方程獲得MA或ARMA參數(shù)需求解一組高度非線性方程當(dāng)模型正確時，AR譜估計比基于FT的譜估計有更小的偏差和方差A(yù)R譜估計有時也稱為最大熵譜估計或線性預(yù)測譜估計AR過程的性質(zhì)和AR參數(shù)估計的基本方法AR過程的特性AR過程的線性預(yù)測m階最佳線性預(yù)測濾波器根據(jù){x[n-1],x[n-2],…,x[n-m]}(即前m個樣本)的線性組合來預(yù)測樣本x[n]，記為，預(yù)測誤差記為，有m階線性預(yù)測濾波器m階最佳線性預(yù)測濾波器AR過程的特性AR過程的線性預(yù)測m階最佳線性預(yù)測濾波器m階最佳線性預(yù)測濾波器的預(yù)測誤差及系數(shù)各階最佳線性預(yù)測濾波器預(yù)測誤差的關(guān)系A(chǔ)R過程的特性AR過程的線性預(yù)測p階AR過程p階AR過程與p階最佳線性預(yù)測濾波器當(dāng)數(shù)據(jù)序列為p階AR過程時，p階最佳線性預(yù)測濾波器的系數(shù)與p階AR過程的參數(shù)相同，且預(yù)測誤差與AR過程的激勵噪聲的方差相等；即有AR過程的特性AR過程的線性預(yù)測最佳線性預(yù)測濾波器：當(dāng)數(shù)據(jù)為p階AR時間序列時，p階最佳線性預(yù)測濾波器為最佳線性預(yù)測濾波器；即有最佳線性預(yù)測濾波器(PEF)：當(dāng)數(shù)據(jù)為p階AR時間序列時，(PEF)是逆濾波器A(z)：它的輸入為x[n]，輸出為預(yù)測誤差e[n]；

p階最佳線性預(yù)測濾波器與p階AR時間序列模型對照關(guān)系如圖（下頁圖）。AR過程的特性最小相位特性對于AR過程，1/A(z)的所有極點均在單位圓內(nèi)，保證AR過程x[n]是廣義平穩(wěn)序列，如果有任一極點在單位圓外，x[n]的方差將是無窮大；AR過程的Yule-Walker方程的解不能提供信息保證1/A(z)的所有極點均在單位圓內(nèi)；自相關(guān)序列稱為是有效的，如果自相關(guān)矩陣是正定的。AR過程的特性最小相位特性對于AR過程，如果自相關(guān)矩陣是正定的，則p階最佳線性預(yù)測誤差濾波器是最小相位的。AR過程的特性最小相位特性假設(shè)A(z)有一零點在單位圓外，即有某個因此，有AR過程的特性最小相位特性AR過程的特性最小相位特性因此有預(yù)測濾波器具有更小的預(yù)測誤差，與是最小預(yù)測誤差濾波器矛盾。進(jìn)一步可證明[Burg,1975],如果自相關(guān)矩陣是正定的，則所有零點必在單位圓內(nèi)。但是，如果是正定的，而是奇異的，則最小預(yù)測誤差濾波器的所有零點在單位圓上。AR過程的特性最小相位特性所有零點在單位圓上的例子設(shè)x[n]由k個正弦信號組成，則最佳預(yù)測濾波器的所有零點在單位圓上，此時信號可完全預(yù)測。如果A(z)在單位圓上有零點，則上面的預(yù)測誤差為零，A(z)為最佳預(yù)測濾波器，當(dāng)k=p時，有唯一最佳預(yù)測濾波器，當(dāng)k<p時，最佳預(yù)測濾波器不唯一。AR過程的特性正交性設(shè)線性空間H由零均值的隨機(jī)變量組成，定義內(nèi)積和范數(shù)如下，則H構(gòu)成內(nèi)積空間：x與y正交：設(shè)H0為H的子空間，H中元素x在H0中的投影x0滿足：AR過程的特性前向和后向最佳線性預(yù)測濾波器設(shè)隨機(jī)平穩(wěn)序列x[n],{x[n-1],…,x[n-k+1]},x[n-k]，則由k-1階前向和后向最佳線性預(yù)測濾波器：其中k-1表示濾波器階數(shù)，f,b分別表示前向和后向，前向中“n”表示被預(yù)測的樣本時間，后向中“n-1”表示預(yù)測中用到的最后樣本時間。AR過程的特性前向和后向最佳線性預(yù)測濾波器根據(jù)正交性原理有：后一式取復(fù)共軛，得：AR過程的特性前向和后向最佳線性預(yù)測濾波器令有：由有AR過程的特性Levinson算法AR(p)過程的參數(shù)可由p階最佳線性預(yù)測濾波器系數(shù)獲得，可由解Yule-Walker方程獲得，標(biāo)準(zhǔn)的解線性方程組的方法需O(p3)階運算。

Levinson算法利用各階最佳線性預(yù)測濾波器逐步逼近的關(guān)系，獲得AR(p)過程的參數(shù)。Levinson算法利用各階最佳線性預(yù)測濾波器的遞推關(guān)系獲得各階最佳線性預(yù)測濾波器系數(shù)，僅需O(p2)階運算。Levinson算法揭示AR(p)過程的基本性質(zhì)，給出AR(p)過程的幾種等價表示，及以反射系數(shù)和格型濾波器概念。AR過程的特性Levinson算法設(shè)隨機(jī)平穩(wěn)序列x[n],{x[n-1],…,x[n-k+1]},x[n-k]，則k-1階前向和后向最佳線性預(yù)測濾波器：AR過程的特性Levinson算法設(shè)x[n]由{x[n-1],…,x[n-k+1],x[n-k]}得到的k階前向最佳線性預(yù)測濾波估計為，即有：AR過程的特性Levinson算法由正交性，有AR過程的特性Levinson算法有AR過程的特性Levinson算法AR過程的特性Levinson算法AR過程的特性Levinson算法由有AR過程的特性Levinson算法定義反射系數(shù)Kk為：AR過程的特性Levinson算法由得其中，AR過程的特性Levinson算法AR過程的特性Levinson算法AR過程的特性AR過程的等價表示AR(p)過程具有下列等效的表示：(A):{rxx[0],rxx[1],…,rxx[p]}；(B):{rxx[0],K1,K2,…,Kp}；(C):{a[1],a[2],…,a[p],2}；Levinson算法：AR過程的特性AR過程的等價表示由初始解和(6.46)式，有步降(Step-Down,記為SD)算法：由(6.47)式，有用k-i代i,在取復(fù)共軛，得解出代入(6.47)式，有AR過程的特性AR過程的等價表示SD算法：由(6.48)式，得AR(p)的三種等效表示滿足下面等效性質(zhì)：1.是最小相位的，且2.rxx[0]>0和|Kk|<1,i=1,2,…,p;3.{rxx[0],rxx[1],…,rxx[p]}是正定序列；AR過程的特性AR過程的等價表示AR譜估計器的特性隱含的自相關(guān)函數(shù)延拓已知AR(p)的{rxx[0],…,rxx[p]}，由Yule-Walker方程給出，那么AR(p)的譜估計器在z-平面上定義為：其中符號表示估計值，由的z反變換，給出隱含自相關(guān)函數(shù)為：AR譜估計器的特性隱含的自相關(guān)函數(shù)延拓AR譜估計器的特性隱含的自相關(guān)函數(shù)延拓AR譜估計器的特性最大熵譜估計(MESE){rxx[0],…,rxx[p]}已知，選取{rxx[p+1],…}使之保持正定性，有無窮多種方法；Burg:ACF外推后，時間序列有最大熵，時間序列將是最隨機(jī)的，從而PSD將是最平坦（白化）的，產(chǎn)生的譜估計器稱為最大熵譜估計(MESE)；最大熵譜估計(MESE)：對時間序列強(qiáng)加最小的約束，使它的隨機(jī)性最大，將產(chǎn)生最小偏差解；當(dāng)時間序列是高斯過程時，最大熵譜估計(MESE)與AR譜估計器等價。AR譜估計器的特性最大熵譜估計(MESE)設(shè)時間序列是高斯過程，則樣本的熵正比于：最大熵譜估計(MESE)：在下面的約束條件下，極大化樣本的熵，即極大化(6.70)式的值：AR譜估計器的特性最大熵譜估計(MESE)拉格朗日(Lagrange)乘子法，得：求解拉格朗日乘子，得：而{a[1],…,a[p],2}是由已知ACF給定的Yule-Walker方程的解。AR譜估計器的特性譜的平坦度譜的平坦度:功率譜的幾何平均與算術(shù)平均比。如果Pxx(f)多峰值，x=0,Pxx(f)為常數(shù)，x=1.最大熵譜估計(MESE)對應(yīng)于在(6.71)式的約束下，x極大：(6.73)式中，分母為rxx[0]，為(6.71)式的約束條件中給定的，x極大對應(yīng)于(6.73)式中分子極大。AR譜估計器的特性譜的平坦度適當(dāng)選擇濾波器系數(shù)，預(yù)測濾波器是最小相位的。預(yù)測濾波器是最小相位的：設(shè)e[n]表示A(z)對x[n]的預(yù)測誤差時間序列，則AR譜估計器的特性譜的平坦度e極大預(yù)測濾波器A(z)預(yù)測誤差功率最小對于給定信號，Pxx(f)是確定的，從而xrxx[0]是確定的。當(dāng)信號為AR(p)過程時，使p階預(yù)測濾波器A(z)的輸出端譜的平坦度極大，則A(z)的系數(shù)等于AR(p)過程的參數(shù)，預(yù)測濾波器A(z)的輸出序列e[n]的方差等于AR(p)過程的激勵噪聲的方差。AR譜估計器的特性譜的平坦度當(dāng)信號不是AR(k)過程時(