廣義最小二乘法

1、4.5廣義最小二乘法(GLS)GLS-GeneralizedLeastSquares1 .基本原理廣義最小二乘法的基本思想在于引入一個(gè)所謂成形濾波器(白化濾波器)，把相關(guān)噪聲(k)轉(zhuǎn)化成白噪聲(k)o由方程(4-4)、(4-5),系統(tǒng)的差分方程可以表示為,11、a(z)y(k)b(z)u(k)(k)(4-114)式中112na(z)1a1za2zanzb(z1)b0b1z1b2z2bnzn如果知道有色噪聲序列(k)的相關(guān)性，則可以把(k)看成白噪聲通過線性系統(tǒng)后所得的結(jié)果。這種線性系統(tǒng)通常稱為成形濾波器，其差分方程為c(z1)(k)d(z1)(k)(4-115)式中(k)是均值為零的白噪聲序列

2、，c(z1)、d(z1)是z1的多項(xiàng)式。令f(z1)C(z)1f1z1f2z2LLfmzm(4-116)d(z1)-11.、有f(z)(k)(k)或(k)r(k)(4-117)f(z)即(1Lz1f2z2LLfmzm)(k)(k)(4-118)或(k)f1(k1)f2(k2)fm(km)(k)kn1,LL,nN(4119)這一噪聲模型(自回歸模型)的階m,一般事先是不知道的，實(shí)際經(jīng)驗(yàn)表明，若指定為2或3,就可以獲得令人滿意的描述（k）的模型。把方程（4-119）看作輸入為零的差分方程，并由此式來寫出N個(gè)方程。(n(n1)2)f1(n)f2(n1)f1(n1)f2(n)fmfm(n(n1m)2m

3、)(n(n1)2)(nN)fi(n1)f2(n2)fm(nNm)(nN)寫成向量矩陣形式為(4-120)其中(n1)f1(n1)(nN)fm(n)(n1)(nN1)n1)(n1m)(n)(n2m)N2)(nNm)(nN)(n(（4-120）式所示的線性組合關(guān)系是辨識(shí)問題的基本表達(dá)形式，稱作最小二乘格式。應(yīng)用我們熟知的最小二乘法，可求出f的估值。?T1T(4-121)考慮在噪聲模型（4-117）下，系統(tǒng)的差分方程。將（4-117）式得到的(k)1T(k),f(z)代入（4-114）式有11a(z)y(k)b(z)u(k)Vk)(4-122)變換成a(z1)f(z1)y(k)b(z1)f(z1)u

4、(k)(k)(4-123)f(z1)y(k)y(k)(4y(k)aiy(k1)a2y(k2)Lany(kn)b0U(k)DU(k1)Lbnu(kn)(k)(4-127)在(4-126)或(4-127)式中，(k)為不相關(guān)的隨機(jī)序列(白噪聲)，故可以用最小二乘法得到的無偏估計(jì)(即a1,an,bo,b1bn)。由此可見，廣義最小二乘法(GLS)是建立在最小二乘法(LS)的基礎(chǔ)之上的?；咀钚《朔ㄖ皇菑V義最小二乘法在f(z1)1時(shí)的特例。2.計(jì)算步驟：廣義最小二乘法的關(guān)鍵問題是如何用比較簡(jiǎn)便的方法找到成形濾波器的系數(shù)。其計(jì)算是逐次逼近法。下面以(4-121)和(4-123)式為依據(jù)來討論。第一步：

5、應(yīng)用輸入、輸出數(shù)據(jù)u(k)和y(k)(k1,2nN),按最初的模型11aykbukk求出的最小二乘估計(jì)?國(guó)1皆嚀?1考an1玲1)*1)T這個(gè)估值是不精確的，它只是被估參數(shù)的一次近似。第二步：計(jì)算殘差e(1)(),并擬合成形濾波器的模型：e()？(1)(1)y(k)b?(1)(1)u(k)(4-128)或e(1)()y()ai!1)y(k1)摩丫*n)l?J1)u(k)l?1)u(k1)l?；1)u(kn)kn1,nN(4-129)e(k)稱為廣義殘差，用廣義殘差e?代替(k)注意：殘差e(k)是模型噪聲，而k是系統(tǒng)噪聲，可用最小乘法擬合出一個(gè)成型濾波器的模型。e(k)f1e(1)(k1)fm

6、e(1)(km)(k)于是可得a(z1)y(k)b(z1)u(k)(k)(4-126)利用(4-121)式得到f的最小二乘估值其中?(1)T(1)1(1)T(1)e(4-131)智)Te(1)e(1)(n1)e(1)(n2)e(nN)Te(n)LLe(nm1)MMe(nN1)LLe(nmN)第三步：應(yīng)用而所得的成形濾波器，對(duì)輸入輸出數(shù)據(jù)濾波由(4-124)(4-125)式有:y(k)泮)(1)y(k)u(k)f?(1)u(k)(4-132)y(k)y(k)f?(1)y(k1)U(k)u(k)?(1)u(k1)?(1)fmy(km)d1%*m)(4-133)第四步：求出參數(shù)的第二次估值?2按模型

7、a(z-1)y(1)(k)b(z1)U(1)(k)(k)重新估計(jì)，得其最小=乘估值？(2),并轉(zhuǎn)入第二步。以下將重復(fù)以上步驟：由72),按步驟2計(jì)算殘差ek，估值?(2)；按步驟3計(jì)算y(k)、U(k);按步驟求的第3次估值？。進(jìn)行多次循環(huán)，直到的第i次估值？收斂為止。循環(huán)程序的收斂性判斷：iHm?(i)(z1)1(4-134)這意味著殘差e(k)已經(jīng)白噪聲化，數(shù)據(jù)不需要繼續(xù)濾波為)是參數(shù)的一個(gè)良好估計(jì)。廣義最小二乘辯識(shí)算法的程序框圖:3.算例：將GLS算法與LS算法進(jìn)行比較有一單輸入一單輸出系統(tǒng)y(k)a1y(k1)a2y(k2)b1u(k1)的真值為Taa2b-0.50.51.0輸入u(k

8、)是具有零均值和單位方差的獨(dú)立高斯隨機(jī)變量序列；(k)的成形濾波器模型為：f(z1)(k)(1.00.85z1)(k)即f01.0,f10.85(G較大是為了使殘差強(qiáng)烈相關(guān))2(k)是具有方差0.64的零均值白噪聲。辯識(shí)結(jié)果：利用了N=300的輸入輸出數(shù)據(jù)，用廣義最小二乘法(GLS)進(jìn)行迭代計(jì)算。(k)(k)輸入u(k).y(k)nN組圖 4.12 廣義最小二乘辯識(shí)算法的程序框圖每次迭代計(jì)算，都計(jì)算出殘差的均方誤差:T2ef,計(jì)算結(jié)果繪于圖X中。N4,優(yōu)缺點(diǎn)：優(yōu)：能夠克服當(dāng)存在有色噪聲干擾時(shí)，基本最小二乘估計(jì)的有偏性，估計(jì)效果較好，在實(shí)際中得到較好的應(yīng)用。缺：一一計(jì)算量大，每個(gè)循環(huán)要調(diào)用兩次最

9、小二乘法及一次數(shù)據(jù)濾波， 求差分方程（4-123）的參數(shù)估值，是一個(gè)非線性最優(yōu)化問題，不一定總能保證算法對(duì)最優(yōu)解的收斂性。廣義最小二乘法本質(zhì)上是一種逐次逼近法。對(duì)于循環(huán)程序的收斂性還沒有給出證明。GLS算法的最小二乘指標(biāo)函數(shù)J中可能存在一個(gè)以上局部極小值，（特別在信噪比不大時(shí)，J可能是多舉的）。GLS方法的估計(jì)結(jié)果往往取決于所選用參數(shù)的初始估值。參數(shù)估計(jì)初值應(yīng)選得盡量接近優(yōu)參數(shù)。在沒有驗(yàn)前信息的情況下，最小二乘估值被認(rèn)為是最好的初始條件。廣義最小二乘法的收斂速度不是很高。（圖4.11即是一個(gè)說明）。4.6遞推廣義最小二乘法(RGLS)RGLS-RecursiveGeneralizedLeast

10、Squares首先回顧整批GLS辨識(shí)方法中的有關(guān)算式：a(z1)y(k)b(z1)u(k)(k)f(z1)(k)(k)(4-117)a(z1)f(z1)y(k)b(z1)f(z1)u(k)(k)(4-123)1、y(k)f(z)y(k)(4-124)1、u(k)f(z)u(k)(4-125)1_1_a(z)y(k)b(z)u(k)(k)(4-126)(4-126)式的形式和(4-4)、(4-5)式完全一樣，相應(yīng)有Y-Y(4-33)(4-135)為建立遞推計(jì)算公式，當(dāng)觀測(cè)數(shù)據(jù)長(zhǎng)度為N時(shí)，把(4-135)式寫成：YNNNN(4-136)廣義最小二乘法的遞推計(jì)算過程可分成二部分：(1)按遞推最小二乘

11、法(RLS),隨著N的增大，不斷計(jì)算%(逐步接近于無偏)和&(逐步使噪聲白化)；(2)在遞推過程中，%和怡是時(shí)變的，則過濾信號(hào)u(k).y(k)及殘差e(k)是由時(shí)變系統(tǒng)產(chǎn)生，要不斷計(jì)算u(k).y(k)及e(k)。因而，遞推廣義最小二乘法由兩組普通的遞推最小二乘法組成，它們是通過濾波算法聯(lián)系起來的：令Y(k)?(z1)Y(k)u(k)?(z1)u(k)yN1y(nN1)J1y(nN)y(nN1)LLy(N1)u(nN1)LLu(N1)e(k)鍬 z1)y(k)b(z1)u(k)N1e(nN)e(nN1)LLe(nNm1)eN1e(nN1)為由e(n)到e(nNm)所組成的矩陣塊，則有遞推公式：?K(fN1NKN1(yN1(4-114)(4-138)(4-139)(4-140)LPN2)T1(4-144)RGLS辯識(shí)算法的程序框圖(見參考文獻(xiàn)13之P197)。遞推廣義最小二乘法計(jì)算效果較好。應(yīng)當(dāng)說明，它與離線迭代算法不完全等價(jià)。實(shí)踐表明，只要信噪比足夠