最小二乘法綜述

1、 #最小二乘法綜述-CAL-FENGHAI.-(YICAI)-CompanyOnel大學(xué)20132014學(xué)年第-學(xué)期期末考試系統(tǒng)辨識(shí)（小論文）題目：最小二乘法綜述學(xué)院：電氣與信息工程學(xué)院系：自動(dòng)化系專業(yè)：自動(dòng)化班級(jí)：自動(dòng)化*班學(xué)生姓名：學(xué)號(hào)：日期：2016/12/27 # I=J摘要：最小二乘法是一種最基本的辨識(shí)方法，本文首先對(duì)系統(tǒng)辨識(shí)概念以及最小二乘法原理進(jìn)行了介紹，針對(duì)最小二乘存在的缺陷：一是隨著數(shù)據(jù)的增長(zhǎng)，最小二乘法將出現(xiàn)所謂的“數(shù)據(jù)飽和”現(xiàn)象；二是存在有色噪聲時(shí)不能獲得無偏一致估計(jì)。進(jìn)行了分析并闡述了幾種能有效解決上述問題的改進(jìn)型最小二乘法，分別稱為遺忘因子法、限定記憶法和廣義最小二乘

2、法，并且在Matlab上進(jìn)行了仿真分析。最后對(duì)最小二乘法在系統(tǒng)辨識(shí)中的發(fā)展趨勢(shì)做了預(yù)測(cè)。關(guān)鍵詞：最小二乘法改進(jìn)型最小二乘法Matlab發(fā)展趨勢(shì) 引言系統(tǒng)辨識(shí)歸根到底是一種數(shù)學(xué)建模的過程，而建模過程中運(yùn)用的方法并不唯一，最小二乘法是較早被應(yīng)用于系統(tǒng)辨識(shí)中的一類方法。1962年，L.A.Zadeh最先提出了系統(tǒng)辨識(shí)的定義：“辨識(shí)就是在輸入和輸出數(shù)據(jù)的基礎(chǔ)上，從一組給定的模型類中，確定一個(gè)與所測(cè)系統(tǒng)等價(jià)的模型?！焙?jiǎn)單的來說，就是在現(xiàn)有數(shù)據(jù)的基礎(chǔ)上，按照一個(gè)準(zhǔn)則在一組模型類中選擇一個(gè)與提供的數(shù)據(jù)擬合得最好的模型。而根據(jù)最小二乘法的定義：“最小二乘法是一種數(shù)學(xué)優(yōu)化技術(shù)，它通過最小化誤差的平方和尋找數(shù)據(jù)的

3、最佳函數(shù)匹配。”其基本思想就是讓實(shí)測(cè)數(shù)據(jù)和估計(jì)數(shù)據(jù)之間的平方和最小，這恰恰是系統(tǒng)辨識(shí)所需要解決的問題，所以最小二乘法很早就被用來求解辨識(shí)中需要的擬合數(shù)學(xué)模型。本文在闡述最小二乘法理論的基礎(chǔ)上對(duì)于其在系統(tǒng)辨識(shí)中的應(yīng)用做了介紹，并指出實(shí)際應(yīng)用中存在的不足，列舉了幾種改進(jìn)型的最小二乘算法限定記憶法和遺忘因子法，并通過Matlab進(jìn)行仿真分析，最后給出了系統(tǒng)辨識(shí)的發(fā)展趨勢(shì)。1.基于最小二乘法的系統(tǒng)辨識(shí)的理論基礎(chǔ)及應(yīng)用最小二乘法歷史簡(jiǎn)介1801年，意大利天文學(xué)家朱賽普皮亞齊發(fā)現(xiàn)了第一顆小行星谷神星。經(jīng)過40天的跟蹤觀測(cè)后，由于谷神星運(yùn)行至太陽背后，使得皮亞齊失去了谷神星的位置。隨后全世界的科學(xué)家利用皮亞

4、齊的觀測(cè)數(shù)據(jù)開始尋找谷神星，但是根據(jù)大多數(shù)人計(jì)算的結(jié)果來尋找谷神星都沒有結(jié)果。時(shí)年24歲的高斯也計(jì)算了谷神星的軌道。奧地利天文學(xué)家海因里希奧爾伯斯根據(jù)高斯計(jì)算出來的軌道重新發(fā)現(xiàn)了谷神星。高斯使用的最小二乘法的方法發(fā)表于1809年他的著作天體運(yùn)動(dòng)論中。經(jīng)過兩百余年后，最小二乘法已廣泛應(yīng)用與科學(xué)實(shí)驗(yàn)和工程技術(shù)中，隨著現(xiàn)代電子計(jì)算機(jī)的普及與發(fā)展，這個(gè)方法更加顯示出其強(qiáng)大的生命力。系統(tǒng)辨識(shí)的理論基礎(chǔ)從字面上講，系統(tǒng)辨識(shí)(SystemIdentification)就是識(shí)別一個(gè)系統(tǒng)、辨識(shí)一個(gè)系統(tǒng)。系統(tǒng)通常是由表征系統(tǒng)輸入輸出關(guān)系的數(shù)學(xué)模型描述的，這個(gè)模型有其特定的結(jié)構(gòu)和參數(shù)。因此，系統(tǒng)辨識(shí)包含系統(tǒng)結(jié)構(gòu)辨識(shí)

5、(SystemStructureIdentification)和參數(shù)估計(jì)(ParameterEstimation)系統(tǒng)結(jié)構(gòu)(或模型結(jié)構(gòu))就是系統(tǒng)數(shù)學(xué)表達(dá)式的形式。對(duì)單輸入單輸出線性系統(tǒng)而言，模型結(jié)構(gòu)就是系統(tǒng)的階次(Order)；對(duì)多變量線性系統(tǒng)而言，模型結(jié)構(gòu)就是系統(tǒng)的能控性結(jié)構(gòu)指數(shù)(ControllabilityStructureIndex)或能觀測(cè)性結(jié)構(gòu)指數(shù)(ObservabilityStructureIndex)，系統(tǒng)階次等于系統(tǒng)的能控性結(jié)構(gòu)指數(shù)或能觀測(cè)性結(jié)構(gòu)指數(shù)之和。對(duì)傳遞函數(shù)而言，系統(tǒng)參數(shù)就是傳遞函數(shù)分子分母多項(xiàng)式的系數(shù)(Coeffi-cient)，系統(tǒng)階次就是傳遞函數(shù)分母多項(xiàng)式的次數(shù)

6、(Degree);對(duì)狀態(tài)空間模型而言，系統(tǒng)參數(shù)就是狀態(tài)空間模型的A，B，C，D矩陣，就是狀態(tài)向量的維數(shù)或矩陣的維數(shù)，它等于系統(tǒng)的能控性結(jié)構(gòu)指數(shù)系統(tǒng)階次或能觀測(cè)性結(jié)構(gòu)指數(shù)之和。求解系統(tǒng)辨識(shí)問題實(shí)質(zhì)上就是找到合適的數(shù)學(xué)方法來判斷系統(tǒng)的結(jié)構(gòu)以及得到系統(tǒng)參數(shù)。最小二乘法原理最小二乘法作為一種傳統(tǒng)的參數(shù)估計(jì)方法，早已經(jīng)被大家所了解。然而大多同學(xué)對(duì)最小二乘法的認(rèn)識(shí)都比較模糊，僅僅把最小二乘法理解為簡(jiǎn)單的線性參數(shù)估計(jì)。事實(shí)上，最小二乘法在參數(shù)估計(jì)、系統(tǒng)辨識(shí)以及預(yù)測(cè)、預(yù)報(bào)等眾多領(lǐng)域都有著廣泛的應(yīng)用。特別是針對(duì)動(dòng)態(tài)系統(tǒng)辨識(shí)的方法有很多，但其中應(yīng)用最廣泛，辨識(shí)效果良好的就是最小二乘辨識(shí)方法，研究最小二乘法在系統(tǒng)辨

7、識(shí)中的應(yīng)用具有現(xiàn)實(shí)的、廣泛的意義。因此要用最小二乘法解決實(shí)際的辨識(shí)問題，首先要對(duì)最小二乘法有深刻理解。根據(jù)最小二乘法原理，也就是誤差的平方和最小原理，設(shè)：z(k)為k時(shí)刻的測(cè)量值，z(k)為k時(shí)刻的估計(jì)值，誤差的平方和J=工(Z(k)-Z(k)2，考慮線性離散系統(tǒng)下的差分方程kz(k)二KaZ(k-i)+5bu(k一i)+v(k)iii=1i=0將其寫成最小二乘格式z,(k)=hT(k)0+v(k)h(k)=z(k一1),.,z(k一n),u(k一1),.,u(k一n)tab0=a，,a,b，,b1n1nabJ=工(z(k)-hT(k)0)2=(z-H0)T(z-H0)LLLLkz=z(n+1

8、)，z(n+L)tLababH=hT(n+1),hT(n+L)tLababn=maxin,n丿abab當(dāng)0使得J=0時(shí)，J在0處取極值。ao考慮到不同時(shí)刻的測(cè)量值的可信度，可以引入加權(quán)因子A(k)TOC o 1-5 h zW1)、貝uJ二(z-H0)TA(z-H0),而A二A(k)LLLLLLjA(L)?由J=0得0=(HtAH)-1(HtAz)a0LLLLLL當(dāng)A正定時(shí)，M=2HtAH正定，La02LLLa2J即A(k)0,VkE正定a02因此介使得j為極小值。最小二乘法處理辨識(shí)問題的應(yīng)用舉例考慮如下線性系統(tǒng)：z(k)+az(k-1)+1+az(kna-n)=bu(k-1)+a1+bunb-

9、n)+e(k)b其中，u(k)為系統(tǒng)激勵(lì)信號(hào)，y(k)為系統(tǒng)輸出，e(k)為模型噪聲。其系統(tǒng)模型如圖1所示：圖1SISO的系統(tǒng)模型結(jié)構(gòu)圖其中G(Z1)是系統(tǒng)函數(shù)模型，N(Z1)為有色噪聲系統(tǒng)模型，e(k)為白噪聲v(k)經(jīng)過系統(tǒng)函數(shù)為N(zi)的系統(tǒng)后的輸出。通常GC-J=B(z-1)A(z-):D(z-1)式中：1+az-1+az-2+az-naB(z-1)=TOC o 1-5 h z12nabz-i+bz-2+bz-nb12nbC(z-1)=1+cz-i+cz-2+cz-n HYPERLINK l bookmark34 o Current Document ()12代Dz-1=dz-1+d

10、z-2+bz-nd則系統(tǒng)可表示為：znd設(shè)樣本和參數(shù)集為：h(k)=-z(k-1),-z(k-2),-z(k-n),u(k-1),u(k-2),u(k-n)TV0=a,a,a,b,b,bt12n12nh(k)為可觀測(cè)的量，差分方程可寫為最小二乘形式z(k)=hT(k)0+e(k)如何在系統(tǒng)噪聲e(k)存在的情況下從該方程中正確的解出0，即是系統(tǒng)辨識(shí)的任務(wù)。為了求出0，我們面臨三大問題：一是輸入信號(hào)的選擇，二是判決準(zhǔn)則的選取，三是辨識(shí)算法的選擇，下面一一探討。選擇輸入為了準(zhǔn)確辨識(shí)系統(tǒng)參數(shù)，我們對(duì)輸入信號(hào)有兩大要求，一是信號(hào)要能持續(xù)的激勵(lì)系統(tǒng)所有狀態(tài)，二是信號(hào)頻帶能覆蓋系統(tǒng)的頻帶寬度。除此之外還要

11、求信號(hào)有可重復(fù)性，不能是不可重復(fù)的隨機(jī)噪聲，因此我們通常選擇M序列或逆M序列作為輸入。準(zhǔn)則函數(shù)因?yàn)楸疚闹饕接懽钚《祟惐孀R(shí)方法，在此選取準(zhǔn)則函數(shù)J(0)=藝e(k)2=藝z(k)一hT(k)02k=1k=1使準(zhǔn)則函數(shù)J(0)=min的0估計(jì)值記做0，稱作參數(shù)0的最小二乘估計(jì)LS值。在式z(k)=hT(k)0+e(k)中，令k=1,2,3L，可構(gòu)成線性方程組：z(k)=Ht(k)0+e(k)LLLz(1)1z(2)式中e(1)1e(2)z=L-z(0)-z(1)z(L)e(L)u(0)u(1)u(1-n)1u(2-n)b-z(1-n)-z(2-na)aL-z(L-1)-z(L-n)au(L-1

12、)u(L-n-b準(zhǔn)則函數(shù)相應(yīng)變?yōu)椋?n.。 J)=e(k)2=z(k)一hT(k)。2=(z-H0)T(z-H0)LLLLk=1k=1極小化J(0)，求得參數(shù)0的估計(jì)值，將使模型更好的預(yù)報(bào)系統(tǒng)的輸出。最小辨識(shí)二乘算法J（0）60設(shè)0使得J(0)=min，則有LS=2（z-H0）t（z-H0）=00LS60LLLL展開上式，并根據(jù)以下兩個(gè)向量微分公式:得正則方程：(HTH)0=HTzLLLSLLLLSLLL當(dāng)HtH為正則陣時(shí)，有0=(HtH1HtzLL_LS=2HtH0，所以滿足上式的0唯一使得J(0)=min，這種通過極小化式J(0)=min計(jì)算0的方法稱作最小二乘法。而且可以證明，LS當(dāng)噪聲

13、e(k)是均值為0的高斯白噪聲時(shí)，可實(shí)現(xiàn)無偏估計(jì)。2.最小二乘法在辨識(shí)時(shí)存在的問題及其改進(jìn)型最小二乘法傳統(tǒng)最小二乘存在的問題最小二乘法存在一些缺陷制約著最小二乘法在系統(tǒng)辨識(shí)中的應(yīng)用，在處理日益復(fù)雜的系統(tǒng)辨識(shí)問題中，最小二乘法在系統(tǒng)辨識(shí)中存在的缺陷逐漸顯現(xiàn)出來。主要是有一下兩方面的缺陷:一是當(dāng)模型是有色噪聲時(shí)，最小二乘參數(shù)估計(jì)不是無偏、一致估計(jì)；二是隨著數(shù)據(jù)的增長(zhǎng)，最小二乘法將出現(xiàn)所謂的“數(shù)據(jù)飽和”現(xiàn)象。這是由于增益矩陣I1LLHTzLL=P(L)HtzLLYh(i)hT(i)匚i=1Yh(i)z(i)i=1定義P-1(k)=HtH=Yh(i)hT(i)kki=1P-1(k-1)=HTH=Yk-

14、1h(i)hT(i)k-1k-1i=1式中H=hT(1)hT(2)Hk-1hT(1)hT(2)hT(k)hT(k-1)式中，h(i)是一個(gè)列向量，也就是叫的第i行的倒置，P(K)是一個(gè)方陣，它的維數(shù)取決于未知參數(shù)的個(gè)數(shù)，假設(shè)未知參數(shù)的個(gè)數(shù)是n,貝JP(k)的維數(shù)是nX由定義中的式子可得P(k)的遞推關(guān)系為:P-1(k)=燈h(i)hT(i)+h(k)hT(k)i=1=P-i(k-1)+h(k)hT(k)設(shè),z(k-1)_T,z(k)丁z=z(1),z(2),k-1z=z(1),z(2),k則0(k-1)=(HtHLHtzk-1k-1k-1k-1=P(k-1)0h(i)z(i)-Li=1-由此可

15、得：P-1(k-1)0(k-1)=0h(i)z(i)i=1由上述推導(dǎo)可得(k)=(HTH)-1HTzkkkkh(i)z(i)=P(k)P-1(k-1)0(k-1)+h(k)z(k)=P(k)P-1(k)-h(k)hT(k)0(k-1)+h(k)z=0(k-1)+P(k)h(k)z(k)-h(k)0(k-1)引進(jìn)增益矩陣K(k),定義K(k)=P(k)h(k)-式0(k)可以進(jìn)一步寫為0(k)=0(k-1)+K(k)z(k)-hT(k)0(k-1)接下來可以進(jìn)一步把P(k)寫為：P(k)=P-1(k-1)+h(k)hT(k)-1利用矩陣反演公式(A+CCtL=A-1-A-1C(I+CTA-1C)

16、-1CTA-1將P(k)演變成： P(k)=P(k-1)-P(k-l)h(k)hT(k)P(k-1)hT(k)P(k-l)h(k)+11=_P(k-吵(k)h：*)P(1)_hT(k)P(k-1)h(k)+1將上式代入I(k)中，整理后可得K(k)=P(k-1)h(k)hT(k)P(k-1)h(k)+1-1綜合上式可得最小二乘遞推參數(shù)估計(jì)算法RLS0(k)=0(k-1)+K(k)z(k)-hT(k)0(k-1)K(k)=P(k-1)h(k)hT(k)P(k-1)h(k)+1-1P(k)=p-K(k)hT(k)P(k-1)-J遺忘因子遞推算法所謂“數(shù)據(jù)飽和”飽和現(xiàn)象就是隨著時(shí)間的推移，采集到的數(shù)

17、據(jù)越來越多，新數(shù)據(jù)所提供的信息被淹沒在老數(shù)據(jù)的海洋之中，由上節(jié)推導(dǎo)的RLS可知，k時(shí)刻的參數(shù)估計(jì)值是依靠新信息與增益矩陣IK(k)的乘積來修正的，IK(k)的值越大，算法的修正能力越強(qiáng)，可是隨著時(shí)間k的增加，IK(k)的值會(huì)逐漸趨近于零，故算法就會(huì)失去修正能力，為此本節(jié)闡述的遺忘因子算法能改善這種現(xiàn)象。這種方法的基本思想是對(duì)老數(shù)據(jù)加上遺忘因子，以降低老數(shù)據(jù)所提供的信息量，增加新數(shù)據(jù)的信息量。設(shè)SISO過程采用如下的數(shù)學(xué)模型：A(z-1)z(k)=B(z-1)u(k)+v(k)其中u(k)和z(k)是過程的輸入輸出量，v(k)是零均值的不相關(guān)隨機(jī)噪聲，改成最小二乘的格式為：z(k)=ht(k)0

18、+v(k)又可寫為：z=H0+vLLL當(dāng)數(shù)據(jù)加衰減因子后，一次算法可以寫成：0(L)=工u(li)h(i)ht(i)i工u(li)h(i)z(i)其中u稱為遺忘因子，并且u大于0小于等于1定義P1(k)=工ukih(i)ht(i)AH*tH*kki=1P-1(k1)=uk1ih(i)ht(i)AH*tH*k1k1i=1則P1(k)=uP1(k1)+h(k)ht(k)最后得0(k)=0(k-1)+P(k)h(k)z(k)-ht(k)9(k-1)令增益矩陣K(k)=P(k)h(k)綜上分析，遺忘因子的遞推算法可以寫為：哲(k)=0(k1)+K(k)z(k)ht(k)0(k1)K(k)=P(k1)h

19、(k)ht(k)P(k1)h(k)+u-1P(k)=1IK(k)ht(k)P(k1)u0u1丿可見，遺忘因子的遞推算法和普通最小二乘法的遞推算法的計(jì)算流程基本一致，但是遺忘因子必須選擇接近于1的正數(shù)，通常不小于0.9，如果過程是線性的，應(yīng)把u限定在0.95和1之間。限定記憶遞推算法最小二乘法或遺忘因子法在一次完成算法中所用的數(shù)據(jù)長(zhǎng)度L是一定的。但在遞推算法中，數(shù)據(jù)長(zhǎng)度L就不是固定的了，它隨著時(shí)間k的推移而逐漸增加。這意味著老數(shù)據(jù)所含的信息在不斷積累，長(zhǎng)期下去新數(shù)據(jù)所含的信息將被淹沒。新數(shù)據(jù)的作用就會(huì)被削弱。這種數(shù)據(jù)長(zhǎng)度歲k不斷增長(zhǎng)的辨識(shí)算法稱作增長(zhǎng)記憶法，其特點(diǎn)是老數(shù)據(jù)所含的信息始終在起作用，

20、相對(duì)將影響新數(shù)據(jù)的作用。另一類辨識(shí)算法叫做限定記憶法。這種方法的參數(shù)估計(jì)值始終依賴于有限個(gè)最新數(shù)據(jù)所提供的信息，每增加一個(gè)新數(shù)據(jù)的信息，就要去掉一個(gè)老數(shù)據(jù)的信息，數(shù)據(jù)的長(zhǎng)度始終保持不變。它的特點(diǎn)是離現(xiàn)時(shí)刻L以前的老數(shù)據(jù)所含的信息從算法中徹底被刨除，影響參數(shù)估計(jì)值的數(shù)據(jù)始終是最新的L個(gè)數(shù)據(jù)，不像最小二乘法或遺忘因子法那樣，不管多老的數(shù)據(jù)都在起作用。就這點(diǎn)而言，限定記憶法更適合于用來克服“數(shù)據(jù)飽和”現(xiàn)象。具體算法如下：首先這里不需要考慮不同時(shí)刻測(cè)量值得可信度所以A(k)=1所以這里最小二乘法遞推公式是K(k)=P(k-1)h(k)hTP(k-1)h(k)+1-iP(k)=I-K(k)hT(k)P(

21、k-1)0(k)=3(k-1)+K(k)z(k)-hT(k)0(k-1)限定記憶法的思想是每增加一個(gè)新數(shù)據(jù)的信息就減少一個(gè)老數(shù)據(jù)的信息，使得數(shù)據(jù)長(zhǎng)度保持不變?cè)O(shè)第k-1步的時(shí)候p(k,k+l-1)=p(k-i)e(k,k+l-1)=(k-1)第k步增加新數(shù)據(jù)的信息，也就是加入z(k+L),h(k+L)的信息這里直接用最小二乘法將z(k+L),h(k+L)增加到P中去因此，由上式增加后得：0=0(k,k+L)=Q(k-1)+K(k,k+L)z(k+L)-hT(k+L)0(k-1)=0(k,k+L-1)+K(k,k+L)z(k+L)-hT(k+L)0(k,k+L-1)K(k,k+L)=P(k,k+L

22、-1)h(k+L)hTP(k,k+L-1)h(k+L)+1-ip(k,k+L)=I-K(k,k+L)hT(k+L)p(k,k+L-1)去掉k時(shí)刻的數(shù)據(jù)即z(k),h(k)的信息去掉k時(shí)刻的數(shù)據(jù)信息后p=p(k+1,k+L)=(HT(k+1,k+L)H(k+1,k+L)-10(k+1,k+L)=pHT(k+1,k+L)z(k+1,k+L)=p(k+1,k+L)HT(k+1,k+L)z(k+1,k+L)這里z(k+1,k+L)=z(k+1),.,z(k+L)y最后整理得0(k+l,k+L)=0(k,k+L)-K(k+l,k+L)z(k)-ht(k)9(k,k+L)K(k+l,k+L)=P(k,k+

23、L)h(k)l-ht(k)P(k,k+L)h(k)hP(k+l,k+L)=I+K(k+l,k+L)ht(k)p(k,k+L)0(k,k+L)=0(k,k+L-1)+K(k,k+L)z(k+L)-ht(k+L方(k,k+L-1)K(k,k+L)=P(k,k+L-1h(k+L)1+ht(k+L)P(k,k+L-1h(k+L)iP(k,k+L)=I-K(k,k+L)ht(k+L)p(k,k+L-1)廣義二乘遞推算法設(shè)SISO系統(tǒng)采用如下模型：A(zt)z(k)=B(z-i)u(k)+(I)v(k)假定模型階次n,其中A(z-I),B(Z1)和C(Z1)的定義見1.4節(jié)n和n已知，用廣義最小二乘法可以

24、得到無偏一致估b計(jì)。令(k)=CC-Jz(k)u(k)=C(z-i)u(k)f0=a,a,12h(k)=f,ana-z(k-1),b,b,bT12nb(k-n),u(k-1),u(k-n)affb,-z將模型化為最小二乘格式：z(k)=hT(k)0+v(k)f./由于v(k)是白噪聲，所以用最小二乘可以獲得參數(shù)e的無偏估計(jì)，由于噪聲模型C(zi)未知，還需要用迭代的方法來求得C(z_i)o令(k)e(k)=0(k)=c,c,cTeI2nch(k)=-e(k-1),，-e(k-n)Tec這樣就把噪聲模型也轉(zhuǎn)變?yōu)樽钚《烁袷剑篹(k)=hT(k)0+v(k)ee由于上式中的噪聲已為白噪聲，所以用最

25、小二乘也可獲得參數(shù)e的無偏估e計(jì)，但是數(shù)據(jù)向量中依然含有不可測(cè)的噪聲量-e(k-1),，-e(k-n)，可用c相應(yīng)的估計(jì)值來代替，置h(k)=-e(k-1),-e(k-n)Y，其中k0時(shí)，按照e(k)=z(k)-hT(k)0計(jì)算，式中h(k)=z(k1),(kn),u(k1),u(kn)b綜上所述，廣義最小二乘法可歸納為0(k)=0(k-1)+K(k)z(k)-h(k)0(k-1)1fLffK(k)=P(k-1)h(k)hT(k)P(k-1)h(k)+1-1ffLfffP(k)二f/-K(k)hT(k)1P(k-1)-VfLfff0(k)=0(k-1)+K(k)e(k)h(k)0(k-1)ee

26、eeeK(k)=P(k-1)h(k)hT(k)P(k-1)h(k)+1eeeeeePe,-za-1(k)二I-K(k)hT(k)1P(k-1)eee3.仿真結(jié)果與性能比較3.1仿真模型圖2SISO系統(tǒng)辨識(shí)“黑箱”結(jié)構(gòu)圖模型選用差分方程：z(k+2)=1.5*z(k+1)-0.7*z(k)+u(k+1)+0.5u(k)+v(k)噪信比為0.73其中v(k)為正態(tài)分布的白噪聲。u(k)為取值1和-1的逆M序列，系統(tǒng)參數(shù)可以表示為0=-1.50.710.5遺忘因子遞推算法的仿真結(jié)果取數(shù)據(jù)長(zhǎng)度L=402,初始條件60=0，遺忘因子u=0.98。則參數(shù)估計(jì)值的變化過程如圖：0I5025015待估參數(shù)過渡

27、過稈1100200350400估計(jì)方差變化過程：12估計(jì)方差變化過程10050100150200250300350400450最后的參數(shù)估計(jì)值8二-1.51500.74771.08860.6354限定記憶遞推算法的仿真結(jié)果取數(shù)據(jù)長(zhǎng)度L=402，記憶長(zhǎng)度L=20，初始條件8=0。則參數(shù)估計(jì)值的變00化過程如圖：估計(jì)方差變化過程：oia佔(zhàn)計(jì)方差變化過程1Ir最后的參數(shù)估計(jì)值先-1.47860.67680.96080.5129限定記憶法和遺忘因子法結(jié)果分析與比較從遺忘因子法和限定記憶法的最終估計(jì)值來看，兩者的效果基本差不多。但遺忘因子法的參數(shù)跟蹤過程變化浮動(dòng)比較大，而限定記憶法則相對(duì)平穩(wěn)許多，這說明

28、遺忘因子法是新老數(shù)據(jù)一起起作用才造成這個(gè)結(jié)果，即對(duì)老數(shù)據(jù)加上遺忘因子，以降低老數(shù)據(jù)對(duì)辨識(shí)的影響，相對(duì)增加新數(shù)據(jù)對(duì)辨識(shí)的影響，不會(huì)出現(xiàn)“數(shù)據(jù)飽和”現(xiàn)象，這也只是消弱影響，并沒有完全剔除老數(shù)據(jù)的影響。但是限定記憶法辨識(shí)所使用的數(shù)據(jù)長(zhǎng)度保持不變，每增加一個(gè)新數(shù)據(jù)就拋掉一個(gè)老數(shù)據(jù)，使參數(shù)估計(jì)值始終只依賴于有限個(gè)新數(shù)據(jù)所提供的新消息，克服了遺忘因子法不管多老的數(shù)據(jù)都在起作用的缺點(diǎn)，因此該算法更能有效的克服數(shù)據(jù)飽和現(xiàn)象。廣義最小二乘遞推算法的仿真結(jié)果實(shí)際給定的方程為：Z(k+2)=1.5*Z(k+1)-0.7*Z(k)+u(k+1)+0.5*u(k)+e(k),e(k+2)+2.1*e(k+1)-2.5*

29、e(k)=v(k+2)，即實(shí)際的a1=-1.5,a2=0.7,b1=1,b2=0.5。程序運(yùn)行結(jié)果如圖：估計(jì)方差變化過程： 最后的參數(shù)估計(jì)值先-1.53320.72281.01850.4954-0.02780.0521估計(jì)值中的最后兩個(gè)值表示噪聲傳遞系數(shù)的估計(jì)值。3.5廣義最小二乘遞推算法的結(jié)果分析廣義最小二乘法其實(shí)就是對(duì)數(shù)據(jù)先進(jìn)行一次濾波預(yù)處理，然后利用普通最小二乘法對(duì)濾波后的數(shù)據(jù)進(jìn)行辨識(shí)。將廣義最小二乘法的結(jié)果與上述限定記憶法和遺忘因子法結(jié)果比較，發(fā)現(xiàn)結(jié)果基本是一致的，那是因?yàn)樵肼暷Ｐ虲(z-1)=1,故都能獲得無偏一致估計(jì)，且廣義最小二乘法還能獲得噪聲模型的估計(jì)值。但若C(z-1)不為1

30、時(shí)，必須利用廣義最小二乘法才能獲得無偏一致估計(jì)。4.系統(tǒng)辨識(shí)的發(fā)展及對(duì)策最小二乘法S)是一種經(jīng)典的和最基本的，也是應(yīng)用最廣泛的方法。但是，最小二乘估計(jì)是非一致的,是有偏差的,所以為了克服它的缺陷,而形成了一些以最小二乘法為基礎(chǔ)的系統(tǒng)辨識(shí)方法:廣義最小二乘法、增量最小二乘法、漸消記憶的最小二乘法以及將一般的最小二乘法與其他方法相結(jié)合的方法,有最小二乘兩步法(COR-LS)和隨機(jī)逼近算法等。廣義最小二乘法的基本思想是引入一個(gè)白化濾波器,把相關(guān)噪聲轉(zhuǎn)換為白噪聲,基于對(duì)觀測(cè)數(shù)據(jù)先進(jìn)行一次濾波處理,然后利用普通最小二乘法對(duì)濾波后的數(shù)據(jù)進(jìn)行辨識(shí)。遞推算法的基本思想是用新估計(jì)值對(duì)老的估計(jì)值進(jìn)行修正，應(yīng)用的數(shù)據(jù)是實(shí)時(shí)采集的系統(tǒng)輸入輸出數(shù)據(jù),應(yīng)用遞推算法對(duì)參數(shù)估計(jì)值進(jìn)行不斷修正,以取得更為準(zhǔn)確的參數(shù)估計(jì)值，而且此方法占據(jù)計(jì)算機(jī)存儲(chǔ)量小，因此在辨識(shí)系統(tǒng)中得到了廣泛的應(yīng)用。遺忘因子的最小二乘法在對(duì)系統(tǒng)模型參數(shù)進(jìn)行辨識(shí)時(shí)強(qiáng)調(diào)新數(shù)據(jù)的作用，貶低老數(shù)據(jù)的作用，將遺忘因子尢引入系統(tǒng)中，在實(shí)際應(yīng)用中遺忘因子尢的大小對(duì)參數(shù)估計(jì)的精度以及參數(shù)估計(jì)值跟蹤真值的變化的能力都有很大的影響，所以選取合適的遺忘因子會(huì)顯著提高系統(tǒng)的辨識(shí)能力。而限定記憶的最小