基于最小二乘法的系統(tǒng)辨識(shí)問(wèn)題研究綜述

1、基于最小二乘法的系統(tǒng)辨識(shí)問(wèn)題研究綜述摘要：對(duì)基于最小二乘法的系統(tǒng)辨識(shí)方法進(jìn)行了介紹。首先對(duì)系統(tǒng)辨識(shí)概念以及最小二乘法原理進(jìn)行了介紹，然后根據(jù)例子來(lái)說(shuō)明怎樣運(yùn)用最小二乘法來(lái)解決實(shí)際辨識(shí)問(wèn)題。而且本文針對(duì)最小二乘存在的缺陷進(jìn)一步闡述了一些改進(jìn)型最小二乘法在系統(tǒng)辨識(shí)中的應(yīng)用，最后對(duì)系統(tǒng)辨識(shí)的發(fā)展趨勢(shì)做了預(yù)測(cè)。關(guān)鍵字：系統(tǒng)辨識(shí)最小二乘法改進(jìn)型最小二乘法發(fā)展趨勢(shì)1引言系統(tǒng)辨識(shí)歸根到底是一種數(shù)學(xué)建模的過(guò)程，而建模過(guò)程中運(yùn)用的方法并不唯一，最小二乘法是較早被應(yīng)用于系統(tǒng)辨識(shí)中的一類方法。1962年，L.A.Zadeh最先提出了系統(tǒng)辨識(shí)的定義1:“辨識(shí)就是在輸入和輸出數(shù)據(jù)的基礎(chǔ)上，從一組給定的模型類中，確定一個(gè)

2、與所測(cè)系統(tǒng)等價(jià)的模型。”簡(jiǎn)單的來(lái)說(shuō)，就是在現(xiàn)有數(shù)據(jù)的基礎(chǔ)上，按照一個(gè)準(zhǔn)則在一組模型類中選擇一個(gè)與提供的數(shù)據(jù)擬合得最好的模型。而根據(jù)最小二乘法的定義2:“最小二乘法是一種數(shù)學(xué)優(yōu)化技術(shù)，它通過(guò)最小化誤差的平方和尋找數(shù)據(jù)的最佳函數(shù)匹配?！逼浠舅枷刖褪亲寣?shí)測(cè)數(shù)據(jù)和估計(jì)數(shù)據(jù)之間的平方和最小，這恰恰是系統(tǒng)辨識(shí)所需要解決的問(wèn)題，所以最小二乘法很早就被用來(lái)求解辨識(shí)中需要的擬合數(shù)學(xué)模型。本文在闡述最小二乘法理論的基礎(chǔ)上對(duì)于其在系統(tǒng)辨識(shí)中的應(yīng)用做了介紹，并指出實(shí)際應(yīng)用中存在的不足，列舉了幾種改進(jìn)型的最小二乘算法來(lái)改進(jìn)系統(tǒng)辨識(shí)能力，最后給出了系統(tǒng)辨識(shí)的發(fā)展趨勢(shì)。2基于最小二乘法的系統(tǒng)辨識(shí)的理論基礎(chǔ)及應(yīng)用2.1 系

3、統(tǒng)辨識(shí)的理論基礎(chǔ)從字面上講，系統(tǒng)辨識(shí)(SystemIdentification)就是識(shí)別一個(gè)系統(tǒng)、辨識(shí)一個(gè)系統(tǒng)網(wǎng)。系統(tǒng)通常是由表征系統(tǒng)輸入輸出關(guān)系的數(shù)學(xué)模型描述的，這個(gè)模型有其特定的結(jié)構(gòu)和參數(shù)。因此，系統(tǒng)辨識(shí)包含系統(tǒng)結(jié)構(gòu)辨識(shí)(SystemStructureIdentification)和參數(shù)估計(jì)(ParameterEstimation).系統(tǒng)結(jié)構(gòu)(或模型結(jié)構(gòu))就是系統(tǒng)數(shù)學(xué)表達(dá)式的形式。對(duì)單輸入單輸出線性系統(tǒng)而言，模型結(jié)構(gòu)就是系統(tǒng)的階次(Order);對(duì)多變量線性系統(tǒng)而言，模型結(jié)構(gòu)就是系統(tǒng)的能控性結(jié)構(gòu)指數(shù)(ControllabilityStructureIndex)或能觀測(cè)性結(jié)構(gòu)指數(shù)(Obser

4、vabilityStructureIndex),系統(tǒng)階次等于系統(tǒng)的能控性結(jié)構(gòu)指數(shù)或能觀測(cè)性結(jié)構(gòu)指數(shù)之和。對(duì)傳遞函數(shù)而言，系統(tǒng)參數(shù)就是傳遞函數(shù)分子分母多項(xiàng)式的系數(shù)(Coeffi-cient),系統(tǒng)階次就是傳遞函數(shù)分母多項(xiàng)式的次數(shù)(Degree);對(duì)狀態(tài)空間模型而言，系統(tǒng)參數(shù)就是狀態(tài)空間模型的A,B,C,D矩陣，就是狀態(tài)向量的維數(shù)或矩陣的維數(shù)，它等于系統(tǒng)的能控性結(jié)構(gòu)指數(shù)系統(tǒng)階次或能觀測(cè)性結(jié)構(gòu)指數(shù)之和。求解系統(tǒng)辨識(shí)問(wèn)題實(shí)質(zhì)上就是找到合適的數(shù)學(xué)方法來(lái)判斷系統(tǒng)的結(jié)構(gòu)以及得到系統(tǒng)參數(shù)。2.2 最小二乘法的理論基礎(chǔ)最小二乘法作為一種傳統(tǒng)的參數(shù)估計(jì)方法，早已經(jīng)被大家所了解。然而大多同學(xué)對(duì)最小二乘法的認(rèn)識(shí)都比較

5、模糊，僅僅把最小二乘法理解為簡(jiǎn)單的線性參數(shù)估計(jì)。事實(shí)上，最小二乘法在參數(shù)估計(jì)、系統(tǒng)辨識(shí)以及預(yù)測(cè)、預(yù)報(bào)等眾多領(lǐng)域都有著廣泛的應(yīng)用。特別是針對(duì)動(dòng)態(tài)系統(tǒng)辨識(shí)的方法有很多，但其中應(yīng)用最廣泛，辨識(shí)效果良好的就是最小二乘辨識(shí)方法，研究最小二乘法在系統(tǒng)辨識(shí)中的應(yīng)用具有現(xiàn)實(shí)的、廣泛的意義。因此要用最小二乘法解決實(shí)際的辨識(shí)問(wèn)題，首先要對(duì)最小二乘法有深刻理解。下面是一般的最小二乘法問(wèn)題：實(shí)系數(shù)線性方程組aiixi+ai2X2+,+ainXn-bi=0821X1+822X2+,+a2nXn-b2=0,(2.i)amiXi+am2X2+,+amnXn-bm=0方程組可能無(wú)解。即可能不存在一組實(shí)數(shù)Xi,X2,Xs使m2

6、(aMXiai2X2,ainXn-bi)=0(2.2)iW恒成立。因此我們轉(zhuǎn)而求其次，設(shè)法找到實(shí)數(shù)組Xi,X2,Xs使誤差的平方和最小，這樣的Xi,X2,Xs稱為方程組的最小二乘解，這樣問(wèn)題就叫最小二乘法問(wèn)題。2.3 最小二乘法處理辨識(shí)問(wèn)題的應(yīng)用舉例考慮如下線性系統(tǒng)：z(k廣a1z(k-1)+anz(k-na尸bu(k一1)+bnbu(k-nb廣e(k)(1)其中，u(k)為系統(tǒng)激勵(lì)信號(hào)，y(k)為系統(tǒng)輸出，e(k)為模型噪聲。其系統(tǒng)模型如圖1所示：圖1SISO的系統(tǒng)模型結(jié)構(gòu)圖其中G(z-1)是系統(tǒng)函數(shù)模型，N(z1)為有色噪聲系統(tǒng)模型，e(k)為白噪聲v(k)經(jīng)過(guò)系統(tǒng)函數(shù)為N(z-1)的系統(tǒng)

7、后的輸出。通常(2)(3)BzGzAz式中：-2.2-2dA(z)=1+a1z+a2z+anazBz'=bz'bzz'Az。Cz=1cz4dg-4(4)Dz，=dzd?z'''bndz'dBz4Dz，則系統(tǒng)可表不為：z(k)=4u(k)+/v(k)(5)Az4Cz，設(shè)樣本和參數(shù)集為：Jh(k)=-z(k-1),-z(k-2),-z(k-n),u(k-1),u(k-2),，u(k-n)T“、VTi-a®,an,h,d,bnh(k)為可觀測(cè)的量，差分方程可寫(xiě)為最小二乘形式z(k)=hT(k冷+e(k)(7)如何在系統(tǒng)噪聲e(k)存在

8、的情況下從該方程中正確的解出日，即是系統(tǒng)辨識(shí)的任務(wù)。為了求出日，我們面臨三大問(wèn)題：一是輸入信號(hào)的選擇，二是判決準(zhǔn)則的選取，三是辨識(shí)算法的選擇，下面一一探討。1 .選擇輸入為了準(zhǔn)確辨識(shí)系統(tǒng)參數(shù)，我們對(duì)輸入信號(hào)有兩大要求，一是信號(hào)要能持續(xù)的激勵(lì)系統(tǒng)所有狀態(tài)，二是信號(hào)頻帶能覆蓋系統(tǒng)的頻帶寬度。除此之外還要求信號(hào)有可重復(fù)性，不能是不可重復(fù)的隨機(jī)噪聲，因此我們通常選擇M序列或逆M序列作為輸入。2 .準(zhǔn)則函數(shù)因?yàn)楸疚闹饕接懽钚《祟惐孀R(shí)方法，在此選取準(zhǔn)則函數(shù)二2二T2J（e）=£e（k）1=£z（k）-hT（k）6（8）k4-k4-使準(zhǔn)則函數(shù)J但）=min的e估計(jì)值記做日LS,稱作參

9、數(shù)e的最小二乘估計(jì)值。在式中，令k=l,2,3,L,可構(gòu)成線性方程組：Zlk=HTk-eLk式中-z(1)1z(2)a：z(LJb1e(2)I-：e(L)|z0-z1-nau0u1-nb中)-Z(2-Uu(2-期)HL=：:：z(L-1)-z(L-%)u(L-1)u(L-nb)j準(zhǔn)則函數(shù)相應(yīng)變?yōu)?J(8)=£e(k)j=Zz(k)-hT(k聲2=(入hl。Zl-hl。)k3-kz1"極小化J（日，求得參數(shù)e的估計(jì)值，將使模型更好的預(yù)報(bào)系統(tǒng)的輸出。三.最小二乘辨識(shí)算法設(shè)先使彳導(dǎo)J但尸min，則有曾卜=言（4-出強(qiáng)（%=0展開(kāi)上式，并根據(jù)以下兩個(gè)向量微分公式：二丁tax=ax.

10、f一xTAx=2xTA助對(duì)稱陣(9)(10)(11)(12)(13)x得正則方程：（H【Hl州LS=H【Zl（14）1當(dāng)H【Hl為正則陣時(shí)，有%s=（H【Hl）H【Zl（15）且有&=2H【Hl>0,所以滿足式（15）的eLS唯一使得J（e）=min,這種通過(guò)極小化式（11）計(jì)算S的方法稱作最小二乘法。而且可以證明，當(dāng)噪聲e（k）是均值為0的高斯白噪聲時(shí)，可實(shí)現(xiàn)無(wú)偏估計(jì)3最小二乘法在辨識(shí)時(shí)存在的問(wèn)題及其改進(jìn)型的系統(tǒng)辨識(shí)應(yīng)用舉例3.1傳統(tǒng)最小二乘存在的問(wèn)題最小二乘法存在一些缺陷制約著最小二乘法在系統(tǒng)辨識(shí)中的應(yīng)用，在處理日益復(fù)雜的系統(tǒng)辨識(shí)問(wèn)題中，最小二乘法在系統(tǒng)辨識(shí)中存在的缺陷逐漸顯

11、現(xiàn)出來(lái)。如傳統(tǒng)的最小二乘法不適合在動(dòng)態(tài)辨識(shí)系統(tǒng)中使用，而且其參數(shù)估計(jì)存在偏差，耗時(shí)較長(zhǎng)的問(wèn)題。3. 2遞推最小二乘算法為了減少計(jì)算量，減少數(shù)據(jù)在計(jì)算機(jī)中占用的內(nèi)存，并實(shí)時(shí)辨識(shí)出系統(tǒng)動(dòng)態(tài)特性，我們常利用最小二乘法的遞推形式。下面我們來(lái)推導(dǎo)遞推最小二乘算法的原理。首先，將式（11）的最小二乘一次完成算法寫(xiě)為1(16)(17)wls=HlHlHlZl=PLHlZl=vhihTiLhizi_i1_i1定義rkP(k)=HTHk=2h(i)hT(i)-kP，k-1=HHk4='、hihTi式中Hk一hT1-2)HkJ-hT1hT(2)(18)'hT(k)式中，h(i)是一個(gè)列向量，也就是

12、未知參數(shù)的個(gè)數(shù)，假設(shè)未知參數(shù)的個(gè)數(shù)是由式17可彳導(dǎo)P(k)的遞推關(guān)系為：k1-hT(k-1)HL的第i行的倒置，P(k)是一個(gè)方陣，它的維數(shù)取決于n,則P(k)的維數(shù)是nXn.。PJk八hihTihkhTki11T=Pk-1hkhk(19)卜7=卯);(2，z(k1)fTZk-IIz1,z2，zk(20)18k-1)=(H：Hk)H：Zk=Pk-1%hizi(21)kJ由此可得：P,(k1)8(k1)=£h(i)z(i)(22)i工由式19和22可得jk口k=HTHkHT，=Pk'hiziJm=P(kP，(k1p(k1)+h(k)z(k)3NO/=Pk“P,k-hkhTkik

13、-1hkzk)-ik-1Pkhkzk-hTkk-1引進(jìn)增益矩陣K(k),定義K(k)=P(k)h(k)(24)式23可以進(jìn)一步寫(xiě)為e伙)=8(k1)+K(k)z(k)-hT(k聲(k-1)1(25)接下來(lái)可以進(jìn)一步把式20寫(xiě)為P(k戶P-*(k1)十h(k)hT(k)(26)11利用矩陣反演公式ACCT=A-ACICTACCTA將式(26)演變成(27)(28)(30)(31)(32)(33)C(z-1)(34)(35)(36)1Pk=Pk-1-Pk-1hkhTkPk-1hTkPk-1hk1Pk-1一詈1"5收hT(k)P(k1)h(k)+1將上式代入式24,整理后可得Kk=Pk_1

14、hk)hTkPk-1hk1綜合式25、27和28可得最小二乘遞推參數(shù)估計(jì)算法RLS41-Ke(k)=H(k1)+K(k)-z(k)-hT(k)9(k-1)1JK(k)=P(k-1)h(k)-hT(k)P(k-1)h(k)+1P(k)=I-K(k)hT(k)P(k-1)3.3廣義最小二乘法設(shè)SISO系統(tǒng)采用如下模型:.11.1.Azzk=Bzuk-vkCz其中A(z-1),B(z-1)和C(z-1)的定義見(jiàn)式？假定模型階次國(guó),昭和小已知，用廣義最小二乘法可以得到無(wú)偏一致估計(jì)。令zfk=Cz，zkUfk=Cz，uk丁=a1,a2,",ana,b1,b2,bnbT,Ufk-1,Ufk-nb

15、、hf(k)=zf(k1);，zf(kna將模型化為最小二乘格式：zf(k)=h：(k)0+v(k)由于v(k)是白噪聲，所以用最小二乘可以獲得參數(shù)9的無(wú)偏估計(jì)，由于噪聲模型未知，還需要用迭代的方法來(lái)求得C(z1)。令,1.ek=-vkCz置"ek=72；,CncTThek：-|L-ek-1,-ek-nc這樣就把噪聲模型也轉(zhuǎn)變?yōu)樽钚《烁袷剑篹(k)=h；(kWe+v(k)由于上式中的噪聲已為白噪聲，所以用最小二乘也可獲得參數(shù)人的無(wú)偏估計(jì)，但是數(shù)據(jù)向量中依然含有不可測(cè)的噪聲量e(k-1);-,-e(k-nc)l,可用相應(yīng)的估計(jì)值來(lái)代替，置he(k)=e(k1)，-e(knc)1,其中

16、k<0時(shí)，e(k)=0；k>0時(shí)，按照T.e(k尸z(k)h(k)9(37)計(jì)算，式中h(k)|_z(k_1),>_z(k_na),u(k/)u(k_nb)1(38)綜上所述，廣義最小二乘法可歸納為£(k)=0k-1)+Kf(k)zf(k>h；(k)0(k1)Kf(k尸P(k-1九(k)h；(k時(shí)(k-1兩(k)+11產(chǎn)(k)=Kf(k)h：(k)Pf(k1)田(k尸露(卜一1)+Ke(kFe(k)hT(k曲(k一1)Ke(k)=(k-1)he(k)-her(k)P；(k-1)he(k)+1Pe(k)=|_Ke(k*(k)R(k-1)4系統(tǒng)辨識(shí)的發(fā)展及對(duì)策最小

17、二乘法(LS隹一種經(jīng)典的和最基本的，也是應(yīng)用最廣泛的方法。但是，最小二乘估計(jì)是非一致的，是有偏差的，所以為了克服他的缺陷，而形成了一些以最小二乘法為基礎(chǔ)的系統(tǒng)辨識(shí)方法：廣義最小二乘法、增量最小二乘法、漸消記憶的最小二乘法以及將一般的最小二乘法與其他方法相結(jié)合的方法，有最小二乘兩步法(COR-LS和隨機(jī)逼近算法等。廣義最小二乘法的基本思想是引入一個(gè)白化濾波器，把相關(guān)噪聲轉(zhuǎn)換為白噪聲，基于對(duì)觀測(cè)數(shù)據(jù)先進(jìn)行一次濾波處理，然后利用普通最小二乘法對(duì)濾波后的數(shù)據(jù)進(jìn)行辨識(shí)。遞推算法的基本思想是用新估計(jì)值對(duì)老的估計(jì)值進(jìn)行修正，應(yīng)用的數(shù)據(jù)是實(shí)時(shí)采集的系統(tǒng)輸入輸出數(shù)據(jù)，應(yīng)用遞推算法對(duì)參數(shù)估計(jì)值進(jìn)行不斷修正，以取得更為準(zhǔn)確的參數(shù)估計(jì)值，而且此方法占據(jù)計(jì)算機(jī)存儲(chǔ)量小，因此在辨識(shí)系統(tǒng)中得到了廣泛的應(yīng)用?！咀钚《藚?shù)估計(jì)的遞推算法及其C語(yǔ)言實(shí)現(xiàn)】漸消記憶的最小二乘法在對(duì)系統(tǒng)模型參數(shù)進(jìn)行辨識(shí)時(shí)強(qiáng)調(diào)新數(shù)據(jù)的作用，貶低老數(shù)據(jù)的作用，將遺忘因子入引入系統(tǒng)中，在實(shí)際應(yīng)用中遺傳因子入的大小對(duì)參數(shù)估計(jì)的精度以及參數(shù)估計(jì)值跟蹤真值的變化的能力都有很大的影響，所以選取合適的遺傳因子會(huì)顯著提高系統(tǒng)的辨識(shí)能力。5結(jié)論系統(tǒng)辨識(shí)的方法有很多，但是最小二乘法是其中最重要、應(yīng)用最廣泛的一種系統(tǒng)辨識(shí)方法。針對(duì)經(jīng)典的最小二乘法存在的一些