系統(tǒng)辨識(shí)基礎(chǔ)

系統(tǒng)辨識(shí)基礎(chǔ)第1頁(yè)第四講系統(tǒng)辨識(shí)基礎(chǔ)一、 自校正控制與系統(tǒng)辨識(shí)1、自校正控制自校正控制是一類(lèi)重要的自適應(yīng)控制方案。自校正的概念最早是由Kalman在1958年首先提出的，主要用于信號(hào)去噪。而自校正控制是由瑞典學(xué)者阿斯特羅姆(K.J.Astrom)和威特馬克(B.Wittenmark)在1973年首次提出的，并在工業(yè)上得到了廣泛的應(yīng)用。在自校正控制系統(tǒng)中，被控對(duì)象的參數(shù)被在線地辨識(shí)，然后經(jīng)過(guò)控制器的在線設(shè)計(jì)過(guò)程，對(duì)控制器參數(shù)進(jìn)行在線調(diào)整，使其始終能適應(yīng)被控對(duì)象模型的變化。必須注意的是：自校正調(diào)節(jié)過(guò)程是一個(gè)迭代優(yōu)化的過(guò)程，通過(guò)邊辨識(shí)、邊綜合，使得控制器參數(shù)能夠逐步趨向于最優(yōu)值。自校正控制的實(shí)現(xiàn)需要滿足以下假定：?被控對(duì)象的模型時(shí)變速度緩慢?被控對(duì)象可辨識(shí)?由控制器和被控對(duì)象構(gòu)成的系統(tǒng)是穩(wěn)定的因此，可認(rèn)為在自校正調(diào)節(jié)過(guò)程中，被控對(duì)象的模型是不變的，在此條件下，自校正控制的過(guò)程為：(1)在t時(shí)刻根據(jù)u(t)和y(t)估計(jì)被控對(duì)象參數(shù)?()t0；(2)根據(jù)?()t0設(shè)計(jì)控制器參數(shù)?()ct0;(3)由?()ct0和r(t+1)，可計(jì)算出t+1時(shí)刻的控制量u(t+1);(4)根據(jù)t+1時(shí)刻的u(t+1)和y(t+1)再次估計(jì)被控對(duì)象參數(shù)?(1)t0+； (5)返回步驟2，繼續(xù)進(jìn)行遞推，直至被控對(duì)象參數(shù)估計(jì)值?()t0收斂到其真值0。第2頁(yè)2、系統(tǒng)辨識(shí)由自校正控制的原理可知，系統(tǒng)辨識(shí)是自校正控制的基礎(chǔ)。系統(tǒng)辨識(shí)是根據(jù)一個(gè)系統(tǒng)的輸入/輸出數(shù)據(jù)建立系統(tǒng)最優(yōu)數(shù)學(xué)模型的理論和方法，它不能確保獲得系統(tǒng)“真實(shí)”的數(shù)學(xué)模型，但可以在輸入/輸出關(guān)系，也即系統(tǒng)動(dòng)態(tài)響應(yīng)的意義上獲得一個(gè)與系統(tǒng)等價(jià)的最優(yōu)的數(shù)學(xué)模型，而“最優(yōu)”需要有確定的準(zhǔn)則來(lái)評(píng)判。系統(tǒng)辨識(shí)的內(nèi)容可以劃分為以下三個(gè)層次：層次一：模型結(jié)構(gòu)的選擇層次二：系統(tǒng)階次的確定層次三：系統(tǒng)參數(shù)的估計(jì)由于系統(tǒng)的輸入/輸出信息都只能依靠測(cè)量技術(shù)采集，而采集到的數(shù)據(jù)總是包含各種干擾因素的影響，所以系統(tǒng)辨識(shí)是一個(gè)“不確定”的過(guò)程，具有隨機(jī)性特征，只能用統(tǒng)計(jì)方法來(lái)進(jìn)行研究。3、分離性原理和確定性等價(jià)原理由于自校正控制中，只是用被控對(duì)象參數(shù)的估計(jì)值?e而不是真值e來(lái)進(jìn)行控制器設(shè)計(jì)，由此帶來(lái)的隨機(jī)性使得自校正控制系統(tǒng)成為典型的“隨機(jī)控制系統(tǒng)”。而對(duì)于隨機(jī)控制系統(tǒng)，有兩條重要的原理：（1）分離性原理所謂分離性原理，是指在隨機(jī)控制系統(tǒng)的設(shè)計(jì)中，可以將隨機(jī)部分和確定部分分離開(kāi)來(lái)，單獨(dú)進(jìn)行處理。例如在自校正控制中，被控對(duì)象的參數(shù)估計(jì)是一個(gè)具有隨機(jī)性的部分，而控制器的設(shè)計(jì)則是確定性的部分，如果這兩部分任務(wù)可以分離進(jìn)行，同時(shí)得到的控制器參數(shù)是最優(yōu)的，則稱(chēng)自校正控制系統(tǒng)的設(shè)計(jì)過(guò)程是可分離的。遺憾的是，只有少量系統(tǒng)，例如采用線性二次型為控制器設(shè)計(jì)的性能指標(biāo)的自校正控制系統(tǒng)，滿足分離性原理。（2）確定性等價(jià)原理在分離性原理的基礎(chǔ)上，需要有確定性等價(jià)原理才能實(shí)現(xiàn)自校正控制系統(tǒng)。確定性等價(jià)原理是指采用參數(shù)估計(jì)得到的被控對(duì)象參數(shù)?e,來(lái)設(shè)計(jì)出的控制器參數(shù)?ce,與用被控對(duì)象真實(shí)參數(shù)e來(lái)設(shè)計(jì)的控制器參數(shù)ce是完全等價(jià)的，都是使性能指標(biāo)能取得最優(yōu)值的最優(yōu)控制律。即隨機(jī)變量?e在控制器設(shè)計(jì)中的作用確定性地等價(jià)于對(duì)象真實(shí)參數(shù)eo同樣的，確定性等價(jià)原理并未得到一般性的證明，目前只證明了對(duì)于白噪聲、可疊加的測(cè)量噪聲和具有線性二次型性能指標(biāo)的自校正控制系統(tǒng)中，確定性等價(jià)原理成立。二、 隨機(jī)過(guò)程基礎(chǔ)第3頁(yè)因?yàn)橄到y(tǒng)辨識(shí)是在采樣系統(tǒng)輸入/輸出信息的基礎(chǔ)上估測(cè)系統(tǒng)的模型，又因?yàn)橄到y(tǒng)輸入/輸出信息的采集值是具有隨機(jī)性的序列，所以需要首先學(xué)習(xí)了解描述序列性的隨機(jī)信號(hào)的隨機(jī)過(guò)程的有關(guān)知識(shí)。1、隨機(jī)變量及其分布(1)隨機(jī)變量定義：設(shè)隨機(jī)試驗(yàn)E的樣本空間S二{e},若對(duì)每個(gè)試驗(yàn)結(jié)果e，都有確定的實(shí)數(shù)X(e)與之對(duì)應(yīng)，則稱(chēng)實(shí)值變量X(e)為隨機(jī)變量，簡(jiǎn)記為Xo隨機(jī)變量就是定義在隨機(jī)樣本空間上的變量。(2)分布函數(shù)設(shè)X是隨機(jī)變量，對(duì)于任意實(shí)數(shù)x，令(){}FxPXx=<則稱(chēng)()Fx為X的分布函數(shù)，即()Fx是X在區(qū)間(,]x-8內(nèi)取值的概率o(3)概率密度函數(shù)設(shè)隨機(jī)變量X的連續(xù)的分布函數(shù)為()Fx，若存在非負(fù)函數(shù)()fx,使得：()()xFxftdt-8=?則稱(chēng)()fX為X的概率密度函數(shù)。概率密度反映了X在某個(gè)區(qū)間內(nèi)取值的概率大小，即{[,]}()bPXabfxdxe=?但()fx不一定存在。(4)常見(jiàn)概率分布(0-1)分布：{1},{0}(1)PXpPXp====-二項(xiàng)分布：{},1,0,1,kknknPXkCpqpqkn-==+==泊松分布：{},0,1,!kePXkknk入入-二二二均勻分布：1,(,)()0,(,)xabfxbaxab?e?指數(shù)分布：,0()0,0xexfxx入入-?>=?<?第4頁(yè)正態(tài)分布：22()22(),(,)xfxNpopo--=記為2、隨機(jī)變量的數(shù)字特征(1)數(shù)學(xué)期望離散隨機(jī)變量：1()iiiEXxp+8==2連續(xù)隨機(jī)變量：()()EXxfxdx+8-8=?數(shù)學(xué)期望是隨機(jī)變量可取的各值的加權(quán)平均值，權(quán)值系數(shù)是各值的取值概率，也稱(chēng)為概率均值。(2)方差設(shè)隨機(jī)變量X的數(shù)學(xué)期望是E(X)，若2[()]EXEX-存在，則稱(chēng)為X的方差，記為D(X)離散隨機(jī)變量：21()[()]iiiDXxEXp+8==-2連續(xù)隨機(jī)變量：2()[()]()DXxEXfxdx+8-8=-?也可用此公式計(jì)算方差：222()[()]()[()]DXEXEXEXEX=-=-方差是隨機(jī)變量取值分布的分散程度的度量。(5)常見(jiàn)概率分布的數(shù)字特征(0-1)分布：(),()(1)EXpDXpp==-二項(xiàng)分布：(),()(1)EXnpDXnpp==-泊松分布：(),()EXDX入入二二均勻分布：2()(),()212abbaEXDX+-==指數(shù)分布：211(),()EXDX入入正態(tài)分布：2(),()EXDXg二二第5頁(yè)3、隨機(jī)過(guò)程及其數(shù)字特征(1)隨機(jī)過(guò)程的概念定義：設(shè)有定義在樣本空間S二｛e｝上的無(wú)窮多個(gè)隨機(jī)變量序列，按參數(shù)C)tTee-8+8排列，稱(chēng)｛(),｝XttT丘為隨機(jī)過(guò)程。t—般是時(shí)間，如不是時(shí)間，則稱(chēng)X(t)為隨機(jī)函數(shù)；如t離散，則稱(chēng)為隨機(jī)序列。例如：對(duì)—系列產(chǎn)品進(jìn)行抽樣檢查，其合格性構(gòu)成—個(gè)隨機(jī)序列(隨機(jī)函數(shù))；江河的水位變化構(gòu)成—個(gè)隨機(jī)過(guò)程；對(duì)人每小時(shí)測(cè)—次體溫，其值構(gòu)成一個(gè)隨機(jī)序列。對(duì)于每個(gè)時(shí)刻ItTG,對(duì)應(yīng)的1()Xt是一個(gè)隨機(jī)變量，稱(chēng)為隨機(jī)過(guò)程X(t在1tt時(shí)刻的狀態(tài)；當(dāng)在一系列連續(xù)試驗(yàn)中x(t取得一系列具體值時(shí)，這些值構(gòu)成一個(gè)僅依賴于t的確定性函數(shù)X(t)，稱(chēng)為隨機(jī)過(guò)程x(t的一條樣本函數(shù)，也稱(chēng)為樣本曲線。若一個(gè)隨機(jī)過(guò)程x(t中任意兩個(gè)時(shí)刻12,ttT€,都有()Xt、2()Xt相互獨(dú)立，則稱(chēng)X(t為獨(dú)立隨機(jī)過(guò)程。(2)隨機(jī)過(guò)程的數(shù)字特征定義1：設(shè){(),}Xt€是一個(gè)隨機(jī)過(guò)程，對(duì)于任意給定的tT6,隨機(jī)過(guò)程在該點(diǎn)的狀態(tài)X(t的數(shù)學(xué)期望構(gòu)成一個(gè)t的函數(shù)，稱(chēng)為X(t)的均值函數(shù)，記為m(t)對(duì)于連續(xù)的隨機(jī)過(guò)程，均值函數(shù)()[()](；)mtEXtxfxtdx+8一8==?(；)fx是t時(shí)刻X(t的概論密度函數(shù)。定義2：設(shè){(),}XttT6是一個(gè)隨機(jī)過(guò)程，對(duì)于任意給定的6,隨機(jī)過(guò)程在該點(diǎn)的狀態(tài)X(t的方差構(gòu)成一個(gè)t的函數(shù)，稱(chēng)為X(t的方差函數(shù)，記為D(t。對(duì)于連續(xù)的隨機(jī)過(guò)程,方差函數(shù)22(){[()()]}[()()](;)DtEXtmtxtmtfxtdx+8一8=一=一?定義3：設(shè){(),}XttT6是一個(gè)隨機(jī)過(guò)程，對(duì)于任意給定的ttT61()Xt、2()Xt之間的協(xié)方差構(gòu)成一個(gè)12,tt的函數(shù)，稱(chēng)為X(t的協(xié)方差函數(shù),記為12(,)ttr。第6頁(yè)對(duì)于連續(xù)的隨機(jī)過(guò)程，協(xié)方差函數(shù)1212112211222121212(,)cov[(),()]{[()()][()()]}[()()][()()](,;,)ttXtXtEXtmtXtmtxtmtxtmtfxxttdxdx+8+8-8-8「二二__=__?其中21212(,;,)fxxtt是1()Xt、2()Xt的二維聯(lián)合概論密度函數(shù)。協(xié)方差表示了兩個(gè)隨機(jī)變量之間的線性相關(guān)程度，當(dāng)協(xié)方差為0時(shí)，兩個(gè)隨機(jī)變量不相關(guān)。獨(dú)立的隨機(jī)變量一定不相關(guān)，但不相關(guān)的隨機(jī)變量不一定互相獨(dú)立。方差函數(shù)是協(xié)方差函數(shù)的特例。定義4：設(shè){(),}XttT丘是一個(gè)隨機(jī)過(guò)程，對(duì)于任意給定的12,ttTe,1()Xt、2()Xt之間的自相關(guān)函數(shù)(簡(jiǎn)稱(chēng)為相關(guān)函數(shù))是12,tt的函數(shù)，記為12(,)Rtt，定義為1212122121212(,)[()()]()()(,;,)RttEXtXtxtxtfxxttdxdx+8+8_8_8==?也可將相關(guān)函數(shù)表示為：C)[()()]RtEXtXttt=+o協(xié)方差函數(shù)、均值函數(shù)和相關(guān)函數(shù)之間有如下關(guān)系：12112212121212(,){[()()][()()]}[()()][()][()](,)()()ttEXtmtXtmtEXtXtEXtEXtRttmtmt「二--=-=-對(duì)于不相關(guān)的隨機(jī)過(guò)程，有121212(,)(,)()()0ttRttmtmt「二-二即有1212(,)()()Rttmtmt=4、平穩(wěn)過(guò)程及各態(tài)遍歷性(1)矩的概念矩就是指隨機(jī)變量的各種數(shù)字特征，其中()kEX稱(chēng)為隨機(jī)變量X的k階原點(diǎn)矩，{[()]}kEXEX-稱(chēng)為隨機(jī)變量X的k階中心矩。顯然：數(shù)學(xué)期望是一階原點(diǎn)矩，方差是二階中心矩。如隨機(jī)過(guò)程的均值函數(shù)和方差函數(shù)均存在，則稱(chēng)該過(guò)程為二階矩過(guò)程。(2)平穩(wěn)過(guò)程若隨機(jī)過(guò)程X(t)有12121212(〃;〃)(〃;〃)nnnnFxxxtttFxxxtttttt二+++第7頁(yè)即X(t)的有限維概率分布與t無(wú)關(guān)，則稱(chēng)X(t)為嚴(yán)平穩(wěn)過(guò)程，簡(jiǎn)稱(chēng)平穩(wěn)過(guò)程。若二階矩過(guò)程X(t)有122121(,)()(),0[()],RttRttRttEXtmtt=-==->=即X(t)的均值為常數(shù)，相關(guān)函數(shù)僅與t有關(guān)，則稱(chēng)X(t)為寬平穩(wěn)過(guò)程。平穩(wěn)過(guò)程表示隨機(jī)過(guò)程的概率分布情況和數(shù)字特征與所研究的時(shí)間點(diǎn)無(wú)關(guān)，因此可以從平穩(wěn)過(guò)程中任取一段來(lái)進(jìn)行研究和分析。注意：嚴(yán)平穩(wěn)過(guò)程不一定是寬平穩(wěn)過(guò)程，因?yàn)槎A矩不一定存在；寬平穩(wěn)過(guò)程不一定是嚴(yán)平穩(wěn)過(guò)程，因?yàn)槠錀l件僅是嚴(yán)平穩(wěn)過(guò)程的必要條件。(3)各態(tài)遍歷性隨機(jī)過(guò)程X(t)的數(shù)字特征，可以用n個(gè)樣本函數(shù)12(),(),,()nxtxtxt去計(jì)算，例如求均值函數(shù)和相關(guān)函數(shù)，即112121211()[()]()1(,)[()()][()()]nkknkkkmtEXtxtnRttEXtXtxtxtn二二二u二違乂依據(jù)大數(shù)定律，當(dāng)n-8時(shí)，就得到了準(zhǔn)確的均值函數(shù)和相關(guān)函數(shù)，這稱(chēng)為隨機(jī)過(guò)程的空間均值和空間相關(guān)函數(shù)。但有許多隨機(jī)過(guò)程的樣本函數(shù)是無(wú)法重復(fù)取得的，因此，只能從單個(gè)的樣本函數(shù)去試求隨機(jī)過(guò)程的數(shù)字特征。當(dāng)隨機(jī)過(guò)程X(t)不是平穩(wěn)過(guò)程時(shí)，從單個(gè)的樣本函數(shù)無(wú)法獲得隨機(jī)過(guò)程的數(shù)字特征。當(dāng)隨機(jī)過(guò)程X(t雇平穩(wěn)過(guò)程時(shí)，其均值函數(shù)()mt是與t無(wú)關(guān)的常數(shù)m，相關(guān)函數(shù)12(,)Rtt是只與時(shí)間間隔t有關(guān)的函數(shù)()Rt如果有如下極限存在：1()lim()21()()lim()()2TTTTTTXtXtdtTXtXtXtXtdtTtt--8--8<>=<+>=+?則稱(chēng)其為隨機(jī)過(guò)程X(t)的時(shí)間均值和時(shí)間相關(guān)函數(shù)，它們都是隨機(jī)變量。如果隨機(jī)過(guò)程X(t)的時(shí)間均值概率為1地等于空間均值，時(shí)間相關(guān)函數(shù)概率為1地等于空間相關(guān)函數(shù)，則稱(chēng)該隨機(jī)過(guò)程具有各態(tài)遍歷性。即(),(..)()()()(.)mXtasRXtXtastt=<>二<+>第8頁(yè)a.s的意思是allmostsure，幾乎可以確定。具有各態(tài)遍歷性的隨機(jī)過(guò)程，隨時(shí)間的延續(xù)各種取值都可能取到，并且取值分布也幾乎與單個(gè)時(shí)間點(diǎn)上的狀態(tài)的取值分布一致，因此可以用一條或者幾條樣本曲線來(lái)計(jì)算隨機(jī)過(guò)程的數(shù)字特征。5、隨機(jī)過(guò)程的譜分解(1)平穩(wěn)隨機(jī)過(guò)程的譜分解設(shè)()Rn為平穩(wěn)隨機(jī)序列{(),0,12}Xkk二士士的相關(guān)函數(shù)，則可表示為：()()jnRnfedn3n33-二？稱(chēng)為()Rn的譜分解，其中()f3稱(chēng)()Xk的譜密度函數(shù)。設(shè)()Rt為平穩(wěn)隨機(jī)過(guò)程{(),}XttT丘的相關(guān)函數(shù)，則可表示為：()()jRfedT3T33+8_8=？稱(chēng)為()RT的譜分解，其中()f3稱(chēng)()Xt的譜密度函數(shù)。隨機(jī)過(guò)程的譜分解是按諧波分量的頻率將隨機(jī)過(guò)程的功率進(jìn)行分解發(fā)(傅立葉分解)，因此也稱(chēng)為功率譜。譜密度函數(shù)的計(jì)算方法為1()(),21()(),2jnnjfRnefRed3T33n3TTn+8_=_8+8__8I?隨機(jī)序列隨機(jī)過(guò)程白噪聲若隨機(jī)序列()Xk滿足2,00,()0,0nmRnno?===?H?則稱(chēng)()Xk為白噪聲。白噪聲是平穩(wěn)過(guò)程，同時(shí)具有各態(tài)遍歷性，其譜密度函數(shù)為：21()(),22jnnfRne3ownwnnn+8-=-8=-<<I因此，白噪聲的功率在各個(gè)頻率上是均勻的，類(lèi)似于“白光”，因此稱(chēng)為“白”噪聲。白噪聲是最理想的純隨機(jī)信號(hào)，也是考查系統(tǒng)干擾影響的基礎(chǔ)。不符合白噪聲特點(diǎn)的噪聲稱(chēng)為有色噪聲，它可以由白噪聲的函數(shù)來(lái)表達(dá)。第9頁(yè)三、 最小二乘法參數(shù)估計(jì)的原理1、離散系統(tǒng)的輸入輸出模型根據(jù)對(duì)系統(tǒng)辨識(shí)的分析，它是在測(cè)量得到的離散的系統(tǒng)輸入輸出數(shù)據(jù)的基礎(chǔ)上來(lái)進(jìn)行系統(tǒng)結(jié)構(gòu)和參數(shù)辨識(shí)的，因此首先要研究離散系統(tǒng)的數(shù)學(xué)描述。設(shè)單輸入單輸出系統(tǒng)的差分方程為：101()(1)()()(1)()abnanbytaytaytnbutkbutkbutkn+—+-=-+—++—k是輸出延時(shí)。設(shè)單位后移算子為1z-,即有1()(1)zytyt-=-則可令11101()1()aabbnnnnAzazazBzbbzbz---=+++=+++則單輸入單輸出系統(tǒng)的差分方程可表示為：()()()()AzytBzutk=-也可寫(xiě)為：()()()()BzytutkAz=-當(dāng)系統(tǒng)受噪聲干擾時(shí)，假定噪聲源是白噪聲，則可將噪聲引起的輸出擾動(dòng)定義為：()()()()CztwtAzE二則含有單輸入單輸出系統(tǒng)的差分方程可表示為：()()()()()()()BzCzytutkwtAzAz=-+也可寫(xiě)為：()()()()()()AzytBzutkCzwt=-+其中()()Azyt表示輸出y(t)的歷史值對(duì)當(dāng)前值的影響，稱(chēng)為自回歸部分，AR()()Bzutk-表示輸入u(t)對(duì)輸出y(t)當(dāng)前值的影響，稱(chēng)為受控部分，C第10頁(yè)()()Czwt表示干擾對(duì)輸出y(t)的影響，稱(chēng)為滑動(dòng)平均部分，MA因此，上述模型稱(chēng)為：受控自回歸滑動(dòng)平均模型，CARMA其它的單輸入單輸出系統(tǒng)模型還有：()()()()()AzytBzutkwt=-+,受控自回歸模型，CAR1()()()()()()AzytBzutkwtDz=-+，動(dòng)態(tài)模型，DA對(duì)于多輸入多輸出時(shí)變離散系統(tǒng)，可用差分狀態(tài)空間模型表示為：(1)()()()()()()()()()()xtAtxtBtutDtwtytCtxtwt+=++??=+?2、最小二乘法參數(shù)估計(jì)的原理設(shè)有一待辨識(shí)的系統(tǒng)模型為()yfxw=+xyw0和是可測(cè)量的輸入輸出數(shù)據(jù)是白噪聲待辨識(shí)的參數(shù)為若有一系列輸入輸出的測(cè)量值112233,;,;,;;,nnyxyxyxyx則稱(chēng)能使準(zhǔn)則函數(shù)21()[()]niiiJyfx9==-J取得最小值的參數(shù)估計(jì)值?e為最小二乘法參數(shù)估計(jì)，簡(jiǎn)記為L(zhǎng)S估計(jì)。最小二乘法參數(shù)估計(jì)本質(zhì)上是求測(cè)量點(diǎn)到估計(jì)模型的歐氏距離和最小的參數(shù)估計(jì)結(jié)果。3、參數(shù)估計(jì)的評(píng)價(jià)指標(biāo)對(duì)于不同的參數(shù)估計(jì)算法，其估計(jì)結(jié)果的評(píng)價(jià)有以下常用指標(biāo)：(1)無(wú)偏性設(shè)?e是參數(shù)9的估計(jì)值，若()E99=則稱(chēng)?9為參數(shù)9的無(wú)偏估計(jì)。無(wú)偏估計(jì)是參數(shù)估計(jì)的基本要求，即估計(jì)值以真值為中心波動(dòng)，如果重復(fù)多次估計(jì)，則依據(jù)大數(shù)定律，估計(jì)值的均第11頁(yè)值會(huì)趨近于真值。(2)均方誤差設(shè)?9是參數(shù)9的估計(jì)值，均方誤差定義為2??(,)[)]MSEE9999=-(均方誤差反映了估計(jì)值波動(dòng)的幅度大小。若?9是參數(shù)9的無(wú)偏估計(jì)，則均方誤差就是估計(jì)值?9的方差；若?9不是參數(shù)9的無(wú)偏估計(jì)，則均方誤差為2222222??(,)[)]{[()()]}{[()]}2{[()][()]}{[()]}{[()]}[()]??()[()]MSEEEEEEEEEEEEEEEDE99999999999999999999999=-=-+-=-+--+-=-+-=+-((3)收斂性如t—8時(shí)，有?limt99—8=,a.s.則稱(chēng)?e收斂于eo四、 基本最小二乘法參數(shù)估計(jì)1、系統(tǒng)模型設(shè)系統(tǒng)模型為CAR模型(受控自回歸)，且無(wú)輸出延時(shí)()()()()(),()AzytBzutwtwt=+是白噪聲11101()1()aabbnnnnabAzazazBzbbzbznn---=+++=+++＞且也可將模型寫(xiě)為：()()()Tyttwt?e=+其中12012[,,,;,,,,]()[(1),(2),,();(),(1),(2),,()]abnnTabaaabbbbtytytytnututututne?== ，稱(chēng)為參數(shù)向量，稱(chēng)為信息向量2、辨識(shí)算法第12頁(yè)在t時(shí)刻，有t個(gè)測(cè)量結(jié)果，表示為：tttyHwe=+其中[(1),(2),,()][(1),(2),,()][(1),(2),,()]TTTTTTtttyyyytHtwwwwt=== ，，設(shè)最小二乘準(zhǔn)則函數(shù)為21()[()()]tTiJyii0?0==-2則參數(shù)估計(jì)值?e應(yīng)能使該準(zhǔn)則函數(shù)取得極小值。設(shè)()je在?e處可微，則()0Jeeee=?=?因?yàn)閇()()]()()()2()tTiTttttTtttyiiJyHyHHyH00ee00ee?eeee0000=====?-?==--!所以有()0TtttHyH0-=即1??()TTttttTTttttHyHHHHHy00-==條件是TttHH非奇異，可以求逆。可以證明，當(dāng)輸入信號(hào)是是an階持續(xù)激勵(lì)信號(hào)，當(dāng)t-8時(shí)，1abtnn>>++,TttHH非奇異。持續(xù)激勵(lì)信號(hào)持續(xù)激勵(lì)信號(hào)是指能夠持續(xù)激勵(lì)待辨識(shí)系統(tǒng)的動(dòng)態(tài)特性，以獲得充分的信息第13頁(yè)來(lái)進(jìn)行辨識(shí)的輸入信號(hào)。對(duì)于無(wú)輸出延時(shí)的受控自回歸(CAR)模型，需要辨識(shí)的參數(shù)有1abnn++個(gè)，因此輸入信號(hào)至少要包含12abnn++個(gè)線性無(wú)關(guān)的頻率成份，才能夠獲得足夠的數(shù)據(jù)進(jìn)行辨識(shí)。白噪聲和有色噪聲都是持續(xù)激勵(lì)信號(hào)，因此用白噪聲作為輸入來(lái)進(jìn)行系統(tǒng)辨識(shí)是最理想的，但一般系統(tǒng)對(duì)白噪聲都不能做出有效的響應(yīng)，且白噪聲也難以在物理上實(shí)現(xiàn)。1?()TTLSttttHHHy0-=就是基本最小二乘法參數(shù)估計(jì)公式，它是離線估計(jì)算法，需要一次采集足夠多的輸入輸入信號(hào)，計(jì)算量比較大，并且需要對(duì)高階矩陣進(jìn)行求逆計(jì)算。3、估計(jì)質(zhì)量評(píng)價(jià)(1)無(wú)偏性111111?()[()][()()][()][()][()][()]()0?(TTLSttttTTtttttTTttttTTttttttTTTTttttttttLSEEHHHyEHHHHwEHHHwEHHHwwHEHHHwEHHHEwE999999 ==+=+=+.?.==.?.=由白噪聲構(gòu)成，與之間線性不相關(guān))所以，基本最小二乘法參數(shù)估計(jì)是無(wú)偏估計(jì)。(2)均方誤差基本最小二乘法參數(shù)估計(jì)的均方誤差為1111211??(,)()[()][][()][()]{[()]}[()()]LSLSTTttttTTttttTTttttTTttttTTTTttttttttMSEDDHHHwDDHHHwDHHHwEHHHwEHHHwwHHH09999 ==+=+===收斂性第14頁(yè)1121121lim(,)lim[()()]lim()()lim()TTTTLSttttttttttTTTtttttttTtttMSEEHHHwwHHHHHHHHHHH99oo--f8—8——一8-—>8212121lim()..111?lim(,)lim()lim0?lim[()]0?lim,..TtttTLStttttLStLStHHRastMSEHHRtttEas99oo9999>8-->8>8>8>8>8====-==若存在則則有即可以證明，當(dāng)輸入信號(hào)是是an階持續(xù)激勵(lì)信號(hào)，1lim()..TtttHHRast>8=條件滿足。五、 遞推最小二乘法參數(shù)估計(jì)1、基本最小二乘法參數(shù)估計(jì)的問(wèn)題?計(jì)算量大?需要求大型矩陣的逆?不能實(shí)現(xiàn)在線參數(shù)估計(jì)?不能無(wú)法預(yù)估所需的數(shù)據(jù)量2、最小二乘法參數(shù)估計(jì)遞推公式遞推最小二乘法利用逐漸采集到的輸入輸出數(shù)據(jù)來(lái)遞推估計(jì)系統(tǒng)參數(shù)?e時(shí)刻的，即求取t時(shí)刻的參數(shù)估計(jì)值?()te與1t-時(shí)刻的參數(shù)估計(jì)值?(i)te-和t時(shí)刻的信息向量()tt?之間的關(guān)系。設(shè)11()()()tTTttiPtHHii??-===2貝則11()(1)()()TPtPttt??--=-+1?()TTttttHHHye-=第15頁(yè)1111111?()()()[()()]()[(1)(1)()()]()[(1)(1)()()]?(){[()()()](1)()()}??(1)()()[()()(1)]TttTttTttTTtPtHyPtHytytPtPtPtHytytPtPtttytPtPtttttyttPttyttte??eeee .?.==+=—+=—+=—二-—即遞推最小二乘法公式為：11()(1)()()[()()(1)]()(1)()()TTttPttytttPtPtttee??e??--?=-+--??=-+??其中(1)?()()(1)()()TtytttPtt00?---是上一時(shí)刻的參數(shù)估計(jì)值是利用上一時(shí)刻參數(shù)估計(jì)值得到的輸出偏差為修正因子為避免矩陣求逆運(yùn)算，可對(duì)以上遞推最小二乘法參數(shù)估計(jì)進(jìn)行進(jìn)一步改進(jìn)。111111111()()()[(1)()()](1)(1)()[()(1)()]()(1)TTTAbcAAbIcAbcAPtPtttPtPttItPtttPt-1()(1)()111[()(1)()]1()(1)()TTTtPttItPtttPtt-- ????+-二+-是維的標(biāo)量(1)()()(1)()(1)1()(1)()(1)()[()](1)1()(1)()TTTTPtttPtPtPttPttPttItPttPtt-- ?=--+--=--+-同時(shí)，有1()(1)()()()(1)()()(1)()1()(1)()()()()(1)()()()(1)()(1)1()(1)()(1)()1()(1)()TTTTTTTtPttttPtPttPtttPtttttPttttPttPttPttPtttPtt+---=-+-+---=-+--=+-設(shè)(1)()()1()(1)()TPttLttPtt-=+-則遞推最小二乘法參數(shù)估計(jì)公式可寫(xiě)為第16頁(yè)()(1)()[()()(1)](1)()()1()(1)()()[()()](1)TTT11LtytttPttLttPttPtILttPt99?9= -+-?=?+-?=--?3、遞推最小二乘法參數(shù)估計(jì)的算法過(guò)程第一步：選取?(o)e和(o)p的初值,一般？(o)e取很小的實(shí)向量,(o)p取22610,10?101aaa二為充分大的正數(shù)，一般取，t=1；第二步：增加一組測(cè)量數(shù)據(jù)，獲得()Tt?;第三步：求()Lt;第四步：求?()t0，若滿足精度要求??()(1)tt00￡--＜，則停止遞推；第五步：計(jì)算()Pt八加1,返回第二步。課后作業(yè)：設(shè)待辨識(shí)系統(tǒng)為1212134)()(23)()(),()zzytzzutwtwt ++=++(是白噪聲在Matlab中編程，用偽隨機(jī)序列作為持續(xù)激勵(lì)的輸入()ut產(chǎn)生信息向量，然后用遞推最小二乘法對(duì)參數(shù)進(jìn)行估計(jì)。六、 其它最小二乘法參數(shù)估計(jì)1、遺忘因子遞推最小二乘法參數(shù)估計(jì)當(dāng)采用遞推最小二乘法時(shí)，已有的所有信息向量都會(huì)在遞推過(guò)程中發(fā)揮作用，因此隨著時(shí)間的推移，新采集到的信息向量對(duì)參數(shù)估計(jì)值的修正作用會(huì)逐漸減弱，稱(chēng)為“數(shù)據(jù)飽和”現(xiàn)象，也就是說(shuō)遞推算法的計(jì)算效率逐漸降低。當(dāng)被辨識(shí)的系統(tǒng)參數(shù)緩慢時(shí)變時(shí)，遞推最小二乘法參數(shù)估計(jì)不能很好地實(shí)現(xiàn)系統(tǒng)辨識(shí)。遺忘因子遞推最小二乘法參數(shù)估計(jì)是在遞推公式中加入遺忘因子，逐漸減小舊信息向量在參數(shù)估計(jì)中的權(quán)重，以加強(qiáng)新信息向量的作用，跟隨系統(tǒng)參數(shù)的時(shí)變。令11()(1)()()TPtPttt入??--二-+，入為遺忘因子，一般取0.951入5＜。入越大，遺忘作用越小，參數(shù)估計(jì)的精度越高；入越小，遺忘作用越大，參數(shù)估計(jì)的跟蹤能力越強(qiáng)。遺忘因子遞推最小二乘法參數(shù)估計(jì)公式為第17頁(yè)()(1)()[()()(1)](1)()()()(1)()1()[()()](1)TTTttLtytttPttLttPttPtILttPt99?9?AA?=-+--?-?=?+-?=--?2、增廣最小二乘法參數(shù)估計(jì)(1)系統(tǒng)模型增廣最小二乘法針對(duì)受控自回歸滑動(dòng)平均模型(CARMA),()()()()()()AzytBzutCzwt=+其中1110111()1()()1aabbccnnnnnnAzazazBzbbzbzCzczcz =+++=+++=+++令噪聲干擾為()()()etCzwt=則待辨識(shí)系統(tǒng)模型為()()()()()AzytBzutet=+定義參數(shù)向量為：

1201212[,,,;,,,,][,,,],abcTTsnnnnaaabbbbccc00==,信息向量為：()[(1),(2),,();(),(1),(2),,()]()[(1),(2),,()]TsabTnctytytytnututututntwtwtwtn--，，則系統(tǒng)模型可寫(xiě)為：[]sttttnyHLw00??=+其中(1)(1)(1)(1)(2)(2)(2)(2)()()()()TTsnTTsnttttTTsnywywyHt====????????????????，，，(2)一次完成算法第18頁(yè)由最小二乘法參數(shù)估計(jì)的原理可得，1TTTsttttttTTTtttttnHHHLHyLHLLL00-=但該