漸消記憶遞推最小二乘算法課件

1、漸消記憶遞推最小二乘算法課件漸消記憶遞推最小二乘算法課件2第一章 緒論模型的含義： 所謂模型（model）就是把關(guān)于實(shí)際系統(tǒng)的本質(zhì)的部分信息減縮成有用的描述形式。 模型是分析系統(tǒng)和預(yù)報(bào)、控制系統(tǒng)行為特性的有力工具。 模型是根據(jù)使用目的對(duì)實(shí)際系統(tǒng)所作的一種近似描述。系統(tǒng)是由相互聯(lián)系、相互作用的若干組成部分結(jié)合而成的，具有特定功能的總體。4第一章 緒論模型的含義：系統(tǒng)是由相互聯(lián)系、相互作用的若3建立數(shù)學(xué)模型的基本方法數(shù)學(xué)模型特點(diǎn) (1)同一系統(tǒng)可有多個(gè)模型描述； (2)同一模型可以反映不同的實(shí)際系統(tǒng)； (3)模型精確度與復(fù)雜度的矛盾。演繹法建模 歸納法建模 （理論分析法、機(jī)理建模法） （測(cè)試法、系

2、統(tǒng)辨識(shí)法） 5建立數(shù)學(xué)模型的基本方法演繹法建模 歸納法建模 （理論分析法4建模過程總框圖 6建模過程總框圖 5研究上述系統(tǒng)時(shí)，可分為三類問題： （1）系統(tǒng)的分析問題 （2）系統(tǒng)的控制問題 （3）系統(tǒng)的辨識(shí)問題 7研究上述系統(tǒng)時(shí)，可分為三類問題：6系統(tǒng)辨識(shí)的定義（1）L. A. Zadeh定義（1962）：辨識(shí)就是在輸入和輸出數(shù)據(jù)的基礎(chǔ)上，從一組給定的模型類中，確定一個(gè)與所測(cè)系統(tǒng)等價(jià)的模型。（2）P. Eykhoff定義（1974）：辨識(shí)問題可以歸結(jié)為用一個(gè)模型來表示客觀系統(tǒng)本質(zhì)特征的一種演算，并用這個(gè)模型把對(duì)客觀系統(tǒng)的理解表示成有用的形式。（3）L. Ljung定義（1978）：辨識(shí)就是按照一

3、個(gè)準(zhǔn)則在一組模型類中選擇一個(gè)與數(shù)據(jù)擬合得最好的模型。辨識(shí)有三個(gè)要素-數(shù)據(jù)、模型類和準(zhǔn)則。8系統(tǒng)辨識(shí)的定義（1）L. A. Zadeh定義（1962）辨識(shí)的目的和驗(yàn)前知識(shí)確定模型類型和結(jié)構(gòu)模型參數(shù)估計(jì)模型的校驗(yàn)最終模型被辨識(shí)系統(tǒng)的I/0數(shù)據(jù)設(shè)計(jì)辨識(shí)實(shí)驗(yàn)滿意 不滿意系統(tǒng)辨識(shí)的內(nèi)容和步驟 辨識(shí)的目的確定模型類型和結(jié)構(gòu)模型參數(shù)估計(jì)模型的校驗(yàn)最終模型被8系統(tǒng)辨識(shí)參數(shù)辨識(shí)結(jié)構(gòu)辨識(shí)已知系統(tǒng)結(jié)構(gòu)（階次），但參數(shù)未知。系統(tǒng)結(jié)構(gòu)（階次）未知。 一般來說，系統(tǒng)辨識(shí)算法只適用于線性系統(tǒng)。非線性系統(tǒng)的辨識(shí)算法目前很不成熟，對(duì)于某些特殊的非線性系統(tǒng)可能有一些特殊的辨識(shí)方法，但是沒有統(tǒng)一的算法。10系統(tǒng)辨識(shí)參數(shù)辨識(shí)結(jié)構(gòu)辨識(shí)

4、已知系統(tǒng)結(jié)構(gòu)（階次），系統(tǒng)結(jié)構(gòu)（SISO 線性離散系統(tǒng) 輸入量 輸出量輸出量實(shí)測(cè)值測(cè)量噪聲第二章 系統(tǒng)辨識(shí)常用輸入信號(hào) 輸入信號(hào)極大地影響著系統(tǒng)的可辨識(shí)性和辨識(shí)精度。從理論上、工程上兩方面給出了輸入信號(hào)選擇準(zhǔn)則。 合理選擇辨識(shí)的輸入信號(hào)是能否獲得好的辨識(shí)結(jié)果的關(guān)鍵之一SISO 線性 輸入量 輸出量輸出量實(shí)測(cè)值10白噪聲定義 白噪聲過程是一種最簡(jiǎn)單的隨機(jī)過程。它是一種均值為0、譜密度為非0常數(shù)的平穩(wěn)隨機(jī)過程。定義：如果隨機(jī)過程(t)的均值為0，自相關(guān)函數(shù)為： R(t)=2(t) 其中： 且 則稱該隨機(jī)過程為白噪聲過程。12白噪聲定義 白噪聲過程是一種最簡(jiǎn)單的隨機(jī)過程11定義：如果隨機(jī)序列(k)的

5、均值為0，并且是倆倆不相關(guān)的，對(duì)應(yīng)的自相關(guān)函數(shù)為： R(l)=2l l=0 ，1 ，2 ， 其中： 則稱該隨機(jī)序列為白噪聲序列。 根據(jù)離散傅里葉變換可知白噪聲序列的平均功率譜密度為常數(shù)2，即白噪聲序列13定義：如果隨機(jī)序列(k)的均值為0，并且是倆倆不相白噪聲序列產(chǎn)生方法(1) (0,1)均勻分布隨機(jī)數(shù)的產(chǎn)生1) 乘同余法2) 混合同余法白噪聲序列產(chǎn)生方法(1) (0,1)均勻分布隨機(jī)數(shù)的產(chǎn)生白噪聲序列產(chǎn)生方法(2) 正態(tài)分布隨機(jī)數(shù)的產(chǎn)生1) 統(tǒng)計(jì)近似抽樣法2) 變換抽樣法白噪聲序列產(chǎn)生方法(2) 正態(tài)分布隨機(jī)數(shù)的產(chǎn)生1) 統(tǒng)計(jì)141111011100110001100001000010100

6、111000110101101011010110111101111111100010011010X1X2X3X4移位脈沖XOR輸出M序列產(chǎn)生方法161111011100110001100001000010M序列的性質(zhì)（1）由n級(jí)移位寄存器產(chǎn)生的M序列是確定的周期性序列，它的周期長(zhǎng)度為N=2n-1。（2）n級(jí)移位寄存器中必須避免全部為“0”的狀態(tài)，M序列一個(gè)周期內(nèi)狀態(tài)“0”出現(xiàn)的次數(shù)比狀態(tài)“1” 少1。（4）所有M序列均具有移位可加性，即2個(gè)彼此移位等價(jià)的相異M序列，按位模2相加所得到序列仍與原M序列等價(jià)。（5）M序列的自相關(guān)函數(shù)R()在原點(diǎn)處最大，離開原點(diǎn)后迅速下降，具有近似白噪聲序列的性質(zhì)。

7、（3）M序列中，狀態(tài)“0”或“1”連續(xù)出現(xiàn)的段稱為游程。游程中“0”或“1”的個(gè)數(shù)稱為游程長(zhǎng)度。長(zhǎng)度為i（1in-2）的游程占總數(shù)的1/2i，有2n-i-1個(gè);長(zhǎng)度為n-1的游程為“0”的游程; 長(zhǎng)度為n的游程為“1”的游程;M序列的性質(zhì)（1）由n級(jí)移位寄存器產(chǎn)生的M序列是確定的周期性16 由于M序列對(duì)時(shí)間是離散的，而輸入需要對(duì)時(shí)間連續(xù)，所以在實(shí)際應(yīng)用中，總是把狀態(tài)為“0”和 “1”的M序列變換成幅度為+a和-a的二電平序列，其中“0”對(duì)應(yīng)高電平+a，“1”對(duì)應(yīng)低電平-a。這種對(duì)時(shí)間連續(xù)的序列稱為二電平M序列。二電平M序列11110001001101018 由于M序列對(duì)時(shí)間是離散的，而輸入需要

8、對(duì)時(shí)間差分方程 其中引入單位延遲算子 ，令：第三章 系統(tǒng)數(shù)學(xué)描述與經(jīng)典辨識(shí)法回顧差分方程 其中引入單位延遲算子 ，令：第三章 隨機(jī)型差分方程 其中, (k)為白噪聲回顧隨機(jī)型差分方程 其中, (k)為白噪聲回顧19階躍響應(yīng)法21階躍響應(yīng)法202221根據(jù)階躍響應(yīng)曲線求放大系數(shù)、時(shí)間常數(shù)的方法：23根據(jù)階躍響應(yīng)曲線求放大系數(shù)、時(shí)間常數(shù)的方法：222423線性系統(tǒng)g()正常輸入X0(t)y0(t)+yw(t)延遲乘法器積分器K g()白噪聲Xw(t)Xw(t-)具有正常輸入時(shí)的系統(tǒng)辨識(shí)原理圖25線性系統(tǒng)正常輸入y0(t)+yw(t)延遲乘法器積分器24M序列的循環(huán)周期為N，移位脈沖的周期為tM序列

9、的自相關(guān)函數(shù)為（1） 計(jì)算方法用M序列辨識(shí)系統(tǒng)脈沖響應(yīng)回顧26M序列的循環(huán)周期為N，移位脈沖的周期為tM序列的自相關(guān)25利用WienerHopf方程的離散形式（采樣時(shí)間為M序列移位脈沖周期t）工程上：當(dāng)N足夠大（M序列的循環(huán)周期大于系統(tǒng)過渡過程時(shí)間）回顧27利用WienerHopf方程的離散形式工程上：當(dāng)N足夠（2）通過脈沖響應(yīng)求傳遞函數(shù)G(s)為系統(tǒng)的傳遞函數(shù)若系統(tǒng)具有n個(gè)兩兩互不相等的閉環(huán)極點(diǎn)S1,S2, Sn.則上式可分部因式為：任務(wù)：已知g(i)及n,求G(s)中系數(shù)ci和si.回顧（2）通過脈沖響應(yīng)求傳遞函數(shù)G(s)為系統(tǒng)的傳遞函數(shù)若系統(tǒng)具整理求解步驟如下：(3)(2)(1)回顧整理

10、求解步驟如下：(3)(2)(1)回顧28第四章 最小二乘法辨識(shí)30第四章 最小二乘法辨識(shí)29線性差分模型最小二乘離線算法正定31線性差分模型最小二乘離線算法正定303231一種不需矩陣求逆的最小二乘法 設(shè)系統(tǒng)的差分方程模型為 （4.20） 令 （4.21） （4.22） 33一種不需矩陣求逆的最小二乘法 設(shè)系統(tǒng)的差分方程模32則式（4.20）可以寫為 （4.23） 取 34則式（4.20）可以寫為 （4.23） 取 333534遞推最小二乘算法36遞推最小二乘算法35為了進(jìn)行遞推計(jì)算，需要給出 和 的初值 和 ，有兩種給出初值的辦法。 （1）設(shè) 為N的初始值，則可算出初值 （2）假定 ，c是充

11、分大的常數(shù)， I為 單位矩陣 遞推之后能得到較好的參數(shù)估計(jì)。 ，則經(jīng)過若干次37為了進(jìn)行遞推計(jì)算，需要給出 和 的初值 和 ，有兩種36漸消記憶遞推算法 漸消記憶法是對(duì)每個(gè)數(shù)據(jù)按指數(shù)加權(quán)，老的數(shù)據(jù)作用逐漸減弱。如果再獲得一對(duì)新的觀測(cè)值 ，則有 由n+N個(gè)觀測(cè)數(shù)據(jù)獲得 的最小二乘估計(jì)為38漸消記憶遞推算法 漸消記憶法是對(duì)每個(gè)數(shù)據(jù)按指數(shù)加漸消記憶遞推最小二乘算法 其中，稱為“遺忘因子”。選擇不同的就得到不同的遺忘效果。 越小，遺忘的速度越快。 =1：無遺忘； =0：全遺忘 一般來說， 必須選擇接近于1的正數(shù)，對(duì)于線性系統(tǒng)，應(yīng)選擇0.951。漸消記憶遞推最小二乘算法 其中，稱為“遺忘382022/9

12、/11 最小二乘估計(jì)的特點(diǎn)1） 唯一性 3）應(yīng)用簡(jiǎn)單，魯棒性好最小二乘估計(jì)的性質(zhì)2）適用范圍廣402022/9/9 最小二乘估計(jì)的特點(diǎn)1） 392022/9/11 最小二乘估計(jì)的概率性質(zhì) 如果(k)是不相關(guān)隨機(jī)序列，且均值為0。1） 無偏性 2）一致性4） 漸進(jìn)正態(tài)性輔助變量法、廣義最小二乘法、增廣矩陣法 如果是均值為0且服從正態(tài)分布的白噪聲向量，則最小二乘參數(shù)估計(jì)值服從正態(tài)分布。3） 有效性在眾多無偏估計(jì)中，方差最小。412022/9/9 最小二乘估計(jì)的概率性質(zhì) 如果40 各種改進(jìn)最小二乘法的對(duì)比辨識(shí)算法方法原理精度計(jì)算量適用范圍IV基于最小二乘估計(jì)的形式，引入輔助矩陣辨識(shí)效果較好，但比GL

13、S和ELS差計(jì)算量較小，收斂速度快能適應(yīng)較廣范圍的噪聲特性，對(duì)初值敏感GLS在不改變參數(shù)的情況下，對(duì)系統(tǒng)IO和噪聲進(jìn)行變換當(dāng)信噪比較大時(shí)，辨識(shí)精度較高計(jì)算量較大要求數(shù)據(jù)充分，初值對(duì)辨識(shí)結(jié)果有較大影響ELS同時(shí)估計(jì)系統(tǒng)參數(shù)和噪聲參數(shù)辨識(shí)效果較好，精度不如GLS類似于IV廣泛用于模型噪聲為有色噪聲的情況42 各種改進(jìn)最小二乘法的對(duì)比辨識(shí)算法方法原理精度計(jì)算量適 應(yīng)用極大似然法進(jìn)行系統(tǒng)模型的參數(shù)估計(jì)已有較長(zhǎng)的歷史，也是一種比較常用的方法。在某種意義上講，它是和最小二乘相并行的方法，但是極大似然法的思路與最小二乘法完全不同。 極大似然法是由Fisher發(fā)展起來的一種參數(shù)辨識(shí)方法，可用來處理相關(guān)噪聲的情

14、況。其實(shí)該方法最早是由高斯所論述的。第五章 極大似然法辨識(shí) 應(yīng)用極大似然法進(jìn)行系統(tǒng)模型的參數(shù)估計(jì)已有較長(zhǎng)42 對(duì)于一組觀測(cè)數(shù)據(jù)yl, y2, , yN，它所具有的聯(lián)合概率分布表示了出現(xiàn)該觀測(cè)結(jié)果的可能性。而觀測(cè)數(shù)據(jù)的聯(lián)合概率密度與待估參數(shù)密切相關(guān)，不同的參數(shù)值將有不同的概率密度函數(shù)。 當(dāng) 時(shí)，如果該聯(lián)合概率密度最大（即得到該觀測(cè)值的可能性最大），那么在已知該觀測(cè)數(shù)據(jù)條件下， 是準(zhǔn)確參數(shù)值的可能性最大。 極大似然法需要構(gòu)造一個(gè)以數(shù)據(jù)和未知參數(shù)為自變量的似然函數(shù)，并通過極大化這個(gè)似然函數(shù)，獲得模型參數(shù)的估計(jì)值。方法描述44 對(duì)于一組觀測(cè)數(shù)據(jù)yl, y2, ,43第六章 系統(tǒng)結(jié)構(gòu)辨識(shí)6.1 按殘差方差定階 6.2 確定階的Akaik