第四章-最小二乘參數(shù)辨識方法及原理分解課件

1、建模與辨識第4章 最小二乘參數(shù)辨識方法建模與辨識第4章 最小二乘參數(shù)辨識方法4.1、輸入輸出模型4.2 最小二乘法（LS）4.3 遞推最小二乘法（RLS）4.4 數(shù)據(jù)飽和現(xiàn)象及適應(yīng)性算法 4.4.1 數(shù)據(jù)飽和現(xiàn)象 4.4.2 漸消記憶法(遺忘因子法) 4.4.3 限定記憶法（固定窗）法 4.4.4 輔助變量法（IV） 4.4.5 遞推輔助變量法（RIV）4.5 廣義最小二乘法（GLS）4.6 遞推廣義最小二乘法（RGLS）4.7 增廣矩陣法（ELS/RELS）（增廣最小二乘法）4.8 多階段最小二乘法（MSLS）4.9 幾種最小二乘類辨識算法的比較 本章內(nèi)容4.1、輸入輸出模型 本章內(nèi)容 本章

2、的學(xué)習(xí)目的1、掌握最小二乘參數(shù)辨識方法的基本原理2、掌握常用的最小二乘辨識方法3、熟練應(yīng)用最小二乘參數(shù)辨識方法進(jìn)行模型參數(shù)辨識4、能夠編程實(shí)現(xiàn)最小二乘參數(shù)辨識 本章的學(xué)習(xí)目的回 顧辨識目的：根據(jù)過程所提供的測量信息，在某種準(zhǔn)則意 義下，估計(jì)模型的未知參數(shù)。ProcessInputOutput工程實(shí)踐 目 的模型結(jié)構(gòu)參數(shù)辨識模型校驗(yàn)?zāi)Ｐ痛_定回 顧辨識目的：根據(jù)過程所提供的測量信息，在某種準(zhǔn)則意4.1 輸入輸出模型隨機(jī)模型確定性模型4.1 輸入輸出模型確定性模型1.確定性模型 )(kG )(ku)(kyn階差分方程描述：1.確定性模型 )(kG )(ku)(kyn階差分方程描述：1.確定性模型 )

3、(zG )(ku)(ky脈沖傳遞函數(shù)描述：1.確定性模型 )(zG )(ku)(ky脈沖傳遞函數(shù)描述：2.隨機(jī)模型觀測值可表示為：整理得：2.隨機(jī)模型觀測值可表示為：整理得：2.隨機(jī)模型相當(dāng)于進(jìn)行m次獨(dú)立試驗(yàn)，得到2.隨機(jī)模型相當(dāng)于進(jìn)行m次獨(dú)立試驗(yàn)，得到第四章-最小二乘參數(shù)辨識方法及原理分解課件m次獨(dú)立試驗(yàn)的數(shù)據(jù)1795年，高斯提出了最小二乘方法。m次獨(dú)立試驗(yàn)的數(shù)據(jù)1795年，高斯提出了最小二乘方法。 未知量的最可能值是使各項(xiàng)實(shí)際觀測值和計(jì)算值之間差的平方乘以其精確度的數(shù)值以后的和為最小。1795年，高斯提出的最小二乘的基本原理是Gauss（1777-1855）使 最小 未知量的最可能值是使各

4、項(xiàng)實(shí)際觀測值和計(jì)算值之間 未知量的最可能值是使各項(xiàng)實(shí)際觀測值和計(jì)算值之間差的平方乘以其精確度的數(shù)值以后的和為最小。1795年，高斯提出的最小二乘的基本原理是Gauss（1777-1855）使 最小 未知量的最可能值是使各項(xiàng)實(shí)際觀測值和計(jì)算值之間3、最小二乘辨識方法的基本概念通過試驗(yàn)確定熱敏電阻阻值和溫度間的關(guān)系 當(dāng)測量沒有任何誤差時(shí)，僅需2個(gè)測量值。 每次測量總是存在隨機(jī)誤差。3、最小二乘辨識方法的基本概念通過試驗(yàn)確定熱敏電阻阻值和溫度3利用最小二乘法求模型參數(shù)根據(jù)最小二乘的準(zhǔn)則有根據(jù)求極值的方法，對上式求導(dǎo)3利用最小二乘法求模型參數(shù)根據(jù)最小二乘的準(zhǔn)則有根據(jù)求極值的方第四章-最小二乘參數(shù)辨識方

5、法及原理分解課件第四章-最小二乘參數(shù)辨識方法及原理分解課件3 利用最小二乘法求模型參數(shù)3 利用最小二乘法求模型參數(shù)第四章-最小二乘參數(shù)辨識方法及原理分解課件第四章-最小二乘參數(shù)辨識方法及原理分解課件4.2 最小二乘法 一個(gè)單輸入單輸出線性定常系統(tǒng)可用圖4-1表示。系統(tǒng)的差分方程為(4-1) )(kG )(ku)(kx)(kv)(ky4.2 最小二乘法 一個(gè)單輸入單輸出線性定常為隨機(jī)干擾。由上式得 把式 (4-3)代入式(4-1)，得觀測值 用下式表示： (4-2)(4-3)即(4-4)為隨機(jī)干擾。由上式得 把式 (4-3)代入式(4-1)，得如果 也有測量誤差，則在 中應(yīng)包含這一測量誤差。則式

6、(4-4)變成(4-6)假設(shè) 是均值為零的獨(dú)立分布的平穩(wěn)隨機(jī)序列，且與序列 相互獨(dú)立。設(shè)(4-5)如果 也有測量誤差，則在 中應(yīng)包含這一 現(xiàn)在分別測出個(gè) 輸出值和輸入值： 及 。則可寫出N個(gè)方程：上述N個(gè)方程可寫成下列向量矩陣形式 現(xiàn)在分別測出個(gè) 輸出值和輸入值： 式中 為N個(gè)輸出值組成的向量； 所組成的n維向量， 所組成的 維向量；所組成的N維噪聲， 即 或(4-7) 式中 為N個(gè)輸出值組成的向量； 為輸出值 所組成的 陣塊； 為輸入值 所組成的 矩陣塊。即(4-8)式(4-7)也可寫成(4-9) 為輸出值 式中 為 維測量矩陣， 為 維參數(shù)向量。因此，式(4-9)是一個(gè)含有 個(gè)未知參數(shù)的N

7、個(gè)方程組成的聯(lián)立方程組。如果 ，則方程組是不定的，不能唯一地確定參數(shù)向量。如果 ，則當(dāng)測量誤差 時(shí)，就能準(zhǔn)確地解出參數(shù)向量，即(4-10)如果測量誤差不等于零，則(4-11)式中 為 維測量矩陣， 從上式可看出，隨機(jī)測量噪聲 對參數(shù) 的估計(jì)值有影響，為了盡量減小 對 的估值的影響，應(yīng)該取 ，即方程數(shù)目大于未知數(shù)數(shù)目。在這種情況下，不能用解方程的方法求 ，而要采用數(shù)理統(tǒng)計(jì)的方法求 的估值。這樣可減小 對 的估值的影響。這種給定測量向量 和測量矩陣 求參數(shù) 估值的問題，就是系統(tǒng)參數(shù)的辨識問題。 從上式可看出，隨機(jī)測量噪聲 對參數(shù) 的估計(jì)值有式中寫出式(4-12)的某一行，得(4-13)設(shè) 表示 的

8、最優(yōu)估值， 表示 的最優(yōu)估值，則有(4-12)式中寫出式(4-12)的某一行，得(4-13)設(shè) 表示 設(shè) 表示 與 之差，通常稱它為殘差。(4-14)由式(4-14)得(4-15)設(shè) 表示 與 之差，通常稱它為 把 分別代入式(4-14)，可得殘差 把這些殘差寫成向量形式：(4-16)最小二乘法估計(jì)要求殘差的平方和為最小，即按照指標(biāo)函數(shù)為最小確定估值 。 (4-17) 把 可按 來求 的最小二乘法估計(jì)值 。即由此式用 左乘等號的兩邊，得 (4-18)可按 來求 的最小二乘法估計(jì)值 。顯然，當(dāng)矩陣 存在時(shí)，式(4-18)才有解。一般說來，如果 是隨機(jī)序列或偽隨機(jī)二位式序列，則矩陣 是非奇異的，即

9、 存在，式(4-18)有解。J為極小值的充分條件是(4-19) 因?yàn)?有解與 正定等價(jià)，所以可以保證 正定來確定對輸入 序列的要求。由式(4-9)可知(4-20)顯然，當(dāng)矩陣 存在時(shí)，式(4-18)才有則 因此，要求 正定，根據(jù)正定矩陣的性質(zhì)，必須保證 正定。這個(gè)條件稱為 階持續(xù)激勵(lì)條件。通常，輸入 序列采用隨機(jī)序列或M序列時(shí)，它們都滿足這個(gè)持續(xù)激勵(lì)條件。顯然，若為常值序列時(shí)， 為奇異陣，不滿足持續(xù)激勵(lì)條件。則 因此，要求 正定，根據(jù)正定矩陣的性質(zhì)，必須保 因輸出值 是隨機(jī)的，所以 是隨機(jī)的，但要注意到 不是隨機(jī)的。如果則稱 是 的無偏估計(jì)。 如果式(4-6)中的 是不相關(guān)隨機(jī)序列，且其均值為

10、零（實(shí)際上 往往是相關(guān)隨機(jī)序列，對這種情況，以后專門討論。并假設(shè)序列 與 不相關(guān)。當(dāng) 為不相關(guān)隨機(jī)序列時(shí)， 只與 及其以前的 有關(guān)，而與 及其以后的 等無關(guān)。從 的展開式可看出， 與 不相關(guān)。 因輸出值 是隨機(jī)的，所以 是隨機(jī)的，但要注意到 的展開式如下所示：(4-22) 的展開式如下所示：(4-22)對上式等號兩邊取數(shù)學(xué)期望 由于 與 不相關(guān)， 則式(4-18)給出的 是 的無偏估計(jì)。把式(4-9)代入式(4-18)，得(4-23)只要 ，便有式(4-24)表明 ， 是 的無偏估計(jì)。(4-24)對上式等號兩邊取數(shù)學(xué)期望 由于 與 不相關(guān)， 則 顯然，根據(jù)這一條件，要使最小二乘估計(jì)為無偏，可不

11、必要求 。當(dāng) 時(shí)，如何構(gòu)造無偏估計(jì)，這是本章將要討論的輔助變量法所要解決的問題。 在上面我們要求 是零均值的不相關(guān)隨機(jī)序列，并要求 與 無關(guān)，則 與 無關(guān)。這是最小二乘估計(jì)為無偏估計(jì)的充分條件，但不是必要條件。(4-25) 顯然，根據(jù)這一條件，要使最小二乘估計(jì)為無偏，可不必要求第四章-最小二乘參數(shù)辨識方法及原理分解課件第四章-最小二乘參數(shù)辨識方法及原理分解課件 以上分析表明，當(dāng) 時(shí)， 以概率1趨近于 。因此，當(dāng) 為不相關(guān)隨機(jī)序列時(shí)，最小二乘估計(jì)具有一致性和無偏性。如果系統(tǒng)的參數(shù)估計(jì)具有這種特性，就說系統(tǒng)具有可辨識性。 以上分析表明，當(dāng) 時(shí)， 以概率1趨第四章-最小二乘參數(shù)辨識方法及原理分解課件

12、例4.2 考慮仿真對象選擇如下的辨識模型進(jìn)行一般的最小二乘參數(shù)辨識。 例4.2 考慮仿真對象選擇如下的辨識模型進(jìn)行一般的最小二乘4階M序列輸出信號4階M序列輸出信號第四章-最小二乘參數(shù)辨識方法及原理分解課件一般最小二乘參數(shù)辨識流程圖一般最小二乘參數(shù)辨識流程圖作業(yè)1作業(yè)1第四章-最小二乘參數(shù)辨識方法及原理分解課件4.3 遞推最小二乘法原理及算法 一般最小二乘或加權(quán)最小二乘為一次完成算法或批處理算法。 計(jì)算量大、存儲大、不適合在線辨識。 采用參數(shù)遞推估計(jì)遞推最小二乘算法。 4.3 遞推最小二乘法原理及算法 一般最小二乘或加權(quán)最小二4.3 遞推最小二乘法辨識 遞推最小二乘法辨識是一種在線算法。這種方

13、法的辨識精度隨著觀測次數(shù)的增加而提高。 設(shè)已得到的觀測數(shù)據(jù)長度為N，把式(4-9) 中的 分別用 代替，即(4-32)用 表示 的最小二乘估計(jì)，則(4-33)4.3 遞推最小二乘法辨識 遞推最小二乘法辨識是一種在線估計(jì)誤差為 (4-34)估計(jì)誤差 的方差陣為 (4-35)上式中，設(shè) (4-36)于是，式(4-33)變成 (4-37)估計(jì)誤差為 (4-34)估計(jì)誤差 的方差陣為 (4-3式中 如果再獲得一組新的觀測值 和 ，則又增加一個(gè)方程(4-38)將式(4-32)和式(4-33)合并，寫成分塊矩陣形式，可得(4-39)式中 如果再獲得一組新的觀測值 由上式給出新的參數(shù)估值(4-40)式中(4

14、-41)由上式給出新的參數(shù)估值(4-40)式中(4-41)令A(yù)=PN-1 ，B=C= 展開式(4-41)的右端， 于是得到 和 的遞推關(guān)系式：(4-42)應(yīng)用矩陣求逆引理，令A(yù)=PN-1 ，B=C= 矩陣 為 矩陣，求這個(gè)矩陣的逆陣的逆陣是很麻煩的。應(yīng)用矩陣求逆引理之后，就可把求 的逆陣轉(zhuǎn)變?yōu)榍髽?biāo)量 的倒數(shù)，這樣可大大節(jié)省計(jì)算量，同時(shí)又得到 與 的簡單遞推關(guān)系式。由于 為標(biāo)量，因此式(4-42)可寫成(4-43) 矩陣 為 由式(4-40)和式(4-37)得把式(4-43)代入上式得由式(4-40)和式(4-37)得把式(4-43)代入上式得上式的后兩項(xiàng)為則上式的后兩項(xiàng)為則 式(4-43)、式

15、(4-44)和式(4-45)為一組遞推最小二乘法辨識公式。令(4-44)則可得 與 的遞推關(guān)系為(4-45) 式(4-43)、式(4-44)和式(4-45)為一組 為了進(jìn)行遞推計(jì)算，需要給出 和 的初值 和 。有兩種給初值的方法： 如果 表示N的初始值 ，則根據(jù)式(4-36)和式(4-37)算出初值為 假設(shè) 是充分大的數(shù)， 為 單位矩陣?？梢宰C明，經(jīng)過若干次遞推計(jì)算之后，可獲得較好的估計(jì)。 為了進(jìn)行遞推計(jì)算，需要給出 和 的初值 4.3 遞推最小二乘法原理及算法4.3 遞推最小二乘法原理及算法4.3 遞推最小二乘法原理及算法4.3 遞推最小二乘法原理及算法4.3 遞推最小二乘法原理及算法例4.3 對4.2采用遞推最小二乘估計(jì)辨識模型參數(shù) 選擇如下的辨識模型進(jìn)行遞推最小二乘參數(shù)辨識。 4.3 遞推最小二乘法原理及算法例4.3 對