遞推最小二乘法doc資料

1、遞推最小二乘法10(1)(1)(2)(2),()()nnay nnay nnyby nNnNb( )(1)(1)(1)(1)(2)(2)(2)(1)()()()y nyu nuy nyu nuy nNy Nu nNu N 則可寫為 y N維輸出向量2n+1維參數(shù)向量N維噪聲向量N(2n+1)維測量矩陣最小二乘法：最小二乘法：eyyy 最小二乘估計要求殘差的平方和為最小，即按照指標(biāo)函數(shù) () ()TTJe eyy為最小來確定估值 。求J對 的偏導(dǎo)數(shù)并令其等于0 可得 的最小二乘估計 1()TTy J為極小值的充分條件是 2220TJ 即矩陣 為正定矩陣正定矩陣。 T 反反饋饋控控制制律律 動動態(tài)

2、態(tài)系系統(tǒng)統(tǒng)模模型型 y(k) u(k) 遞遞推推最最小小二二乘乘 參參數(shù)數(shù)辨辨識識算算法法 圖4.1 動態(tài)系統(tǒng)遞推最小二乘在線辨識過程原理圖T1111NNNn NNNyK1T11111NNNNNNKP P 1TT11111T111()NNNNNNNNNNNNIKPPP P PP令 ，則遞推最小二乘算法1()TNNNP 遞推最小二乘法遞推最小二乘法該遞推公式有明顯的物理意義：1NNN1T11111NNNNNNKP P T1111NNNn NNNyKT111NNn NNNyKT11NNn Ny稱 為新息，表示實測值與預(yù)報值之差，而 為新息的校正增益。1NKT11n NNNy數(shù)據(jù)飽和現(xiàn)象數(shù)據(jù)飽和現(xiàn)象

3、 在實際應(yīng)用中，遞推最小二乘法常常會出現(xiàn)數(shù)據(jù)飽和現(xiàn)象。 所謂數(shù)據(jù)飽和現(xiàn)象是指隨著時間的推移，采集的數(shù)據(jù)越來越多，新數(shù)據(jù)提供的信息被舊數(shù)據(jù)所淹沒。1TT111111NNNNNNNNNPPP P PT111T1101NNNNNNNNNPPPPP 1TT111111NNNNNNNNNPPP P P數(shù)據(jù)飽和現(xiàn)象數(shù)據(jù)飽和現(xiàn)象 可見，隨著遞推次數(shù)的增加，P(N)將越來越小,最后可能趨于零。 因此根據(jù)上式，新的采樣值對參數(shù)估計的改進(jìn)，已不再起作用了。1T11111NNNNNNKP P T1111NNNn NNNyK 為了克服數(shù)據(jù)飽和現(xiàn)象，可以用降低舊數(shù)據(jù)影響的辦法來修改算法。4.6 4.6 漸消記憶遞推算法

4、漸消記憶遞推算法 漸消記憶法是對每個數(shù)據(jù)按指數(shù)加權(quán)，老的數(shù)據(jù)作用逐漸減弱。11NNTN1(1)NNYYy nN11NNTN1(1)NNYYy nN如果再獲得一對新的觀測值 ，(1)u nN(1)y nN則有 由n+N個觀測數(shù)據(jù)獲得 的最小二乘估計為1()TTNNNNNY 01111111()TTNNNNNY 1111(1)TTNNNNTTTNNNYy nN 此時，由n+N+1個觀測數(shù)據(jù)獲得 的最小二乘估計為122111(1)TTTNNNNNNNYy nN （*）121111111111122221111121111221111111TTNNNNTTTTTTNNNNNNNNNNNNTTTTTTN

5、NNNNNNNNNNN 111111()()TTTABBAA B IB A BB A12211111111121111111112111121(1)1(1)TTTNNNNNNNNTTTTTTTTNNNNNNNNNNNNNNNNTTTTTTNNNNNNNNNNNNNYy nNYYy nN 將上面的結(jié)果帶入（*）式，并展開得111211111111211111121111(1)(1)TTTTNNNNNNNNNNNTTTNNNNNNNTTTTNNNNNNNNNNy nNy nN 又因為 ，則上式變?yōu)?1()TTNNNNNY 令令 ，則得則得漸消記憶漸消記憶的遞推最小二乘算法的遞推最小二乘算法1()T

6、NNNP 2T1111NNNn NNNyK1T1111NNNNNNKP P 1TT111111NNNNNNNNNPPP P P漸消記憶漸消記憶遞推最小二乘算法遞推最小二乘算法121111111111122221111121111221111111TTNNNNTTTTTTNNNNNNNNNNNNTTTTTTNNNNNNNNNNNN T1111NNNn NNNyK1T1111NNNNNNKP P 1TT111111NNNNNNNNNPPP P P漸消記憶漸消記憶遞推最小二乘算法遞推最小二乘算法 其中，稱為“遺忘因子”。選擇不同的就得到不同的遺忘效果。 越小，遺忘的速度越快。 =1：無遺忘； =0：

7、全遺忘 一般來說， 必須選擇接近于1的正數(shù)，對于線性系統(tǒng)，應(yīng)選擇0.951。限定記憶法限定記憶法 思路：限定每次估計都用最新的n+N個數(shù)據(jù)，增加一個新數(shù)據(jù)就去掉一個老數(shù)據(jù)。(1)(2)()Ny ny nYy nN12TTNTN1(2)(3)(1)Ny ny nYy nN2311TTNTN4.7.1 最小二乘估計的特點最小二乘估計的特點1） 唯一性唯一性 3）應(yīng)用簡單，魯棒性好）應(yīng)用簡單，魯棒性好4.7最小二乘估計的性質(zhì)最小二乘估計的性質(zhì)2）適用范圍廣）適用范圍廣4.7.2 最小二乘估計的概率性質(zhì)最小二乘估計的概率性質(zhì) 如果如果(k)是不相關(guān)隨機(jī)序列，且均值為是不相關(guān)隨機(jī)序列，且均值為0。1）

8、無偏性無偏性 2）一致性）一致性4） 漸進(jìn)正態(tài)性漸進(jìn)正態(tài)性輔助變量法、廣義最小二乘法、增廣矩陣法輔助變量法、廣義最小二乘法、增廣矩陣法N1 當(dāng)時， 以概率 趨近于 。 如果如果是均值為是均值為0且服從正態(tài)分布的白噪聲向量，則最小且服從正態(tài)分布的白噪聲向量，則最小二乘參數(shù)估計值服從正態(tài)分布。二乘參數(shù)估計值服從正態(tài)分布。3） 有效性有效性在眾多無偏估計中，方差最小。在眾多無偏估計中，方差最小。最小二乘估計法的缺陷最小二乘估計法的缺陷 最小二乘估計的無偏性、一致性等概率性質(zhì)，都是在(k)為零均值、不相關(guān)隨機(jī)序列的前提下得到的。 但實際系統(tǒng)中(k)往往是相關(guān)的，有些系統(tǒng)即使外加干擾為不相關(guān)的隨機(jī)序列，

9、但在參數(shù)估計過程中，也變成相關(guān)的隨機(jī)序列了。y 1()TTy 最小二乘估計法的缺陷最小二乘估計法的缺陷系統(tǒng)B(z-1)/A(z-1)+10( )(1)() ( )(),1,2,3nnx ka x ka x knb u kb u kn k( )( )( )y kx kk101( )(1)()( )()( )(1)()nnny ka y ka y knb u kb u knkakakn最小二乘估計法的缺陷最小二乘估計法的缺陷1( )( )(1)()nkkakakn( ) ()0Ekkj 可見(k)是相關(guān)序列，進(jìn)而得到的最小二乘參數(shù)估計不是無偏、一致估計。 因而，LS估計方法的應(yīng)用受到一定限制，下面

10、介紹在LS基礎(chǔ)上加以改進(jìn)的方法。4.8 輔助變量法輔助變量法 現(xiàn)在開始討論如何克服最小二乘法的有偏估計問題。 對于原辨識方程 y （4.8.1）當(dāng) 是不相關(guān)隨機(jī)序列時，最小二乘法可以得到參數(shù)向量 的一致性無偏估計。但是，在實際應(yīng)用中 往往是相關(guān)隨機(jī)序列。 ( )k( )k式中Q是非奇異的。 假定存在著一個 的矩陣Z（與 同階數(shù)）, 滿足約束條件 (21)Nn1lim01limTTNTTNZE ZNZE ZQN （4.8.2）TZ用 乘以式（4.8.1）等號兩邊得 TTTZ yZZ（4.8.3）由上式可得 11TTTTZZ yZZ（4.8.4）如果取 1IVTTZZ y（4.8.5）作為 的估值

11、，則稱估值 為輔助變量估值，矩陣Z稱為輔助變量矩陣，Z中的元素稱為輔助變量。 IV從式（4.8.5）可以看到， 與最小二乘法估值 的計算公式具有相同的形式，因此計算比較簡單。 IV根據(jù)式（4.8.1）和式（4.8.5）可得 1IVTTZZ（4.8.6）（4.8.7）當(dāng)N很大時，對上式等號兩邊取極限得 1IV11limlimlimTTNNNZZNN（4.8.8）根據(jù)式（4.8.2）所假定的約束條件，可得 IVlimN因此輔助變量估計是無偏估計。 剩下的問題是如何選擇輔助變量，即如何確定輔助變量矩陣Z的各個元素。選擇輔助變量的基本原則是式（4.8.2）所給出的兩個條件必須得到滿足。 這可以簡單地理

12、解為所選擇的輔助變量應(yīng)與 不相關(guān)，但與 中的 和 強(qiáng)烈相關(guān)。( )k( )u k( )y kZ可以有多種選擇方法，下面介紹兩種常用的選擇方法。1）迭代輔助變量參數(shù)估計法 輔助變量取作 , 是輔助模型 ( )(1,2,1)y kknN( )y ky （4.8.9）的輸出向量 的元素，輔助變量矩陣Z為 y 12(1)(1)(1)1(2)(2)(2)()()()TTTNy nyu nuy nyu nuZy Nu nNu Ny nN12( )(1)(1)(1)(1)(2)(2)(2)()()()()TTTNy nyu nuy nyu nuy nNy Nu nNu N 1IVIV Z()2TTyyZZ y 1）先用最小二乘法求出粗略的 ；2）再將 帶入，可得 ；3）利用y構(gòu)造輔助變量矩陣 ；4）；5）令，重復(fù)第 步直到結(jié)果滿意。迭代輔助變量參數(shù)估計法迭代輔助變量參數(shù)估計法 計算步驟：計算步驟：2）自適應(yīng)濾波法 這種方法所選擇的輔助變量 和輔助變量矩陣Z的形式與上一種方法完全相同，只是輔助模型中參數(shù)向量 的估計方法與上一種方法有所不同。取 ( )y k( )(1) (1)()kkkd 式中： 取 ；d 取 ； 為k時刻所得到的參數(shù)向量估計值。當(dāng) 是持續(xù)激勵信號時，所選的輔助變量可以滿足式（4.8.2）所