幾種最小二乘法遞推算法的小結(jié).doc

一、 遞推最小二乘法遞推最小二乘法的一般步驟：1. 根據(jù)輸入輸出序列列出最小二乘法估計(jì)的觀測(cè)矩陣： 沒有給出輸出序列的還要先算出輸出序列。 本例中，。2. 給辨識(shí)參數(shù)和協(xié)方差陣P賦初值。一般取=0或者極小的數(shù)，取特別大，本例中取=100。3. 按照下式計(jì)算增益矩陣G： 4. 按照下式計(jì)算要辨識(shí)的參數(shù)： 5. 按照下式計(jì)算新的協(xié)方差陣P： 6. 計(jì)算辨識(shí)參數(shù)的相對(duì)變化量，看是否滿足停機(jī)準(zhǔn)則。如滿足，則不再遞推；如不滿足，則從第三步開始進(jìn)行下一次地推，直至滿足要求為止。 停機(jī)準(zhǔn)則： 本例中由于遞推次數(shù)只有三十次，故不需要停機(jī)準(zhǔn)則。7. 分離參數(shù)：將a1.anab1.bnb從辨識(shí)參數(shù)中分離出來。8. 畫出被辨識(shí)參數(shù)的各次遞推估計(jì)值圖形。為了說明噪聲對(duì)遞推最小二乘法結(jié)果的影響，程序5-7-2在計(jì)算模擬觀測(cè)值時(shí)不加噪聲，辨識(shí)結(jié)果為a1 =1.6417，a2 = 0.7148，b1 = 0.3900，b2 =0.3499，與真實(shí)值a1 =1.642， a2 = 0.715， b1 = 0.3900，b2 =0.35相差無幾。程序5-7-2-1在計(jì)算模擬觀測(cè)值時(shí)加入了均值為0，方差為0.1的白噪聲序列，由于噪聲的影響，此時(shí)的結(jié)果為變值，但變化范圍較小，現(xiàn)任取一組結(jié)果作為辨識(shí)結(jié)果。辨識(shí)結(jié)果為a1 =1.5371， a2 = 0.6874， b1 = 0.3756，b2 =0.3378。 程序5-7-2-2在計(jì)算模擬觀測(cè)值時(shí)加入了有色噪聲，有色噪聲為E(k)+1.642E(k-1)+0.715E(k-2)，E(k)是均值為0，方差為0.1的白噪聲序列，由于有色噪聲的影響，此時(shí)的辨識(shí)結(jié)果變動(dòng)范圍遠(yuǎn)比白噪聲時(shí)大，任取一組結(jié)果作為辨識(shí)結(jié)果。辨識(shí)結(jié)果為a1 =1.6676， a2 = 0.7479， b1 = 0.4254，b2 =0.3965。 可以看出，基本的最小二乘法不適用于有色噪聲的場(chǎng)合。二、 廣義最小二乘法 廣義最小二乘法適用于AR模型，它的基本思想在于對(duì)數(shù)據(jù)先進(jìn)行一次白化濾波處理，然后利用基本的最小二乘法對(duì)濾波后的數(shù)據(jù)進(jìn)行辨識(shí)。 廣義最小二乘法的遞推算法步驟如下：1. 給定初始條件： 2.利用 計(jì)算及。3.利用構(gòu)造濾波后的觀測(cè)矩陣。本例中，。4.利用下式估計(jì)遞推計(jì)算5.由新得到的計(jì)算出新的殘差估計(jì)值，并構(gòu)造殘差數(shù)據(jù)向量由濾波前的觀測(cè)向量計(jì)算出新的殘差估計(jì)值殘差數(shù)據(jù)向量。6. 利用下式估計(jì)遞推計(jì)算7.返回第2步進(jìn)行迭代計(jì)算，直至獲得滿意的辨識(shí)結(jié)果。 程序5-7-4使用廣義最小二乘法，得到的結(jié)果為a1 =1.6363，a2 =0.7172，b1 = 0.3679，b2 = 0.3603，c0 =-0.6951， c1 =-0.0214，結(jié)果a1、a2、b1、b2與真實(shí)值結(jié)果a1 =1.642， a2 = 0.715， b1 = 0.39，b2 =0.35較為接近，但c0、c1與真實(shí)值1、-0.4相差較遠(yuǎn)。三、 增廣最小二乘法增廣最小二乘法是最小二乘法的一種推廣，它只是擴(kuò)充了參數(shù)向量和數(shù)據(jù)向量的維數(shù)，在辨識(shí)過程中考慮了噪聲模型的參數(shù)，適用于MA模型。增廣最小二乘法的一般步驟如下：1.根據(jù)輸入輸出序列以及噪聲序列列出增廣最小二乘法估計(jì)的數(shù)據(jù)向量： 沒有給出輸出序列的還要先算出輸出序列。 本例中，。9. 給辨識(shí)參數(shù)和協(xié)方差陣P賦初值。一般取=0或者極小的數(shù)，取特別大，本例中取=100。10. 按照下式計(jì)算增益矩陣G： 11. 按照下式計(jì)算要辨識(shí)的參數(shù)： 12. 按照下式計(jì)算新的協(xié)方差陣P： 13. 計(jì)算辨識(shí)參數(shù)的相對(duì)變化量，看是否滿足停機(jī)準(zhǔn)則。如滿足，則不再遞推；如不滿足，則從第三步開始進(jìn)行下一次地推，直至滿足要求為止。 停機(jī)準(zhǔn)則： 本例中由于遞推次數(shù)只有三十次，故不需要停機(jī)準(zhǔn)則。14. 分離參數(shù)：將a1.anab1.bnbd1dnd從辨識(shí)參數(shù)中分離出來。15. 畫出被辨識(shí)參數(shù)的各次遞推估計(jì)值圖形。由以上可見，遞推增廣最小二乘法的算法與基本最小二乘法的遞推算法形式是一致的，只是參數(shù)向量和數(shù)據(jù)向量的維數(shù)擴(kuò)充了m維。程序5-7-5在是運(yùn)用增廣最小二乘法來辨識(shí)系統(tǒng)參數(shù)，得到的結(jié)果為a1 =1.6412，a2 = 0.7144，b1 = 0.3900，b2 =0.3497，d0=0.9992，d1=1.6417