系統(tǒng)辨識(shí)各類最小二乘法匯總

1、最小二乘方法的總結(jié)與比較Y30150638 控制二班 王思明（作業(yè)二）最小二乘法大約是1795年高斯在他那著名的星體運(yùn)動(dòng)軌跡研究工作中提出來的。后來，最小二乘法就成了理論的奠基石。由于最小二乘原理簡(jiǎn)單，編程程序也不困難，所以它頗受人們重視，應(yīng)用相當(dāng)廣泛。最小二乘的基本結(jié)果有兩種形式，一種是經(jīng)典的一次完成算法，另一種是現(xiàn)代的遞推算法。本次作業(yè)只討論遞推算法和其他擴(kuò)展的最小二乘方法比較。一、 最小二乘法最小二乘法具有兩個(gè)缺陷：1、當(dāng)噪聲模型是有色噪聲時(shí)，最小二乘參數(shù)估計(jì)不是你無偏、一致估計(jì)。2、隨著數(shù)據(jù)的增長(zhǎng)，最小二乘法出現(xiàn)數(shù)據(jù)飽和現(xiàn)象，以致算法慢慢失去修正能力。下面是其分別在白噪聲和有色噪聲時(shí)的

2、參數(shù)估計(jì)曲線。最小二乘的程序見附錄。圖1-1 RLS白噪聲時(shí)參數(shù)估計(jì)變化曲線圖1-2 RLS有色噪聲時(shí)參數(shù)估計(jì)變化曲線從圖中可以很明顯的看出，當(dāng)噪聲變成有色噪聲時(shí)，RLS算法是有偏的，始終不能得出參數(shù)的真值，而且可以看出隨著數(shù)據(jù)的增多，算法對(duì)參數(shù)的修正能力明顯下降，到最后參數(shù)值幾乎不變，這說明RLS算法進(jìn)入了數(shù)據(jù)飽和狀態(tài)。二、 遺忘因子法和限定記憶法這兩種算法（RFF,RFM）是基于RLS的數(shù)據(jù)飽和現(xiàn)象而提出來的一種辨識(shí)算法。RFF很簡(jiǎn)單，在老數(shù)據(jù)加上遺忘因子以降低老數(shù)據(jù)提供的信息量，增加新數(shù)據(jù)的信息量。僅僅在RLS算法內(nèi)部加入遺忘因子系數(shù)，這里因?yàn)槠邢?，不給出其程序以及最后的參數(shù)變化曲線

3、。RFM就比較特殊，其限定有效數(shù)據(jù)的長(zhǎng)度L，即始終只有長(zhǎng)度L的數(shù)據(jù)在影響參數(shù)估計(jì)，可以從根本上解決數(shù)據(jù)飽和現(xiàn)象。下面是其實(shí)驗(yàn)的參數(shù)估計(jì)變化曲線。圖2-1 RFM白噪聲時(shí)的參數(shù)估計(jì)曲線從圖中可以看出，相比于RLS的白噪聲時(shí)的參數(shù)估計(jì)，變化曲線圍繞真值震蕩變化，這說明沒有數(shù)據(jù)飽和現(xiàn)象，辨識(shí)結(jié)果良好。三、 偏差補(bǔ)償法當(dāng)噪聲是有色噪聲時(shí)，我們提出偏差補(bǔ)償最小二乘法，因?yàn)閺膱D1-2我們可以看出，最后的參數(shù)估計(jì)是有偏的，所以我們?cè)谒惴ㄖ忻看味紲p去這個(gè)偏差量，使得最后的結(jié)果能夠逼近真值。我們稱這種算法為RCLS。但是，既然我們加入了偏差量，如果我們的噪聲是白噪聲時(shí)，那這個(gè)偏差量就變成了誤差量，使得參數(shù)估計(jì)軌

4、跡偏真值。下圖是其參數(shù)估計(jì)曲線，程序見附錄。圖3-1 RCLS有色噪聲時(shí)的參數(shù)變化曲線圖3-2 RCLS白噪聲時(shí)的參數(shù)估計(jì)曲線從圖中可以很清楚的看出，RCLS可以對(duì)有色噪聲情況下，對(duì)參數(shù)進(jìn)行無偏一致估計(jì)，但是在白噪聲的情況下，卻不能得到無偏估計(jì)，其原因上面也提到了，這里就不在贅述了。四、 增廣最小二乘和廣義最小二乘針對(duì)不同的有色噪聲模型，我們用不同的辨識(shí)方法，并能順帶求出噪聲的模型模型，通過擴(kuò)充參數(shù)向量和數(shù)據(jù)向量的維數(shù)，把噪聲模型的辨識(shí)同時(shí)考慮進(jìn)去。當(dāng)噪聲模型： ek=DZ-1*vk ( v(k) 為白噪聲 )時(shí)，我們采用增廣最小二乘方法。其實(shí)驗(yàn)結(jié)果如下，其程序見附錄。圖4-1 RELS參數(shù)估

5、計(jì)曲線當(dāng)噪聲模型： ek=1C（z-1）*vk ( v(k) 為白噪聲 )時(shí)，我們采用廣義最小二乘方法。其實(shí)驗(yàn)結(jié)果如下，其程序見附錄。圖4-2 RGLS參數(shù)估計(jì)曲線從上圖可以看出，針對(duì)不同的參數(shù)模型，RELS和RGLS分別能發(fā)揮不同的作用，并且給出參數(shù)的無偏一致估計(jì)，并順帶求出了噪聲參數(shù)，其辨識(shí)結(jié)果良好，符合要求.五、 輔助變量法在有些問題中，我們并不能事先知道參數(shù)的模型，而且我們也不需要求出噪聲參數(shù)，這時(shí)普通的RLS算法已經(jīng)不能滿足我們的要求，我們提出了輔助變量法，RIV。下圖給出其實(shí)驗(yàn)結(jié)果，具體程序見附錄。圖5-1 RIV有色噪聲時(shí)參數(shù)估計(jì)變化曲線從圖中可以看出，RIV算法對(duì)有色噪聲的情況

6、，也能給出參數(shù)的無偏估計(jì)，其結(jié)果與RLS（圖1-2）比較可以看出區(qū)別。六、 總結(jié)RLS：當(dāng)噪聲模型是有色噪聲時(shí)，最小二乘參數(shù)估計(jì)不是你無偏、一致估計(jì)。而且隨著數(shù)據(jù)的增長(zhǎng)，最小二乘法出現(xiàn)數(shù)據(jù)飽和現(xiàn)象，以致算法慢慢失去修正能力。RFF.RFM：RFF很簡(jiǎn)單，在老數(shù)據(jù)加上遺忘因子以降低老數(shù)據(jù)提供的信息量，增加新數(shù)據(jù)的信息量，RFM就比較特殊，其限定有效數(shù)據(jù)的長(zhǎng)度L，即始終只有長(zhǎng)度L的數(shù)據(jù)在影響參數(shù)估計(jì)，可以從根本上解決數(shù)據(jù)飽和現(xiàn)象RCLS：當(dāng)噪聲是有色噪聲時(shí)，我們提出偏差補(bǔ)償最小二乘法，在算法中每次都減去這個(gè)偏差量，使得最后的結(jié)果能夠逼近真值。但卻不適合噪聲為白噪聲的時(shí)候。RELS：當(dāng)噪聲模型： e

7、k=DZ-1*vk ( v(k) 為白噪聲 )時(shí)，我們采用增廣最小二乘方法。能辨識(shí)出參數(shù)（包括噪聲參數(shù)）的無偏估計(jì)。RGLS：當(dāng)噪聲模型： ek=1C（z-1）*vk ( v(k) 為白噪聲 )時(shí)，我們采用廣義最小二乘方法。能辨識(shí)出參數(shù)（包括噪聲參數(shù)）的無偏估計(jì)。RIV：當(dāng)不確定參數(shù)模型時(shí)，我們可以直接采用RIV模型得到參數(shù)的無偏一致估計(jì)。七、 附錄1、 RLS實(shí)驗(yàn)程序：clcclear% y1=randn(1,2500); %產(chǎn)生高斯白噪聲% y1=y1/std(y1);% y1=y1-mean(y1);% a=0;% b=sqrt(0.1);% y1=a+b*y1;% figure(1);

8、% plot(y1);% title(高斯白噪聲);for i=1:2500 %產(chǎn)生有色噪聲 y1(i)=1;endN=400;uk=rand(1,N); for i=1:N %產(chǎn)生隨機(jī)輸入 uk(i)=uk(i)*(-1)(i-1); endfigure(2);plot(uk);title(隨機(jī)輸入曲線);yk=zeros(1,N);for k=3:N %定義輸出 yk(k)=1.5*yk(k-1)-0.7*yk(k-2)+uk(k-1)+0.5*uk(k-2)+y1(k); endfigure(3);plot(yk);title(對(duì)應(yīng)輸出曲線);theta=0;0;0;0;p=106*ey

9、e(4);for t=3:N %迭代計(jì)算 （ls算法） h=(-yk(t-1);-yk(t-2);uk(t-1);uk(t-2); x=1+h*p*h; p=(p-p*h*1/x*h*p); theta=theta+p*h*(yk(t)-h*theta); a1t(t)=theta(1); a2t(t)=theta(2); b1t(t)=theta(3); b2t(t)=theta(4); endtheta t=1:N; %繪制參數(shù)變化曲線figure(4);plot(t,a1t(t),t,-1.5,t,a2t(t),t,0.7,t,b1t(t),t,1,t,b2t(t),t,0.5);tit

10、le(參數(shù)變化曲線);text(300,-1.5,a1); text(300,0.7,a2); text(300,1,b1);text(300,0.5,b2);2、 RFM實(shí)驗(yàn)程序（部分）只給出算法更改部分：for s=3:100; h=(yk(s-1);yk(s-2);uk(s-1);uk(s-2); p=p-p*h*(inv(1+h*p*h)*h*p; theta=theta+p*h*(yk(s)-h*theta);end sfor t=3:N-100 m=s+t; h=(yk(m-1);yk(m-2);uk(m-1);uk(m-2); p=p-p*h*(inv(1+h*p*h)*h*p;

11、 theta=theta+p*h*(yk(m)-h*theta); h=(yk(t-1);yk(t-2);uk(t-1);uk(t-2); p=p+p*h*(inv(1-h*p*h)*h*p; theta=theta+p*h*(yk(t)-h*theta); a1t(t)=theta(1); a2t(t)=theta(2); b1t(t)=theta(3); b2t(t)=theta(4); end3、 RCLS實(shí)驗(yàn)程序（部分）theta=0;0;0;0;p=106*eye(4);j=0;thetc=0;0;0;0;for t=3:N h=(-yk(t-1);-yk(t-2);uk(t-1);

12、uk(t-2); x=1+h*p*h; j=j+(yk(t)-h*theta)2)/(1+h*p*h); p=(p-p*h*1/x*h*p); theta=theta+p*h*(yk(t)-h*theta) d=1 0 0 0;0 1 0 0;0 0 0 0; 0 0 0 0; w=j/(t*(1+thetc*d*theta); thetc=theta-t*w*p*d*thetc; a1t(t)=thetc(1); a2t(t)=thetc(2); b1t(t)=thetc(3); b2t(t)=thetc(4); end4、 RELS實(shí)驗(yàn)程序（部分）for t=3:N h=(-yk(t-1)

13、;-yk(t-2);uk(t-1);uk(t-2);y1(t-1);y1(t-2); x=1+h*p*h; p=(p-p*h*1/x*h*p); theta=theta+p*h*(yk(t)-h*theta); a1t(t)=theta(1); a2t(t)=theta(2); b1t(t)=theta(3); b2t(t)=theta(4); d1t(t)=theta(5); d2t(t)=theta(6); end5、 RGLS試驗(yàn)程序（部分）for t=3:N he=(-e(t-1);-e(t-2); xe=1+he*pe*he; pe=(pe-pe*he*1/xe*he*pe); th

14、ete=thete+pe*he*(e(t)-he*thete); c1t(t)=thete(1); c2t(t)=thete(2); end for t=3:N ykf(t)=yk(t)+c1t(t)*yk(t-1)+c2t(t)*yk(t-2); ukf(t)=uk(t)+c1t(t)*uk(t-1)+c2t(t)*uk(t-2); h=(-ykf(t-1);-ykf(t-2);ukf(t-1);ukf(t-2); x=1+h*p*h; p=(p-p*h*1/x*h*p); theta=theta+p*h*(ykf(t)-h*theta); a1t(t)=theta(1); a2t(t)=theta(2); b1t(t)=theta(3); b2t(t)=theta(4); end6、 RIV試驗(yàn)程序（部分）fo