系統(tǒng)辨識課件：第4章 數(shù)學(xué)模型的最小二乘法辨識

1、1 最小二乘法是一種數(shù)學(xué)優(yōu)化技術(shù)，它通過最小化誤差的平方和找到一組數(shù)據(jù)的最佳函數(shù)匹配。最小二乘法是用最簡的方法求得一些絕對不可知的真值，而令誤差平方之和為最小。最小二乘法通常用于曲線擬合。很多其它的優(yōu)化問題也可通過用最小二乘形式表達。 最小二乘法是一種比較古老的數(shù)學(xué)優(yōu)化技術(shù)，早在18世紀由Guass首先創(chuàng)立并成功應(yīng)用于天文觀測和大地測量工程中。此后近三百年來，它已廣泛應(yīng)用于科學(xué)實驗與工程技術(shù)中。 最小二乘法是為了解決如何從一組測量值中尋求可信賴值的問題。最小二乘法的基本原理是：成對等精度地測得一組數(shù)據(jù)xi，yi (i=1，2，n)，試找出一條最佳的擬合曲線，使得這條擬合曲線上的各點的值與測量值

2、的差的平方和在所有擬合曲線中最小。第4章 數(shù)學(xué)模型的最小二乘法辨識 24.1 最小二乘法辨識的基本思想 系統(tǒng)辨識的方法很多，其中最重要、最常用的方法是最小二乘法。 最小二乘法的基本思想是使系統(tǒng)實際輸出與估計輸出（帶有估計參數(shù)的系統(tǒng)的輸出）的偏差（殘差）的平方和最小。在這個原則下，通過殘差平方和關(guān)于估計參數(shù)向量的偏導(dǎo)數(shù)等于零這一方法來最終求得估計參數(shù)向量。3 設(shè)單輸入-單輸出線性定常系統(tǒng)的差分方程為 （2.81） 式中： 為輸入信號； 為理論上的輸出值。 4.2 最小二乘標準式 4 只有通過觀測才能得到，在觀測過程中往往附加有隨機干擾。 的觀測值 可表示為 （2.82） 式中 為隨機干擾。由式（

3、2.82）得 （2.83） 5將式（2.83）代入（2.81）得 （2.84） 我們可能不知道 的統(tǒng)計特性，在這種情況下，往往把 看作均值為0的白噪聲 6設(shè) （2.85） 則式（2.84）可寫成 （2.86） 7在測量 時也有測量誤差，系統(tǒng)內(nèi)部也可能有噪聲，應(yīng)當(dāng)考慮它們的影響。 因此假定 不僅包含了 的測量誤差，而且還包含了 的測量誤差和系統(tǒng)內(nèi)部噪聲。假定 是不相關(guān)隨機序列（實際上 是相關(guān)隨機序列）。 8現(xiàn)分別測出n+N個輸出輸入值，則可寫出N個方程，即9上述N個方程可寫成向量-矩陣形式 （2.87） 10設(shè) 則式（2.87）可寫為 （2.88） N維輸出向量2n+1維參數(shù)向量N維噪聲向量N(

4、2n+1)維測量矩陣11式中：y為N維輸出向量； 為N為噪聲向量； 為（2n+1）維參數(shù)向量； 為 測量矩陣。因此式（2.88）是一個含有（2n+1）個未知參數(shù)，由N個方程組成的聯(lián)立方程組。如果N(2n+1)， 即方程數(shù)目大于未知數(shù)數(shù)目。在這種情況下，不能用解方程的辦法來求 ，而要采用數(shù)理統(tǒng)計的辦法，以便減小噪聲對估值的影響。 在給定輸出向量y和測量矩陣 的條件下求系統(tǒng)參數(shù) 的估值，這就是系統(tǒng)辨識問題?？捎米钚《朔ɑ驑O大似然法來求 的估值，在這里討論最小二乘法估計。 134.3 最小二乘辨識算法 設(shè) 表示 的最優(yōu)估值， 表示y的最優(yōu)估值，則有 （2.91） 式中 14寫出式（2.91）的某一

5、行，則有 （2.92） 15設(shè) 表示 與 之差，即 16（2.93） 式中 稱為殘差。 17 把 分別代入式（2.93）可得殘差 ， ， 。 設(shè) 則有 （2.94） 18 最小二乘估計要求殘差的平方和為最小，即按照指標函數(shù) （2.95） 為最小來確定估值 。求J對 的偏導(dǎo)數(shù)并令其等于0可得 （2.96） （2.97） 19可得 的最小二乘估計 （2.98） J為極小值的充分條件是 （2.99） 即矩陣 為正定矩陣，或者說矩陣 是非奇異的。 下面舉例說明最小二乘法的計算過程。20例4.1已知某一單輸入單輸出線性系統(tǒng)的差分方程形式為但其參數(shù) ， ， 為未知數(shù)，且 為不相關(guān)的隨機序列。經(jīng)過辨識試驗，

6、測得5組輸入輸出數(shù)據(jù)為21試求出其最優(yōu)參數(shù)估計。22解 令最優(yōu)參數(shù)估計為 ， 令輸出 的最優(yōu)估計為 。 測量矩陣為 23該矩陣的轉(zhuǎn)置為 兩者之積為 24的特征值為 ， ， 。 由于它的特征值均為正數(shù)， 所以 為正定矩陣， 滿足殘差二次型 取最小的充分條件， 其中 。25矩陣 的逆為 于是26最后求得 即最優(yōu)參數(shù)估計為 274.4 最小二乘辨識中的輸入信號問題 當(dāng)矩陣 的逆陣存在時，式（2.98）才有解。一般地，如果 是隨機序列或偽隨機二位式序列，則矩陣 是非奇異的，即 存在，式（2.98）有解?，F(xiàn)在從矩陣 必須是正定的這一要求出發(fā)，來討論對 的要求。在這里為了方便起見，假定 是均值為0的隨機過

7、程。 可以推出矩陣 為正定的必要條件是： 為持續(xù)激勵信號。（推導(dǎo)過程略） 隨機序列或偽隨機二位式序列都可以作為測試信號 。 284.5 最小二乘估計的概率性質(zhì) 如果(k)是不相關(guān)隨機數(shù)序列，且均值為0。1） 無偏性 2）一致性3） 漸進正態(tài)性輔助變量法、廣義最小二乘法 如果是均值為0且服從正太分的白噪聲向量，則最小二乘參數(shù)估計值服從正態(tài)分布。29N維輸出向量2n+1維參數(shù)向量N維噪聲向量N(2n+1)維測量矩陣總結(jié)：為正定矩陣30（2.141） 上式中矩陣 的階數(shù)越大，所包含的信息量就越多，系統(tǒng)參數(shù)估計的精度就越高。為了獲得滿意的辨識結(jié)果，矩陣 的階數(shù)常常取得相當(dāng)大。這樣，在用式（2.142）

8、計算系統(tǒng)參數(shù)的估計值 時，矩陣求逆的計算量很大。本節(jié)介紹一種算法來代替矩陣求逆，在不降低辨識精度的前提下，可以使辨識速度有較大提高。具體算法如下。 系統(tǒng)的最小二乘辨識結(jié)果為 （2.142） 4.6 一種不需矩陣求逆的最小二乘法 31 設(shè)系統(tǒng)的微分方程模型為 （2.143） 令 （2.144） （2.145） 32則式（2.143）可以寫為 （2.146） 取 33首先設(shè)系統(tǒng)的階次為0，則有則有系統(tǒng)的最小二乘辨識結(jié)果為 34則 和 均為常數(shù)，即 （2.147） 35由式（2.147）可得 （2.148） 設(shè) （2.149） 36若系統(tǒng)階次為n時已經(jīng)求出 ，則系統(tǒng)階次數(shù)為n+1時有 （2.150）

9、 式中 （2.151） 37式中： 為列向量； 為一標量。 由分塊矩陣求逆公式可得（2.152） 38式中 則 這時，仿照上述方法容易求出 39(2.153)40 這樣，就可以按照式（2.142）辨識出階次為n+1時系統(tǒng)的參數(shù)。由于這一過程只涉及矩陣相乘和矩陣與向量相乘等運算，所以計算量較小，而矩陣求逆的精度不變。所以說，本節(jié)算法在不損失辨識精度的前提下提高了辨識速度，這一算法尤其適用于階次未知情況下的系統(tǒng)辨識。 41 為了實現(xiàn)實時控制，必須采用遞推算法，這種辨識方法主要用于在線辨識。 另外，某些自適應(yīng)控制方法，比如自校正控制方法也要用到遞推最小二乘法。其基本原理是一邊辨識一邊控制，循環(huán)遞推。

10、4.7 遞推最小二乘法分析 遞推最小二乘算法是動態(tài)系統(tǒng)實時辨識中使用得最多的。對其算法進行深入研究具有較大的實用意義。42圖4.1 動態(tài)系統(tǒng)遞推最小二乘在線辨識過程原理圖43這里忽略其推導(dǎo)過程，直接給出公式。 首先將式（2.88）改記為其中44如果再獲得一對新的觀測值 ，則有下面的遞推公式45（2.154）（2.155）（2.156）遞推最小二乘算法46其中為標量，它表示在已測得的基礎(chǔ)上又多測得一個輸出 。另外表示在 的最后一行再補充一行，所以其列數(shù)與 的列數(shù)相等，均為2n+1列。47（1）設(shè) 為N的初始值，則可算出初值 （2）假定 ，c是充分大的常數(shù)， I為 單位矩陣 遞推之后能得到較好的參數(shù)估計。 ，則經(jīng)過若干次為了進行遞推計算，需要給出 和 的初值 和 ，有兩種給出初值的辦法。 48（2.154）（2.155）（2.156）其中的公式（2.155）所表達的 可以理解為遞推最小二乘增益系數(shù)。公式（2.155）不具有遞推性。公式（2.154）和（2.156）具有遞推性。注釋494.6.1 遞推最小二乘法舉例例2.2已知某一單輸入單輸出線性系統(tǒng)的差分方程形式但其參數(shù)