最小二乘法辨識

系統(tǒng)辨識與自適應控制最小二乘法辨識2012年五月系統(tǒng)辨識法(黑箱法)根據“輸入、輸出數據”獲取“系統(tǒng)”的數學模型。只考慮系統(tǒng)的輸入、輸出特性，不強調系統(tǒng)的內部機理。辨識方法可以分為兩類：非參數模型辨識方法參數模型辨識方法用來進行系統(tǒng)參數辨識的最小二乘法，是一種經典的數據處理方法，最早的應用可追溯到18世紀，高斯為了提高天體運動觀測的準確性，提出了最小二乘法。最小二乘的最早思想：未知量的最大可能的值是這樣一個數值，它是實際觀測值和計算值的差值的平方和達到最小的數值?；镜淖钚《斯烙嫿鉀Q問題：在模型階次n已知的情況下，根據系統(tǒng)的輸入輸出數據，估計出系統(tǒng)差分方程的各項系數。x(k)為理論輸出值，y(k)為實際觀測值n(k)為觀測噪聲。則有：1.基于輸入/輸出數據的系統(tǒng)模型描述

SISO系統(tǒng)的差分方程為將x(k)代入上式，可得輸入輸出數據方程為：則當前輸出為：設觀測數據有(n+N)個，令k分別等于n+1,···,n+N,則有：若N=(2n+1)且ξ=0，則上式中的φ陣為(2n+1)×(2n+1)的方陣。由此，可解得θ的唯一解為：而在實際工程中，ξ肯定不等于0，且N>>(2n+1)，即方程個數遠大于未知數，故而上述θ的解不成立。當前任務：在存在噪聲ξ和數據長度N>>(2n+1)的情況下，如何進行參數θ的估計?；镜淖钚《朔?LS)辨識準則：殘差平方和最小。(1)殘差e為模型的計算值，即(2)指標函數J最小二乘法辨識就是使J最小的參數估計方法。下面我們推導θ估計值的計算方法。J取得最小值，也即J為極值，則有：其中,為(2n+1)×(2n+1)的方陣。若其逆陣存在，則：上式即為最小二乘法的參數估計結果。最小二乘估計的概率性質最小二乘估計的概率性質：估計的無偏性；估計的一致性；估計的無偏性無偏性估計的定義：若，則稱是參數θ的無偏估計。下面討論無偏估計的條件。LS無偏估計的充要條件為：下面討論無偏估計的充分條件。y(k)只與ξ(k),ξ(k-1),ξ(k-2)···相關，而與ξ(k+1),ξ(k+2),ξ(k+3)···不相關?？疾槌湟獥l件若{ξ(k)}為零均值不相關隨機序列，且與{u(k)}無關。則由上式可知，ΦT與ξ不相關。則有：可見，在上述條件下我們得到了參數θ的無偏估計。{ξ(k)}為零均值不相關隨機序列，且與{u(k)}無關。LS無偏估計的充分條件為：(2)一致性估計一致性估計的定義：若，則稱是參數θ的一致性估計。若參數估計值以概率1收斂于真值θ，則稱估計值具有一致性。或采用下述定義：式中，為估計誤差的方差。下面討論一致性估計的充分條件。估計誤差的方差為：一致性估計的充分條件為：同樣，假設{ξ(k)}為零均值不相關隨機序列，