系統(tǒng)辨識(shí)方法之最小二乘法

1、精選優(yōu)質(zhì)文檔-傾情為你奉上目 錄系統(tǒng)辨識(shí)方法簡(jiǎn)介摘要：在研究一個(gè)控制系統(tǒng)過(guò)程中，建立系統(tǒng)的模型十分必要。因此，系統(tǒng)辨識(shí)在控制系統(tǒng)的研究中起到了至關(guān)重要的作用。本文簡(jiǎn)要介紹了系統(tǒng)辨識(shí)的三種方法，并對(duì)最小二乘法的一次完成過(guò)程進(jìn)行了推導(dǎo)，最小二乘法的一次完成的缺陷在于對(duì)于有色噪聲并沒(méi)有很好的辨識(shí)效果。對(duì)于非線性系統(tǒng)的辨識(shí)問(wèn)題，本文介紹了基于BP神經(jīng)網(wǎng)絡(luò)算法的系統(tǒng)辨識(shí)方法，這種方法由于具有自學(xué)習(xí)能力，能很好的適應(yīng)非線性的復(fù)雜性，得到良好的辨識(shí)效果。此外，由于普通的辨識(shí)方法往往在辨識(shí)過(guò)程中陷入局部最優(yōu)的困擾，特提出基于遺傳算法的系統(tǒng)辨識(shí)方法，保證了全局最優(yōu)的實(shí)現(xiàn)和求解。關(guān)鍵詞：系統(tǒng)辨識(shí)、最小二乘法、BP

2、神經(jīng)網(wǎng)絡(luò) 、遺傳算法一、系統(tǒng)辨識(shí)的定義系統(tǒng)辨識(shí)、狀態(tài)估計(jì)和控制理論是現(xiàn)代控制理論三個(gè)相互滲透的環(huán)節(jié)。1962年，LAzadeh給出“辨識(shí)”的定義為：系統(tǒng)辨識(shí)是在對(duì)輸入和輸出觀測(cè)的基礎(chǔ)上，在指定的一類系統(tǒng)中，確定一個(gè)與被識(shí)別的系統(tǒng)等價(jià)的系統(tǒng)。1最先提出了系統(tǒng)辨識(shí)的定義。隨著科技的發(fā)展，數(shù)學(xué)建模對(duì)科學(xué)研究及指導(dǎo)及生產(chǎn)都有非常重要的意義。給一個(gè)系統(tǒng)建立數(shù)學(xué)模型是一個(gè)比較復(fù)雜的工作，其中關(guān)鍵的一個(gè)環(huán)節(jié)是系統(tǒng)辨識(shí)。系統(tǒng)辨識(shí)就是研究如何利用系統(tǒng)的輸入、輸出信號(hào)建立系統(tǒng)的數(shù)學(xué)模型。7系統(tǒng)數(shù)學(xué)模型是系統(tǒng)輸入、輸出及其相關(guān)變量間的數(shù)學(xué)關(guān)系式，它描述系統(tǒng)輸入、輸出及相關(guān)變量之間相互影響、變化的規(guī)律性。換句話說(shuō)，系

3、統(tǒng)辨識(shí)就是從系統(tǒng)的運(yùn)算和實(shí)驗(yàn)數(shù)據(jù)建立系統(tǒng)的模型(模型結(jié)構(gòu)和參數(shù))。系統(tǒng)辨識(shí)的三要素：數(shù)據(jù)、模型類和準(zhǔn)則。系統(tǒng)辨識(shí)的基本原理：在輸入輸出的基礎(chǔ)上，從一類系統(tǒng)中確定一個(gè)與所測(cè)系統(tǒng)等價(jià)的系統(tǒng)。2二、最小二乘法的引出最小二乘法是1795年高斯在預(yù)測(cè)星體運(yùn)行軌道最先提出的，它奠定了最小二乘估計(jì)理論的基礎(chǔ)到了20世紀(jì)60年代瑞典學(xué)者Austron把這個(gè)方法用于動(dòng)態(tài)系統(tǒng)的辨識(shí)中，在這種辨識(shí)方法中，首先給出模型類型，在該類型下確定系統(tǒng)模型的最優(yōu)參數(shù)。我們可以將所研究的對(duì)象按照對(duì)其了解的程度分成白箱、灰箱和黑箱。于其內(nèi)部結(jié)構(gòu)、 機(jī)制只了解一部分，對(duì)于其內(nèi)部運(yùn)行規(guī)律并不十分清楚，這樣的研究對(duì)象通常稱之為 “灰箱”

4、；如果我們對(duì)于研究對(duì)象的內(nèi)部結(jié)構(gòu)、 內(nèi)部機(jī)制及運(yùn)行規(guī)律均一無(wú)所知的話，則把這樣的研究對(duì)象稱之為“黑箱”。研究灰箱和黑箱時(shí)，將研究的對(duì)象看作是一個(gè)系統(tǒng)，通過(guò)建立該系統(tǒng)的模型，對(duì)模型參數(shù)進(jìn)行辨識(shí)來(lái)確定該系統(tǒng)的運(yùn)行規(guī)律。對(duì)于動(dòng)態(tài)系統(tǒng)辨識(shí)的方法有很多，但其中應(yīng)用最廣泛，辨識(shí)效果良好的就是最小二乘辨識(shí)方法，研究最小二乘法在系統(tǒng)辨識(shí)中的應(yīng)用具有現(xiàn)實(shí)的、廣泛的意義。4應(yīng)用最小二乘法對(duì)系統(tǒng)模型參數(shù)進(jìn)行辨識(shí)的方法有離線辨識(shí)和在線辨識(shí)兩種離線辨識(shí)是在采集到系統(tǒng)模型所需全部輸入輸出數(shù)據(jù)后，用最小二乘法對(duì)數(shù)據(jù)進(jìn)行集中處理，從而獲得模型參數(shù)的估計(jì)值；而在線辨識(shí)是一種在系統(tǒng)運(yùn)行過(guò)程中進(jìn)行的遞推辨識(shí)方法，所應(yīng)用的數(shù)據(jù)是實(shí)時(shí)

5、采集的系統(tǒng)輸入輸出數(shù)據(jù)，應(yīng)用遞推算法對(duì)參數(shù)估計(jì)值進(jìn)行不斷修正，以取得更為準(zhǔn)確的參數(shù)估計(jì)值。8三、最小二乘法的原理3.1 最小二乘法一次完成推導(dǎo)1本文中以一個(gè)SISO系統(tǒng)為例說(shuō)明最小二乘法的原理。假設(shè)一個(gè)SISO系統(tǒng)如下圖所示：圖1 SISO系統(tǒng)結(jié)構(gòu)圖其離散傳遞函數(shù)為： 3.1輸入輸出的關(guān)系為： 3.2進(jìn)一步，我們可以得到： 3.3其中，擾動(dòng)量為均值為0，不相關(guān)的白噪聲。將式3.3寫成差分方程的形式： 3.4令則式3.4可以寫為： 3.5將上述式子擴(kuò)展到N個(gè)輸入、輸出觀測(cè)值，k=1,2,，N+n。將其代入到式3.5中，寫成矩陣的形式為： 3.6其中，取泛函為最小二乘法原理既是使最小，對(duì)其求極值得

6、：由此可得系統(tǒng)的最小二乘法估計(jì)值為：這樣，我們就得到了系統(tǒng)的最小二乘估計(jì)值。以上推導(dǎo)的最小二乘法存在一些缺點(diǎn)，比如：預(yù)先取得的觀測(cè)值越多，系統(tǒng)參數(shù)估計(jì)的精度越高，但使得矩陣的階數(shù)越大，矩陣求逆計(jì)算量也越大，所需的存儲(chǔ)空間也會(huì)越大；每增加一次觀測(cè)值，必須重新計(jì)算和； 若列相關(guān),即不滿秩,則為病態(tài)矩陣,無(wú)法求得最小二乘估計(jì)值。因此可以對(duì)該方法進(jìn)行改進(jìn)，從而可以得到遞推最小二乘法，廣義最小二乘法等改進(jìn)后的方法。這里不做具體的介紹。3.2最小二乘法的缺陷 5最小二乘是一種最基本的辨識(shí)方法，最小二乘法可以用于線性系統(tǒng)，也可以用于非線性系統(tǒng)；可用于離線估計(jì)和在線估計(jì)。在隨機(jī)情況下，利用最小二乘法時(shí)，并不要

7、求觀測(cè)數(shù)據(jù)提供其概率統(tǒng)計(jì)方法的信息，而其估計(jì)結(jié)果，卻有相當(dāng)好的統(tǒng)計(jì)特性。但它具有兩方面的缺陷：一是當(dāng)模型噪聲是有色噪聲時(shí)，最小二乘估計(jì)不是無(wú)偏、一致估計(jì)；二是隨著數(shù)據(jù)的增長(zhǎng)，將出現(xiàn)所謂的“數(shù)據(jù)飽和”現(xiàn)象。針對(duì)這兩個(gè)問(wèn)題，出現(xiàn)了相應(yīng)的辨識(shí)算法，如遺忘因子法、限定記憶法、偏差補(bǔ)償法、增廣最小二乘、廣義最小二乘、輔助變量法、二步法及多級(jí)最小二乘法等。四、其他系統(tǒng)辨識(shí)方法上文中所推導(dǎo)出的方法為最小二乘一次實(shí)現(xiàn)的方法，從推導(dǎo)過(guò)程不難發(fā)現(xiàn)：我們假定噪聲信號(hào)為白噪聲，但實(shí)際工程應(yīng)用中，白噪聲在物理上是不存在的，常見(jiàn)的往往是有色噪聲。針對(duì)于有色噪聲，一次實(shí)現(xiàn)的最小二乘法不再滿足辨識(shí)要求，所以上文中提到了改進(jìn)的

8、最小二乘法。除了最小二乘法之外，還有極大似然法、貝葉斯法，但由于最小二乘法相對(duì)于這兩種方法而言，較容易理解，并且不需要嚴(yán)謹(jǐn)?shù)慕y(tǒng)計(jì)學(xué)知識(shí)，所以應(yīng)用更為廣泛。但隨著智能算法的日新月異，很多針對(duì)于系統(tǒng)辨識(shí)的智能算法涌現(xiàn)出來(lái)，在參數(shù)辨識(shí)的問(wèn)題上發(fā)揮了其本身作用。下面簡(jiǎn)要介紹兩種應(yīng)用于系統(tǒng)辨識(shí)的智能算法，敘述其各自的優(yōu)缺點(diǎn)。4.1 基于BP神經(jīng)網(wǎng)絡(luò)的系統(tǒng)辨識(shí)方法特點(diǎn)3隨著人們對(duì)非線性系統(tǒng)辨識(shí)問(wèn)題研究的日益深入，更為一般的普適性非線性模型的辨識(shí)問(wèn)題就顯得日益重要。由于非線性系統(tǒng)本身所包含的現(xiàn)象十分豐富，很難推導(dǎo)出能夠適應(yīng)各種非線性系統(tǒng)的辨識(shí)方法，傳統(tǒng)的系統(tǒng)辨識(shí)方法對(duì)于線性系統(tǒng)的辨識(shí)具有良好的效果，但對(duì)于非

9、線性系統(tǒng)往往不能得到滿意的效果。所以，找到一種針對(duì)于非線性系統(tǒng)具有良好辨識(shí)效果的方法是十分必要的。多層前饋神經(jīng)網(wǎng)絡(luò)能夠以任意精度逼近非線性映射，其特有的學(xué)習(xí)能力使其能適應(yīng)系統(tǒng)或環(huán)境的變化；并行計(jì)算特點(diǎn)，使其具有潛力，以快速實(shí)現(xiàn)大量復(fù)雜的運(yùn)算；分布式信息存儲(chǔ)與處理結(jié)構(gòu)，使其具有容錯(cuò)性；多輸入多輸出結(jié)構(gòu)可以方便的進(jìn)行多變量系統(tǒng)的辨識(shí)與控制。因此，神經(jīng)網(wǎng)絡(luò)在非線性系統(tǒng)辨識(shí)中的應(yīng)用具有很重要的研究?jī)r(jià)值和廣泛的應(yīng)用前景。BP網(wǎng)絡(luò)具有自學(xué)習(xí)特性，采用BP算法，即誤差反向傳播算法進(jìn)行自學(xué)習(xí)。BP算法可以看成是以個(gè)輸入到輸出的高度非線性映射。通過(guò)BP網(wǎng)絡(luò)的自學(xué)習(xí)特性，在辨識(shí)過(guò)程中可以不斷的修正辨識(shí)值，使辨識(shí)的

10、模型輸出無(wú)限逼近于系統(tǒng)的輸出值，達(dá)到精確辨識(shí)的目的。在處理非線性辨識(shí)問(wèn)題中，BP神經(jīng)網(wǎng)絡(luò)算法具有其獨(dú)自的優(yōu)點(diǎn)，最終的辨識(shí)結(jié)果非常令人滿意。本文不過(guò)多的敘述BP神經(jīng)網(wǎng)絡(luò)算法在系統(tǒng)辨識(shí)中的具體操作，如有需要，請(qǐng)參照文獻(xiàn)3中相關(guān)內(nèi)容。4.2 基于遺傳算法的系統(tǒng)辨識(shí)算法在系統(tǒng)辨識(shí)的方法中，基于階躍響應(yīng)曲線擬合辨識(shí)系統(tǒng)傳遞函數(shù)的方法是一種簡(jiǎn)單且非常實(shí)用的工程辨識(shí)方法。但此類辨識(shí)方法與其它傳統(tǒng)辨識(shí)方法一樣都存在一些缺點(diǎn)：辨識(shí)時(shí)需模型結(jié)構(gòu)已知，而且當(dāng)被辨識(shí)系統(tǒng)模型中含有二階欠阻尼環(huán)節(jié)時(shí)，傳遞函數(shù)的辨識(shí)相當(dāng)麻煩，難以得到滿意的結(jié)果，為此找到一種操作簡(jiǎn)單適于工程應(yīng)用，并且能夠同時(shí)確定系統(tǒng)的結(jié)構(gòu)與參數(shù)且全局收斂的

11、辨識(shí)方法是十分有意義的9。本節(jié)中將要提到的基于遺傳算法的系統(tǒng)辨識(shí)方法便是能夠同時(shí)確定系統(tǒng)結(jié)構(gòu)與參數(shù)且全局收斂的辨識(shí)方法。在系統(tǒng)辨識(shí)過(guò)程中，我們往往采用階躍函數(shù)作為輸入以獲得系統(tǒng)的性能。基于系統(tǒng)階躍響應(yīng)曲線擬合的模型辨識(shí)方法是以響應(yīng)曲線擬合程度為判定準(zhǔn)則工作的，基于這一準(zhǔn)則辨識(shí)系統(tǒng)存在這樣的間題：當(dāng)辨識(shí)出的系統(tǒng)模型具有對(duì)消的極零點(diǎn)時(shí),系統(tǒng)的階躍響應(yīng)曲線仍然滿足曲線完全擬合的條件，這樣，理論上一個(gè)系統(tǒng)存在無(wú)窮多個(gè)滿足擬合條件的對(duì)應(yīng)系統(tǒng)模型 ,能否可靠地得到與實(shí)際系統(tǒng)一一對(duì)應(yīng)的辨識(shí)模型，是辨識(shí)過(guò)程中值得關(guān)心的。從優(yōu)化的觀點(diǎn)看,此類問(wèn)題可以歸結(jié)為具有多個(gè)相同極大值點(diǎn)的多峰區(qū)域的最優(yōu)值搜索問(wèn)題。而在這一

12、問(wèn)題中，遺傳算法便是能夠滿足辨識(shí)要求的算法。下面具體說(shuō)明遺傳算法的優(yōu)越性：遺傳算法的搜索過(guò)程是從空間的一個(gè)點(diǎn)集(種群)到另一個(gè)點(diǎn)集(種群)的搜索,而不像圖搜索那樣一般是從空間的一個(gè)點(diǎn)到另一個(gè)點(diǎn)地搜索。 因而它實(shí)際是一種并行搜索, 適合大規(guī)模并行計(jì)算,而且這種種群到種群的搜索有能力跳出局部最優(yōu)解。遺傳算法長(zhǎng)于全局搜索, 它不受搜索空間的限制性假設(shè)的約束,不要求連續(xù)性, 能以很大的概率從離散的、多極值的、 含有噪聲的高維問(wèn)題中找到全局最優(yōu)解。 此外，遺傳算法的適應(yīng)性強(qiáng), 除需知適應(yīng)度函數(shù)外, 幾乎不需要其他的先驗(yàn)知識(shí)。可以說(shuō)，遺傳算法能夠針對(duì)與我們之前提到的“灰箱”問(wèn)題，搜索出適合的全局最優(yōu)值。并

13、且，遺傳算法并不局限于線性系統(tǒng)，在非線性系統(tǒng)的辨識(shí)中仍能夠得出良好的效果。五、結(jié)論本文針對(duì)于系統(tǒng)辨識(shí)問(wèn)題的某些方法進(jìn)行了簡(jiǎn)要的介紹。詳細(xì)推導(dǎo)了最小二乘法一次完成的算法，由于最小二乘法一次完成算法具有一定的缺陷，即在噪聲信號(hào)為有色噪聲時(shí)便不再具備一致性，而且源于在非線性系統(tǒng)辨識(shí)過(guò)程中的研究，本文又簡(jiǎn)要介紹了兩種不依賴于具體模型的智能算法，它們所具有的特性能夠滿足其在非線性模型的辨識(shí)中得到良好的效果。六、參考文獻(xiàn)1.郭利輝，朱勵(lì)洪，基于MATLAB的最小二乘法系統(tǒng)辨識(shí)與仿真，許昌學(xué)院學(xué)報(bào)，第29卷 第2期，2010年2.程嬋娟，系統(tǒng)辨識(shí)的線性規(guī)劃方法研究，2009年3.吳進(jìn)華，基于BP神經(jīng)網(wǎng)絡(luò)的非線性動(dòng)態(tài)系統(tǒng)辨識(shí)方法，2009年4.劉靜紈，最小二乘法在系統(tǒng)辨識(shí)中的應(yīng)用，北京建筑工程學(xué)院學(xué)報(bào)，第20卷 第3期，2004年9月5.王浩宇等，系統(tǒng)辨識(shí)及自適應(yīng)控制系統(tǒng)算法仿真實(shí)現(xiàn)，控制工程，第15卷增刊，2008年6.徐洪澤等，基于遺傳算法的系統(tǒng)辨識(shí)方法可靠性分析，模式識(shí)別與人工智能，第13卷 第4期，2000年7. 黃文梅等，系統(tǒng)分析與仿真，長(zhǎng)沙：