《系統(tǒng)辨識》PPT課件

1,系統(tǒng)辨識,電氣工程與自動化學院陳沖,2,課程主要內(nèi)容,第一章概述,第二章過渡響應法和頻率響應法,第三章辨識線性系統(tǒng)脈沖響應函數(shù)的相關分析法,結(jié)束,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,第五章線性系統(tǒng)的狀態(tài)估計法,3,第一章概述,一、建模的必要性,二、模型,三、建模方法,四、系統(tǒng)辨識的內(nèi)容（或步驟）,4,一、建模的必要性,課程的核心問題是建模，主要是辨識建模。,系統(tǒng)辨識是研究辨識建模的理論和方法。,數(shù)學模型的主要用途：,控制理論與控制工程就一直圍繞著建立模型和控制器設計這兩個主題來發(fā)展，它們相互依賴、相互滲透并相互發(fā)展。,用來預報實際系統(tǒng)物理量,研究實際系統(tǒng)往往需要事先知道一些物理量的數(shù)值，而其中有些量可能無法直接測量或測不準，所以需要建立數(shù)學模型來預報。,第一章概述,5,為了設計控制系統(tǒng),目前,對被控系統(tǒng)的控制器的設計方法的選取,以及如何進行具體的控制結(jié)構(gòu)和參數(shù)的設計都廣泛依賴于對被控系統(tǒng)的理解及所建立的被控系統(tǒng)數(shù)學模型。,用于分析實際系統(tǒng),工程上在分析一個新系統(tǒng)時，通常先進行數(shù)學仿真，仿真的前提必須有數(shù)學模型。,第一章概述,建模問題在控制器設計中起著非常重要的作用,是設計中首先需要解決的問題；是成功地進行控制器設計的關鍵之一。,第一章概述,系統(tǒng)的模型一般分物理模型與數(shù)學模型,物理模型：指用物理、化學、生物等材料構(gòu)成的用于描述系統(tǒng)中的關系和特征的實體模型。,模型：就是把系統(tǒng)實體的本質(zhì)信息簡縮成有用的描述形式，,數(shù)學模型：描述系統(tǒng)中一些關系和特征的數(shù)據(jù)模型。,控制領域的數(shù)學模型就是指能用來描述系統(tǒng)的動態(tài)或靜態(tài)特性和行為的數(shù)學表達式或方程。是進行系統(tǒng)分析、預報、優(yōu)化及控制系統(tǒng)設計的基礎。,二、模型,是一種簡化描述。,7,1、理論建模法：,通過對系統(tǒng)內(nèi)在機理的分析，按照已知的一些物理定律導出各物理量關系來建立數(shù)學模型。理論建模法建立的模型稱為機理模型。,一般在理論建模中,根據(jù)模型應用的目的和精度要求,僅考慮系統(tǒng)中起主導作用的有限的幾個因素即可。,缺陷：當驗前信息不足時，用理論建模法會遇到很大困難。對于比較復雜的過程，必須對機理模型簡化，這就使得機理建模與實際過程間有一定的誤差。,第一章概述,三、建模方法,8,理論建模通常只能用以建立比較簡單系統(tǒng)的模型（白箱問題）。,由于許多系統(tǒng)的機理和所處的環(huán)境越來越復雜，因此，理論建模法的運用亦越來越困難，其局限性越來越大,需要建立新的建模方法。,第一章概述,在被建模的裝置尚不存在（設計階段）或雖存在但無法進行實驗時，理論建模是取得模型的唯一途徑，是驗前問題中唯一可行的方法。,理論建模的難點在于對有關學科知識及實際經(jīng)驗的掌握，故不屬于課程的討論范圍。,在理論建模方法難以進行或難以達到要求的情況下，系統(tǒng)辨識建模方法就幸運而生。,9,2、辨識建模法：,對被控系統(tǒng)進行測試，利用觀測數(shù)據(jù)，通過辨識技術(shù)去構(gòu)造系統(tǒng)模型的方法。,系統(tǒng)辯識是研究怎樣利用對未知系統(tǒng)的試驗數(shù)據(jù)或在線運行數(shù)據(jù)(輸入/輸出數(shù)據(jù))建立描述系統(tǒng)的數(shù)學模型的科學。,系統(tǒng)辯識亦稱為實驗建模方法,它是“系統(tǒng)分析”和“控制系統(tǒng)設計”的逆問題。,第一章概述,是現(xiàn)代控制理論的一個分支。,1）完全辨識問題：,第一章概述,完全不了解系統(tǒng)的任何基本特性（定常時變；線性非線性；確定隨機等）。這類問題稱為黑箱問題。這是一個極難解決的問題，通常需要對系統(tǒng)作某些主觀的先驗假設。,2）部分辨識問題：,系統(tǒng)的某些基本特性假定是已知的，但不知動態(tài)模型的階次或有關的系數(shù)。這類問題稱為灰箱問題。顯然比黑箱問題容易解決。,根據(jù)對系統(tǒng)事先了解的程度（先驗知識）可將辨識問題分成二類：完全辨識問題和部分辨識問題。,11,大部分工程系統(tǒng)及工業(yè)過程都屬于灰箱問題。通常對系統(tǒng)的結(jié)構(gòu)會有很多了解，因此可推導得系統(tǒng)特定的數(shù)學模型。在這種情況下只要定階和確定模型中的一組參數(shù)。從而模型化問題簡化為參數(shù)估計。因此參數(shù)估計是一個最重要的問題。,第一章概述,有效的辨識策略：盡可能地掌握系統(tǒng)的先驗知識，即盡可能地使系統(tǒng)“白化”；,有效的辨識方法：“灰箱”方法。將兩種方法結(jié)合起來，互為補充。,對依然“黑”的部分，用理論建模方法不能確定的部分和參數(shù)，采用系統(tǒng)辨識方法。,12,第一章概述,系統(tǒng)辨識的框圖,13,模糊數(shù)學創(chuàng)始人L.A.Zadeh,第一章概述,1962年Zadeh從數(shù)學的角度定義:辨識就是在輸入輸出數(shù)據(jù)的基礎上，從一組給定的模型類中，確定一個與所測系統(tǒng)等價的模型。,1978年瑞典的李龍(Ljung)提出:系統(tǒng)辯識的三個要素數(shù)據(jù)、模型類和準則。,系統(tǒng)辯識是按照一個準則，在模型類中選擇一個與數(shù)據(jù)擬合得最好的模型。,擬合的好壞是一個不定的概念，所以要用準則來判別。,3、系統(tǒng)辨識的定義,所謂辨識建模是從實驗數(shù)據(jù)出發(fā)，根據(jù)辨識的目的以及對過程已有的驗前知識，預先給出一個模型類（線性的、非線性的、定常的、時變的、連續(xù)的、離散的）進行擬合。,14,第一章概述,它是一個迭代過程。大致包括：試驗設計，模型結(jié)構(gòu)確定，參數(shù)估計和模型驗證。,四、系統(tǒng)辨識的內(nèi)容（或步驟）,15,大致包括：試驗設計，模型結(jié)構(gòu)確定，參數(shù)估計和模型驗證。,1、試驗設計,第一章概述,1）選擇變量：以提取有效的信息（數(shù)據(jù)）為目的。首先根據(jù)試驗對象，確定所要觀測的變量。（u是人為給定的，y是觀測的，y的選取不同會改變輸出矩陣C的結(jié)構(gòu)和數(shù)值。）,通常為得到試驗設計前的必要的知識，必須進行一些預備性試驗（摸底）。,四、系統(tǒng)辨識的內(nèi)容（或步驟）,16,第一章概述,預備性試驗：可用一些簡單方法（階躍響應，頻率響應等）獲得系統(tǒng)的如下信息：,主要時間常數(shù)（系統(tǒng)頻寬，與試驗長度有關）允許的輸入信號幅度（系統(tǒng)的線性范圍）過程的非線性與時變性（有助于模型類的選擇）噪聲水平（以便用多大的輸入，使得觀測量有多大的信噪比）變量之間的延遲（滯后環(huán)節(jié)參數(shù)）,2）輸入信號的選擇（階躍、方波、脈沖、PRBS）。,17,第一章概述,3）采樣速度的選擇（要采集數(shù)據(jù)就有采樣速度選擇問題）。實際上先采用較短的采樣間隔，在數(shù)據(jù)分析時，可根據(jù)需要隔幾個取一個數(shù)據(jù)。,4）試驗長度的確定（試驗時間問題）。辨識精度與試驗時間的長短有關。,2、模型結(jié)構(gòu)確定,根據(jù)辨識的目的及對被辨識系統(tǒng)的先驗知識，確定系統(tǒng)所屬的模型類,模型結(jié)構(gòu)的選擇主要取決于應用的目的及精度要求。通常模型精度與復雜性要折衷考慮。,18,第一章概述,常用的模型類：參數(shù)的或非參數(shù)的線性的或非線性的連續(xù)的或離散的確定的或隨機的I/O的或狀態(tài)的時變的或定常(時不變)的集中參數(shù)的或分布參數(shù)的頻率域的或時間域的等等。,19,第一章概述,根據(jù)系統(tǒng)的空間、時間的離散化情況，模型可分為三類：,1）集中參數(shù)的連續(xù)時間模型：空間變量是離散的，時間變量連續(xù)。如常微分方程，代數(shù)方程。,2）集中參數(shù)的離散時間模型：時、空變量均離散。如差分方程，代數(shù)方程。,3）分布參數(shù)模型：時、空變量均連續(xù)，如偏微分方程。它可以在空間上離散化，簡化成分塊集中參數(shù)，所以對它的辨識不介紹。,a,20,第一章概述,3、參數(shù)估計,模型結(jié)構(gòu)確定后，其中未知部分就要通過觀測數(shù)據(jù)進行估計。通常未知部分是以未知參數(shù)出現(xiàn)，故辨識工作就成了參數(shù)估計。,4、模型驗證,一個模型辨出來后，是否可靠必須進行多次驗證。,參數(shù)估計的要求就是要辨識出來的模型與實際過程在某種意義下最“接近”。所以必須有個準則衡量。,通常一個模型用一套數(shù)據(jù)進行辨識，然后用另一套數(shù)據(jù)來驗證和修改。,21,第二章過渡響應法和頻率響應法,21過渡響應法（時域法）,22頻率響應法（頻域法）,23多輸入多輸出線性系統(tǒng)傳函（矩陣）的辨識,22,模型可以有不同的形式，不同的模型適于不同的系統(tǒng)。,古典辨識方法：采用時域法和頻率法來辨識線性系統(tǒng)的傳遞函數(shù)。,原則上只適用于SISO線性系統(tǒng)。,SISO系統(tǒng)通常采用傳遞函數(shù)。MIMO系統(tǒng)通常采用狀態(tài)空間表達式。,由實驗來建立數(shù)學模型傳遞函數(shù)，可以為更復雜的系統(tǒng)辨識做預備性實驗，它是現(xiàn)代系統(tǒng)辨識的基礎，屬于連續(xù)系統(tǒng)的數(shù)學模型的辨識領域。,第二章過渡響應法和頻率響應法,23,第二章過渡響應法和頻率響應法,試驗信號的選用：,對系統(tǒng)模型的研究方法不同，輸入試驗信號也相應分成非周期的和周期的兩種。,用時域法建模：輸入信號為非周期的。主要采用階躍和方波（近似脈沖）函數(shù)。,用頻域法建模：輸入信號用周期的。主要用正弦波，二進制周期函數(shù)。它們又分為單頻和多頻（組合正弦波及周期方波）,24,21過渡響應法（時域法）,采用非周期試驗信號，通過系統(tǒng)的動態(tài)響應研究系統(tǒng)的模型。,一、非參數(shù)模型的辨識,在時域中建立線性系統(tǒng)非參數(shù)模型時，用很簡便的方法就可得到脈沖響應曲線，階躍響應曲線、方波響應曲線或它們的離散采樣數(shù)據(jù)表。,對于線性系統(tǒng)，脈沖響應，階躍響應和方波響應之間是可以相互轉(zhuǎn)換的。,脈沖響應：可以采用幅值相當大，寬度很窄的方波來近似函數(shù)。,第二章過渡響應法和頻率響應法,25,第二章過渡響應法和頻率響應法,二、由階躍響應曲線辨識傳函,1、試探法,工業(yè)中常用的模型類：（即便是高階系統(tǒng)也用低階模型去逼近）,由非參數(shù)模型轉(zhuǎn)變成參數(shù)模型，包括確定傳函的結(jié)構(gòu)及參數(shù)。,先觀察試驗所得響應曲線的形狀特征，據(jù)此判斷，從模型類中確定一種結(jié)構(gòu)。然后進行參數(shù)估計，最后驗證數(shù)據(jù)擬合程度，反復多次，直至誤差e(t)最?。炞C數(shù)據(jù)擬合可只取若干點）。,26,第二章過渡響應法和頻率響應法,1）若階躍響應曲線特征為：,曲線逐漸上升到穩(wěn)態(tài)值：,可采用結(jié)構(gòu)：,待估參數(shù)為：K，T,穩(wěn)態(tài)增益：,將試驗曲線標么化，即,27,第二章過渡響應法和頻率響應法,要確定T，只要一對觀測數(shù)據(jù)：y*(t1)，t1,則標么化后響應：,可得：,由,若取y*(t1)=0.63，則T=t1,驗證數(shù)據(jù)擬合如何，可在t=T/2和t=2T二點進行：,若擬合不好，則應另選模型結(jié)構(gòu)類。,1,28,第二章過渡響應法和頻率響應法,待估參數(shù)為：K，T，,穩(wěn)態(tài)增益：,將試驗曲線標么化，即,2）實驗曲線是一條S形非周期曲線,）可選用模型類：,則,為了確定T和，必須將兩個坐標值（觀測值）代入，,則,29,第二章過渡響應法和頻率響應法,兩邊同取對數(shù)得：,根據(jù)兩對觀測值y*(t1)和y*(t2)，可求出T和。,30,第二章過渡響應法和頻率響應法,若選y*(t1)=0.39，y*(t2)=0.63，則,模型驗證：,由,則,31,第二章過渡響應法和頻率響應法,待估參數(shù)為：K，T，,究竟選一階慣性帶延時的模型結(jié)構(gòu)，還是選二階模型，事先無法確定，完全看兩種模型與試驗曲線擬合程度，哪個精度高，選哪個。,由于大多數(shù)工業(yè)過程的試驗曲線是過阻尼的，即1，只討論此種情況，而1)，代入上式得：,兩邊同取對數(shù)得：,第二章過渡響應法和頻率響應法,可見，當t時，是一條直線。,斜率：k=1，截距：,則可得：,2,T，,當t時,35,第二章過渡響應法和頻率響應法,若用常用對數(shù)，則當t時：,則：,缺點：計算G(s)時采用的點都是t較大時的點，而當t較大時，往往1y*(t)的值較小，這就會產(chǎn)生較大的誤差。,b,36,第二章過渡響應法和頻率響應法,2、Laplace變換的極限定理法（終值定理法）,利用Laplace變換的極限定理，由非參數(shù)模型的單位階躍響應，求參數(shù)模型傳遞函數(shù)。它克服了試探法需選擇模型類的不足，但它僅適用于下述一種模型類。,設線性SISO定常系統(tǒng)的傳函結(jié)構(gòu)為：,特點：系統(tǒng)只有極點、無零點。,37,第二章過渡響應法和頻率響應法,當輸入u(t)=1(t)時，輸出y(t)為：,終值定理為：,對于階躍響應:,代入上式得：,K0,38,第二章過渡響應法和頻率響應法,在已存在的系統(tǒng)G(s)的基礎上構(gòu)造一個新系統(tǒng)G1(s)，當輸入u(t)=1(t)時，其單位階躍響應為：,（y1(t)與y(t)的關系）,求G1(s)的穩(wěn)態(tài)增益K1:,K1,當輸入u(t)=1(t)時，輸出y(t)為：,39,第二章過渡響應法和頻率響應法,G1(s),求拉氏變換：,求得G1(s)與G(s)的關系:,當輸入u(t)=1(t)時，輸出y(t)為：,40,第二章過渡響應法和頻率響應法,再利用終值定理可求得G1(s)的穩(wěn)態(tài)增益K1：,a1,當輸入u(t)=1(t)時，輸出y(t)為：,41,第二章過渡響應法和頻率響應法,K2,同理，在系統(tǒng)G1(s)基礎上構(gòu)造一個新系統(tǒng)G2(s)。,G2(s)的單位階躍響應為：,求拉氏變換：,當輸入u(t)=1(t)時，輸出y(t)為：,42,第二章過渡響應法和頻率響應法,再利用終值定理可得：,a2,G2(s),求得G2(s)與G1(s)的關系:,當輸入u(t)=1(t)時，輸出y(t)為：,43,第二章過渡響應法和頻率響應法,當輸入u(t)=1(t)時，輸出y(t)為：,Kr,同理，在系統(tǒng)Gr-1(s)基礎上構(gòu)造一個新系統(tǒng)Gr(s)。,Gr(s)的單位階躍響應為：,再用終值定理，由數(shù)學歸納法可得：,ar,44,第二章過渡響應法和頻率響應法,特點：）每求一次Ki，要計算一次面積，所以計算量大，而且誤差隨著積分次數(shù)增大而增大。故僅適用于低階模型的辨識。,）使用過程受到一定的限制，僅適用于特定的模型結(jié)構(gòu)（即傳函G(s)只有極點，而沒有零點的情況）。,由上述（n+1）個方程可求出（n+1）個待估參數(shù)：K，a1，an,45,第二章過渡響應法和頻率響應法,K1的物理意義：,由可知，,K1為陰影部分的面積。（幾何意義）,將G(s)改寫成極點形式：,顯然：,（物理意義）,1,46,第二章過渡響應法和頻率響應法,三、由脈沖響應曲線辨識傳函,1、矩法,脈沖響應g(t)可由單位階躍響應微分后求得，也可用窄方波響應來近似。（方波寬度12時，大約半數(shù)序列要用二級反饋產(chǎn)生，其他的則要用4級反饋來產(chǎn)生M序列。,2、M序列的性質(zhì),1）是一個確定的周期性序列，它的周期長度NP=2n1,2）一個周期內(nèi)?！?”狀態(tài)比“1”狀態(tài)少1個。（避免出現(xiàn)全“0”狀態(tài)）,“1”狀態(tài)：,“0”狀態(tài)：,92,第三章相關分析法,3）若將序列中相鄰狀態(tài)不變的那一部分長度稱“游程”（或“段”），則在一個周期內(nèi)的游程總數(shù)為m。,不允許n個全零狀態(tài)，只有一個n個碼為全“1”,游程總數(shù),如：n=4111101011001000,m=8,93,第三章相關分析法,4）移位相加性：若將一個M序列與將其延遲了r個碼以后的序列，按模2加法原則相加，所得的新序列還是M序列，不過延遲了q個碼，r、q均為整數(shù)，且1r，qNp1。,，1r，qNp1,例：,5）M序列具有近似離散的白噪聲性質(zhì)。,下面將詳細討論M序列的自相關函數(shù)和功率密度譜。,b,94,第三章相關分析法,3、M序列的相關函數(shù)和功率密度譜：,1）相關函數(shù)：,定義:“1”狀態(tài)的邏輯電平為“a”，“0”狀態(tài)的邏輯電平為“+a”（為負邏輯關系，反之結(jié)論一樣）。,由Ruu()定義可知：,95,第三章相關分析法,(1)離散情況(=/):,其中：=/,設是的整數(shù)倍，此時Ruu()取值于=0，1，2，Np1,Ruu()寫成離散形式為：,顯然模2乘法的結(jié)果與模2加法的結(jié)果在邏輯上是完全一樣的，都為異或關系。,即：,同號碼+a2（0）u(k)與u(k+)碼的電平符號相同。異號碼a2（1）u(k)與u(k+)碼的電平符號相異。,（同號碼個數(shù)）（異號碼個數(shù)）,96,=1，2，Np1,第三章相關分析法,當=1，2，Np1時：,u(k)u(k+)在邏輯狀態(tài)上相當于原序列u(k)與另一延遲序列u(k+)按摸2加法原則相加。根據(jù)M序列的移位相加性質(zhì)可知，所得的結(jié)果在邏輯狀態(tài)上仍是一個M序列。,當新的序列為“0”狀態(tài)時，說明u(k)與u(k+)是同號當新的序列為“1”狀態(tài)時，說明u(k)與u(k+)是異號,97,第三章相關分析法,當=0時：(同一個M序列自乘),98,第三章相關分析法,（2）連續(xù)情況（不是的整數(shù)倍）：,（為平均面積值）,為一個周期內(nèi)曲線u(t)u(t+)所圍成的面積。,即：一個周期內(nèi)曲線u(t)u(t+)所圍成的：正面積負面積,99,第三章相關分析法,當=0時：(0),M序列每出現(xiàn)一次狀態(tài)轉(zhuǎn)換，積分將出現(xiàn)一個負面積(a2),負面積,正面積,100,第三章相關分析法,負面積,正面積,101,第三章相關分析法,它是的線性函數(shù)，因此可確定其兩點：,當=0時，Ruu()=a2;當=時，Ruu()=,Ruu()=Ruu(-)為偶函數(shù)，在內(nèi)，Ruu()為一個波。,102,第三章相關分析法,當(Np-1)時，g(t)0,維納霍甫方程的離散形式為：,其中：,33用M序列辨識線性系統(tǒng)的脈沖響應函數(shù),124,第三章相關分析法,在離散情況下M序列的Ruu()為：,它是由Ruu2()產(chǎn)生的,令,125,第三章相關分析法,脈沖響應函數(shù)g(k)有界，C為有界常數(shù)，且C0,1、作圖法,將Ruy()上移C就可以得到：,-C一般可以通過對Ruy()的穩(wěn)態(tài)值的目測得到。,從而得到：,126,第三章相關分析法,2、解析法,通過精確計算公式得到：,方程兩邊同求和，可得：,127,第三章相關分析法,二、估計量的統(tǒng)計特征,1、是無偏的，即,方程兩邊同取均值，可得：,128,第三章相關分析法,此時，又回到理論的維納霍甫方程，所以：,此時g()已經(jīng)是一個確定的量了！,129,第三章相關分析法,2、是一致估計量，即,方程兩邊同取二階原點矩，可得：,130,第三章相關分析法,同證明無偏性一樣，可得：,可得的方差為:,自然說明了估計量的有效性。,是一致估計量。,131,第三章相關分析法,三、提高估計精度的方法,的估計精度取決于Ruy()的精度。,1、提高采樣速率,提高Ruy()的精度：,取采樣周期To=/(=14),用更多的y(t)數(shù)據(jù)計算Ruy()。,2、采用多個周期的M序列,輸入r+1個周期的M序列，測得r個周期的y(t)計算Ruy()。,通常取r=14,4,132,第三章相關分析法,四、計算的方法（采用多個周期）,1、一次完成法（離線計算法）,定義：,上式寫出向量矩陣形式：,133,第三章相關分析法,134,第三章相關分析法,2）需要輸入r+1個周期的u(k)：u(-Np+1)u(rNp-1)。,特點：1）一次離線求出（=0,1，Np-1)。,3）精度要求較高時，Ruy()的計算精度要高，r的數(shù)目要大，所以數(shù)據(jù)存儲量大。,4）不是遞推公式，無法在線辨識。,135,第三章相關分析法,2、遞推算法,設已獲得M對I/O數(shù)據(jù)，且M（=0,1，Np-1，MNp-1），即必須先觀測至少一個周期。,Ruy()的遞推公式，即全部的M對I/O數(shù)據(jù)的Ruy(,M)可以用過去的(M-1)對I/O數(shù)據(jù)算得的Ruy(,M-1)和第M次觀測的最新數(shù)據(jù)y(M)和u(M)遞推地計算出。,136,第三章相關分析法,可得向量矩陣形式：,令,137,第三章相關分析法,可以通過過去的和最新的數(shù)據(jù)y(M)和u(M)在線求得，隨著I/O數(shù)據(jù)的增加，的精度不斷地提高。,遞推公式,138,第三章相關分析法,用逆重復M序列辨識線性系統(tǒng)的脈沖響應函數(shù)，比采用M序列所得的算式更簡單。,對于周期為2Tp的逆重復M序列，仍要求Tp滿足(Tp-)Ts?？傻镁S納霍甫方程為：,34用逆重復M序列辨識線性系統(tǒng)的脈沖響應函數(shù),139,第三章相關分析法,(Np-1)時，g(t)0,一般取：既保證系統(tǒng)的線性，又不超出設備允許公差的最大幅值a。,146,第三章相關分析法,五、計算Ruy(),在生產(chǎn)現(xiàn)場做試驗，一般是在系統(tǒng)的正常工作狀態(tài)uo上再附加一個PRBS輸入u(t)。,當tTs后，系統(tǒng)的非零初始條件將消失，y(t)中的零輸入響應消失了，只剩下由u(t)激起的強制響應，此時y(t)已經(jīng)是一個平穩(wěn)隨機過程了。,所以，必須對系統(tǒng)先加一個周期u(t)的預激勵，從第二周期開始再量測I/O數(shù)據(jù)，用以計算Ruy()。,b,系統(tǒng)的實際輸入：u*(t)=uo+u(t)系統(tǒng)的實際輸出：y*(t)=yo+y(t),所以，計算Ruy()時必須從實際輸出y*(t)中將穩(wěn)態(tài)數(shù)據(jù)yo除去。,147,設MIMO系統(tǒng):輸入:u1(t),u2(t),uJ(t)輸出:y1(t),y2(t),yI(t),G(),第三章相關分析法,為了辨識多變量系統(tǒng)G()，需要辨識IJ個子系統(tǒng)：gij()(i=1,2,I;j=1,2,J),36多變量系統(tǒng)的辨識,148,式中T1是所有子系統(tǒng)gij()中最大的系統(tǒng)調(diào)節(jié)時間，即：,第三章相關分析法,第i個輸出：,顯然，yi(t)與J個子系統(tǒng)的脈沖響應有關。,設uj(t)(j=1,2,J)均為周期性試驗信號，且周期TT1,與SISO系統(tǒng)相似，可得MIMO系統(tǒng)的維納霍甫方程：,多變量系統(tǒng)卷積公式為向量矩陣形式:,IJIJJJ,149,第三章相關分析法,式中:,150,第三章相關分析法,第j個輸入、第i個輸出的維納霍甫方程：,若uj(t)（j=1,2,J）為互不相關，即：,且uj(t)又最好都是M序列或逆重復M序列,則可以用類似前面SISO系統(tǒng)的相關法求得：,由于存在第二項互相關函數(shù)，使得求產(chǎn)生困難。,=0,151,第三章相關分析法,取uj(t)=M序列，um(t)=Um=Const(mj),1、逐個試驗法,缺點：1）若輸入多，J較大時，則試驗時間較長。2）各個輸入之間的交叉作用不能充分反映出來，誤差較大。,根據(jù)uj(t)和y1(t),y2(t),yI(t)可求得G()的第j列：,繼續(xù)改變uj(t),讓j=1,2,J，可求得G()的全部IJ個元素：,152,第三章相關分析法,2、聯(lián)合試驗法,為了消除式中的第二項互相關函數(shù)，最好的辦法是使得:uj(t)(j=1,2,J)為互不相關，即在一個T周期內(nèi)：,2）當J2時：利用M序列的移位相加性質(zhì)，可以從一個M序列得到J個M序列，它們的相位依次后移了NpJ個碼。,1）當J=2時：在2Tp內(nèi)：M序列與逆重復M序列是不相關的。所以，兩個輸入可以分別采用M序列和逆重復M序列。,同時可求得G()的全部IJ個元素：,153,第三章相關分析法,對于M序列：,154,第三章相關分析法,取,在小于一個TJ內(nèi)：uj(t)與uj+1(t)以及其它的um(t)都不相關。,155,第三章相關分析法,上述兩種方法僅適合J4時的系統(tǒng)，否則試驗時間會太長，可能破壞y(t)為平穩(wěn)過程的假設。,只需要一個Tp就可求得G()的全部IJ個元素：,逐個試驗法：每個uj(t)都要試驗兩個Tp（預激勵+試驗）,聯(lián)合試驗法：求Ruu和Ruy時要試驗兩個Tp，而且：,5,156,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,41隨機型典范差分方程,42最小二乘估計方法,43加權(quán)最小二乘法,44最小二乘參數(shù)估計的統(tǒng)計特征,45廣義最小二乘法,46輔助變量法,47增廣矩陣法（增廣最小二乘法）,48相關分析最小二乘兩步法,49階的辨識,41隨機型典范差分方程,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,令：,引入延遲算子z-1：,157,158,CARMA模型（可控自回歸滑動平均模型）,1、CARMA：,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,（ControlledAuto-RegressionMovingAverage）,對于SISO系統(tǒng)：,2、CAR（可控自回歸）：,3、ARMA（自回歸滑動平均）：,159,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,6、靜態(tài)自回歸：n=0（回歸分析）,5、MA（滑動平均）：,4、AR（自回歸）：,160,42最小二乘估計方法,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,一、最小二乘法（LS）,SISO的隨機差分方程描述（CAR模型可控自回歸）：,其中u(k)和y(k)為實際測量的I/O序列，e(k)為過程噪聲（觀測噪聲）。,假設e(k)為獨立同分布的隨機變量序列，具有零均值和方差2。,上述方程可寫成：,待估未知參數(shù)2n個：,161,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,為了估計2n個參數(shù)，必須觀測N+n次，N2n，從而得到N個方程組。,定義：,每一個觀測方程：,162,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,每一個觀測方程：,可得觀測方程組的向量矩陣方程：,最小二乘的標準格式,特點：輸出關于參數(shù)是線性的。,最小二乘估計準則：,在最小二乘模型類（CAR模型）中，找出這樣一個模型，在這個模型中，系統(tǒng)參數(shù)向量的估計量，使得性能指標函數(shù)（標量函數(shù)）：,因為J是的二次函數(shù)，所以J存在極值。,163,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,極小化估計準則J的必要條件：,正規(guī)方程式,從而得：,解的表達式,a,估計量的解：,164,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,極小化估計準則J的充分條件：,為正定的。,若T是正則的(非奇異)，則,165,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,因為T與無關（為常矩陣），所以J只有一個局部極小值存在，當然也是全局極小值。故最小二乘估計量是唯一的。,LS的估計準則實際上是:使得殘差平方和為觀測誤差平方和的極小值。,由于在中，是在取好足夠數(shù)據(jù)后一次計算出來的，所以稱之為一次完成估計式。,166,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,二、遞推最小二乘法,遞推算法可以減少內(nèi)存存貯量和計算量，同時還可以實現(xiàn)在線辨識。,在一次完成法中：I/O數(shù)據(jù)越多,設觀測N+n對I/O數(shù)據(jù)后，獲得參數(shù)最小二乘估計為,其中：,167,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,當增加一對新的觀測數(shù)據(jù)u(n+N+1)和y(n+N+1)后，,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,根據(jù)矩陣求逆引理：,168,169,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,170,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,171,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,可得估計值的遞推公式：,b,172,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,是用前N步的數(shù)據(jù)和估計值來預報第N+1步的y(n+N+1)。,表示在n+N+1時刻輸出實測值與預報值之差，即用第N步結(jié)果預測第N+1步的殘差。它是在n+N+1時刻的觀測y(n+N+1)帶來的新息，是修正參數(shù)估計值的信息來源。,173,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,所以第N+1步的估計是在第N步估計的基礎上，利用新的觀測y(n+N+1)帶來的新息對其加以修正后得來的,修正項與成正比。,K(N)表示增益因子，它是一個時變增益矩陣。,2、是個標量，它的求逆只是一個簡單的除法，從而避免了矩陣求逆運算，計算效率大大提高。,174,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,3、P(N)和的初值設定：,利用一次完成法計算初值:,為了使得T是正定矩陣，觀測次數(shù)N0+n中必須取N02n。,人為地設定初值:,極小化的充分條件為:,2為數(shù)值很大的標量，一般取計算機的最大字長。,可以證明，按上述設定初值后，從第n+1組數(shù)據(jù)開始進行遞推，經(jīng)過N次遞推計算后所得到的遞推估計。在數(shù)值上基本與所有N+n組數(shù)據(jù)的一次完成估計相同。,人為設置法選定初值比利用一次完成法設置初值的優(yōu)點是避免了在求初值時求的矩陣求逆運算。,175,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,依次可遞推得：,176,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,177,依次遞推可得第N次遞推結(jié)果：,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,178,遞推最小二乘運算框圖：,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,其中表示：中的第i個分量。（i=1,2,2n),4、估計過程中，顯然“歷史”數(shù)據(jù)沒有保存下來，但是“歷史”數(shù)據(jù)的影響卻一直在起作用。故稱之為“無限增長記憶”的最小二乘遞推算法。,6,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,三、數(shù)據(jù)飽和現(xiàn)象及實時估計,1、數(shù)據(jù)飽和現(xiàn)象：,P(N)0,故P(N)是遞減的，當N時，可能會出現(xiàn)P(N)0。,意味著新的觀測值對參數(shù)估計量的修正已不再起作用了，這種現(xiàn)象稱為“數(shù)據(jù)飽和”現(xiàn)象。,179,為實對稱矩陣,，且P(N)可逆,180,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,當出現(xiàn)“數(shù)據(jù)飽和”時，由于計算機的字長有限，所以存在舍入誤差，因此，新的觀測數(shù)據(jù)不但對參數(shù)估計不起改進作用，反而會使得P(N)失去正定性，甚至失去對稱性，造成參數(shù)的估計量與真實值之間的偏差越來越大。,2、實時估計算法：,無限增長記憶最小二乘遞推算法的缺陷：對所有觀測數(shù)據(jù)的加權(quán)相同，可能出現(xiàn)“數(shù)據(jù)飽和”現(xiàn)象。此時，遞推算法就有可能不能反映出系統(tǒng)參數(shù)的時變性。,參數(shù)隨時間變化的信息含于新數(shù)據(jù)中，如果不采用降低舊數(shù)據(jù)影響的遞推算法，新數(shù)據(jù)就會被舊數(shù)據(jù)淹沒掉，因此，需要一種能跟蹤參數(shù)變化的遞推算法，稱為實時估計算法。,可以用降低舊數(shù)據(jù)影響的辦法克服數(shù)據(jù)飽和現(xiàn)象。,181,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,1）漸消記憶法（帶遺忘因子的LS遞推法）,思路：對每次觀測的數(shù)據(jù)按指數(shù)加權(quán)，舊數(shù)據(jù)所加的權(quán)按指數(shù)衰減，從而人為地強調(diào)當前的新數(shù)據(jù)，降低舊數(shù)據(jù)的影響。,182,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,根據(jù)矩陣求逆引理：,K(N),183,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,184,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,可得帶遺忘因子的最小二乘遞推公式：,當=1時，相當于對所有數(shù)據(jù)加相同的權(quán)，所以帶遺忘因子的最小二乘遞推公式就退化成無限增長記憶的最小二乘遞推公式。,185,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,引入遺忘因子對數(shù)據(jù)加權(quán)后，相當于對最小二乘估計準則中的e(k)加權(quán)。,相當于在最小二乘估計準則中對以前的準則加以遺忘。,每遞推一步，P(N+1)中都乘上一個(1/)1的因子，使得P(N+1)隨N增大而減小的速度降慢，從而減少了數(shù)據(jù)飽和現(xiàn)象。,a,186,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,187,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,方程兩邊同左乘：,188,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,將(1)-(2)得：,189,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,190,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,*(N+1)保持它的行數(shù)為N不變，當遞推次數(shù)kN時，如果令：,P-1(k+1)為N+1行,在Q-1(k)中加上新的一行。,Q-1(k+1)為N行，在P-1(k+1)中減去最前面的一行。,191,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,遞推公式中初值的選?。?192,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,特點：可以用一次完成法或遞推一般最小二乘法（無限增長記憶法）對前（n+N）組數(shù)據(jù)進行計算，在此基礎上不再增加記憶長度，每次只保留（n+N）組數(shù)據(jù)（只保留N行數(shù)據(jù)），進行遞推。,遞推計算步驟：,在Q(k)的基礎上，加上最新一行：T(N+K+1),在P(k+1)的基礎上，減去最前一行T(N+K+1-N),由(N+1)行構(gòu)成,由N行構(gòu)成,最新一行：,最前一行：,b,193,43加權(quán)最小二乘法,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,在一般最小二乘估計中，認為每次觀測的誤差對估計參數(shù)都具有相同的重要性，即對每個觀測誤差e(k)在指標函數(shù)J中所加的權(quán)相等。,實際上每次觀測的誤差是不同的。對觀測誤差的方差小（觀測準確）的數(shù)據(jù)，應該加大重視程度；對觀測誤差的方差大（觀測不準確）的數(shù)據(jù)應該減小重視程度。,所以采用加權(quán)最小二乘法，它允許對J中每個誤差項加不同的權(quán)。令W表示希望的加權(quán)矩陣，W限定為正定對稱矩陣。,指標函數(shù)：,用同樣的方法，求JW關于的極小，可得加權(quán)LS估計的計算公式：,194,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,加權(quán)最小二乘遞推算法,195,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,196,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,設觀測誤差的方差陣:,則加權(quán)矩陣W一般?。?直觀意義：表示對各次觀測數(shù)據(jù)所加之權(quán)（即重視程度），應與該次觀測誤差的方差成反比，即對越精確的數(shù)據(jù)應加越大的權(quán)。,加權(quán)最小二乘遞推算法:,197,44最小二乘參數(shù)估計的統(tǒng)計特征,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,一、無偏差性,設觀測噪聲e(k)是零均值，且e與相互獨立。則,E(e)=0,若X與Y相互獨立，則E(XY)=E(X)E(Y),二、一致性,設e(k)是白噪聲零均值，獨立，同分布，Ree(k)=K(k),且方差為2，則是一致估計量，即:,（依概率為1收斂于真值）,198,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,依概率為1收斂于一個正定陣，且2是有界的，,故是一致估計量。,199,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,最小二乘估計量為一致估計量的前提：是建立在e(k)是不相關序列基礎上的（即為e(k)是白噪聲）。實際上系統(tǒng)觀測誤差e(k)往往是相關的。,三、最小二乘法的缺陷,實際系統(tǒng)：,既使(k)是不相關序列，e(k)也是相關序列，所以最小二乘估計不是一致估計。,而且，實際上，(k)=n(k)一般不是白噪聲，是有色噪聲。因此，最小二乘參數(shù)估計方法的應用受到一定限制（即必須要求(k)是不相關的）。,7,200,n(k)：為有色噪聲（具有有理譜密度的平穩(wěn)隨機序列）,這樣的有色噪聲可以看成白噪聲(k)通過一個線性穩(wěn)定系統(tǒng)的濾波后產(chǎn)生而成的：,45廣義最小二乘法,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,一、方法原理,一般線性系統(tǒng):,最小二乘模型,201,顯然，過程噪聲e(k)是一個相關噪聲序列（有色噪聲）。,有色噪聲的白化(將有色噪聲通過一個線性系統(tǒng)變成白噪聲):,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,工程上近似地取有限項：,顯然，上式是一個典型的最小二乘結(jié)構(gòu)，而且(k)是不相關序列（白噪聲）。,一般為無窮多項,202,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,為經(jīng)過前置濾波以后的觀測數(shù)據(jù),可得最小二乘估計量為一致估計量：,特點：將過程噪聲e(k)為有色噪聲的差分模型，轉(zhuǎn)換成觀測誤差為白噪聲(k)的最小二乘標準形式：Yf=f+，從而能得到一致的最小二乘估計量。,問題：噪聲模型：C(z-1)e(k)=(k)一般是未知的，所以問題轉(zhuǎn)化成在估計A(z-1)，B(z-1)的參數(shù)的同時，還應估計C(z-1)的參數(shù)。,203,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,顯然，要估計，必須知道誤差序列e(k)，而，所以要知道e(k)，就必須知道。這就構(gòu)成循環(huán)。,此時，(k)為白噪聲。,204,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,二、迭代算法（離線算法）,循環(huán)迭代步驟（松弛算法）：,（6）判別收斂性，否則轉(zhuǎn)（2）。,迭代收斂判斷準則：,一般來講，經(jīng)過有限次迭代后，計算就會收斂。但嚴格的收斂性并沒得到證明。,它意味著數(shù)據(jù)不再濾波，這時得到的估計量與上一次循環(huán)相同。,a,205,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,三、遞推算法（在線算法）,1、辨識系統(tǒng)模型參數(shù)：,前置濾波：,構(gòu)造：,206,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,于是，根據(jù)矩陣求逆引理可得遞推最小二乘公式：,2、辨識噪聲模型參數(shù)：,和新的數(shù)據(jù)y(n+N+1)計算新的殘差數(shù)據(jù)：,207,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,構(gòu)造：,于是可得遞推最小二乘公式：,處理線性時變系統(tǒng)時，同樣也可以采用漸進記憶法和限定記憶法。,208,而：,46輔助變量法,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,一、方法原理,最小二乘估計：,（樣本的時間均值）,（樣本的時間均值）,209,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,當u(k)和e(k)為各態(tài)歷經(jīng)性平穩(wěn)隨機過程時：,（集均值）,（集均值）,y(k)只與e(k),e(k-1),的值有關。,(k)中的各元素只與e(k-1),e(k-2),的值有關。,當e(k)為白噪聲時，(k)與e(k)不相關。即Re=0,210,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,當e(k)為白噪聲時，(k)與e(k)不相關。即Re=0,故，最小二乘是一致估計，即：,若e(k)是相關序列，一般說來Re0，也不收斂于。,從而有：,引進輔助矩陣W(N)，采用估計量：,b,211,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,設所引進的輔助矩陣W(N)，它具有性質(zhì)：,(保證存在唯一解的條件),(保證是一致估計),如何構(gòu)造具有上述兩性質(zhì)的輔助矩陣W(N)呢？,212,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,二、W(N)的構(gòu)造方法：,假定u(k)能精確測量，且u(k)與e(k)不相關，即：,可構(gòu)造W(N)：,213,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,性質(zhì)（1）：當u(k)是白噪聲信號時，,性質(zhì)（2）：當u(k)是白噪聲信號時，,當u(k)為持續(xù)激勵信號（各態(tài)歷經(jīng)平穩(wěn)過程，Ruu是正定）時，一般情況下，并不能保證,當u(k)是白噪聲時，是一致估計。對于持續(xù)激勵信號，不一定是一致的，此方法可能不收斂。,214,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,三、迭代步驟：（離線算法）,（4）精度判別，否則，轉(zhuǎn)（2）,四、遞推算法：（在線算法）,（一般最小二乘法）,215,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,可得遞推算法：,遞推的初始值：,輔助變量法，對初值P0的選擇非常敏感。一般先采用遞推最小二乘法算出前50100個采樣點，然后再采用輔助變量法。,8,216,47增廣矩陣法（增廣最小二乘法）,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,一、方法原理（只有遞推算法）,e(k)是有色噪聲，具有有理譜密度的平穩(wěn)過程，可以白化。,(k)為白噪聲序列。,此處的C(z-1)與廣義最小二乘的C(z-1)不相同，而且正好是逆的關系。相當于H(z-1)。,待估參數(shù)(3n個)向量：,217,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,二、遞推算法：（令k=n+N+1）,218,第四章線性系統(tǒng)參數(shù)估計的最小二乘法,三、特點：,1）將模型和噪聲模型的參數(shù)一起估計出，所以待估計參數(shù)的維數(shù)增大了，P(N)的階次（3n3n）被擴大了，故稱為增廣最小二乘法。在大多數(shù)情況下，它具有較好的收斂性。,2）只有遞推算法。,219,48相