系統(tǒng)辨識(shí)與控制.ppt

學(xué)習(xí)的課程內(nèi)容,PartI理論教學(xué),第1章辨識(shí)的一些基本概念,內(nèi)容：系統(tǒng)和模型概念、建模方法、辨識(shí)定義、辨識(shí)問題的表達(dá)形式、,辨識(shí)算法的基本原理、誤差準(zhǔn)則、辨識(shí)的內(nèi)容和步驟、辨識(shí)的應(yīng)用。,內(nèi)容：隨機(jī)過程的基本概念及其數(shù)學(xué)描述、譜密度函數(shù)、白噪聲及其產(chǎn)生方法、M序列的產(chǎn)生及其性質(zhì),第2章隨機(jī)信號(hào)的描述與分析,第3章過程的數(shù)學(xué)描述,內(nèi)容：連續(xù)系統(tǒng)的輸入輸出模型、離散系統(tǒng)的輸入輸出模型、數(shù)學(xué)模,型之間的等價(jià)變換、噪聲模型及其分類。,第4章經(jīng)典的辨識(shí)方法,內(nèi)容：Levy法、相關(guān)分析法、實(shí)驗(yàn)一輔導(dǎo)。,第5章線性動(dòng)態(tài)模型參數(shù)辨識(shí)（III）最小二乘法,內(nèi)容：最小二乘法的基本概念、最小二乘問題的提法、最小二乘問題的解、最小二乘參數(shù)估計(jì)的收斂性、最小二乘參數(shù)估計(jì)的幾何解析、最小二乘參數(shù)估計(jì)的統(tǒng)計(jì)性質(zhì)、最小二乘參數(shù)估計(jì)的遞推算法、最小二乘遞推算法的幾種變形，增廣最小二乘法、廣義最小二乘法、輔助變量法、相關(guān)二步法。,第6章梯度校正參數(shù)辨識(shí)方法,內(nèi)容：確定性問題的梯度校正參數(shù)辨識(shí)方法隨機(jī)性問題的梯度校正法,第7章極大似然法第8章模型階次辨識(shí)內(nèi)容：Hankel矩陣法、F-Test定階法。第9章系統(tǒng)辨識(shí)在實(shí)際中的應(yīng)用,參考書：,1.方崇智、蕭德云編著，過程辨識(shí)，清華大學(xué)出版社，北京,3.蔡季冰編著，系統(tǒng)辨識(shí)，北京理工大學(xué)出版社，北京,預(yù)修課程：自動(dòng)控制原理，概率統(tǒng)計(jì)與隨機(jī)過程,2.李言俊，張科編著，系統(tǒng)辨識(shí)理論及應(yīng)用，國防工業(yè)出版社，北京,系統(tǒng)辨識(shí)基礎(chǔ)第1講,第1章辨識(shí)的一些基本概念1.1系統(tǒng)和模型(第1講)1.2辨識(shí)的定義和三要素(第2講)1.3辨識(shí)算法的基本原理(第2講)1.4辨識(shí)的步驟(第2講)1.5線性系統(tǒng)辨識(shí)問題的表達(dá)形式(第3講)1.6線性系統(tǒng)辨識(shí)的誤差準(zhǔn)則及其關(guān)于參數(shù)空間的線性問題(第3講),1.1系統(tǒng)和模型,1.1.1系統(tǒng)1.1.2模型1.1.3建模方法,1.1.1系統(tǒng),定義System:Agroupofinteracting,interrelated,orinterdependentelementsformingawhole（金山詞霸）.Anobjectinwhichvariablesofdifferentkindsinteractandproduceobservablesignals(Ljung)其它課程、科學(xué)研究、工程實(shí)踐、日常生活嚴(yán)格定義系統(tǒng)科學(xué)（不討論）,1.1.1系統(tǒng),例：帶太陽能加熱裝置的房屋,1.1.1系統(tǒng),溫度：感興趣的可測輸出,以系統(tǒng)的觀點(diǎn)看待太陽能加熱裝置,泵速：可控的輸入,室外環(huán)境:不可測的干擾輸入,d,z,太陽輻射：可測的干擾輸入,u可測輸入,1.1.1系統(tǒng),太陽能加熱系統(tǒng)框圖,激勵(lì),不可測干擾,可測輸入,可測輸出,1.1.1系統(tǒng),系統(tǒng)：可以用如下框圖來表示的客觀對(duì)象系統(tǒng)的要素,未知干擾,可測輸入,可測輸出,我們感興趣的可測信號(hào),使z發(fā)生變化的可測信號(hào),使z發(fā)生變化的不可測信號(hào),信號(hào)之間的客觀因果關(guān)系,？,1.1.1系統(tǒng),系統(tǒng)的分類(從f的角度分)：動(dòng)態(tài)與靜態(tài)（靜態(tài)系統(tǒng)是動(dòng)態(tài)系統(tǒng)的特例）線性與非線性離散與連續(xù)（1.觀察值總是離散的；2.控制系統(tǒng)的輸出在采樣間隔內(nèi)保持不變；3.采樣間隔足夠小）,1.1.1系統(tǒng),線性動(dòng)態(tài)系統(tǒng)是一種理想化的假設(shè)，可以簡化研究工程實(shí)踐中，很多系統(tǒng)可以近似看成線性系統(tǒng),1.1.2模型,(1)數(shù)學(xué)模型(2)其它類型的模型(3)模型的定義,(1)數(shù)學(xué)模型,不可測干擾,?,e,什么是數(shù)學(xué)模型,數(shù)學(xué)模型：對(duì)真實(shí)系統(tǒng)的變量間相互關(guān)系的假定性數(shù)學(xué)描述,?,綜合誤差,(1)數(shù)學(xué)模型,數(shù)學(xué)模型的要素,e,系統(tǒng)的實(shí)際輸出,系統(tǒng)的實(shí)際輸入,綜合誤差,直觀：對(duì)d的模擬,ed（ff）,偽干擾,本質(zhì)：刻畫ufz關(guān)系描述不了的部分(未知d,f的誤差)，強(qiáng)行補(bǔ)償?shù)氖侄蝩fz關(guān)系描述不了的誤差,綜合誤差,方程誤差,可以計(jì)算,(1)數(shù)學(xué)模型,數(shù)學(xué)模型和真實(shí)系統(tǒng)的區(qū)別,可測輸出,不可測干擾,可測輸入,e,綜合誤差,可測輸入,可測輸出,(1)數(shù)學(xué)模型,數(shù)學(xué)模型的兩類形式及其用途,可測輸出,e,綜合誤差,可測輸入,系統(tǒng)分析系統(tǒng)設(shè)計(jì),(1)數(shù)學(xué)模型,數(shù)學(xué)模型的近似性和外特性等價(jià),從黑箱角度出發(fā),外特性等價(jià)(統(tǒng)計(jì)意義),近似性,模型是對(duì)真實(shí)系統(tǒng)本質(zhì)信息的一種有用的描述,(1)數(shù)學(xué)模型,數(shù)學(xué)模型的分類(i)靜態(tài)模型與動(dòng)態(tài)模型(ii)確定性模型與隨機(jī)性模型(iii)定常模型與時(shí)變模型(iv)集中參數(shù)與分布參數(shù)模型(v)線性模型與非線性模型(vi)單變量與多變量模型(vii)連續(xù)與離散模型,靜態(tài)模型與動(dòng)態(tài)模型,動(dòng)態(tài)模型是用來描述過程出于過渡過程時(shí)的各狀態(tài)變量之間的關(guān)系的，它們一般都是時(shí)間的函數(shù)。而靜態(tài)模型則是動(dòng)態(tài)模型出于穩(wěn)態(tài)時(shí)的表現(xiàn)，或者說靜態(tài)模型是用來描述過程出于穩(wěn)態(tài)時(shí)（各狀態(tài)變量的各階導(dǎo)數(shù)均為0）的各狀態(tài)變量之間的關(guān)系的。它們一般不是時(shí)間的函數(shù)。,確定性模型與隨機(jī)模型,由確定性模型所描述的過程，當(dāng)過程的狀態(tài)確定以后，過程的輸出響應(yīng)是唯一確定的。由隨機(jī)性模型所描述的過程，即使過程的狀態(tài)確定了，過程的輸出響應(yīng)仍然是不確定的。,集中參數(shù)模型與分布參數(shù)模型,集中參數(shù)模型中模型的各變量與空間位置無關(guān)，而把變量看作在整個(gè)系統(tǒng)中是均一的，對(duì)于穩(wěn)態(tài)模型，其為代數(shù)方程，對(duì)于動(dòng)態(tài)模型，則為常微分方程。分布參數(shù)模型中至少有一個(gè)變量與空間位置有關(guān)，所建立的模型對(duì)于穩(wěn)態(tài)模型為空間自變量的常微分方程，對(duì)于動(dòng)態(tài)模型為空間、時(shí)間自變量的偏微分模型,線性模型與非線性模型,線性模型用來描述線性過程，必定滿足疊加原理和均勻性。非線性模型用來描述非線性過程，一般不滿足疊加原理。另外需要注意的是：系統(tǒng)線性和關(guān)于參數(shù)空間線性的區(qū)別如果模型的輸出關(guān)于輸入變量是線性的，稱之為系統(tǒng)線性。如果模型的輸出關(guān)于參數(shù)空間是線性的，稱之為參數(shù)空間線性。本質(zhì)線性和本質(zhì)非線性的區(qū)別如果模型經(jīng)過適當(dāng)?shù)臄?shù)學(xué)變換可將原來是非線性的模型轉(zhuǎn)變?yōu)榫€性模型，那么原來的模型稱為本質(zhì)線性，否則原來的模型稱為本質(zhì)非線性。,(2)其它類型的模型,根據(jù)的實(shí)現(xiàn)形式，模型的表現(xiàn)形式為物理模型“直覺”模型圖表模型數(shù)學(xué)模型,(3)模型的定義,定義1LJUNG：“模型就是對(duì)系統(tǒng)的變量之間的相互關(guān)系的一種假設(shè)性描述?！倍x2LJUNG：“一個(gè)系統(tǒng)的模型就是針對(duì)某種特定的目的、對(duì)該系統(tǒng)的某些特性的一種描述。”定義3Eykhoff,1974：“模型是把關(guān)于系統(tǒng)（過程）的本質(zhì)的部分信息簡縮成有用的描述形式。”定義4徐南榮：“模型是對(duì)系統(tǒng)（實(shí)體）的特征和它的變化規(guī)律的一種表示或抽象，而且往往是對(duì)系統(tǒng)（實(shí)體）中那些所要研究的特定的特征定量的抽象?！倍x5：模型是針對(duì)特定的應(yīng)用，對(duì)系統(tǒng)中與該應(yīng)用相關(guān)的那些信號(hào)（變量）之間的本質(zhì)關(guān)系的一種假定性的近似描述。,1.1.3建模方法,機(jī)理建模，“白箱”建模，理論建模,e,機(jī)理分析(化學(xué),物理,物料、能量平衡,傳熱傳質(zhì)),機(jī)理清楚不適合復(fù)雜系統(tǒng)“白箱”建模,1.1.3建模方法,辨識(shí)建模，實(shí)驗(yàn)建模，統(tǒng)計(jì)建模，“黑箱”建模,e,擬合,統(tǒng)計(jì)分析,外特性等價(jià)適合復(fù)雜系統(tǒng)建模機(jī)理不清“黑箱”建模,1.1.3建模方法,混合建模，“灰箱”建模機(jī)理已知的部分采用機(jī)理建模，機(jī)理未知的部分采用辨識(shí)建模利用機(jī)理建模確定模型的結(jié)構(gòu)，利用辨識(shí)建模確定模型的參數(shù)本課程的重點(diǎn)：辨識(shí)建模,1.1.3建模方法,建模的基本原則目的性：建模的目的要明確；實(shí)在性：模型的物理概念要明確；可辨識(shí)性：模型結(jié)構(gòu)要合理；輸入信號(hào)要持續(xù)激勵(lì)；數(shù)據(jù)要充足；慳吝：在滿足精度要求的前提下，待辨識(shí)的模型參數(shù)個(gè)數(shù)要盡可能少(模型復(fù)雜度,過擬合),系統(tǒng)辨識(shí)基礎(chǔ)第2講,第1章辨識(shí)的一些基本概念1.1系統(tǒng)和模型(第1講)1.2辨識(shí)的定義和三要素(第2講)1.3辨識(shí)算法的基本原理(第2講)1.4辨識(shí)的步驟(第2講)1.5線性系統(tǒng)辨識(shí)問題的表達(dá)形式(第3講)1.6線性系統(tǒng)辨識(shí)的誤差準(zhǔn)則及其關(guān)于參數(shù)空間的線性問題(第3講),1.2辨識(shí)的定義和三要素,辨識(shí)的定義1Zadeh,1962：辨識(shí)就是在輸入和輸出數(shù)據(jù)的基礎(chǔ)上，從一組給定的模型類中，確定一個(gè)與所測系統(tǒng)等價(jià)的模型。辨識(shí)的定義2Ljung,1978：辨識(shí)就是按照一個(gè)準(zhǔn)則在一組模型類中選擇一個(gè)與數(shù)據(jù)擬合得最好的模型。典型的黑箱建模,1.2辨識(shí)的定義和三要素,辨識(shí)定義所揭示的辨識(shí)基本思路在候選模型類中選擇一個(gè)選擇的依據(jù)？最好地?cái)M合輸入輸出數(shù)據(jù)輸入輸出數(shù)據(jù)什么是最好？定量的等價(jià)準(zhǔn)則辨識(shí)三要素輸入輸出數(shù)據(jù)模型類(如系數(shù)待定的差分方程)等價(jià)準(zhǔn)則,1.3辨識(shí)算法的基本原理,準(zhǔn)備好三要素u和z,辨識(shí)原理,?,三要素(每個(gè)要素變化，都會(huì)影響辨識(shí)結(jié)果),1.3辨識(shí)算法的基本原理,模型類,要素1,要素1,要素2,要素3,批處理遞推,1.4辨識(shí)的步驟,(1)設(shè)計(jì)辨識(shí)實(shí)驗(yàn)，獲取實(shí)驗(yàn)數(shù)據(jù)(2)選擇模型類，即模型結(jié)構(gòu)(3)選擇等價(jià)準(zhǔn)則(4)求解優(yōu)化問題，計(jì)算模型(5)模型校驗(yàn)(6)辨識(shí)步驟的重復(fù)(7)補(bǔ)充說明：參數(shù)辨識(shí)與結(jié)構(gòu)辨識(shí)(8)辨識(shí)步驟圖,(1)設(shè)計(jì)辨識(shí)實(shí)驗(yàn)，獲取實(shí)驗(yàn)數(shù)據(jù),數(shù)據(jù)集是辨識(shí)的三要素之一數(shù)據(jù)集性質(zhì)影響辨識(shí)結(jié)果，u數(shù)據(jù)集，因此要設(shè)計(jì)辨識(shí)實(shí)驗(yàn)(重點(diǎn)設(shè)計(jì)u),(1)設(shè)計(jì)辨識(shí)實(shí)驗(yàn)，獲取實(shí)驗(yàn)數(shù)據(jù),u應(yīng)該保證可辨識(shí)性可辨識(shí)性：辨識(shí)結(jié)果唯一數(shù)據(jù)不合適時(shí)，優(yōu)化問題的解不唯一輸入信號(hào)為(2n階)持續(xù)激勵(lì)(n階)系統(tǒng)可辨識(shí)持續(xù)激勵(lì)：定義(略)，直觀：信號(hào)要覆蓋系統(tǒng)的全部頻譜，要激勵(lì)系統(tǒng)的所有模態(tài),(1)設(shè)計(jì)辨識(shí)實(shí)驗(yàn)，獲取實(shí)驗(yàn)數(shù)據(jù),u應(yīng)該保證辨識(shí)精度辨識(shí)參數(shù)的精度對(duì)于固定的數(shù)據(jù)集u、z對(duì)于固定的數(shù)據(jù)集u、z，Cramer-Rao不等式最優(yōu)輸入信號(hào),Fisher信息矩陣由u和系統(tǒng)特性決定,Cramer-Rao不等式,考慮一個(gè)隨機(jī)向量z，它在參數(shù)條件下的條件概率密度函數(shù)記作。在一定的正則條件下，參數(shù)的任何無偏估計(jì)值都將滿足下列不等式：其中，M為Fisher信息矩陣，定義為,辨識(shí)輸入信號(hào)的選擇,1.持續(xù)激勵(lì)輸入信號(hào)的要求,2.最優(yōu)輸入信號(hào)設(shè)計(jì)的要求,(1)設(shè)計(jì)辨識(shí)實(shí)驗(yàn)，獲取實(shí)驗(yàn)數(shù)據(jù),設(shè)計(jì)u時(shí)還應(yīng)考慮的其它因素輸入信號(hào)幅度不能太大，以免使工況進(jìn)入非線性區(qū)；“凈擾動(dòng)”要小，正、負(fù)擾動(dòng)機(jī)會(huì)均等（不影響工作點(diǎn)）；工程易實(shí)現(xiàn)，成本低設(shè)計(jì)實(shí)驗(yàn)時(shí)還應(yīng)該考慮的因素采樣時(shí)間的設(shè)計(jì)數(shù)據(jù)長度的設(shè)計(jì),(2)選擇模型類，即模型結(jié)構(gòu),模型類是辨識(shí)的三要素之一模型結(jié)構(gòu)嚴(yán)重不合理時(shí)，模型的預(yù)測誤差和準(zhǔn)則函數(shù)值很可能無法達(dá)到可接受的水平：模型結(jié)構(gòu)影響優(yōu)化問題求解的難度和復(fù)雜度*模型結(jié)構(gòu)不合理時(shí)，可能影響系統(tǒng)的可辨識(shí)性，即上述優(yōu)化問題的解不唯一（*不必掌握）,(2)選擇模型類，即模型結(jié)構(gòu),模型類的確定依賴于對(duì)系統(tǒng)的先驗(yàn)知識(shí)、或工程人員的直覺和經(jīng)驗(yàn)。線性模型結(jié)構(gòu)（如差分方程、傳遞函數(shù)、狀態(tài)方程等）是人們?cè)趯?shí)際應(yīng)用中所廣泛選取的模型類。,(3)選擇等價(jià)準(zhǔn)則,等價(jià)準(zhǔn)則是辨識(shí)的三要素之一影響辨識(shí)結(jié)果（例如，通過不同加權(quán)，使辨識(shí)對(duì)不同時(shí)間或不同頻段模型誤差賦予不同的重視程度）影響優(yōu)化問題的求解難度和辨識(shí)算法的形式和復(fù)雜度,(3)選擇等價(jià)準(zhǔn)則,最常見的等價(jià)準(zhǔn)則，加權(quán)平方和,(4)求解優(yōu)化問題，計(jì)算模型,在(1)-(3)的基礎(chǔ)上，求解計(jì)算出辨識(shí)結(jié)果,(5)模型校驗(yàn),在上述步驟(1)-(3)中，每一步都存在著很多不同的選擇(1)-(3)的選擇并不一定合理，(4)所得出的模型也不一定滿意。因此，在得到模型后，必須通過各種手段來測試模型是否符合實(shí)際應(yīng)用的要求。,(5)模型校驗(yàn),常見的模型校驗(yàn)手段有：在實(shí)際應(yīng)用中檢驗(yàn)；用不同時(shí)段的數(shù)據(jù)分別建立多個(gè)模型，檢查模型特性一致性（零極點(diǎn)、增益、延遲等）；利用不同時(shí)段的數(shù)據(jù)分別建立模型，然后交叉使用數(shù)據(jù)，比較模型的準(zhǔn)則函數(shù)值；增加數(shù)據(jù)長度，檢查模型準(zhǔn)則函數(shù)值的變化,(6)辨識(shí)步驟的重復(fù),當(dāng)模型校驗(yàn)表明所得到的模型不可靠或不滿意時(shí)，必須重復(fù)(1)-(5),(6)辨識(shí)步驟的重復(fù),辨識(shí)步驟(1)設(shè)計(jì)辨識(shí)實(shí)驗(yàn)，獲取實(shí)驗(yàn)數(shù)據(jù)(2)選擇模型類，即模型結(jié)構(gòu)(3)選擇等價(jià)準(zhǔn)則(4)求解優(yōu)化問題，計(jì)算模型(5)模型校驗(yàn)重復(fù)上述步驟，直到通過模型校驗(yàn),(7)補(bǔ)充說明：參數(shù)辨識(shí)與結(jié)構(gòu)辨識(shí),參數(shù)辨識(shí)參數(shù)辨識(shí)的內(nèi)容：參數(shù)估計(jì)值參數(shù)辨識(shí)的方法：步驟(4)結(jié)構(gòu)辨識(shí)的內(nèi)容模型類的形式（結(jié)構(gòu)），的形式選定模型類后，確定參數(shù)的個(gè)數(shù)（例如，差分方程的階次）,(7)補(bǔ)充說明：參數(shù)辨識(shí)與結(jié)構(gòu)辨識(shí),結(jié)構(gòu)辨識(shí)的方法（模型類的形式）：已包含在上述辨識(shí)步驟中：假定結(jié)構(gòu)(2)選擇等價(jià)準(zhǔn)則(3)求解優(yōu)化問題，計(jì)算模型(4)模型檢驗(yàn)(5)修改結(jié)構(gòu)的假定(2),(7)補(bǔ)充說明：參數(shù)辨識(shí)與結(jié)構(gòu)辨識(shí),階次辨識(shí)的方法（結(jié)構(gòu)辨識(shí)的特殊情況）假定階次(2)選擇等價(jià)準(zhǔn)則(3)求解優(yōu)化問題，計(jì)算模型(4)校驗(yàn)(5)（采用專門用于檢驗(yàn)階次的準(zhǔn)則函數(shù)）修改階次(2),(8)辨識(shí)步驟圖,等價(jià)準(zhǔn)則,系統(tǒng)辨識(shí)基礎(chǔ)第3講,第1章辨識(shí)的一些基本概念1.1系統(tǒng)和模型(第1講)(書1.1)1.2辨識(shí)的定義和三要素(第2講)(書1.2)1.3辨識(shí)算法的基本原理(第2講)(書1.4)1.4辨識(shí)的步驟(第2講)(書1.6)1.5線性系統(tǒng)辨識(shí)問題的表達(dá)形式(第3講)(書1.3)1.6線性系統(tǒng)辨識(shí)的誤差準(zhǔn)則及其關(guān)于參數(shù)空間的線性問題(第3講)(書1.5),1.5線性系統(tǒng)辨識(shí)問題的表達(dá)形式,(1)線性系統(tǒng)和線性模型類(2)最小二乘格式,(1)線性系統(tǒng)和線性模型類,在工程實(shí)踐中，當(dāng)信號(hào)在工作點(diǎn)附近小范圍變化時(shí)，很多系統(tǒng)都可以近似看成線性系統(tǒng),(1)線性系統(tǒng)和線性模型類,對(duì)于線性系統(tǒng)，可以選擇線性模型類,線性系統(tǒng)和線性模型的區(qū)別,偽干擾補(bǔ)償手段綜合誤差,方程誤差,(2)最小二乘格式,基于ARX模型的模型類,(2)最小二乘格式,ARX模型最小二乘格式,最小二乘格式很多線性模型類都可以等價(jià)轉(zhuǎn)換成最小二乘格式,(2)最小二乘格式,最小二乘格式模型類意義：統(tǒng)一的模型類,統(tǒng)一的辨識(shí)方法,待辨識(shí)，線性模型類,數(shù)據(jù)向量,方程誤差,(2)最小二乘格式,最小二乘格式模型類的要素,系統(tǒng)的可觀測數(shù)據(jù)向量,假定的變量間關(guān)系,補(bǔ)償手段方程誤差綜合誤差不是真實(shí)的干擾,估計(jì)輸出,(2)最小二乘格式,線性模型化成最小二乘格式的規(guī)則(辨識(shí)算法的需要)數(shù)據(jù)向量h中的元素必須是線性不相關(guān)的(保證將來的最小二乘算法有解)；數(shù)據(jù)向量h中的所有元素必須是可測或可估計(jì)的參數(shù)向量必須包括模型中的所有獨(dú)立參數(shù)；,(2)最小二乘格式,線性系統(tǒng)與最小二乘模型類的比較,客觀的線性系統(tǒng),人為假定的模型類,實(shí)際的干擾,方程誤差,實(shí)際輸入,數(shù)據(jù)向量,(2)最小二乘格式,線性系統(tǒng)也可以表達(dá)成最小二乘格式,人為假定的模型類,方程誤差,客觀存在,干擾(e),真實(shí)參數(shù),假定參數(shù),(2)最小二乘格式,基于最小二乘格式，重新理解辨識(shí)的基本原理(第2講，與圖1.9有區(qū)別),要素1,要素1,要素2,要素3,批處理遞推,(2)最小二乘格式,基于最小二乘格式，重新理解辨識(shí)的基本原理(第2講，圖1.9),批處理遞推(殘差,新息),(2)最小二乘格式,k時(shí)刻的輸出值預(yù)測：k時(shí)刻的輸出誤差，或稱為“新息”,原理：將新息(Innovation)“反饋”到辨識(shí)算法中去，依據(jù)該值修正“下一時(shí)刻”模型參數(shù)的估計(jì)值。此迭代過程不斷進(jìn)行下去，直至對(duì)應(yīng)的準(zhǔn)則函數(shù)取得最小值。反饋的又一功能。與神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法（Bp）算法相似。“辨識(shí)”的過程就是“學(xué)習(xí)”的過程。,辨識(shí)的精度問題,“時(shí)域評(píng)價(jià)結(jié)果”與“頻域評(píng)價(jià)結(jié)果”不一致。設(shè)對(duì)象具有如下傳遞函數(shù)：辨識(shí)得到的模型為：,以階躍響應(yīng)為評(píng)價(jià)指標(biāo)：精度較高。,.階躍響應(yīng)的對(duì)比,脈沖響應(yīng)的對(duì)比,頻率特性的對(duì)比,結(jié)論：1.辨識(shí)得到的模型只是實(shí)際過程的近似，需要有明確的評(píng)價(jià)指標(biāo)；2.不同的評(píng)價(jià)指標(biāo)會(huì)得出不同的“精度評(píng)價(jià)”結(jié)果。提示：不必要一味追求“精確”的模型。評(píng)價(jià)標(biāo)準(zhǔn)：實(shí)際應(yīng)用的效果。,(2)最小二乘格式,關(guān)于參數(shù)空間線性的模型也可以化成最小二乘格式,(2)最小二乘格式,本質(zhì)線性模型也可以化成最小二乘格式,1.6線性系統(tǒng)辨識(shí)的誤差準(zhǔn)則及其關(guān)于參數(shù)空間的線性問題,(1)引言(2)輸出誤差準(zhǔn)則(3)廣義誤差準(zhǔn)則(4)輸入誤差準(zhǔn)則,(1)引言,采用平方和準(zhǔn)則函數(shù),除輸出誤差外，還可采用其它誤差,(2)輸出誤差準(zhǔn)則,輸出誤差,(2)輸出誤差準(zhǔn)則,誤差準(zhǔn)則的導(dǎo)數(shù)關(guān)于參數(shù)是非線性的,(2)輸出誤差準(zhǔn)則,如果擾動(dòng)是作用在過程輸出端的白噪聲，那么選用這種誤差準(zhǔn)則就是理所當(dāng)然的了。但是，輸出誤差的導(dǎo)數(shù)通常是模型參數(shù)的非線性函數(shù)，因此在這種誤差準(zhǔn)則意義下，辨識(shí)問題將歸結(jié)成復(fù)雜的非線性最優(yōu)化問題，需要用梯度法、牛頓法或共軛梯度法等迭代的最優(yōu)化算法，這就使得辨識(shí)算法變得比較復(fù)雜。在實(shí)際應(yīng)用中是否采用這種誤差準(zhǔn)則要視具體情況而定。,(3)廣義誤差準(zhǔn)則,廣義誤差,(3)廣義誤差準(zhǔn)則,誤差準(zhǔn)則的導(dǎo)數(shù)關(guān)于參數(shù)是線性的,(3)廣義誤差準(zhǔn)則,廣義誤差準(zhǔn)則的另一種解釋（方程式誤差）,另一種輸出重構(gòu)方法,最優(yōu)預(yù)測,(4)輸入誤差準(zhǔn)則,輸入誤差,(4)輸入誤差準(zhǔn)則,誤差準(zhǔn)則的導(dǎo)數(shù)關(guān)于參數(shù)是非線性的,(4)輸入誤差準(zhǔn)則,如果擾動(dòng)是作用在過程輸入端的白噪聲，那么選用這種誤差準(zhǔn)則也是自然的。但是，輸入誤差也是模型參數(shù)的非線性函數(shù)，辨識(shí)算法也是比較復(fù)雜的。這種誤差準(zhǔn)則現(xiàn)在幾乎不用了，然后它的基本概念還是很重要的。,系統(tǒng)辨識(shí)基礎(chǔ)第4講,第2章隨機(jī)信號(hào)的描述與分析2.1隨機(jī)過程的基本概念及其數(shù)學(xué)描述（第4講）2.2譜密度函數(shù)（第4講）2.3線性過程在隨機(jī)輸入下的響應(yīng)（第5講）2.4白噪聲及其產(chǎn)生方法（書2.5）（第5講）2.5M序列的產(chǎn)生及其性質(zhì)（書2.6）(第6講),2.1隨機(jī)過程的基本概念及其數(shù)學(xué)描述,2.1.1基本概念2.1.2隨機(jī)過程的概率密度函數(shù)2.1.3隨機(jī)過程的數(shù)字特征2.1.4平穩(wěn)性、各態(tài)遍歷性2.1.5相關(guān)函數(shù)和協(xié)方差函數(shù),2.1.1基本概念,一個(gè)例子：質(zhì)量一定、高度一定、初速度為0的自由落體運(yùn)動(dòng)的運(yùn)動(dòng)軌跡（高度-時(shí)間）x(t),可重復(fù)，確定性信號(hào)當(dāng)下落物體很輕時(shí)，考慮到空氣阻力、風(fēng)的影響，上述自由落體的運(yùn)動(dòng)軌跡x(t)沒有確定性的規(guī)律，不可重復(fù)，每次試驗(yàn)結(jié)果不同。一個(gè)試驗(yàn)結(jié)果樣本函數(shù),2.1.1基本概念,2.1.1基本概念,隨機(jī)過程x(t)不可重復(fù)，每次試驗(yàn)取得一個(gè)具體的試驗(yàn)結(jié)果xi(t)（確定性信號(hào)），又稱為一個(gè)實(shí)現(xiàn)，或一個(gè)樣本函數(shù),i=1,2,3。隨機(jī)過程：所有可能的樣本函數(shù)的集合，x(t)=x1(t),x2(t),xi(t),2.1.1基本概念,隨機(jī)過程的另一種定義t=tk，x(tk)=x1(tk),x2(tk),xi(tk)，隨機(jī)過程退化為隨機(jī)變量隨機(jī)過程：不同時(shí)刻的隨機(jī)變量的集合，x(t)=x(tk)，或者隨機(jī)變量隨時(shí)間的變化過程,2.1.1基本概念,如圖，時(shí)間方向（時(shí)間t）和集合方向（樣本函數(shù)的序號(hào)i）先向下，再向右：x(t)是不同時(shí)刻的隨機(jī)變量的集合先向右，再向下：x(t)是所有樣本函數(shù)的集合，x(t)=x1(t),x2(t),xi(t),2.1.1基本概念,2.1.2隨機(jī)過程的概率密度函數(shù),一維概率密度函數(shù)：對(duì)于特定時(shí)刻t1，x(t1)退化為隨機(jī)變量，其概率密度函數(shù)為p(x,t1)p(x,t1)dx描述了隨機(jī)變量x(t1)（即隨機(jī)過程x(t)在t1時(shí)刻）在x附近取值的概率,2.1.2隨機(jī)過程的概率密度函數(shù),二維概率密度函數(shù)：同時(shí)考慮兩個(gè)特定的時(shí)刻t1和t2，x(t1)，x(t2)成為二維隨機(jī)變量，其概率密度函數(shù)為p2(x1,x2;t1,t2)p2(x1,x2;t1,t2)dx1dx2描述了隨機(jī)變量x(t1)（即隨機(jī)過程x(t)在t1時(shí)刻）在x1附近取值、并且隨機(jī)變量x(t2)（即隨機(jī)過程x(t)在t2時(shí)刻）在x2附近取值的概率,2.1.2隨機(jī)過程的概率密度函數(shù),隨機(jī)過程的多維概率密度函數(shù)同時(shí)考慮多個(gè)特定的時(shí)刻t1，t2，t3,(x(t1)，x(t2),x(t3),)成為多維隨機(jī)變量多維概率密度函數(shù)p2(x1,x2,x3,;t1,t2,t3)不實(shí)用,2.1.3隨機(jī)過程的數(shù)字特征,(a)集合方向的數(shù)字特征（統(tǒng)計(jì)特征）(b)時(shí)間方向的統(tǒng)計(jì)特征,(a)集合方向的數(shù)字特征,對(duì)于特定的t，從集合方向看，可以定義一維隨機(jī)變量x(t)的數(shù)字特征均值或數(shù)學(xué)期望方差均方上述數(shù)字特征是時(shí)間t的函數(shù),(a)集合方向的數(shù)字特征,從集合方向看，對(duì)于兩個(gè)特定時(shí)刻t1和t2，可以定義二維隨機(jī)變量(x(t1)，x(t2)的二維數(shù)字特征自相關(guān)函數(shù)協(xié)方差函數(shù)二維數(shù)字特征是t1和t2的函數(shù),(a)集合方向的數(shù)字特征,各數(shù)字特征之間的關(guān)系基本的數(shù)字特征：自相關(guān)函數(shù)，均值,(b)時(shí)間方向的統(tǒng)計(jì)特征,對(duì)于特定的樣本i，xi(t)成為一個(gè)確定性的樣本函數(shù)。把樣本函數(shù)xi(t)看成各個(gè)時(shí)刻的樣本取值xi(tk)的集合，則可以在時(shí)間方向上定義其統(tǒng)計(jì)特征,(b)時(shí)間方向的統(tǒng)計(jì)特征,時(shí)間均值時(shí)間方差時(shí)間自相關(guān)函數(shù),2.1.4平穩(wěn)性、各態(tài)遍歷性,(1)平穩(wěn)性(2)各態(tài)遍歷性,(1)平穩(wěn)性,平穩(wěn)性：隨機(jī)過程的統(tǒng)計(jì)性質(zhì)不隨時(shí)間改變，則稱它為平穩(wěn)隨機(jī)過程注意：指所有統(tǒng)計(jì)特性，最根本的是概率密度函數(shù)，如p1(x,t)=p1(x)，高維復(fù)雜,(1)平穩(wěn)性,寬平穩(wěn)性平穩(wěn)性要求太高，可以降低為只考慮均值和自相關(guān)函數(shù)（兩個(gè)基本統(tǒng)計(jì)特征）寬平穩(wěn)隨機(jī)過程：即均值不隨時(shí)間改變、并且自相關(guān)函數(shù)只和t2和t1的時(shí)間差有關(guān)、而與起始時(shí)間t1無關(guān)的隨機(jī)過程，即,(1)平穩(wěn)性,寬平穩(wěn)（平穩(wěn)）隨機(jī)過程的數(shù)字特征之間的關(guān)系（利用基本數(shù)字特征表達(dá)其它特征）,(2)各態(tài)遍歷性,出發(fā)點(diǎn)：希望用一個(gè)樣本的時(shí)間方向的統(tǒng)計(jì)特征來估計(jì)隨機(jī)過程的集合方向的數(shù)字特征各態(tài)遍歷隨機(jī)過程：對(duì)于一個(gè)寬平穩(wěn)隨機(jī)過程，如果它集合方向的統(tǒng)計(jì)特征（集合平均）與時(shí)間方向的統(tǒng)計(jì)特征（時(shí)間平均）相等（即)則稱其為寬平穩(wěn)各態(tài)遍歷的隨機(jī)過程。,(2)各態(tài)遍歷性,對(duì)于各態(tài)遍歷隨機(jī)過程：是平穩(wěn)的所有樣本的時(shí)間平均都相等（與i無關(guān)）所有樣本的時(shí)間平均都等于隨機(jī)過程的集合平均（嚴(yán)格的定義是當(dāng)時(shí)間趨于無窮時(shí)，各種時(shí)間平均依概率1收斂于相應(yīng)的集合平均）,(2)各態(tài)遍歷性,平穩(wěn)各態(tài)遍歷隨機(jī)過程的統(tǒng)計(jì)特征的計(jì)算,2.1.5相關(guān)函數(shù)和協(xié)方差函數(shù),(1)自相關(guān)函數(shù)與協(xié)方差函數(shù)(2)互相關(guān)函數(shù)與互協(xié)方差函數(shù)(3)獨(dú)立與互不相關(guān)(4)自相關(guān)函數(shù)的性質(zhì)(5)互相關(guān)函數(shù)的性質(zhì)(6)自協(xié)方差函數(shù)與互協(xié)方差函數(shù)的性質(zhì)(7)相關(guān)函數(shù)與協(xié)方差函數(shù)的計(jì)算,(1)自相關(guān)函數(shù)與協(xié)方差函數(shù),對(duì)于平穩(wěn)隨機(jī)過程x(t)，可以定義如下的自相關(guān)函數(shù)和協(xié)方差函數(shù)自相關(guān)函數(shù)協(xié)方差函數(shù),(2)互相關(guān)函數(shù)與互協(xié)方差函數(shù),對(duì)于兩個(gè)平穩(wěn)隨機(jī)過程x(t)和y(t)，可以定義如下的互相關(guān)函數(shù)和互協(xié)方差函數(shù)互相關(guān)函數(shù)互協(xié)方差函數(shù)互相關(guān)函數(shù)與互協(xié)方差函數(shù)的關(guān)系,(3)獨(dú)立與互不相關(guān),兩個(gè)隨機(jī)過程互相獨(dú)立：聯(lián)合概率密度=邊緣概率密度的乘積（邊緣概率密度函數(shù)可以是高階的）兩個(gè)隨機(jī)過程互不相關(guān)的充要條件：不是互不相關(guān)的充要條件，但是互不相關(guān)的充要條件獨(dú)立互不相關(guān),(4)自相關(guān)函數(shù)的性質(zhì),自相關(guān)函數(shù)是偶函數(shù)證明：,(4)自相關(guān)函數(shù)的性質(zhì),自相關(guān)函數(shù)在=0時(shí)具有最大值證明：,(4)自相關(guān)函數(shù)的性質(zhì),周期平穩(wěn)過程的自相關(guān)函數(shù)也是具有相同周期的周期函數(shù),(4)自相關(guān)函數(shù)的性質(zhì),x(t)中的直流成分使其相關(guān)函數(shù)向上平移證明：,(4)自相關(guān)函數(shù)的性質(zhì),對(duì)于不含周期性成分的平穩(wěn)隨機(jī)過程，當(dāng)|時(shí)，x(t)和x(t+)是互不相關(guān)的，即(書上有誤)證明：,(4)自相關(guān)函數(shù)的性質(zhì),x(t)=x1(t)+x2(t),x1(t)和x2(t)互不相關(guān)，并且至少有一個(gè)均值為0（書上缺此條件），則證明：,(4)自相關(guān)函數(shù)的性質(zhì),總結(jié)：自相關(guān)函數(shù)的形狀：對(duì)稱于縱軸，在=0時(shí)達(dá)到最大，可以根據(jù)判斷x(t)的均值，根據(jù)其周期性判斷x(t)是否為周期函數(shù),(5)互相關(guān)函數(shù)的性質(zhì),Rxy(0)不一定是|Rxy()|的最大值，也不一定非負(fù)Rxy()不一定是偶函數(shù)，也不一定是奇函數(shù)：Rxy()Rxy(-)，Rxy()-Rxy(-)Rxy()=Ryx(-)證明：,(5)互相關(guān)函數(shù)的性質(zhì),證明：,(5)互相關(guān)函數(shù)的性質(zhì),若，則證明：,(6)自協(xié)方差函數(shù)與互協(xié)方差函數(shù)的性質(zhì),自協(xié)方差函數(shù)與自相關(guān)函數(shù)的形狀相同，只是向下平移了（見平穩(wěn)性）互協(xié)方差函數(shù)與互相關(guān)函數(shù)的形狀相同，只是向下平移了若x(t)、y(t)中至少有一個(gè)均值為0，則,(7)相關(guān)函數(shù)與協(xié)方差函數(shù)的計(jì)算,相關(guān)函數(shù)的估計(jì)（時(shí)間方向求平均，見各態(tài)遍歷性，在不混淆的情況下，不加下標(biāo)i）互相關(guān)函數(shù)的估計(jì)協(xié)方差函數(shù)與互協(xié)方差函數(shù)的估計(jì)：利用其與相關(guān)函數(shù)的關(guān)系,2.2譜密度函數(shù),2.2.1Parseval定理與譜密度概念2.2.2Wiener-Khintchine定理2.2.3互譜密度,譜密度函數(shù)的定義,令,2.2.1Parseval定理與譜密度概念,(1)Parseval定理(2)確定性信號(hào)的平均功率和平均功率譜密度(3)隨機(jī)過程的平均功率和平均功率譜密度(4)隨機(jī)過程功率譜密度的性質(zhì),(1)Parseval定理,對(duì)于確定性信號(hào)x(t),當(dāng)信號(hào)總能量有限（平方可積時(shí)），信號(hào)x(t)的時(shí)域總能量等于頻域總能量|X(j)|2的物理意義：能量在不同頻率下的分布密度，能量譜密度,(2)確定性信號(hào)的平均功率和平均功率譜密度,當(dāng)x(t)的付立葉變換不存在時(shí)，或總能量無限時(shí)，可以研究信號(hào)的平均功率，即,(2)確定性信號(hào)的平均功率和平均功率譜密度,根據(jù)Parseval定理Sx()的物理意義：平均功率在不同頻率下的分布密度,(3)隨機(jī)過程的平均功率和平均功率譜密度,對(duì)于隨機(jī)過程x(t)Sx()平均功率譜密度，功率譜密度，譜密度，確定性，功率譜密度是隨機(jī)過程在頻域上的統(tǒng)計(jì)特征平均功率,(4)隨機(jī)過程功率譜密度的性質(zhì),功率譜密度是非負(fù)函數(shù)（根據(jù)定義）功率譜密度是實(shí)偶函數(shù)（根據(jù)定義或Wiener-Khintchine定理）功率譜密度的積分=隨機(jī)過程的均方值,2.2.2Wiener-Khintchine定理,x(t)的自相關(guān)函數(shù)Rx()和功率譜密度函數(shù)Sx()之構(gòu)成一組付立葉變換對(duì)，即功率譜密度是隨機(jī)過程在頻域上的集合方向上的統(tǒng)計(jì)特征。,2.2.2Wiener-Khintchine定理,Wiener-Khintchine定理的余弦形式Sx()是實(shí)偶函數(shù),2.2.2Wiener-Khintchine定理,證明,2.2.3互譜密度,可以將譜密度的概念推廣到互譜密度，定義：互譜密度不一定具有功率譜的含義（楊福生，生物醫(yī)學(xué)信號(hào)處理）互譜密度不一定是實(shí)函數(shù)，可能是復(fù)函數(shù)（因此用j）,系統(tǒng)辨識(shí)基礎(chǔ)第5講,第2章隨機(jī)信號(hào)的描述與分析2.1隨機(jī)過程的基本概念及其數(shù)學(xué)描述（第4講）2.2譜密度函數(shù)（第4講）2.3線性過程在隨機(jī)輸入下的響應(yīng)（第5講）2.4白噪聲及其產(chǎn)生方法（書2.5）（第5講）2.5M序列的產(chǎn)生及其性質(zhì)（書2.6）(第6講),2.3線性過程在隨機(jī)輸入下的響應(yīng),2.3.1線性過程在隨機(jī)輸入下的輸出譜密度2.3.2線性過程在隨機(jī)輸入下的互譜密度,2.3.1線性過程在隨機(jī)輸入下的輸出譜密度,對(duì)于如圖所示線性系統(tǒng),2.3.1線性過程在隨機(jī)輸入下的輸出譜密度,如果u和y是確定性過程,2.3.1線性過程在隨機(jī)輸入下的輸出譜密度,如果u和y是隨機(jī)過程，證明：proof_for_第四講_p66_線性過程在隨機(jī)輸入下的輸出譜密度.doc注意：u和y是平穩(wěn)隨機(jī)過程（系統(tǒng)到達(dá)隨機(jī)意義下的平穩(wěn)，不是過渡過程）,2.3.2線性過程在隨機(jī)輸入下的互譜密度,對(duì)于上述線性系統(tǒng)，當(dāng)u和y是平穩(wěn)隨機(jī)過程時(shí)，有,2.3.2線性過程在隨機(jī)輸入下的互譜密度,證明：,2.4白噪聲及其產(chǎn)生方法,2.4.1白噪聲的概念2.4.2表示定理與成形濾波器2.4.3(0,1)均勻分布隨機(jī)數(shù)的產(chǎn)生2.4.4正態(tài)分布隨機(jī)數(shù)的產(chǎn)生,2.4.1白噪聲的概念,(1)白噪聲過程的兩種等價(jià)定義(2)白噪聲過程的性質(zhì)(3)多維白噪聲過程(4)近似的白噪聲過程(5)白噪聲序列(6)多維白噪聲序列(7)白噪聲序列的用途,(1)白噪聲過程的兩種等價(jià)定義,定義1：如果一個(gè)平穩(wěn)隨機(jī)過程w(t)具有恒定的功率譜密度函數(shù)，即在全頻段內(nèi)，有則稱w(t)為白噪聲過程。覆蓋全頻帶，白光光譜包含了所有可見光的頻率,(1)白噪聲過程的兩種等價(jià)定義,(1)白噪聲過程的兩種等價(jià)定義,定義2：如果一個(gè)平穩(wěn)隨機(jī)過程w(t)具有如下的自相關(guān)函數(shù)，即則稱w(t)為白噪聲過程。,(1)白噪聲過程的兩種等價(jià)定義,(1)白噪聲過程的兩種等價(jià)定義,兩種定義的等價(jià)性根據(jù)Wiener-Khintchine定理，可以證明如果w(t)的自相關(guān)函數(shù)滿足定義2，則其功率譜密度滿足定義1,(2)白噪聲過程的性質(zhì),白噪聲的均值默認(rèn)為零E(w)=0，否則，自相關(guān)函數(shù)不可能為沖激函數(shù)（函數(shù)）白噪聲無記憶性，任兩個(gè)不同時(shí)刻的隨機(jī)變量之間不相關(guān)，即白噪聲平均功率是平均功率=,(2)白噪聲過程的性質(zhì),白噪聲的頻帶無限寬，功率在頻域上均勻分布（功率譜密度是直線）白噪聲在現(xiàn)實(shí)中不存在（時(shí)域、頻域）是否為白噪聲與隨機(jī)過程的分布無關(guān)（如正態(tài)分布白噪聲，均勻分布白噪聲，正態(tài)分布非白噪聲過程，均勻分布非白噪聲過程）研究白噪聲的目的，數(shù)學(xué)處理簡單、方便，最優(yōu)輸入，易于辨識(shí)算法中噪聲和干擾的分析與處理有色噪聲：不是白噪聲的隨機(jī)過程,(3)多維白噪聲過程,多維白噪聲的定義其中，Q為正定的常數(shù)矩陣,(4)近似的白噪聲過程,低通白噪聲：如果零均值平穩(wěn)隨機(jī)過程的功率譜密度在一定的頻帶內(nèi)均勻分布，即則稱其為低通白噪聲過程（限帶白噪聲）低通白噪聲過程的自相關(guān)函數(shù)為（0越大，越近似于函數(shù)，圖2.19）,(4)近似的白噪聲過程,限帶白噪聲在處等于0，因此，如果以為采樣時(shí)間采樣限帶白噪聲過程，采樣得到的樣本兩兩互不相關(guān)(圖2.19),(4)近似的白噪聲過程,另一種近似白噪聲：如果零均值平穩(wěn)隨機(jī)過程w(t)的自相關(guān)函數(shù)Rw()近似為函數(shù)，即則視其為近似的白噪聲時(shí)間差超過一定的長度后不相關(guān)。（P28，例2.2）,(5)白噪聲序列,對(duì)于零均值平穩(wěn)隨機(jī)序列w(k)（只在離散時(shí)間點(diǎn)上定義），如果其不同時(shí)刻的隨機(jī)變量兩兩不相關(guān)，則稱其為白噪聲序列，即,(5)白噪聲序列,白噪聲序列的譜密度函數(shù)白噪聲序列是實(shí)際存在的，因?yàn)橹灰箅x散時(shí)刻的兩兩不相關(guān)*,(5)白噪聲序列,白噪聲序列的例子,(6)多維白噪聲序列,多維白噪聲序列,(7)白噪聲序列的用途,作為最優(yōu)輸入信號(hào)，仿真產(chǎn)生白噪聲序列的實(shí)現(xiàn)；假定干擾為白噪聲序列，簡化問題的研究假定干擾為有色噪聲序列，則可以將其表示成白噪聲通過成形濾波器的輸出利用白噪聲序列的性質(zhì)，簡便辨識(shí)算法的求解或推導(dǎo),2.4.2表示定理與成形濾波器,設(shè)平穩(wěn)噪聲序列e(k)的譜密度Se()是的實(shí)函數(shù)，或是cos()的有理函數(shù)，那么必定存在一個(gè)漸近穩(wěn)定的線性環(huán)節(jié)，使得如果環(huán)節(jié)的輸入是白噪聲序列時(shí)，則環(huán)節(jié)的輸出是譜密度為Se()的平穩(wěn)噪聲序列。滿足上述條件的平穩(wěn)隨機(jī)序列e(k)，成形濾波器H(z1)=D(z1)/C(z1)，使得,2.4.2表示定理與成形濾波器,表示定理的含義：任何平穩(wěn)有色噪聲序列e(k)都可以表示成白噪聲序列w(k)驅(qū)動(dòng)的某個(gè)漸近穩(wěn)定的線性系統(tǒng)H(z1)的輸出任何平穩(wěn)隨機(jī)序列都包含確定性和隨機(jī)性兩部分的作用。確定性：參數(shù)化的成形濾波器，w(k)的統(tǒng)計(jì)特性隨機(jī)性：w(k)的取值,2.4.2表示定理與成形濾波器,表示定理的作用：可以用白噪聲+線性系統(tǒng)（成形濾波器）來表示有色噪聲在辨識(shí)中，經(jīng)常假設(shè)隨機(jī)干擾是白噪聲通過線性系統(tǒng)的輸出，如注意：表示定理是存在性定理，并沒有告訴我們?nèi)绾握业竭m當(dāng)?shù)某尚螢V波器和白噪聲。可以通過辨識(shí)的方法確定成形濾波器的參數(shù)和白噪聲的方差,2.4.3(0,1)均勻分布隨機(jī)數(shù)的產(chǎn)生,(0,1)均勻分布隨機(jī)數(shù)i（隨機(jī)序列）：在每個(gè)特定時(shí)刻i，i是(0,1)均勻分布的隨機(jī)變量，即不是白噪聲序列是產(chǎn)生其它隨機(jī)序列（包括白噪聲序列）的基礎(chǔ),2.4.3(0,1)均勻分布隨機(jī)數(shù)的產(chǎn)生,乘同余法：初始化：M=2k，k為充分大的正整數(shù)，A3(mod8)orA5(mod8),x0為正奇數(shù)。xiAxi-1(modM)ixi/M或?qū)⒑喜閕取小數(shù)部分Ai-1,0=x0/M,2.4.3(0,1)均勻分布隨機(jī)數(shù)的產(chǎn)生,i是偽隨機(jī)序列，最大循環(huán)周期為2k-2，是(0,1)均勻分布隨機(jī)序列的一個(gè)實(shí)現(xiàn)的近似（不同初值導(dǎo)致不同的實(shí)現(xiàn)）,2.4.4正態(tài)分布隨機(jī)數(shù)的產(chǎn)生,統(tǒng)計(jì)近似抽樣法（i是(0,1)均勻分布隨機(jī)序列，根據(jù)中心極限定理）用多組長度為N的i來產(chǎn)生序列k,2.4.4正態(tài)分布隨機(jī)數(shù)的產(chǎn)生,k是偽隨機(jī)序列，近似為白噪聲序列的一個(gè)實(shí)現(xiàn)(),2.4.4正態(tài)分布隨機(jī)數(shù)的產(chǎn)生,變換抽樣法：設(shè)1,k和2,k是互相獨(dú)立的(0,1)均勻分布隨機(jī)序列，令則1,k和2,k是互相獨(dú)立的服從N(0,1)分布的白噪聲序列。,系統(tǒng)辨識(shí)基礎(chǔ)第6講,第2章隨機(jī)信號(hào)的描述與分析2.1隨機(jī)過程的基本概念及其數(shù)學(xué)描述（第4講）2.2譜密度函數(shù)（第4講）2.3線性過程在隨機(jī)輸入下的響應(yīng)（第4講）2.4白噪聲及其產(chǎn)生方法（書2.5）（第5講）2.5M序列的產(chǎn)生及其性質(zhì)（書2.6）(第6講),2.5M序列的產(chǎn)生及其性質(zhì),2.5.1研究M序列的必要性2.5.2生成M序列的結(jié)構(gòu)2.5.3生成M序列的條件2.5.4生成M序列的步驟2.5.5M序列的性質(zhì)(*)2.5.6M序列的自相關(guān)函數(shù)2.5.7M序列的譜密度2.5.8選擇M序列的參數(shù),2.5.1研究M序列的必要性,辨識(shí)實(shí)驗(yàn)對(duì)輸入信號(hào)的要求可辨識(shí)性（持續(xù)激勵(lì)）最優(yōu)性（對(duì)于有效估計(jì)，達(dá)到M-1，其它考慮（幅度，工作點(diǎn)，均值等）,2.5.1研究M序列的必要性,白噪聲過程（實(shí)際不存在）白噪聲序列：持續(xù)激勵(lì)D最優(yōu)信號(hào)工程考慮（變化太頻繁，幅度變化劇烈，不易控制）,2.5.1研究M序列的必要性,M序列具有近似于白噪聲的性質(zhì)（自相關(guān)函數(shù)和譜密度）工程上易于實(shí)現(xiàn)和被接受凈擾動(dòng)小幅度（變化大?。r(shí)拍（變化頻繁度）、周期易控制實(shí)現(xiàn)簡單,2.5.1研究M序列的必要性,M序列舉例,2.5.2生成M序列的結(jié)構(gòu),異或（模和）,2.5.2生成M序列的結(jié)構(gòu),M序列的定義（時(shí)間離散，二元取值0,1）無限長的二元序列x0 x1x2xpxp+1滿足迭代關(guān)系aP1,ai=0或1，i=1P-1，使得序列以(2P_1)bit的最長周期循環(huán)（注意，不是2P-1）初始狀態(tài)x1x2xp000,2.5.2生成M序列的結(jié)構(gòu),時(shí)間連續(xù)、幅度為實(shí)數(shù)的M序列：在t的整數(shù)倍上(kt)才可能發(fā)生變化，在（kt,(k+1)t）上保持不變，幅值由xk決定,2.5.2生成M序列的結(jié)構(gòu),例：P=4,a3=a4=1，,2.5.2生成M序列的結(jié)構(gòu),CP移位脈沖（移位周期t）Ci雙穩(wěn)態(tài)觸發(fā)器，在兩個(gè)定時(shí)移位脈沖之間保持不變，脈沖到來時(shí)，等于輸入符合上頁的規(guī)律,2.5.2生成M序列的結(jié)構(gòu),M序列的生成結(jié)構(gòu)（M(t)為M序列的輸出*，任何一級(jí)輸出都可以作為M序列）,2.5.3生成M序列的條件,問題：并非所有的反饋通道組合aP1,ai=0或1，i=1P-1，都可以使序列xi構(gòu)成M序列，即以2P_1bit的最長周期循環(huán),2.5.3生成M序列的條件,a4=a3=1（循環(huán)周期=15=24-1,是M序列）,2.5.3生成M序列的條件,a4=a2=1（循環(huán)周期=6，不是M序列）,2.5.3生成M序列的條件,M序列的特征多項(xiàng)式（用M序列的生成結(jié)構(gòu)中的反饋系數(shù)定義的多項(xiàng)式）注意：多了一個(gè)常數(shù)項(xiàng)，a的下標(biāo)號(hào)與s的次數(shù)相同,2.5.3生成M序列的條件,特征多項(xiàng)式可以唯一地表征一個(gè)序列令代表上述結(jié)構(gòu)生成的M序列，在一定初值條件下可以用F(s)來描述生成M序列的ai所必需滿足的條件（不是所有的F(s)都可以生成M序列）,2.5.3生成M序列的條件,F(s)成為M序列的特征多項(xiàng)式的條件必要條件：F(s)是既約多項(xiàng)式，即F(s)不能再分解充要條件：F(s)是本原多項(xiàng)式，即,2.5.3生成M序列的條件,表D.1已知的可以生成M序列的特征多項(xiàng)式F(s)(P,n,k),(n1,n2,n3,)P階次n反饋通道個(gè)數(shù),等于1的系數(shù)ai的個(gè)數(shù)k編號(hào)：P階（周期為2P-1）序列的第幾個(gè)特征多項(xiàng)式(n1,n2,n3,)：具體給出特征多項(xiàng)式中不為0的項(xiàng)（特點(diǎn)：一定有p和0）(n1,n2,n3,)最終確定了等于1的系數(shù)ai,2.5.3生成M序列的條件,2.5.4生成M序列的步驟,選擇M序列的參數(shù)：階次P(周期NP),幅度a，時(shí)鐘節(jié)拍t按表D.1選擇合適的特征多項(xiàng)式給定序列的初值x0 x1xP-1(CPCP-1C1)按照M序列的生成結(jié)構(gòu)（寄存器）生成M序列，得到xk將“0”a、“”a，得到M(t),2.5.5M序列的性質(zhì),周期：一個(gè)P階M序列的循環(huán)周期為NP=2P-1(對(duì)xk而言)；“0”和“1”的個(gè)數(shù)（單bit）：一個(gè)周期內(nèi)“0”的個(gè)數(shù)為(NP-1)/2，“1”的個(gè)數(shù)為(NP+1)/2，“0”的個(gè)數(shù)總比“1”少一個(gè)；,2.5.5M序列的性質(zhì),游程：某種狀態(tài)連續(xù)出現(xiàn)的段稱為“游程”一個(gè)P階M序列的總游程數(shù)為2P1；“0”和“1”地游程各占一半；長度為1的游程數(shù)為2P2；長度為2的游程數(shù)為2P3；長度為i的游程數(shù)為2P；長度為(P1)的游程有一個(gè)，為“0”游程；長度為P的游程也只有一個(gè)，為“1”游程。,2.5.5M序列的性質(zhì),移位可加性：兩個(gè)彼此移位等價(jià)的M序列按位模2和（異或）相加，結(jié)果仍然是M序列，并與原序列移位等價(jià),2.5.5M序列的性質(zhì),同構(gòu)性“0”a、“”-a,2.5.6M序列的自相關(guān)函數(shù),xkM(t)：“0”a、“”-a,在兩個(gè)脈沖之間保持不變，移位脈沖周期（時(shí)鐘節(jié)拍t），M(t)周期:NPt定義（實(shí)際是時(shí)間自相關(guān)函數(shù)，也是以NPt為周期的周期函數(shù)）：,2.5.6M序列的自相關(guān)函數(shù),利用M序列的性質(zhì)，可以求得,在一個(gè)周期內(nèi),注意：(NP-1)t?:-t,t,2t(NP-1)t,2.5.6M序列的自相關(guān)函數(shù),M序列的自相關(guān)函數(shù),2.5.6M序列的自相關(guān)函數(shù),近似于白噪聲，Np越大，t越小，越逼近白噪聲的一個(gè)實(shí)現(xiàn)周期直流脈沖寬度,2.5.7M序列的譜密度,定義,2.5.7M序列的譜密度,M序列的譜密度，令只在離散頻率上取一定幅度的沖激函數(shù)，沖激函數(shù)的幅度由包絡(luò)線決定，離散點(diǎn)間隔由0決定（NPt）,對(duì)應(yīng)于,2.5.7M序列的譜密度,2.5.7M序列的譜密度,=0=,對(duì)應(yīng)于自相關(guān)函數(shù)的直流分量,2.5.7M序列的譜密度,k=NP,2NP,.帶寬,2.5.7M序列的譜密度,Np越大，t越小，越趨于白噪聲譜線密度帶寬直流,2.5.8選擇M序列的參數(shù),M序列的參數(shù)：階次P(周期NP),幅度a，時(shí)鐘節(jié)拍tNp越大，t越小，越逼近白噪聲（的一個(gè)實(shí)現(xiàn)），自相關(guān)，功率譜a,不能太大，也不能太小t的大小在工程上要能接受(NP-1)t的長度在工程上要能接受,系統(tǒng)辨識(shí)基礎(chǔ)第7講,第3章過程的數(shù)學(xué)描述3.1線性時(shí)不變模型3.2數(shù)學(xué)模型之間的等價(jià)轉(zhuǎn)換(書3.3)3.3隨機(jī)系統(tǒng)和模型（書3.4）,3.1線性時(shí)不變模型,3.1線性時(shí)不變模型,3.1線性時(shí)不變模型,3.2數(shù)學(xué)模型之間的等價(jià)轉(zhuǎn)換,連續(xù)模型之間的等價(jià)轉(zhuǎn)換傳遞函數(shù)微分方程傳遞函數(shù)脈沖響應(yīng)，脈沖響應(yīng)傳遞函數(shù)(P95)狀態(tài)方程傳遞函數(shù)（微分方程），傳遞函數(shù)(微分方程)狀態(tài)方程(P76)傳遞函數(shù)頻率響應(yīng)，頻率響應(yīng)傳遞函數(shù)（P107，Levy，第8講）離散模型之間的等價(jià)轉(zhuǎn)換傳遞函數(shù)差分方程傳遞函數(shù)脈沖響應(yīng)，脈沖響應(yīng)傳遞函數(shù)(P95)狀態(tài)方程傳遞函數(shù)(差分方程)(P80變換3.2)，傳遞函數(shù)(差分方程)狀態(tài)方程連續(xù)模型的離散化(在離散時(shí)間點(diǎn)上，連續(xù)與離散模型等價(jià))連續(xù)狀態(tài)方程離散狀態(tài)方程(P76)微分方程差分方程(P78變換3.1,P479雙線性變換),傳遞函數(shù)(微分方程)狀態(tài)方程,連續(xù)狀態(tài)方程離散狀態(tài)方程,微分方程差分方程,P75-78基本思路：微分方程(ai,bi)連續(xù)狀態(tài)方程()離散狀態(tài)方程(A,b,c)離散傳遞函數(shù)離散傳遞函數(shù)G(z-1)(以表示)差分方程（以(ai,bi)表示）,微分方程差分方程,結(jié)果：變換3.1(P78),離散狀態(tài)方程傳遞函數(shù)(差分方程),P78-80基本思路,離散狀態(tài)方程傳遞函數(shù)(差分方程),P80變換3.2,離散狀態(tài)方程傳遞函數(shù)(差分方程),變換3.2（續(xù)）,3.3隨機(jī)系統(tǒng)和模型,3.3.1隨機(jī)系統(tǒng)（模型）的概念3.3.2噪聲模型的分類,3.3.1隨機(jī)系統(tǒng)（模型）的概念,第1講、第3講：線性系統(tǒng)本節(jié)：從確定性系統(tǒng)出發(fā)，考慮各種隨機(jī)噪聲，推出上圖，其中d(k)為隨機(jī)干擾,3.3.1隨機(jī)系統(tǒng)（模型）的概念,確定性系統(tǒng)（輸入輸出均不含測量噪聲，不是真實(shí)測量值，未知）,3.3.1隨機(jī)系統(tǒng)（模型）的概念,引入過程噪聲(k)：作用于系統(tǒng)本身的噪聲,3.3.1隨機(jī)系統(tǒng)（模型）的概念,引入輸出測量噪聲w(k)（z(k)實(shí)測）,3.3.1隨機(jī)系統(tǒng)（模型）的概念,引入輸入測量噪聲s(k)（u(k)實(shí)測）,3.3.1隨機(jī)系統(tǒng)（模型）的概念,隨機(jī)系統(tǒng)（e0(k)和z(k)都是隨機(jī)信號(hào)）e0(k)：綜合噪聲（包含輸入測量噪聲、輸出測量噪聲和過程噪聲）（用下標(biāo)0，區(qū)分方程誤差和真實(shí)系統(tǒng)的真實(shí)噪聲）,3.3.1隨機(jī)系統(tǒng)（模型）的概念,表示定理（噪聲的參數(shù)化表示）：,3.3.1隨機(jī)系統(tǒng)（模型）的概念,考慮了噪聲參數(shù)化表示的隨機(jī)系統(tǒng)（v0(k)和z(k)都是隨機(jī)信號(hào)）,3.3.1隨機(jī)系統(tǒng)（模型）的概念,隨機(jī)系統(tǒng)與隨機(jī)模型隨機(jī)系統(tǒng)隨機(jī)模型區(qū)別：e0(k),v0(k)真實(shí)的有色噪聲干擾和白噪聲干擾，e(k),v(k)方程誤差,3.3.2噪聲系統(tǒng)(模型)的分類,噪聲系統(tǒng)（模型）的分類,3.3.3隨機(jī)系統(tǒng)(模型)的分類,隨機(jī)系統(tǒng)（模型）的分類（Ljung）,系統(tǒng)辨識(shí)基礎(chǔ)第8講,第4章經(jīng)典辨識(shí)方法4.1引言（第8講）4.2頻率響應(yīng)的辨識(shí)（第8講）4.3脈沖響應(yīng)的辨識(shí)（第9講、第10講）,4.1引言,經(jīng)典辨識(shí)方法(非參數(shù)模型的辨識(shí))階躍響應(yīng)的辨識(shí)（書4.2.1實(shí)驗(yàn)測取階躍響應(yīng)）脈沖響應(yīng)的辨識(shí)（書4.3.1實(shí)驗(yàn)測取脈沖響應(yīng)，書4.3.1學(xué)習(xí)法辨識(shí)脈沖響應(yīng)，書4.5.2相關(guān)分析法辨識(shí)脈沖響應(yīng)*）頻率響應(yīng)的辨識(shí)（書4.4.1頻率響應(yīng)法，書4.5.1相關(guān)分析法辨識(shí)頻率響應(yīng)，書4.6.2譜分析法）模型轉(zhuǎn)換（書4.2.2階躍響應(yīng)傳遞函數(shù)，書4.3.3脈沖響應(yīng)傳遞函數(shù)，書4.4.2頻率響應(yīng)傳遞函數(shù)）,4.1引言,現(xiàn)代辨識(shí)方法（參數(shù)模型的辨識(shí)）最小二乘類辨識(shí)方法典型算法：最小二乘法、增廣最小二