最小二乘法和神經(jīng)網(wǎng)絡(luò)系統(tǒng)辨識(shí)的設(shè)計(jì)

中文摘要 - I - 摘摘 要要 隨著科學(xué)技術(shù)的發(fā)展，各門(mén)學(xué)科的研究方法進(jìn)一步趨向定量化，人們?cè)谏?產(chǎn)實(shí)踐科學(xué)實(shí)驗(yàn)中對(duì)研究的復(fù)雜對(duì)象通常通過(guò)觀測(cè)和計(jì)算定量判明其內(nèi)在規(guī)律， 為此必須建立所研究對(duì)象的數(shù)學(xué)模型，由此提出了系統(tǒng)辨識(shí)問(wèn)題。 文中介紹經(jīng)典辨識(shí)方法中應(yīng)用較為廣泛的最小二乘法辨識(shí)。最小二乘通過(guò) 極小化誤差的二次方和函數(shù)確定模型參數(shù)。詳細(xì)分析了最小二乘法、最小二乘 估計(jì)及其性質(zhì)，通過(guò)對(duì)一給定系統(tǒng)利用 Matlab 求出模型參數(shù)表明該算法的有效 性。 然而由于經(jīng)典辨識(shí)方法對(duì)一些不能線性化的非線性系統(tǒng)進(jìn)行辨識(shí)，我們提 出了人工神經(jīng)網(wǎng)絡(luò)辨識(shí)系統(tǒng)。它不需要預(yù)先知道被測(cè)系統(tǒng)的模型，通過(guò)直接學(xué) 習(xí)系統(tǒng)的輸入輸出數(shù)據(jù)實(shí)現(xiàn)。文中重點(diǎn)了分析 BP 網(wǎng)絡(luò)辨識(shí)，并且在 Matlab 環(huán) 境下應(yīng)用 BP 神經(jīng)網(wǎng)絡(luò)建立時(shí)間序列人口預(yù)測(cè)模型，檢測(cè)預(yù)測(cè)效果。 關(guān)鍵詞：系統(tǒng)辨識(shí) 最小二乘法 神經(jīng)網(wǎng)絡(luò) 英文摘要 - II - Abstract With the development of science and technology, research methods of each discipline tends to further quantitative, in the production practice of scientific experiments in the study of complex objects, usually through observation and calculation of quantitative ascertain its inherent law, this must be established to study mathematics model, which proposed a system identification problem. Describes the definition of system identification, the contents of step, classification, and introduces of the input signal of the system identification.Least squares by minimizing the quadratic error and functions to determine the model parameters. Detailed analysis of the least squares method, least squares estimation and its properties, and show that the effectiveness of the algorithm by using Matlab to calculate the model parameters for a given system. Since the classical identification method can not be linearized nonlinear system, helpless, artificial neural network recognition system. It does not need to know in advance the model of the system under test, and achieve through learning system input and output data.In this paper, the focus of the BP network identification and application of BP neural network time series of population projections model, testing the prediction effect. Keywords: System identification Least squares method Neural netwo 目錄 III 目 錄錄 摘 要I ABSTRACT.II 目 錄III 第一章 緒論 .1 1.1 問(wèn)題的提出及研究意義 1 1.2 系統(tǒng)辨識(shí)的發(fā)展和現(xiàn)狀 1 第二章 系統(tǒng)辨識(shí)3 2.1 辨識(shí)的定義 3 2.2 辨識(shí)的內(nèi)容和步驟 3 2.3 辨識(shí)的分類(lèi) 4 2.3.1 離線辨識(shí) 4 2.3.2 在線辨識(shí) .5 2.4 辨識(shí)的輸入信號(hào) 5 2.4.1 白噪聲.6 2.4.2 偽隨機(jī)二位式序列 7 第三章 最小二乘法辨識(shí).9 3.1 最小二乘法 9 3.2 最小二乘估計(jì)算法 12 3.3 最小二乘估計(jì)的概率性質(zhì) 15 第四章 基于神經(jīng)網(wǎng)絡(luò)的系統(tǒng)辨識(shí).19 4.1 神經(jīng)網(wǎng)絡(luò)的簡(jiǎn)介 19 4.1.1 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和類(lèi)型 .19 4.2 BP 網(wǎng)絡(luò)辨識(shí).21 結(jié)結(jié) 論論 34 參考文獻(xiàn)35 致謝36 第一章 緒 論 - 1 - 第一章 緒 論 1.1 問(wèn)題的提出及研究意義 在自然科學(xué)和社會(huì)科學(xué)的許多領(lǐng)域中，人們?cè)絹?lái)越重視對(duì)系統(tǒng)進(jìn)行定量的 系統(tǒng)分析系統(tǒng)綜合仿真控制和預(yù)測(cè)。而將被研究對(duì)象模型化，是開(kāi)展這些工作 的前提和基礎(chǔ)，即建立系統(tǒng)的數(shù)學(xué)模型，測(cè)試法是建模的方法之一。測(cè)試法是 通過(guò)分析未知系統(tǒng)的實(shí)驗(yàn)或輸入輸出數(shù)據(jù)，來(lái)建立一個(gè)與所測(cè)系統(tǒng)等價(jià)的數(shù)學(xué) 模型，測(cè)試建模的方法就是系統(tǒng)辨識(shí)。 系統(tǒng)辨識(shí)狀態(tài)估計(jì)和控制理論是現(xiàn)代控制論中相互滲透的三個(gè)領(lǐng)域。辨識(shí) 和狀態(tài)估計(jì)離不開(kāi)控制理論的支持，控制理論的應(yīng)用又幾乎不能沒(méi)有系統(tǒng)辨識(shí) 和狀態(tài)估計(jì)技術(shù)。由于控制對(duì)象的復(fù)雜性的提高，控制理論的應(yīng)用日益廣泛。 系統(tǒng)辨識(shí)研究如何確定系統(tǒng)的數(shù)學(xué)模型及參數(shù)，它的理論正日趨成熟。目前不 僅工程控制對(duì)象需要對(duì)象建立數(shù)學(xué)模型，而且在其它領(lǐng)域，如生物學(xué)、醫(yī)學(xué)、 天文學(xué)及社會(huì)經(jīng)濟(jì)學(xué)等領(lǐng)域也常常需要建立數(shù)學(xué)模型，并根據(jù)數(shù)學(xué)模型確定最 優(yōu)控制決策。 傳統(tǒng)的辨識(shí)技術(shù)有最小二乘法辨識(shí)、極大似然法辨識(shí)時(shí)變參數(shù)辨識(shí)方法， 但在解決問(wèn)題上出現(xiàn)了一些局限性，而神經(jīng)網(wǎng)絡(luò)的一些特征對(duì)系統(tǒng)辨識(shí)特別有 用。本文主要研究最小二乘法和神經(jīng)網(wǎng)絡(luò)進(jìn)行系統(tǒng)辨識(shí)的設(shè)計(jì)。 1.2 系統(tǒng)辨識(shí)的發(fā)展和現(xiàn)狀 系統(tǒng)辨識(shí)在 60 年代發(fā)展成現(xiàn)代控制理論的一個(gè)活躍分支，人們借助數(shù)學(xué) 模型進(jìn)行各種系統(tǒng)的研究，可以獲得顯著成效。于是，系統(tǒng)辨識(shí)被推廣至其它 廣泛領(lǐng)域，如水文學(xué)、生物學(xué)等各種領(lǐng)域。 20 世紀(jì) 90 年代以來(lái)的發(fā)展新動(dòng)向： （1）辨識(shí)與控制的配合及魯棒辨識(shí) 魯棒辨識(shí)或適合控制的辨識(shí)等研究 是辨識(shí)與控制結(jié)合在系統(tǒng)辨識(shí)理論方面的革新。各種魯棒控制器的設(shè)計(jì)均將建 模誤差或系統(tǒng)不確定性作為控制器設(shè)計(jì)條件之一，而魯棒辨識(shí)將系統(tǒng)不確定性 作為辨識(shí)條件，將建模誤差作為辨識(shí)目的。 第一章 緒 論 - 2 - （2）時(shí)變動(dòng)態(tài)系統(tǒng)的跟蹤 時(shí)變動(dòng)態(tài)系統(tǒng)的跟蹤是目前辨識(shí)領(lǐng)域十分活 躍的研究課題。不同于時(shí)不變系統(tǒng)，時(shí)變系統(tǒng)中系統(tǒng)特性與參數(shù)變化要求辨識(shí) 算法具有適應(yīng)性。由于時(shí)變系統(tǒng)的復(fù)雜性和廣泛性，以及人民從時(shí)變系統(tǒng)獲得 信息的局限性，時(shí)變系統(tǒng)的跟蹤仍是一個(gè)有許多問(wèn)題要解決的難題。 （3）連續(xù)時(shí)間系統(tǒng)辨識(shí) 連續(xù)時(shí)間系統(tǒng)可能是最早采用的辨識(shí)模型。隨著 計(jì)算機(jī)的出現(xiàn)，系統(tǒng)辨識(shí)的連續(xù)時(shí)間方法受到冷落。后來(lái)又有明顯改變，在 1991 年的 IFAC 會(huì)議討論并達(dá)到高潮。 （4）集成辨識(shí)方法 集成辨識(shí)方法溶進(jìn)了專(zhuān)家系統(tǒng)和人工智能的思想和 方法，隨著人工智能、專(zhuān)家系統(tǒng)、神經(jīng)網(wǎng)絡(luò)發(fā)展成為系統(tǒng)辨識(shí)的一種發(fā)展方向。 （5）并行辨識(shí)方法 并行辨識(shí)方法隨著并行計(jì)算機(jī)出現(xiàn)而成為研究方向。 由于辨識(shí)算法一般涉及矩陣代數(shù)運(yùn)算，同時(shí)辨識(shí)問(wèn)題是一種優(yōu)化問(wèn)題，因此， 關(guān)于矩陣運(yùn)算的高效并行化算法和關(guān)于優(yōu)化問(wèn)題的并行算法都被較多的應(yīng)用于 并行算法的研究。 第二章 系統(tǒng)辨識(shí) - 3 - 第二章 系統(tǒng)辨識(shí) 2.1 辨識(shí)的定義 很多學(xué)者都曾給辨識(shí)下過(guò)定義，下面介紹幾個(gè)比較典型適用的定義。 （1）L.A,Zadeh 定義（1962 年）：辨識(shí)就是在輸入和輸出數(shù)據(jù)的基礎(chǔ)上， 從一組給定的模型類(lèi)中，確定一個(gè)與所測(cè)系統(tǒng)等價(jià)的模型。這個(gè)定義明確了辨 識(shí)的三大要素，即輸入輸出數(shù)據(jù)、模型類(lèi)和等價(jià)原則。其中，數(shù)據(jù)是辨識(shí)的基 礎(chǔ)，準(zhǔn)則是辨識(shí)的優(yōu)化目標(biāo)，模型類(lèi)是尋找模型的范圍。當(dāng)然，按照 Zadeh 的 定義，尋找一個(gè)與實(shí)際過(guò)程完全等價(jià)的模型無(wú)疑是非常困難的。從實(shí)用觀點(diǎn)出 發(fā)，對(duì)模型的要求并非如此苛刻。 （2）P.Eykhoff 定義（1974 年）:辨識(shí)問(wèn)題可以歸納為用一個(gè)模型來(lái)表示客 觀系統(tǒng)（或?qū)⒁獦?gòu)造的系統(tǒng)）本質(zhì)特征的一種演算，并用這個(gè)模型把對(duì)客觀系 統(tǒng)的理解表示成有用的形式。 V.Strejc 對(duì)該定義所作的解釋是：“這個(gè)辨識(shí)定義強(qiáng)調(diào)了一個(gè)非常重要的 概念，最終模型只應(yīng)表示動(dòng)態(tài)系統(tǒng)的本質(zhì)特征，并且把它表示成適當(dāng)?shù)男问健?這就意味著，并不期望獲得一個(gè)物理實(shí)際的確切的數(shù)學(xué)描述，所要的只是一個(gè) 適合于應(yīng)用的模型。 （3）L.Ljung 定義（1978 年）：辨識(shí)有三個(gè)要素?cái)?shù)據(jù)、模型類(lèi)和準(zhǔn)則。 辨識(shí)就是按照一個(gè)準(zhǔn)則在一組模型類(lèi)中選擇一個(gè)與數(shù)據(jù)擬合得最好的模型。 2.2 辨識(shí)的內(nèi)容和步驟 辨識(shí)就是利用所觀測(cè)到的輸入和輸出數(shù)據(jù)（往往含有噪聲），根據(jù)所選擇 的原則，從一類(lèi)模型中確定一個(gè)與所測(cè)系統(tǒng)擬合得最好的模型。下面介紹辨識(shí) 的步驟和方法。 （1）明確辨識(shí)目的。 明確模型應(yīng)用的最終目的的十分重要，因?yàn)樗鼪Q定 模型的類(lèi)型、精度要求及所采用的辨識(shí)方法。比如說(shuō)，如果模型是用于恒值控 制的，那么模型的精度要求低一些；如果模型是用于隨動(dòng)系統(tǒng)的或預(yù)測(cè)預(yù)報(bào)的， 第二章 系統(tǒng)辨識(shí) - 4 - 那么精度要求就要高一些。 （2）掌握先驗(yàn)知識(shí)。在進(jìn)行系統(tǒng)辨識(shí)之前，要盡可能多掌握一些系統(tǒng)的 先驗(yàn)知識(shí)，如系統(tǒng)的非線性程度、時(shí)變或非時(shí)變、比例或積分特性、時(shí)間常數(shù)、 過(guò)渡過(guò)程時(shí)間、截止頻率、時(shí)滯特性、靜態(tài)放大倍數(shù)、噪聲特性、工作環(huán)境條 件等，這些先驗(yàn)知識(shí)對(duì)預(yù)選系統(tǒng)數(shù)學(xué)模型種類(lèi)和辨識(shí)試驗(yàn)設(shè)將起到指導(dǎo)性的作 用。 （3）利用先驗(yàn)知識(shí)。 選定和預(yù)測(cè)被辨識(shí)的系統(tǒng)數(shù)學(xué)模型種類(lèi)，確定驗(yàn)前 假定模型。 （4）試驗(yàn)設(shè)計(jì)。 選擇試驗(yàn)信號(hào)、采樣間隔、數(shù)據(jù)長(zhǎng)度等，記錄輸入和輸 出數(shù)據(jù)。如果系統(tǒng)是連續(xù)運(yùn)行的，并且不允許加入試驗(yàn)信號(hào)，則只好用正常的 運(yùn)行數(shù)據(jù)進(jìn)行辨識(shí)。 （5）數(shù)據(jù)預(yù)處理。 輸入和輸出數(shù)據(jù)中常含有直流成分或低頻成分，用任 何辨識(shí)方法都難以消除它們對(duì)辨識(shí)精度的影響。數(shù)據(jù)中的高頻成分對(duì)辨識(shí)也有 不利影響。因此，對(duì)輸入和輸出數(shù)據(jù)可進(jìn)行零均值化和剔除高頻成分的預(yù)處理。 處理得好，能顯著提高辨識(shí)精度。零均值化可采用差分法和平均法等方法，剔 除高頻成分可采用低通濾波器。 （6）模型結(jié)構(gòu)辨識(shí)。模型結(jié)構(gòu)辨識(shí)包括模型結(jié)構(gòu)的初步選擇和模型參數(shù) 的確定。模型結(jié)構(gòu)初步選定是根據(jù)具體被辨識(shí)的對(duì)象和目的，利用已有的先驗(yàn) 知識(shí)對(duì)辨識(shí)系統(tǒng)進(jìn)行分析，從而初步選定一個(gè)驗(yàn)前模型結(jié)構(gòu)，待完成模型參數(shù) 估計(jì)后，再對(duì)其驗(yàn)證；模型結(jié)構(gòu)參數(shù)的確定在假定模型結(jié)構(gòu)的前提下利用辨識(shí) 方法確定模型結(jié)構(gòu)參數(shù)，如差分方程中的階次 n 和遲鈍延遲 d 等。 （7）模型參數(shù)辨識(shí)。 在模型結(jié)構(gòu)確定之后，選擇估計(jì)方法，利用測(cè)量數(shù) 據(jù)估計(jì)模型中的未知參數(shù)。 （8）模型檢驗(yàn)。 驗(yàn)證所確定的模型是否恰當(dāng)?shù)乇硎玖吮槐孀R(shí)的系統(tǒng)。 如果所確定的系統(tǒng)模型合適，則辨識(shí)到此結(jié)束。否則，就必須改變系統(tǒng)的 驗(yàn)前模型結(jié)構(gòu)，并且執(zhí)行第（4）步至第（8）步，直到獲得一個(gè)滿意的模型為 止。 第二章 系統(tǒng)辨識(shí) - 5 - 2.3 辨識(shí)的分類(lèi) 系統(tǒng)辨識(shí)的分類(lèi)方法很多，根據(jù)描述系統(tǒng)數(shù)學(xué)模型的不同可分為線性系統(tǒng) 和非線性系統(tǒng)辨識(shí)、集中參數(shù)系統(tǒng)和分布參數(shù)系統(tǒng)辨識(shí)；根據(jù)系統(tǒng)的結(jié)構(gòu)可分 為開(kāi)環(huán)系統(tǒng)與閉環(huán)系統(tǒng)辨識(shí)根據(jù)參數(shù)估計(jì)方法可分為離線辨識(shí)和在線辨識(shí)等。 另外還有經(jīng)典辨識(shí)與近代辨識(shí)、系統(tǒng)結(jié)構(gòu)辨識(shí)與系統(tǒng)參數(shù)辨識(shí)等分類(lèi)。 2.3.1 離線辨識(shí) 如果系統(tǒng)的模型結(jié)構(gòu)已經(jīng)選好，階數(shù)也確定，在獲得全部記錄數(shù)據(jù)之后， 用最小二乘法、極大似然法或其他估計(jì)方法，可對(duì)數(shù)據(jù)進(jìn)行集中處理后，得到 模型參數(shù)的估值，這種方法稱(chēng)為離線辨識(shí)。 離線辨識(shí)的優(yōu)點(diǎn)是參數(shù)估值的精度比較高，缺點(diǎn)是需要大量數(shù)據(jù)，要求計(jì) 算機(jī)有較大的存儲(chǔ)量，便使運(yùn)算量也比較大。 2.3.2 在線辨識(shí) 用在線辨識(shí)時(shí)，系統(tǒng)模型結(jié)構(gòu)和階數(shù)事先確定好的。當(dāng)獲得一部分輸入和 輸出數(shù)據(jù)后，馬上用最小二乘法、極大似然法或其他估計(jì)方法進(jìn)行處理，得到 模型參數(shù)的不大確定的估值。在獲得新的輸入輸出數(shù)據(jù)后，用遞推算法對(duì)原來(lái) 的參數(shù)估值進(jìn)行修正，得到參數(shù)的新估值。所以在線辨識(shí)要用到遞推最小二乘 法、遞推極大似然法或其他遞推估計(jì)計(jì)算法。 在線辨識(shí)的優(yōu)點(diǎn)時(shí)所要求的計(jì)算機(jī)存儲(chǔ)量較小，辨識(shí)計(jì)算時(shí)運(yùn)算量較小， 適合于進(jìn)行實(shí)時(shí)控制，缺點(diǎn)是參數(shù)估計(jì)的精度差一些，為了實(shí)現(xiàn)自適應(yīng)控制， 必須采用在線辨識(shí)，要求在很短時(shí)間內(nèi)把參數(shù)辨識(shí)出來(lái)，參數(shù)辨識(shí)所需的時(shí)間 只能占 1 個(gè)采樣周期的一小部分。 2.4 辨識(shí)的輸入信號(hào) 合理選擇辨識(shí)的輸入信號(hào)是獲得好的辨識(shí)結(jié)果關(guān)鍵之一。為了使系統(tǒng)是可 辨識(shí)的，輸入信號(hào)必須滿足一定條件，其最低要求是在辨識(shí)時(shí)間內(nèi)系統(tǒng)的動(dòng)態(tài) 必須被輸入信號(hào)持續(xù)激勵(lì)。也就是在實(shí)驗(yàn)期間輸入信號(hào)必須充分激勵(lì)系統(tǒng)的所 有模態(tài)。更進(jìn)一步，輸入信號(hào)的選擇應(yīng)能是給定模型辨識(shí)精度最高，這就引出 第二章 系統(tǒng)辨識(shí) - 6 - 了最優(yōu)輸入信號(hào)的設(shè)計(jì)問(wèn)題。 對(duì) D-最優(yōu)準(zhǔn)則有如下結(jié)論：如果模型結(jié)構(gòu)是正確的，且參數(shù)估計(jì)是無(wú)偏 最小方差估計(jì)，則參數(shù)估計(jì)值的精度通過(guò) Fisher 信息矩陣依賴于輸入信 M 號(hào)。最優(yōu)輸入信號(hào)是具有脈沖式自相關(guān)函數(shù)的信號(hào)，即 ku (2.1) N 1k ji , 0 ji , 1 jkuiku N 1 當(dāng) N 很大時(shí)，白噪聲或 M 序列可近似滿足要求；當(dāng)不大時(shí)，并非對(duì)所N 有的都能找到這種輸入信號(hào)。N 在具體工程應(yīng)用中，選擇輸入信號(hào)時(shí)還應(yīng)該考慮一下因素： （1） 輸入信號(hào)的功率或幅度不宜太大，防止使系統(tǒng)工作在非線性區(qū)，但 也不應(yīng)過(guò)小，以致信噪比太小，直接影響辨識(shí)精度。 （2） 輸入信號(hào)對(duì)系統(tǒng)的“凈擾動(dòng)”要小，即應(yīng)使正負(fù)向擾動(dòng)機(jī)會(huì)幾乎均 等。 （3） 工程上要便于實(shí)現(xiàn)，成本低。 2.4.1 白噪聲 白噪聲過(guò)程是一種最簡(jiǎn)單的隨機(jī)過(guò)程，是均值為 0，功率譜密度為非 0 常 數(shù)的平穩(wěn)隨機(jī)過(guò)程。 白噪聲過(guò)程定義：如果隨機(jī)過(guò)程的均值為 0，自相關(guān)函數(shù) t ttR 2 （2.2） 式中為狄拉克（Dirac）分布函數(shù)，即t (2.3) t 0, 0 0, t t 第二章 系統(tǒng)辨識(shí) - 7 - 且則稱(chēng)該隨機(jī)過(guò)程為白噪聲過(guò)程。 1dtt 由于的傅里葉變換為 1，可知白噪聲過(guò)程的平均功率普密度，即tt 2 (2.4) ,S 2 上式表明，白噪聲過(guò)程的功率在的全頻段均勻分布。基于這一特 點(diǎn)，人們借用工學(xué)中的白色光一詞，稱(chēng)這種噪聲為“白噪聲” 。 在實(shí)際應(yīng)用中，如果接近函數(shù)，如圖 2.1（b）所示，可近似認(rèn)為tRw 是白噪聲。在頻域上，這相當(dāng)于在有關(guān)過(guò)程的有用頻域帶內(nèi)，的平均twtw 功率接近均勻分布。 圖 2.1 （a）白噪聲過(guò)程 （b）近似的白噪聲過(guò)程 2.4.2 偽隨機(jī)二位式序列 偽隨機(jī)序列是一種很好的辨識(shí)輸入信號(hào)，它具有近似白噪聲的性質(zhì)，不僅 可以保證有較好的辨識(shí)效果，而且工程上又易于實(shí)現(xiàn)。 M 序列即二位式線性反饋移位寄存器序列，是偽隨機(jī)二位式序列最簡(jiǎn)單的 一種，它由帶有線性反饋邏輯電路的移位寄存器產(chǎn)生。它是一種離散二位式隨 機(jī)序列，所謂“二位式”是指每個(gè)隨機(jī)變量只有 2 種狀態(tài)。 可用多級(jí)線性反饋移位寄存器產(chǎn)生 M 序列。每級(jí)移位寄存器由雙穩(wěn)態(tài)觸發(fā) 器和門(mén)電路組成，稱(chēng)為 1 位，分別以 0 和 1 類(lèi)表示 2 種狀態(tài)。當(dāng)移位脈沖來(lái)到 第二章 系統(tǒng)辨識(shí) - 8 - 時(shí)，每位的內(nèi)容（0 或 1）移到下一位，最后一位（即第 n 位）移出的內(nèi)容即 為輸出。為了保持連續(xù)工作，將最后 2 級(jí)寄存器的內(nèi)容經(jīng)過(guò)適當(dāng)?shù)倪壿嬤\(yùn)算后 反饋到第 1 級(jí)寄存器作為輸入。例如，周期為 15 的 M 序列 111100010011010 一個(gè)周期的圖像為 2.2 所示，圖 2.3 為二電平 M 序列自相關(guān)函數(shù)圖像。 圖 2.2 長(zhǎng)度為 15 的二電平 M 序列 圖 2.3 二電平 M 序列自相關(guān)函數(shù) 2 a 第三章最小二乘法辨識(shí) - 9 - 第三章 最小二乘法辨識(shí) 3.1最小二乘法 最小二乘法是一種經(jīng)典的有效的數(shù)據(jù)處理方法。它是 1975 年高斯 （K.F.Guass）在預(yù)測(cè)行星和彗星運(yùn)動(dòng)的軌道時(shí)提出并實(shí)際應(yīng)用的。 最小二乘法是一種根據(jù)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行參數(shù)估計(jì)的主要算法。這種方法易被 理解，而且由于存在唯一解，所以也比較容易實(shí)現(xiàn)。它在統(tǒng)計(jì)文獻(xiàn)中還被稱(chēng)為 線性回歸法，在被某些辨識(shí)文獻(xiàn)中還被稱(chēng)為方程誤差法。 在系統(tǒng)辨識(shí)和參數(shù)估計(jì)領(lǐng)域中，最小二乘法是一種最基本的估計(jì)方法。它 能用于動(dòng)態(tài)系統(tǒng)，也能用于靜態(tài)系統(tǒng)；能用于線性系統(tǒng)，也能用于非線性系統(tǒng)； 能用于離線估計(jì)，也能用于在線估計(jì)。在隨機(jī)的環(huán)境下利用最小二乘法時(shí)，并 不要求知道觀測(cè)數(shù)據(jù)的概率統(tǒng)計(jì)信息，而用這種方法獲得的估計(jì)結(jié)果，卻有相 當(dāng)好的統(tǒng)計(jì)性質(zhì)。 辨識(shí)表達(dá)式 辨識(shí)模型 辨識(shí)算法 khkhTkz ke 圖 3.1 最小二乘法辨識(shí)系統(tǒng) 設(shè)單輸入-單輸出線性定常系統(tǒng)的差分方程為 (3.1) 3 , 2 , 1,101knkubkubnkxakxakxnn 式中：為輸入信號(hào)，為理論上的輸出值。只有通過(guò)觀測(cè)才能 ku kx kx 得到，在觀測(cè)過(guò)程中往往附加有隨機(jī)干擾。觀測(cè)值可表示為 kx ky 第三章最小二乘法辨識(shí) - 10 - (3.2) knkxky 式中為隨機(jī)干擾。由式 3.2 得 kn (3.3) knkykx 將式 3.3 帶入式 3.1 得 n i inniknaknnkubkubkubnkyakyaky 1 10111 (3.4) 我們可能不知道 的統(tǒng)計(jì)特性，在這種情況下，往往把 看做均值為 0 kn kn 的白噪聲。 設(shè) (3.5) n i iiknaknk 1 則式 3.4 可寫(xiě)成 knkubkubkubnkyakyakyakynn1211021 (3.6) 在測(cè)量 時(shí)也有測(cè)量誤差，系統(tǒng)內(nèi)部也有可能有噪聲，應(yīng)當(dāng)考慮它們的影 ku 響。因此假定 不僅包含了的測(cè)量誤差，而且包含了的測(cè)量誤差 k kx ku 和系統(tǒng)內(nèi)部噪聲。假定 是不相關(guān)隨機(jī)序列（實(shí)際上 是相關(guān)隨機(jī)序 k k 列）。 現(xiàn)分別測(cè)出+N 個(gè)輸出輸入值,則可寫(xiě)n NnuuuNnyyy,2,1,2,1 出 N 個(gè)方程，即 1111111021nubnubnubyanyanyanynn 22122121021nubnubnubyanyanyanynn nubnubnub yanyanyany n n 1 21 10 21 第三章最小二乘法辨識(shí) - 11 - 上述 N 個(gè)方程可寫(xiě)成向量-矩陣形式 = )( )2( 1 ny ny ny NuuuyNny unuyny unuyny 1 2221 111)( + (3.7) n n b b a a 0 1 Nn n n 2 1 設(shè) =，=，=y )( )2( 1 ny ny ny n 0 n 1 b b a a Nn n n 2 1 = NuuuyNny unuyny unuyny 1 2221 111)( 則式 3.7 可寫(xiě)為 (3.8)y 式中：為 N 維輸出向量；為 N 維噪聲向量,為（2n+1）維參數(shù)向量；y 為 N（2n+1）測(cè)量矩陣。因此式 3.8 是一個(gè)含有（2n+1）個(gè)未知參數(shù)，由 第三章最小二乘法辨識(shí) - 12 - N 個(gè)方程組成的聯(lián)立方程組。如果 N(2n+1),即方程數(shù)目大于未知數(shù)數(shù)目。這種情況下，不能用解 方程的辦法來(lái)求 ，而要采用數(shù)理統(tǒng)計(jì)的辦法，以便減少噪聲對(duì)估值的影響。 在給定輸出向量和測(cè)量矩陣 的條件下求系統(tǒng)參數(shù)的估值，這就是系統(tǒng)辨識(shí)y 問(wèn)題?？捎米钚《朔ɑ驑O大似然法來(lái)求的估值，在這里先討論最小二乘法 辨識(shí)估計(jì)。 3.2最小二乘估計(jì)算法 設(shè)表示的最優(yōu)值，表示的最優(yōu)估計(jì)值，則有 y y (3.11) y 式中 =， y Nny ny ny 2 1 n n b b a a 0 1 寫(xiě)出式（3.2.1）的某一行，則有 nkyakyakyaky n 21 21 nkub kub n0 ， (3.12) n 0i i n 1i i ikub iky a Nnnnk, 2, 1 第三章最小二乘法辨識(shí) - 13 - 設(shè)表示與之差，即)(ke)(ky)( ky kykyke)(ky )( 01 ikubikya n i i n i i kuzbzbbkyzaza n n n n 1 1 10 1 1 (3.13) Nnnnkkuzbkyza , 2, 1, )( 11 式中 n nz azaza 1 1 1 1 n nz bzbbzb 1 10 1 稱(chēng)為殘差。把分別代入式(3.13)可得殘差)(keNnnnk, 2, 1 。設(shè))(,),2(),1(Nnenene T Nnenenee)2(1 則 (3.14)yyye 最小二乘法估計(jì)要求殘差的平方和為最小，即按照指數(shù)函數(shù) (3.15) y yeeJ T T 為最小來(lái)確定估計(jì)。求對(duì)的偏導(dǎo)數(shù)并令其等于 0 可得J (3.16)0 y2 J T 由式（3.16）可得的最小二乘估計(jì) (3.17)y TT 1 為極小值的充分條件是J 0 2 2 T J （3.18） 第三章最小二乘法辨識(shí) - 14 - 即矩陣為正定矩陣，或者說(shuō)矩陣是非奇異的。TT 例：已知某單輸入單輸出線性系統(tǒng)的差分方程形式為 )() 1()() 1()( 101 kkubkubkyaky 但其參數(shù)為未知數(shù)，且為不相關(guān)的隨機(jī)序列。經(jīng)辨識(shí)實(shí)驗(yàn)，測(cè) 101 ,bba k 得 5 組數(shù)據(jù)為 u(1)=2.1 u(2)=-2.7 u(3)=0.8 u(4)=1.5 u(5)=-2.1 y(1)=0.3 y(2)=0.5 y(3)=-0.2 y(4)=0.6 y(5)=0.83 試求出其參數(shù)估計(jì)。 該矩陣的轉(zhuǎn)置為 5 . 18 . 07 . 21 . 2 1 . 25 . 18 . 07 . 2 6 . 02 . 05 . 03 . 0 T 兩者之積 59.1478 . 9 02 . 0 78 . 9 59.1497 . 1 02 . 0 97 . 1 74 . 0 T 為正定矩陣滿足殘差二次型取最小的充分條件，根據(jù)殘差二TeeJ T 次型取最小的必要條件 ,可得最優(yōu)參數(shù)估計(jì)為eeJ T 0 J y TT 1 于是 . 0 2151 . 0 4058 . 0 1110 . 0 0253 . 0 1701 . 0 5259 . 0 1126 . 1 1771 . 0 2578 . 1 1189 . 1 9783 . 0 0668 . 0 )( 1TT 最后求得 4569 . 0 3456 . 0 4826 . 1 第三章最小二乘法辨識(shí) - 15 - 即最優(yōu)參數(shù)估計(jì)為 4569 . 0 ,3456 . 0 ,4826 . 1 101 bba 3.3最小二乘估計(jì)的概率性質(zhì) 下面討論最小二乘估計(jì)的概率性質(zhì)估計(jì)的無(wú)偏性、一致性、有效性和漸 進(jìn)正態(tài)性問(wèn)題。 1）無(wú)偏性 由于輸出值是隨機(jī)的，所以是隨機(jī)的，但要注意到不是隨機(jī)值。如y 果 EE （3.19） 則稱(chēng)是的無(wú)偏估計(jì)。 如果式 3.20 中的是不想關(guān)隨機(jī)序列且其均值為 0（實(shí)際上 往往)(k)(k 是相關(guān)隨機(jī)序列），并假定序列與不相關(guān)。當(dāng)為不相關(guān)隨機(jī)序列)(k)(ku)(k 時(shí)，只與及其以前的有關(guān)，而與及其以后)(ky)(k),2(),1(kk) 1( k 的無(wú)關(guān)。從下列關(guān)系式也可看出與不相關(guān)且相互獨(dú)立，),3(),2(kk 即 )()2() 1 ( )()2() 1( )()2() 1 ( ) 1() 1()( Nuuu Nnununu Nyyy Nnynyny T )4( ) 3( )2( ) 1( n n n n （3.20） 由于與相互獨(dú)立，則式 3.22 給出的是的無(wú)偏估計(jì)。把式 3.8 代入式 3.18 得 T1TT1T )()()( 第三章最小二乘法辨識(shí) - 16 - （3.21） 對(duì)上式等號(hào)兩邊取數(shù)學(xué)期望得 )()( 11 EEEEE TTTT （3.22） 上式表明，是的無(wú)偏估計(jì)。 2）一致性 如果估計(jì)值具有一致性，表明估計(jì)值將以概率 1 收斂于真值，它是人們最 關(guān)心的一種性質(zhì)。 由式 3.21 得估計(jì)誤差為 (3.23) TT 1 )( 前面已假定是不相關(guān)隨機(jī)序列，設(shè) k (3.24) 2T 式中為 單位矩陣，則估計(jì)誤差的方差矩陣為 (3.25)Var 1 TTT 1 TT 由于為不相關(guān)隨機(jī)序列時(shí), 與 相互獨(dú)立，因而有 k (3.26)Var 1 T N 2T 1 T I 上式可以寫(xiě)為 (3.27)Var 1 2 1 T NN 考慮到式可得 (3.28), 0lim lim 1 2 RVar N 式 3.28 表明，當(dāng) 時(shí)，以概率 1 趨近。因此當(dāng)為不相關(guān)隨)(k 機(jī)序列時(shí)，最小二乘估計(jì)具有無(wú)偏性和一致性。如果系統(tǒng)的參數(shù)估計(jì)具有這種 第三章最小二乘法辨識(shí) - 17 - 特性，就稱(chēng)系統(tǒng)具有可辨識(shí)性。 例：考慮如下系統(tǒng) )()4(5 . 0) 3()2(7 . 0) 1(5 . 1)(kkukukykyky 式中，為方差為 1 的白噪聲。)(k 選用幅值為 1 的逆 M 序列作為輸入信號(hào)，利用 LS 算法進(jìn)行參數(shù)估計(jì)，)(ku 仿真結(jié)果如表 2.1 所示 表 3.1 最小二法的參數(shù)估計(jì)結(jié)果 參數(shù) 1 a 2 a 0 b 1 b 真值-1.5 0.7 1.0 0.5 估計(jì)值 -1.54090.7126 1.02770.5629 仿真程序如下: a=1 -1.5 0.7;b=1 0.5;d=3; %對(duì)象參數(shù) na=length(a)-1;nb=length(b)-1; % na nb 為 A B階次 L=500; %數(shù)據(jù)長(zhǎng)度 uk=zeros(d+nb,1); %輸入初值：uk(i)表示 u(k-i) yk=zeros(na,1); %輸出初值 x1=1;x2=1;x3=1;x4=0;S=1; %移位寄存器初值、方波初值 xi=randn(L,1); %白噪聲序列 theta=a(2:na+1);b; %對(duì)象參數(shù)真值 for k=1:L phi(k,:)=-yk;uk(d:d+nb); %phi(k,:)為行向量，便于組成 phi 矩陣 y(k)=phi(k,:)*theta+xi(k); %采集輸出數(shù)據(jù) IM=xor(S,x4); %產(chǎn)生逆 M 序列 if IM=0 第三章最小二乘法辨識(shí) - 18 - u(k)=-1; else u(k)=1; end S=not(S);M=xor(x3,x4); %產(chǎn)生 M 序列 %更新數(shù)據(jù) x4=x3;x3=x2;x2=x1;x1=M; for i=d+nb:-1:2 uk(i)=uk(i-1); end uk(1)=u(k); for i=na:-1:2 yk(i)=yk(i-1); end yk(1)=y(k); end thetae=inv(phi*phi)*phi*y thetae = %計(jì)算參數(shù)估值 thetae -1.5439 0.7359 1.0529 0.4574 最小二乘算法原理簡(jiǎn)單、便于理解，因此在系統(tǒng)辨識(shí)領(lǐng)域中有著十分廣泛 第三章最小二乘法辨識(shí) - 19 - 的應(yīng)用借助MATLAB這個(gè)運(yùn)算功能強(qiáng)大的辨識(shí)工具，就可以方便快捷地實(shí)現(xiàn) 這一算法，從而使得整個(gè)系統(tǒng)建模和參數(shù)辨識(shí)的過(guò)程變得輕松易行。 第四章 基于神經(jīng)網(wǎng)絡(luò)的系統(tǒng)辨識(shí) - 20 - 第四章 基于神經(jīng)網(wǎng)絡(luò)的系統(tǒng)辨識(shí) 4.1神經(jīng)網(wǎng)絡(luò)的簡(jiǎn)介 很多實(shí)際系統(tǒng)是非線性系統(tǒng)，并且系統(tǒng)的模型結(jié)構(gòu)難以確定，目前，相對(duì) 于線性系統(tǒng)模型，適用于非線性系統(tǒng)辨識(shí)的模型還比較有限，除了非線性 ARX 模型和 Hammerstein-Wiener 模型外，人工神經(jīng)元網(wǎng)絡(luò)（Artificial Neural Network,ANN）簡(jiǎn)稱(chēng)神經(jīng)網(wǎng)絡(luò)，也是一類(lèi)重要的非線性模型。神經(jīng)網(wǎng)絡(luò)是從微 觀結(jié)構(gòu)與功能上對(duì)人腦神經(jīng)系統(tǒng)的模擬，由簡(jiǎn)單信息處理單元（人工神經(jīng)元） 互聯(lián)組成，能接受并處理信息，產(chǎn)生輸出，通過(guò)把問(wèn)題表達(dá)成處理單元之間的 連接權(quán)重，整個(gè)網(wǎng)絡(luò)的信息處理由處理單元之間的相互作用來(lái)實(shí)現(xiàn)。這種信息 處理的機(jī)制稱(chēng)為聯(lián)結(jié)機(jī)制。神經(jīng)網(wǎng)絡(luò)模擬人腦的信息處理機(jī)制，因此具有類(lèi)似 于人腦信息處理的一些特征，如并行信息、學(xué)習(xí)、聯(lián)想、記憶、非線性等。神 經(jīng)網(wǎng)絡(luò)的一些特征對(duì)系統(tǒng)辨識(shí)特別有用。 （1）能逼近任意逼近 范數(shù)上的非線性函數(shù)。這就決定了神經(jīng)網(wǎng)絡(luò)可以作 為系統(tǒng)辨識(shí)中線性和非線性模型類(lèi)。 （2）能夠進(jìn)行學(xué)習(xí)，適應(yīng)環(huán)境變化。這就是使神經(jīng)網(wǎng)絡(luò)模型能夠用于在 線系統(tǒng)辨識(shí)，能夠跟蹤時(shí)變參數(shù)系統(tǒng)。 （3）能夠十分方便的處理多輸入、多輸出的情況。這對(duì)于多變量系統(tǒng)辨 識(shí)十分有利。 （4）可以使用大規(guī)模集成電路（VLSI）或者軟件 實(shí)現(xiàn)，十分方便用于計(jì) 算機(jī)控制系統(tǒng)，工程應(yīng)用也十分方便。 4.1.1 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和類(lèi)型 神經(jīng)網(wǎng)絡(luò)有許多并行運(yùn)算、功能簡(jiǎn)單的單元組成，這些類(lèi)似于生物神經(jīng)系 統(tǒng)的單元。神經(jīng)網(wǎng)絡(luò)是一個(gè)非線性動(dòng)力學(xué)系統(tǒng)，它的特點(diǎn)表現(xiàn)在信息的分布式 存儲(chǔ)和并行協(xié)調(diào)處理。雖然單個(gè)神經(jīng)元的結(jié)構(gòu)非常簡(jiǎn)單，功能有限，但許多神 經(jīng)元構(gòu)成的網(wǎng)絡(luò)系統(tǒng)所能實(shí)現(xiàn)的行為卻豐富多彩的。除此以外，它還具有很強(qiáng) 的容錯(cuò)性和魯棒性，善于聯(lián)系、綜合和推廣。 第四章 基于神經(jīng)網(wǎng)絡(luò)的系統(tǒng)辨識(shí) - 21 - 一般而言，神經(jīng)網(wǎng)絡(luò)是一個(gè)并行和分布式的信息處理網(wǎng)絡(luò)結(jié)構(gòu)，它一般由 許多個(gè)神經(jīng)元組成，每個(gè)神經(jīng)元有一個(gè)輸出，它可以連接到很多其它神經(jīng)元， 每一個(gè)神經(jīng)元輸入有多個(gè)連接通路，每一個(gè)連接通路對(duì)應(yīng)一個(gè)連接權(quán)系數(shù)。 嚴(yán)格地說(shuō)，神經(jīng)網(wǎng)絡(luò)是一個(gè)具有下列性質(zhì)的有向圖： （1）每個(gè)節(jié)點(diǎn)有一個(gè)狀態(tài)變量；jx （2）節(jié)點(diǎn) 到節(jié)點(diǎn)有一個(gè)連接權(quán)系數(shù)；ijji （3）每一個(gè)節(jié)點(diǎn)有一個(gè)閾值；j （4）每一個(gè)節(jié)點(diǎn)定義一個(gè)變換函數(shù)，最常見(jiàn)的情形為jixfjjiij, i jijixf 也稱(chēng)傳遞函數(shù)，模擬神經(jīng)元對(duì)輸入的非線性響應(yīng)。 j fjiwx jjii , 神經(jīng)元的非線性函數(shù)一般取為二值函數(shù)、S 型函數(shù)或雙曲正切函數(shù)。 二值函數(shù)： (4.1) 0, 0 0, 1 x x xf S 型函數(shù) (4.2) 10 , 1 1 2 xf e xf x 雙曲正切函數(shù) (4.3) 11, 1 1 xf e e xf x x 神經(jīng)網(wǎng)絡(luò)模型眾多，它們是從不同方面對(duì)生物神經(jīng)系統(tǒng)不同層次的描述和 模擬，代表性的網(wǎng)絡(luò)模型有感知器、反向傳播神經(jīng)網(wǎng)絡(luò)，Back-Propagation Neural Networks、REF 網(wǎng)絡(luò)、雙向聯(lián)想記憶（BAM）Hopfield 模型等。利用這 些網(wǎng)絡(luò)模型可實(shí)現(xiàn)函數(shù)逼近、數(shù)據(jù)聚類(lèi)、模式分類(lèi)、優(yōu)化計(jì)算等功能。因此， 神經(jīng)網(wǎng)絡(luò)廣泛應(yīng)用于人工智能、自動(dòng)控制、機(jī)器人、統(tǒng)計(jì)學(xué)及系統(tǒng)辨識(shí)等領(lǐng)域 的信息處理中。 第四章 基于神經(jīng)網(wǎng)絡(luò)的系統(tǒng)辨識(shí) - 22 - 4.2 BP網(wǎng)絡(luò)辨識(shí) 下面我們先介紹一些神經(jīng)網(wǎng)絡(luò)辨識(shí)的基本方法。 基于神經(jīng)網(wǎng)絡(luò)的系統(tǒng)辨識(shí)，就是用神經(jīng)網(wǎng)絡(luò)作為被辨識(shí)系統(tǒng)的正或逆模型， 并且采用學(xué)習(xí)、訓(xùn)練的方法從數(shù)據(jù)中建立系統(tǒng)模型，也可稱(chēng)為神經(jīng)網(wǎng)絡(luò)建模， 可以實(shí)現(xiàn)對(duì)線性和非線性系統(tǒng)、靜態(tài)與動(dòng)態(tài)系統(tǒng)進(jìn)行在線或非離線辨識(shí)。 神經(jīng)網(wǎng)絡(luò)用于系統(tǒng)辨識(shí)有兩種工作模式：離線辨識(shí)和在線辨識(shí)。離線辨識(shí) 是在系統(tǒng)正式工作之前，利用系統(tǒng)已經(jīng)采集的輸入/輸出數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)， 得到一個(gè)神經(jīng)網(wǎng)絡(luò)的系統(tǒng)模型。線性辨識(shí)是在系統(tǒng)工作過(guò)程中，實(shí)時(shí)采集系統(tǒng) 的輸入/輸出,完成系統(tǒng)辨識(shí)，并且根據(jù)當(dāng)前模型進(jìn)行系統(tǒng)控制，對(duì)辨識(shí)的實(shí)時(shí) 性要求較高。在初始階段，在線辨識(shí)模型輸入數(shù)據(jù)較少，得到的辨識(shí)模型不準(zhǔn) 確，對(duì)系統(tǒng)的行為還缺乏準(zhǔn)確的預(yù)測(cè)能力，可能會(huì)導(dǎo)致控制失敗，系統(tǒng)不穩(wěn)。 離線辨識(shí)只能根據(jù)已有數(shù)據(jù)來(lái)辨識(shí)系統(tǒng)模型，對(duì)于時(shí)變參數(shù)的問(wèn)題還是無(wú)能為 力，但是由于不受實(shí)時(shí)性的限制，可以處理大批量的數(shù)據(jù)，計(jì)算復(fù)雜的要求相 對(duì)較低。在用于控制和預(yù)測(cè)時(shí)，由于得到一個(gè)比較好的模型，所以不存在初始 階段的過(guò)渡問(wèn)題。一種更好的方法是將兩者結(jié)合，利用離線不辨識(shí)得到一個(gè)初 始模型，然后利用在線辨識(shí)更新模型，不斷適應(yīng)受控對(duì)象的變化。 被辨識(shí)系統(tǒng) 延時(shí) 神經(jīng)網(wǎng)絡(luò)辨識(shí)器 ku ke ky 4.1神經(jīng)網(wǎng)絡(luò)辨識(shí)系統(tǒng)框圖 單個(gè)神經(jīng)元的功能是有限的，人腦通過(guò)將大量神經(jīng)元連接起來(lái)，協(xié)同工作， 可以完成非常復(fù)雜的功能，人工神經(jīng)網(wǎng)絡(luò)也借鑒了這一點(diǎn)。當(dāng)然，神經(jīng)網(wǎng)絡(luò)不 第四章 基于神經(jīng)網(wǎng)絡(luò)的系統(tǒng)辨識(shí) - 23 - 是將所有的神經(jīng)元都連接在一起，而是由一定的拓?fù)浣Y(jié)構(gòu)，在這樣的結(jié)構(gòu)下， 神經(jīng)網(wǎng)絡(luò)的“學(xué)習(xí)”才會(huì)更加有效，實(shí)現(xiàn)起來(lái)更加容易。 對(duì)于任意非線性系統(tǒng)，其中， 為輸入矢量， exfy T n xxxx 21 為輸出矢量，為非線性函數(shù)， 為系統(tǒng)噪聲 T n yyyy 21 fe 前饋網(wǎng)絡(luò)通常有多層結(jié)構(gòu)，至少三層。第一層稱(chēng)為輸入層，第二層稱(chēng)為隱 藏層，第三層為輸出層。一個(gè)三層結(jié)構(gòu)的前饋網(wǎng)絡(luò)-BP 網(wǎng)絡(luò)如圖 4.2 所示。圖 中輸入層個(gè)單元的輸出端，并不做運(yùn)算。各單元的連接方式如圖 4.2 所示。各 層各個(gè)單元的輸出都直接與緊接的下一層各單元輸入相連接。由于層與層之間 不存在反饋，所以這種連接方式的網(wǎng)絡(luò)被稱(chēng)之為前饋網(wǎng)絡(luò)。 1 x 2 x m x 1 j 2 1 y 2 y 3 y k x kj ji ji 4.2 BP 網(wǎng)絡(luò)結(jié)構(gòu)圖 在采用多層次前饋網(wǎng)絡(luò)進(jìn)行系統(tǒng)辨識(shí)時(shí)，首先要考慮的問(wèn)題就是網(wǎng)絡(luò)結(jié)構(gòu) 的設(shè)計(jì)問(wèn)題。一般地，含有一個(gè)隱含層的前饋網(wǎng)絡(luò)就可以逼近任意有界連續(xù)非 線性函數(shù)，因此，隱含層一般選為一層即可。各層的神經(jīng)元可按下面的原則選 取。 （1）輸入層 I:設(shè) n、m 分別為、的階次，為輸入層神經(jīng)元個(gè) kx ky I n 數(shù)，則。1mnnI （2）隱含層 H:目前，隱含層神經(jīng)元個(gè)數(shù)的確定目前尚無(wú)確定的理論指 H n 第四章 基于神經(jīng)網(wǎng)絡(luò)的系統(tǒng)辨識(shí) - 24 - 導(dǎo)，但在網(wǎng)絡(luò)應(yīng)用于辨識(shí)時(shí)，可按下式選?。旱淖詈蟠_定可在選擇 HIH nnn, 不同的神經(jīng)元個(gè)數(shù)，比較其性能指標(biāo)大小的基礎(chǔ)上，確定一個(gè)計(jì)算量和辨識(shí)精 度都能滿足要求的。 H n （3）輸出層 O:該層神經(jīng)元的個(gè)數(shù)為待辨識(shí)系統(tǒng)的輸出層神經(jīng)元個(gè)數(shù)。 O n 確定網(wǎng)絡(luò)的結(jié)構(gòu)之后，需再確定網(wǎng)絡(luò)的權(quán)值和閾值。設(shè)采集到 L 對(duì)測(cè)量 值，其中，為維矢量，是維矢量。當(dāng)?shù)?個(gè)輸入數(shù) Lttxty,2 , 1;,ynxmt 據(jù)送入神經(jīng)網(wǎng)絡(luò)時(shí)，網(wǎng)絡(luò)相應(yīng)的輸出記為txtxtxtx m , 21 ；隱含單元的狀態(tài)記為。下面以tytytyty n , 21 pjt j , 2 , 1 表示輸出層、隱含層和輸入層有關(guān)參數(shù)、變量的標(biāo)記。并且，從隱含層到kji, 輸出層的權(quán)值記為，表示中間層第個(gè)單元向輸出層第 個(gè)單元的連接權(quán)； ji ji 從輸入層到隱含層的的權(quán)值記為，表示輸入層第個(gè)單元向輸出層第個(gè)單 kj kj 元的連接權(quán)?；谏窠?jīng)網(wǎng)絡(luò)的辨識(shí)就是要輸入輸出數(shù)據(jù)確定這些權(quán)值。 BP 網(wǎng)絡(luò)是種前饋網(wǎng)絡(luò)，它在非線性分類(lèi)和高維非線性輸入到輸出映射等 方面有著十分廣泛的應(yīng)用。為了掌握它的工作原理，需透徹了解建立在人工神 經(jīng)網(wǎng)絡(luò)基礎(chǔ)理論上的 BP 算法，即稱(chēng)之為“誤差反向傳播算法” 。 如何決定各連接權(quán)值的過(guò)程，因此實(shí)際上是已知輸入輸出，如何確 ijkj , 定系統(tǒng)內(nèi)各參數(shù)，此即系統(tǒng)的辨識(shí)問(wèn)題。 對(duì)第 t 個(gè)輸入數(shù)據(jù)，隱含單元 j 的輸入為 (4.4)txth k k kjj 相應(yīng)的輸出狀態(tài)為 (4.5) txfthft k kkjjj 輸出單元 所接受的疊加信號(hào)為i (4.6) k kkj j jij j jii txftHth 網(wǎng)絡(luò)的最終輸出為 (4.7) jk kkjji j jjiii txfftfthfty 第四章 基于神經(jīng)網(wǎng)絡(luò)的系統(tǒng)辨識(shí) - 25 - 對(duì)任何確定的輸入，輸出時(shí)所有權(quán)值的函數(shù)。最優(yōu)權(quán)值應(yīng)使得神經(jīng)網(wǎng) kjji , 絡(luò)的輸出與實(shí)際系統(tǒng)的輸出之間誤差平方和最小，即 ti ii tytyWJ , 2 2 1 (4.8) 2 t , ijk kkjjii txffty 2 1 BP 算法是一種梯度法，也稱(chēng)為最速下降法，這是一種迭代算法。即從一個(gè) 初始點(diǎn)出發(fā)，計(jì)算在點(diǎn)的負(fù)梯度方向，只要，就可 0 0 )( 0 0)( 0 延該方向移動(dòng)一小段距離，達(dá)到一個(gè)新的點(diǎn)，是一個(gè)正參)( 001 E 數(shù)，只要足夠小，定能保證。不斷重復(fù)這一過(guò)程，直到達(dá)到一)()( 01 EE 個(gè)極小值點(diǎn)。 對(duì)于隱層單元到輸出單元的權(quán)而言，最速下降法給出的每一步修正量為 ji (4.9) tt iiiiii ji ji tttHthftyty J 式中 (4.10) tytythft iiii 迭代后的值為ji (4.11) jiji ji 對(duì)于輸入單元到隱層單元的權(quán)而言，有 jk kj i ikj kj t t JJ it kjjiiii txthfthftyty , it kjjii txthft , (4.12) t kj txt 式中 (4.13) i jiiij tthft 迭代后的值為kj 第四章 基于神經(jīng)網(wǎng)絡(luò)的系統(tǒng)辨識(shí) - 26 - (4.14) kjkj kj 從上可以看出，所有權(quán)值的修正量都有如下形式： (4.15) t qppq tvt 因?yàn)橛蓪?shí)際輸出與理想輸出的差