第十三章梯度校正參數(shù)辯識方法

1、第第1212章章 其他辨識方法其他辨識方法1第十三章梯度校正參數(shù)辯識方法12.1 梯度校正參數(shù)辯識方法梯度校正參數(shù)辯識方法2第十三章梯度校正參數(shù)辯識方法引言引言 最小二乘類參數(shù)辯識遞推算法最小二乘類參數(shù)辯識遞推算法 新的參數(shù)估計值新的參數(shù)估計值=老的參數(shù)估計值老的參數(shù)估計值+增益矩陣增益矩陣 新息新息 梯度校正參數(shù)辯識方法（簡稱梯度校正法）梯度校正參數(shù)辯識方法（簡稱梯度校正法） 遞推算法同樣具有遞推算法同樣具有 的結構的結構 基本原理不同于最小二乘類方法基本原理不同于最小二乘類方法 基本做法基本做法 沿著準則函數(shù)的負梯度方向，逐步修正模沿著準則函數(shù)的負梯度方向，逐步修正模型參數(shù)估計值，直至準則

2、函數(shù)達到最小值。型參數(shù)估計值，直至準則函數(shù)達到最小值。3第十三章梯度校正參數(shù)辯識方法主要內(nèi)容主要內(nèi)容 確定性問題的梯度校正參數(shù)辯識方法確定性問題的梯度校正參數(shù)辯識方法 隨機性問題的梯度校正參數(shù)辯識方法隨機性問題的梯度校正參數(shù)辯識方法 隨機逼近法隨機逼近法4第十三章梯度校正參數(shù)辯識方法確定性問題的梯度校正參數(shù)辯識方法確定性問題的梯度校正參數(shù)辯識方法 設過程的輸出設過程的輸出 參數(shù)參數(shù) 的線性組合的線性組合 如果輸出如果輸出 和輸入和輸入 是可以是可以準確測量的，則準確測量的，則 式過程稱作確定性過程式過程稱作確定性過程)(tyN,21NNthththty)()()()(2211)(ty)(,),

3、(),(21thththN5第十三章梯度校正參數(shù)辯識方法0 確定性過程確定性過程 置置( )h kNNthththth,)(,),(),()(2121過程過程 ( )y k6第十三章梯度校正參數(shù)辯識方法 若過程參數(shù)的真值記作若過程參數(shù)的真值記作 則則 在離散時間點可寫成在離散時間點可寫成 其中其中00)()(thty0)()(khky)(,),(),()(21khkhkhkhN7第十三章梯度校正參數(shù)辯識方法 例如例如 用差分方程描述的確定性過程用差分方程描述的確定性過程 可以化成可以化成)() 1()(1nkyakyakyn)() 1(1nkubkubnnnbbbaaankukunkykykh

4、,)(,),1(),(,),1()(21218第十三章梯度校正參數(shù)辯識方法 現(xiàn)在的問題現(xiàn)在的問題 如何利用輸入輸出數(shù)據(jù)如何利用輸入輸出數(shù)據(jù) 和和 確定參數(shù)確定參數(shù) 在在 時刻的估計值時刻的估計值 使準則函數(shù)使準則函數(shù) 式中式中)(kh)(kyk)(kmin| ),(21| )()(2)(kkkJ)()(),(khkyk9第十三章梯度校正參數(shù)辯識方法 解決上述問題的方法解決上述問題的方法 可以是梯度校正法，通俗地說最速下降法可以是梯度校正法，通俗地說最速下降法 沿著沿著 的負梯度方向不斷修正的負梯度方向不斷修正 值值 直至直至 達到最小值達到最小值)(J)(k)(J10第十三章梯度校正參數(shù)辯識方

5、法 數(shù)學表達式數(shù)學表達式 - 維的對稱陣，稱作加權陣維的對稱陣，稱作加權陣 - 準則函數(shù)準則函數(shù) 關于關于 的梯度的梯度)(|)()()() 1(kJgradkRkk)(Jgrad)(kRN)(J11第十三章梯度校正參數(shù)辯識方法 當準則函數(shù)當準則函數(shù) 取取 式時式時)(J)(2)(),(21|)(kkkddJgrad)(),(khkk)()()()(khkkhky12第十三章梯度校正參數(shù)辯識方法 式可寫成式可寫成 - - 確定性問題的確定性問題的梯度校正參數(shù)估計遞推公式梯度校正參數(shù)估計遞推公式 其中權矩陣的選擇至關重要其中權矩陣的選擇至關重要)()()()()()() 1(kkhkykhkRk

6、k13第十三章梯度校正參數(shù)辯識方法隨機性問題的梯度校正參數(shù)辯識方法隨機性問題的梯度校正參數(shù)辯識方法 隨機性問題的提法隨機性問題的提法 確定性問題的梯度校正法與其他辯識方法相比確定性問題的梯度校正法與其他辯識方法相比 最大的優(yōu)點：計算簡單最大的優(yōu)點：計算簡單 缺點：如果過程的輸入輸出含有噪聲，這種方法不能用缺點：如果過程的輸入輸出含有噪聲，這種方法不能用 隨機性問題的梯度校正法隨機性問題的梯度校正法 特點：計算簡單，可用于在線實時辯識特點：計算簡單，可用于在線實時辯識 缺陷：事先必須知道噪聲的一階矩和二階矩統(tǒng)計特性缺陷：事先必須知道噪聲的一階矩和二階矩統(tǒng)計特性14第十三章梯度校正參數(shù)辯識方法 隨

7、機性問題隨機性問題15第十三章梯度校正參數(shù)辯識方法 設過程的輸出設過程的輸出 模型參數(shù)模型參數(shù) 的線性組合的線性組合 輸入輸出數(shù)據(jù)含有測量噪聲輸入輸出數(shù)據(jù)含有測量噪聲)(kyN,21NNkhkhkhky)()()()(2211Nikskhkxkwkykziii, 2 , 1),()()()()()(16第十三章梯度校正參數(shù)辯識方法 其中其中 和和 為零均值的不相關隨機噪聲為零均值的不相關隨機噪聲)(kw)(ksijijiksksEsiii, 0,)()(217第十三章梯度校正參數(shù)辯識方法 置置 則則NNNNkskskskskhkhkhkhkxkxkxkx,)(,),(),()()(,),(),

8、()()(,),(),()(21212121)()()()()()(kwkhkzkskhkx18第十三章梯度校正參數(shù)辯識方法 現(xiàn)在的問題現(xiàn)在的問題 利用輸入輸出數(shù)據(jù)利用輸入輸出數(shù)據(jù) 和和 確定參數(shù)確定參數(shù) 在在 時刻的估計值時刻的估計值 使準則函數(shù)使準則函數(shù) 其中其中)(kx)(kzk)(kmin| ),(21| )()(2)(kkkJ)()(),(kxkzk19第十三章梯度校正參數(shù)辯識方法隨機逼近法隨機逼近法 隨機逼近法隨機逼近法 梯度校正法的一種類型梯度校正法的一種類型 頗受重視的參數(shù)估計方法頗受重視的參數(shù)估計方法20第十三章梯度校正參數(shù)辯識方法隨機逼近原理隨機逼近原理 考慮如下模型的辯識

9、問題考慮如下模型的辯識問題 - 均值為零的噪聲均值為零的噪聲 模型的參數(shù)辯識模型的參數(shù)辯識 通過極小化通過極小化 的方差來實現(xiàn)的方差來實現(xiàn) 即求參數(shù)即求參數(shù) 的估計值使下列準則函數(shù)達到極小值的估計值使下列準則函數(shù)達到極小值)()()(kekhkz)(ke)(ke)()(21)(21)(22khkzEkeEJ21第十三章梯度校正參數(shù)辯識方法 準則函數(shù)的一階負梯度準則函數(shù)的一階負梯度 令其梯度為零令其梯度為零)()()()(khkzkhEJ ( ) ( )( ) 0E h kz kh k 22第十三章梯度校正參數(shù)辯識方法 原則上原則上 由由 式可以求得使式可以求得使 的參數(shù)估計值的參數(shù)估計值 但，

10、因為但，因為 的統(tǒng)計性質(zhì)不知道的統(tǒng)計性質(zhì)不知道 因此因此 式實際上還是無法解的式實際上還是無法解的min)(J)(ke23第十三章梯度校正參數(shù)辯識方法 如果如果 式左邊的數(shù)學期望用平均值來近似式左邊的數(shù)學期望用平均值來近似 則有則有 這種近似使問題退化成最小二乘問題這種近似使問題退化成最小二乘問題0)()()(11LkkhkzkhLLkLkkzkhkhkh111)()()()(24第十三章梯度校正參數(shù)辯識方法 研究研究 式的隨機逼近法解式的隨機逼近法解設設 是標量，是標量， 是對應的隨機變量是對應的隨機變量 是是 條件下條件下 的概率密度函數(shù)的概率密度函數(shù)則隨機變量則隨機變量 關于關于 的條件

11、數(shù)學期望為的條件數(shù)學期望為 記作記作 它是它是 的函數(shù)，稱作回歸函數(shù)的函數(shù)，稱作回歸函數(shù)x)(xy)|(xyPxyyx)|(|xyydpxyE|)(xyExhx25第十三章梯度校正參數(shù)辯識方法 對于給定的對于給定的 設下列方程，具有唯一的解設下列方程，具有唯一的解 當當 函數(shù)的形式及條件概率密度函數(shù)函數(shù)的形式及條件概率密度函數(shù) 都不都不知道時知道時 求下列方程的解釋是困難的求下列方程的解釋是困難的 可以利用可以利用隨機逼近法求解隨機逼近法求解|)(xyExh)(xh)|(xyP01 .PWLLS26第十三章梯度校正參數(shù)辯識方法 隨機逼近法隨機逼近法利用變量利用變量 及其對應的隨機變量及其對應的

12、隨機變量通過迭代計算通過迭代計算逐步逼近方程逐步逼近方程 式的解式的解,21xx),(),(21xyxy27第十三章梯度校正參數(shù)辯識方法 常用的常用的迭代算法迭代算法Robbins Monro Robbins Monro 算法算法Kiefer Wolfowitz Kiefer Wolfowitz 算法算法28第十三章梯度校正參數(shù)辯識方法12.2 極大似然法和預報誤差方法極大似然法和預報誤差方法29第十三章梯度校正參數(shù)辯識方法引言引言 極大似然法極大似然法 一種非常有用的傳統(tǒng)估計方法一種非常有用的傳統(tǒng)估計方法由由 FisherFisher 發(fā)展起來的發(fā)展起來的 基本思想可追溯到高斯基本思想可追溯

13、到高斯（1809 1809 年）年）用于動態(tài)過程辯識可以獲得良好的估計性質(zhì)用于動態(tài)過程辯識可以獲得良好的估計性質(zhì)30第十三章梯度校正參數(shù)辯識方法 最小二乘法和梯度校正法最小二乘法和梯度校正法 計算簡單計算簡單 參數(shù)估計具有優(yōu)良的統(tǒng)計性質(zhì)參數(shù)估計具有優(yōu)良的統(tǒng)計性質(zhì) 噪聲的先驗知識要求也不高噪聲的先驗知識要求也不高 極大似然法極大似然法 基本思想與最小二乘法和梯度校正法完全不同基本思想與最小二乘法和梯度校正法完全不同31第十三章梯度校正參數(shù)辯識方法 極大似然法極大似然法 需要構造一個以數(shù)據(jù)和未知參數(shù)為自變量的似然函數(shù)需要構造一個以數(shù)據(jù)和未知參數(shù)為自變量的似然函數(shù) 通過極大化似然函數(shù)獲得模型的參數(shù)估

14、計值通過極大化似然函數(shù)獲得模型的參數(shù)估計值32第十三章梯度校正參數(shù)辯識方法 意味著意味著 模型輸出的概率分布將最大可能地逼近實際過程輸出模型輸出的概率分布將最大可能地逼近實際過程輸出的概率分布的概率分布 通常要求具有能夠?qū)懗鲚敵隽康臈l件概率密度函數(shù)的通常要求具有能夠?qū)懗鲚敵隽康臈l件概率密度函數(shù)的先驗知識先驗知識 獨立觀測的條件下，必須知道輸出量的概率分布獨立觀測的條件下，必須知道輸出量的概率分布 在序貫觀測的條件下，需要確定基于在序貫觀測的條件下，需要確定基于 時刻以前的時刻以前的數(shù)據(jù)在數(shù)據(jù)在 時刻輸出量的條件概率分布時刻輸出量的條件概率分布k) 1( k33第十三章梯度校正參數(shù)辯識方法 預報

15、誤差方法預報誤差方法 需要事先確定一個預報誤差準則函數(shù)需要事先確定一個預報誤差準則函數(shù) 利用預報誤差的信息來確定模型的參數(shù)利用預報誤差的信息來確定模型的參數(shù) 某種意義上某種意義上 與極大似然法等價的與極大似然法等價的 或極大似然法的一種推廣或極大似然法的一種推廣34第十三章梯度校正參數(shù)辯識方法 極大似然法和預報誤差方法極大似然法和預報誤差方法 優(yōu)點：參數(shù)估計量具有良好的漸近性質(zhì)優(yōu)點：參數(shù)估計量具有良好的漸近性質(zhì) 缺點：計算量比較大缺點：計算量比較大35第十三章梯度校正參數(shù)辯識方法極大似然原理極大似然原理 設設 是一個隨機變量是一個隨機變量在參數(shù)在參數(shù) 條件下條件下 的概率密度函數(shù)為的概率密度函

16、數(shù)為 的的 個觀測值構成一個隨機序列個觀測值構成一個隨機序列 個觀測值記作個觀測值記作 則則 的聯(lián)合概率密度為的聯(lián)合概率密度為 的極大似然估計就是使的極大似然估計就是使 的參的參數(shù)估計值數(shù)估計值z)|(zpzLz)(kzL)(,),2(),1 (LzzzzLLz)|(Lzpmax| )|(MLLzp36第十三章梯度校正參數(shù)辯識方法 即有即有 或或0)|(MLLzp0)|(logMLLzp37第十三章梯度校正參數(shù)辯識方法 對一組確定的數(shù)據(jù)對一組確定的數(shù)據(jù) 只是參數(shù)只是參數(shù) 的函數(shù)的函數(shù)已不再是概率密度函數(shù)已不再是概率密度函數(shù) 這時的這時的 稱作稱作 的的似然函數(shù)似然函數(shù) 以示區(qū)別有時記作以示區(qū)別

17、有時記作概率密度函數(shù)和似然函數(shù)有著不同的物理意義概率密度函數(shù)和似然函數(shù)有著不同的物理意義 但數(shù)學表達式是一致的但數(shù)學表達式是一致的Lz)|(Lzp)|(Lzp)|(LzL)|()|(LLzpzL38第十三章梯度校正參數(shù)辯識方法 極大似然原理的數(shù)學表現(xiàn)極大似然原理的數(shù)學表現(xiàn) 或或 - - 對數(shù)對數(shù)似然函數(shù)似然函數(shù) - - 極大似然參數(shù)估計值極大似然參數(shù)估計值 使得使得似然函數(shù)或似然函數(shù)或?qū)?shù)對數(shù)似然函數(shù)達到最大值似然函數(shù)達到最大值0)|(MLLzL0)|(logMLLzL)|(logLzLML39第十三章梯度校正參數(shù)辯識方法 物理意義（極大似然原理的數(shù)學表現(xiàn)）物理意義（極大似然原理的數(shù)學表現(xiàn)）

18、對一組確定的隨機序列對一組確定的隨機序列 設法找到參數(shù)估計值設法找到參數(shù)估計值 使得隨機變量使得隨機變量 在在 條件下的概率密度函數(shù)最條件下的概率密度函數(shù)最大可能地逼近隨機變量大可能地逼近隨機變量 在在 （真值）條件下的（真值）條件下的概率密度函數(shù)概率密度函數(shù) 上式反映極大似然原理的本質(zhì)，但數(shù)學上不好實現(xiàn)上式反映極大似然原理的本質(zhì)，但數(shù)學上不好實現(xiàn)LzMLzMLz0)|()|(0maxzpzpML40第十三章梯度校正參數(shù)辯識方法預報誤差參數(shù)辯識方法預報誤差參數(shù)辯識方法 極大似然法極大似然法 要求數(shù)據(jù)的概率分布是已知的要求數(shù)據(jù)的概率分布是已知的 通常都假設它們是服從高斯分布的通常都假設它們是服從

19、高斯分布的 實際問題不一定滿足這一假設實際問題不一定滿足這一假設 如果數(shù)據(jù)的概率分布不知道如果數(shù)據(jù)的概率分布不知道 使用極大似然法存在著一定的困難使用極大似然法存在著一定的困難41第十三章梯度校正參數(shù)辯識方法 預報誤差法預報誤差法 不要求數(shù)據(jù)概率分布的先驗知識不要求數(shù)據(jù)概率分布的先驗知識 解決更加一般問題的一種辯識方法解決更加一般問題的一種辯識方法 極大似然法的一種推廣極大似然法的一種推廣 當數(shù)據(jù)的概率分布服從正態(tài)分布時當數(shù)據(jù)的概率分布服從正態(tài)分布時 等價與極大似然法等價與極大似然法42第十三章梯度校正參數(shù)辯識方法預報誤差準則預報誤差準則 考慮更加一般的模型考慮更加一般的模型 - - 維的輸出

20、向量維的輸出向量 - - 維的輸入向量維的輸入向量 - - 模型的參數(shù)向量模型的參數(shù)向量 - - 噪聲項，其均值為零，協(xié)方差為噪聲項，其均值為零，協(xié)方差為 - - 輸出量的初始狀態(tài)，計算輸出量的初始狀態(tài)，計算 的必要信息的必要信息)(),1 (,),1(),0(),1 (,),1()(keukuzzkzfkz)(kzm)(kur)(kee)0( z) 1 ( z43第十三章梯度校正參數(shù)辯識方法 置置 則模型則模型 式寫成式寫成 時刻的輸出可以用時刻的輸出可以用 時刻以前的數(shù)據(jù)來刻劃時刻以前的數(shù)據(jù)來刻劃) 1 (,),1() 1 (,),1()1()1(ukuuzkzzkk)(),()()1()

21、1(keuzfkzkkkk44第十三章梯度校正參數(shù)辯識方法 在獲得數(shù)據(jù)在獲得數(shù)據(jù) 和和 的條件下的條件下對輸出對輸出 的的“最好最好”預報可取它的條件數(shù)學期望預報可取它的條件數(shù)學期望值值 使得使得 這種這種“最好最好”的輸出預報應是的輸出預報應是“最好最好”模型的輸出模型的輸出 可通過極小化預報誤差準則來獲得可通過極小化預報誤差準則來獲得)1( kz)1( ku)(kz,| )()|()1()1(kkuzkzEkzmin,|)|()(|)1()1(2kkuzkzkzE45第十三章梯度校正參數(shù)辯識方法 常用的誤差預報準則常用的誤差預報準則 加權陣加權陣 - 預先選定的矩陣預先選定的矩陣 或或 其

22、中其中 )()(1DTJ )(detlog)(2DJ),()()()()(1)()1()1(1kkLkuzfkzkekekeLD46第十三章梯度校正參數(shù)辯識方法 當當 時時 將收斂于將收斂于 的協(xié)方差陣的協(xié)方差陣 通過極小化通過極小化 或或 獲得的參數(shù)估計值獲得的參數(shù)估計值稱作預報誤差估計稱作預報誤差估計 它用不著數(shù)據(jù)概率分布知識它用不著數(shù)據(jù)概率分布知識L)(D)(ke)(1J)(2J47第十三章梯度校正參數(shù)辯識方法12.3 其他兩種辯識方法其他兩種辯識方法48第十三章梯度校正參數(shù)辯識方法Bayes Bayes 方法方法 基本原理基本原理 所要估計的參數(shù)看作隨機變量所要估計的參數(shù)看作隨機變量

23、設法通過觀測與該參數(shù)有關聯(lián)的其他變量設法通過觀測與該參數(shù)有關聯(lián)的其他變量 以此來推斷這個參數(shù)以此來推斷這個參數(shù)49第十三章梯度校正參數(shù)辯識方法 例如例如 Kalman Kalman 濾波器是典型的濾波器是典型的 Bayes Bayes 方法方法不可觀測的待估計的狀態(tài)變量不可觀測的待估計的狀態(tài)變量 看作隨機變量看作隨機變量狀態(tài)變量與可觀測的輸入輸出變量是密切相關的狀態(tài)變量與可觀測的輸入輸出變量是密切相關的正是基于這些可觀測的輸入輸出變量正是基于這些可觀測的輸入輸出變量 推斷不可觀測的狀態(tài)變量推斷不可觀測的狀態(tài)變量x50第十三章梯度校正參數(shù)辯識方法 設設 是描述某一動態(tài)過程的模型是描述某一動態(tài)過程

24、的模型 是模型是模型 的參數(shù)，反映在動態(tài)過程的輸入輸出觀的參數(shù)，反映在動態(tài)過程的輸入輸出觀測值中測值中如果過程的輸出變量如果過程的輸出變量 在參數(shù)在參數(shù) 及其歷史記錄及其歷史記錄 條件下的概率密度函數(shù)是已知的條件下的概率密度函數(shù)是已知的 記作記作 - - 時刻以前的輸入輸出集合時刻以前的輸入輸出集合)(kz)1( kD),| )()1( kDkzp)1( kD) 1( k51第十三章梯度校正參數(shù)辯識方法 根據(jù)根據(jù) Bayes Bayes 觀點，參數(shù)觀點，參數(shù) 的估計問題表述成的估計問題表述成參數(shù)參數(shù) 看作具有某種驗前概率密度看作具有某種驗前概率密度 的的隨機變量隨機變量設法從輸入輸出數(shù)據(jù)中提取

25、關于參數(shù)設法從輸入輸出數(shù)據(jù)中提取關于參數(shù) 的信息的信息后者可以歸結為參數(shù)后者可以歸結為參數(shù) 的驗后概率密度函數(shù)的驗后概率密度函數(shù) 的的計算問題計算問題)|()1( kDp)|(kDp52第十三章梯度校正參數(shù)辯識方法 其中其中 - - 時刻以前的輸入輸出數(shù)據(jù)集合時刻以前的輸入輸出數(shù)據(jù)集合 與與 之間的關系之間的關系 和和 - - 過程過程 時刻的輸入輸出數(shù)據(jù)時刻的輸入輸出數(shù)據(jù)kDkkD)1( kD),(),()1( kkDkukzD)(kz)(kuk53第十三章梯度校正參數(shù)辯識方法 如果如果 是確定的變量，利用是確定的變量，利用 Bayes Bayes 公式公式參數(shù)參數(shù) 的驗后概率密度函數(shù)可表示

26、成的驗后概率密度函數(shù)可表示成參數(shù)參數(shù) 的驗前概率密度函數(shù)的驗前概率密度函數(shù) 及數(shù)據(jù)的條及數(shù)據(jù)的條件概率密度函數(shù)件概率密度函數(shù) 是已知的是已知的)(ku),(),(|()|()1( kkDkukzpDp),(|()1( kDkzpdDpDkzpDpDkzpkkkk)|(),| )()|(),| )()1()1()1()1()|()1( kDp),| )()1( kDkzp54第十三章梯度校正參數(shù)辯識方法 原則上原則上根據(jù)根據(jù) 式可以求得參數(shù)式可以求得參數(shù) 的驗后概率密度函數(shù)的驗后概率密度函數(shù) 實際上實際上 這是困難的這是困難的 只有在參數(shù)只有在參數(shù) 與數(shù)據(jù)之間的關系是線性的，噪聲又是高與數(shù)據(jù)之間的關系是線性的，噪聲又是高斯分布的情況下斯分布的情況下才有可能得到才有可能得到 式的解析解式的解析解55第十三章梯度校正參數(shù)辯識方法 求得參數(shù)求得參數(shù) 的驗后概率密度函