隨機(jī)線性系統(tǒng)的最優(yōu)控制驕陽書苑

1、第八章第八章 隨機(jī)線性系統(tǒng)的最優(yōu)控制隨機(jī)線性系統(tǒng)的最優(yōu)控制1課件參考本章主要內(nèi)容8.1 分離定理和離散隨機(jī)線性調(diào)節(jié)器問題分離定理和離散隨機(jī)線性調(diào)節(jié)器問題8.2 連續(xù)隨機(jī)線性調(diào)節(jié)器問題連續(xù)隨機(jī)線性調(diào)節(jié)器問題8.3 隨機(jī)線性跟蹤器問題隨機(jī)線性跟蹤器問題8.4 小結(jié)小結(jié)返回主目錄2課件參考 前幾章在討論最優(yōu)控制問題時(shí)，我們認(rèn)為控制系統(tǒng)是確定性的，它不受隨機(jī)干擾的影響。 實(shí)際工作中的系統(tǒng)免不了要帶有隨機(jī)干擾的因素，所以我們要研究在隨機(jī)干擾作用下系統(tǒng)的最優(yōu)控制問題，即要同時(shí)考慮最優(yōu)估計(jì)和最優(yōu)控制問題。3課件參考 這是一個(gè)復(fù)雜的問題，我們僅討論系統(tǒng)是線性的，指標(biāo)函數(shù)是二次型的以及隨機(jī)干擾是高斯分布噪聲情況

2、下的最優(yōu)控制問題，即所謂lqg問題(linear quadratic gaussian problem)。4課件參考 這種情況下存在一個(gè)有名的分離定理(或確定性等價(jià)原理)，按照此定理，可把最優(yōu)控制問題和狀態(tài)變量的最優(yōu)估計(jì)問題分開來討論。 在研究最優(yōu)控制問題時(shí)，假定所有狀態(tài)變量都可直接得到，而在研究狀態(tài)變量的最優(yōu)估計(jì)時(shí)，則假定控制信號(hào)是已知的確定性函數(shù)。最后把控制規(guī)律中的狀態(tài)變量用其估計(jì)值代替，就得到了隨機(jī)線性系統(tǒng)的最優(yōu)控制。5課件參考8.1 分離定理和離散隨機(jī)線性調(diào)節(jié)器問題分離定理和離散隨機(jī)線性調(diào)節(jié)器問題 首先回顧一下第五章中關(guān)于確定性系統(tǒng)線性二次型最優(yōu)控制的結(jié)果。6課件參考 為半正定加權(quán)陣，

3、 為正定加權(quán)陣。)(),(kqnp)(kr線性離散系統(tǒng)狀態(tài)方程(第五章(5-52)式)二次型性能指標(biāo)(第五章(5-53)式)()()()()1(kukbkxkakx(8-1)()()()()()(21)()()(2110kukrkukxkqkxnxnpnxjtnktt(8-2)7課件參考)() 1()()() 1()()(1kakkkbkbkkkbkrtt最優(yōu)控制為(第五章(5-64)式)其中k(k)滿足矩陣?yán)杩ㄌ岵罘址匠?第五章(5-61)式)()() 1()()() 1()()()(1kxkakkkbkrkkkbkrkutt(8-3)() 1()()() 1()()()(kbkkkakak

4、kkakqkktt(8-4)()(npnk(8-5)8課件參考為了與本章的符號(hào)統(tǒng)一起來,將上面的方程改寫如下:kxkx)(kuku)(kkka, 1)()()(kkbnpnp)(kqkq)(krkr)(kkkk)(令(8-6)9課件參考其中, 滿足下面的矩陣?yán)杩ㄌ岵罘址匠蘫k11,kkkkkkxxu (8-7)212110kktkkkntknntnuruxqxxpxj(8-8)kkkktkkkkkkxkrkru, 1111(8-9)11,11,1,1111,ttttkkkkkkkkkkkkkkkkkkkkqkkrkk(8-11)nnpk(8-12)1111tkkkkkkkrkrk(8-10)令

5、kkkkkxu, 11(8-13)故10課件參考kx其中 是零均值高斯分布的白噪聲，滿足kkvw ,1111kkkkvxhz(8-15) 現(xiàn)在來考慮lqg問題。隨機(jī)線性系統(tǒng)的狀態(tài)方程和測(cè)量方程為kkkkkkkwuxx, 11(8-14)0kwekjktjkqwwe0kvekjktjkrvve0tjkvwe(8-16)11課件參考 nkkktkkktkuruxqxe0111)( 注意，為了與噪聲方差陣符號(hào)區(qū)分，這里把加權(quán)陣改為 ， 。kqkr 對(duì)于這樣一類線性隨機(jī)系統(tǒng)，在設(shè)計(jì)最優(yōu)反饋控制時(shí)，由于狀態(tài)向量 的隨機(jī)性，(8-8)式所表示的性能指標(biāo)也是隨機(jī)變量，直接考慮它的最小化問題是沒有意義的。我們

6、把(8-8)式的數(shù)學(xué)期望作為隨機(jī)最優(yōu)控制的指標(biāo)函數(shù)并省去 這個(gè)因子。)(10kknktkkktknntnuruxqxxpxej(8-17)nnpq其中(8-18)12課件參考 對(duì)于線性高斯隨機(jī)系統(tǒng)(8-14)(8-15)的最優(yōu)控制問題，就是要求找到一組最優(yōu)控制量u0、u1、un-1使指標(biāo)函數(shù)(8-17)取得極小值。對(duì)于這種lqg問題，最優(yōu)控制規(guī)律可按確定性系統(tǒng)(8-7)來求，只是將狀態(tài)變量的反饋改為狀態(tài)變量估計(jì)值的反饋，這就是分離定理。我們將它表達(dá)如下13課件參考分離定理 其中 是 的最優(yōu)線性濾波估計(jì)， 的求法與確定性系統(tǒng)的公式(8-10)相同。kxkx1k 對(duì)于由方程(8-14)(8-15)

7、以及指標(biāo)函數(shù)(8-17)所描述的線性高斯隨機(jī)控制系統(tǒng)，其最優(yōu)控制為kkkkkxu, 11(8-19)14課件參考 我們用第六章中動(dòng)態(tài)規(guī)劃的最優(yōu)性原理來證明。因此，從最后一區(qū)間向后倒退計(jì)算，即依次計(jì)算 。120nnuuu、 證明 首先考慮最后一段的最優(yōu)控制問題，即確定從采樣時(shí)刻 到終止時(shí)刻 這一步上的最優(yōu)控制 ，使這一步的指標(biāo)函數(shù)為最小，即1 nknk 1nu1) 一步問題min111*11nntnnntnuuruxqxejn(8-20)15課件參考將 時(shí)的狀態(tài)轉(zhuǎn)移方程(8-14)代入上式，消去 后得到nx1 nk將上式展開(為簡明起見，暫時(shí)不寫下標(biāo))得)()(min11111111,11111

8、,*11nnntnnnnnnntnnnnnnuuruwuxqwuxejn(8-21)xquwqwuqwxqwwqxuqxxqxejtttttttttttunmin1*1)(urquwqutttt(8-22)16課件參考)(222min1*1urquwqwuqwwqxuqxxqxejttttttttttun(8-23) 由于其中每一項(xiàng)均為標(biāo)量，并且 是對(duì)稱陣，所以上式右端第二項(xiàng)等于第七項(xiàng)，第三項(xiàng)等于第四項(xiàng)，第五項(xiàng)等于第八項(xiàng)。于是q17課件參考其中 。00xem ),(0mzfukkk 由(8-14)可知只與wk-1、wk-2、w0有關(guān)而與wk無關(guān)，并且wk是零均值的，故上式中第三項(xiàng)和第四項(xiàng)的均值

9、為零。又因?yàn)樗罂刂屏克罁?jù)的信息只有系統(tǒng)過去的輸出量(狀態(tài)變量不能直接測(cè)量)和初始狀態(tài)的均值，即tkkzzzz),(2, 1(8-24)18課件參考根據(jù)wk與zk和x0的隨機(jī)獨(dú)立性，可知uk與wk也是獨(dú)立的，故(8-21)中第四項(xiàng)的均值也為零。至此 化為(恢復(fù)下標(biāo))*1j)(2min1111111111,111,1,1*11nnnntntnnntnnnntnntnnnnntnntnuurquwqwuqxxqxejn(8-25)19課件參考 由于上式右端花括號(hào)內(nèi)的量是依賴于測(cè)量值z(mì)n-1z1，z2，zn-1t和m0 為已知這一條件上的，而條件zn-1又是隨機(jī)的，因此要利用條件期望的性質(zhì)來計(jì)算。

10、根據(jù)本章2中關(guān)于條件概率的定義可推出下面的性質(zhì)(8-26)|(eee20課件參考dfddfe),()(ddffdffd)|()()|()( 上式右端方括號(hào)內(nèi)的求數(shù)學(xué)期望是對(duì)隨機(jī)變量 而言的(假定 已知)，外層的求數(shù)學(xué)期望是對(duì)條件 而言的，而等式左端是無條件數(shù)學(xué)期望，上式可證明如下：)|(ee=21課件參考于是(8-25)式可進(jìn)一步化為(8-27)111,1,111,1111m in 2ntttttnnnnnnnnnnnnnnujeexqxxquw,|)(01111111mzurquwqnnnnntntnnn 由于 非隨機(jī)，所以上式外層數(shù)學(xué)期望只是對(duì)zn-1取的，為了找到un-1使 最小，這等價(jià)

11、于使上式內(nèi)層的條件數(shù)學(xué)期望最小。這時(shí)假定條件zn-1給定，而un-1是zn-1的確定性函數(shù)，因此un-1與求內(nèi)層條件數(shù)學(xué)期望無關(guān)，0m22課件參考0)(,|211111111,0111nnnntntnnnntnnntnnurquuqmzxeu 然后，將這此與un-1有關(guān)的項(xiàng)對(duì)un-1求導(dǎo)并令其等于零，即即有,|201111,1mzuqxennnntnntn111,011,|2nnntnnntnuqmzxe=11111011111)(,|)(nnnntntnnnnnntntnurqumzurque和23課件參考 我們知道，最小方差估計(jì)即條件均值，在高斯分布情況下，線性最小方差估計(jì)即最小方差估計(jì)，

12、因?yàn)榭柭鼮V波值是線性最小方差估計(jì)，故濾波值 就是條件均值，即1nx0)(2,|211110111,1nnnntnnnnnntnurqmzxeq利用標(biāo)量對(duì)向量的求導(dǎo)公式，可得由此解出最優(yōu)控制un-1為1011,|nnnxmzxe(8-28),|)(0111,111111mzxeqrqunnnnntnnnntnn(8-29)24課件參考 把上式與確定性最優(yōu)控制的解(8-13)式(令 )對(duì)照，并注意(8-12)即 ，可見兩者形式完全一樣，只 是 將代而己。(8-18)(8-30)還可簡化為1 nknnnkpq1nx1nx(8-31)11,1nnnnnxu于是(8-28)式可成11,111111)(

13、nnnntnnnntnnxqrqu(8-30)其中ntnnnntnnqrq11111)(8-32)25課件參考 這樣，我們就證明了分離定理對(duì)最后一步來講是正確的。(8-33)(11,1111,111nnnnnnntntntnntnnntnxrqxwqw11,1,111,11,112ttttnn nnn nnnn nnnnn nnje xqxxqx 下面來計(jì)算最后一段的最優(yōu)指標(biāo)值 。將(8-31)代入(8-25)得1j26課件參考上式第二項(xiàng)可寫成(略去下標(biāo))式中qqrqqstttt1)(是對(duì)稱陣。(8-35)xqrqqxxqxtttttt)(221xsxt2(8-34)=27課件參考式中， ，并

14、注意s為對(duì)稱，故可得出(8-37)式。將(8-34)(8-37)代入(8-33)可得xxx=xsxsxxxsxsxxtttt)()()2(2xxsxxxsxxxsxxsxtttt)()()(1rqrqqxxrqxttttttttxsxxsxwqwxqxejttttt1(8-33)第四項(xiàng)可寫成而(8-34)與(8-36)相加得xsxxqrqqxxqrqttttttt)()(11(8-36)sxxxsxtt(8-37)28課件參考 反映了由動(dòng)態(tài)噪聲wn-1和濾波誤差 造成的指標(biāo)函數(shù)的增加。在確定性最優(yōu)控制中因 為零，這項(xiàng)將為零。1n1nx0nq利用(8-35)合并同類項(xiàng)，并恢復(fù)下標(biāo)，可得111,1

15、,11nnnnntnntnxqxej(8-38),100nnnnnqqq(8-39)nnqq0式中001111,11,11tttnnnnnn nnnnn nne wq wxqx (8-40)29課件參考111,1,1222111*2min2nnnnntnntnnntnnntnuxqxuruxqxejn 將一步最優(yōu)化的結(jié)果(8-38)代入上式，并注意到 不受un-2的影響，可把它提到 號(hào)之外，即可得到 min1n2)兩步問題 接下來討論最后兩步的最優(yōu)控制問題。根據(jù)動(dòng)態(tài)規(guī)劃最優(yōu)化原則，可把最后兩步的最優(yōu)化指標(biāo)表示為12221112min2juruxqxejnntnnntnun(8-41)20111

16、2221minnttnnnnnnnue xqxuru=(8-42)30課件參考將 的表達(dá)式(8-42)與 的表達(dá)式(8-20)相比，可見除 中多一個(gè)常數(shù)項(xiàng) 之外，兩者形式完全相同，于是可重復(fù)一步最優(yōu)化過程的步驟，得到下面的結(jié)果*2j*1j1n*2j1,1,101nnntnnnnqqq其中(8-43)31課件參考(8-46)1,1,101nnntnnnnqqq22112,nnnnnxu(8-44)0101212221()ttnnnnnnnqrq (8-45)002121121,21211,22tttnnnnnnnnnnnnnne wqwxqtx(8-48)222, 112, 12*2nnnnnt

17、nntnxqxej1201011nnnnnqqq(8-47)20011,111,1()tttnknknknknknknknknknknknkkewqwxqx (8-49)32課件參考 類似于從一步問題至兩步問題的推演過程，由后向前算第n-k步(即由前向后算第k步)的最優(yōu)指標(biāo)為 *1111minknkktkkktkuknjuruxqxejk3)一般結(jié)果 采用數(shù)學(xué)歸納法即可得出如下的一般結(jié)果010111()ttkkkkkkkqrq (8-51)0112,122,1tkkkkkkkqqq(8-52)101011kkkkkqqq(8-53)kkkkkxu, 11(8-50)33課件參考kkkkkkkt

18、kknxqxej, 11, 1*0011,111,1()n ktttknjnjnjnjnjnjnjnjnjnjnjnjjewqwxqx (8-54)(8-57)nnnpqq0此即 所滿足的矩陣?yán)杩ㄌ岱匠獭＝K端條件為0kq將(8-54)代入(8-53)，并將 下標(biāo)改為 ，可得1kkkkktkkkktkkktkkkkktkkkkqrqqqqq, 10110101, 1, 101, 10)(8-56)34課件參考 現(xiàn)在將上面lqg問題的結(jié)果(8-51)(8-52)(8-56)(8-57)與確定性最優(yōu)控制的結(jié)果(8-13)(8-10)(8-11)和(8-12)分別對(duì)比，注意到lqg問題解中的 相當(dāng)于確

19、定性最優(yōu)控制解中的 ，于是兩者解的形式完全相同，只是在lqg問題中用估計(jì)值 代替 狀態(tài)而己，于是分離定理得證。kxkxkk0kq35課件參考它和濾波增益陣 都可預(yù)先離線計(jì)算出來。kk 利用分離定理的結(jié)論來設(shè)計(jì)線性隨機(jī)系統(tǒng)的最優(yōu)反饋控制器，框圖如圖8-1所示，圖中z-1表示一步延遲，反饋增益陣為11,kkkkl (8-58)36課件參考 圖 8-1 線性隨機(jī)系統(tǒng)的最優(yōu)反饋控制框圖37課件參考8.2 連續(xù)隨機(jī)線性調(diào)節(jié)器問題連續(xù)隨機(jī)線性調(diào)節(jié)器問題其中， 和 為零均值高斯白噪聲，且)(tw)(tv(8-61)( )0,( )( )( ) () ( )0,( ( )( )( ) ()tte w te w

20、 t wq tte v te v t vr tt(8-62)0)()(tvtwe 我們不加證明地列出下面的結(jié)果，設(shè)連續(xù)隨機(jī)線性系統(tǒng)為)()()()()()()(twtgtutbtxtatx(8-59)()()()(tvtxthtz(8-60)38課件參考這里用 表示噪聲方差陣,為避免混淆將加權(quán)陣改為rq,q r。dttutrtutxtqtxtpxtxejttttfftfo)()()()()()()()(指標(biāo)函數(shù)為 上述問題稱為連續(xù)系統(tǒng)的線性高斯二次型問題(lqg問題)。和離散的情況相同，根據(jù)分離定理，最優(yōu)控制系統(tǒng)由兩部分組成；一部分是確定性最優(yōu)控制器；另一部分是與其串聯(lián)的最優(yōu)線性濾波器。最優(yōu)控

21、制可寫成)()()(txtltu(8-64)39課件參考 反饋增益與確定性最優(yōu)控制一樣(參考第五章(5-16)式)，即 滿足下面的矩陣?yán)杩ㄌ嵛⒎址匠?參考第五章(5-14)式，注意這里 不是卡爾曼濾波增益) )(tk)(tk圖8-2表示連續(xù)隨機(jī)線性系統(tǒng)最優(yōu)控制的方塊圖。1( )( )( )( )tl trt bt k t(8-65)1( )( ) ( )( )( )( ) ( )( )( )( )( )ttk tk t a tat k tk t b t rt bt k tq t (8-66)40課件參考 圖 8-2 連續(xù)隨機(jī)線性系統(tǒng)最優(yōu)控制的方塊圖41課件參考 例8-1 圖8-3是汽車自動(dòng)控制

22、系統(tǒng)的示意圖。汽車沿著道路上設(shè)置的制導(dǎo)電纜自動(dòng)行駛，汽車偏移電纜的橫向位移由傳感器測(cè)出。圖8-4是自動(dòng)控制系統(tǒng)的原理方塊圖。圖中w為作用在汽車上的干擾力(例如路面不平等引起)，u為方向舵控制力，v為傳感器測(cè)量噪聲，x為汽車側(cè)向位移。42課件參考制導(dǎo)電纜傳感器線圈傳感器線圈圖 8-3 汽車制導(dǎo)傳感器原理圖控制器汽車傳感器航線基準(zhǔn)uwxv 圖 8-4 汽車制導(dǎo)方塊圖43課件參考 1、對(duì)象狀態(tài)方程令 ，則汽車的狀態(tài)方程為121,xxxx汽車可看成純慣性環(huán)節(jié)，其傳遞函數(shù)為0010avobkwow其中 ， ，2)()()(skvsusxsgp(8-67)wbuaxx(8-68)44課件參考 2、量測(cè)方程

23、 0)(twe)()()(tqwtwetqoooq 和 為常數(shù)。vkq其中 ， ，為正態(tài)分布的噪聲 ， 且干擾w和測(cè)量噪聲v不相關(guān)，即01hv0)(tve0)()(twtve根據(jù)實(shí)例，干擾力w為服從正態(tài)分布的白噪聲vhxz(8-69)45課件參考3、性能指標(biāo) 4、最優(yōu)控制的設(shè)計(jì) (8-70)221()jeaxbudt 其中，第一項(xiàng)表示對(duì)汽車側(cè)向位移的約束，第二項(xiàng)則表示對(duì)控制量u的約束。 這是線性二次型高斯問題，可以應(yīng)用分離定理。因不是無限長時(shí)間定常系統(tǒng)調(diào)節(jié)器問題 ，可以用穩(wěn)態(tài)控制增益，即ulx (8-71)1tlr b k(8-72)46課件參考1112122200100000vkkaakqb

24、kkkrb1112111211121222122212220010010010vkkkkkkkkkkkkkb1112122200000vkkakkk其中k滿足矩陣?yán)杩ㄌ岽鷶?shù)方程這里，把這些值代黎卡提方程(8-73)，得10ttkaa kkbr b kq(8-73)47課件參考221221112222212221112vvvak kbkk kkbkk kb可解得 ， ， ，13124411vkk a b11122212vka bk11332442222vka b k4122,vaalllbkb將上面求到的 代入(8-72)，可求得穩(wěn)態(tài)增益陣為k 由上式可得到三個(gè)方程式48課件參考其中，穩(wěn)態(tài)卡爾曼

25、濾波增益 為ck于是由(8-71)得其中，濾波值由下面的卡爾曼濾波方程決定41 122122vaaul xl xxxbkb (8-74)(xhzkbuxaxc(8-75)1rphktc(8-76)49課件參考滿足下面的矩陣?yán)杩ㄌ岽鷶?shù)方程11121222100001000vppapbqkppq1121,0 ,ccckhrrkk其中01hprphqpaaptt(8-77)50課件參考 由上面的值代入(8-77)求出 ，將 代入(8-76)求出，再代入(8-75)，可得pp 由(8-78)，(8-79)解出 ，代入(8-74)即可求所需最優(yōu)控制。21 , xx41112rqkc112rqkc其中，z

26、kxxkxcc12111(8-78)22 122cvcxkxk ukz (8-79)51課件參考8.3 隨機(jī)線性跟蹤器問題隨機(jī)線性跟蹤器問題 前面我們討論的問題是使系統(tǒng)狀態(tài)變量和輸出量盡量控制到零，這種問題稱為調(diào)節(jié)器問題(使輸出量跟蹤常值外作用的問題可歸化為這種問題)。但在實(shí)際工作中有時(shí)要求系統(tǒng)的輸出跟蹤一個(gè)隨時(shí)間變化的外作用，這種問題稱為跟蹤問題。制導(dǎo)系統(tǒng)和隨動(dòng)系統(tǒng)就可歸入這類。52課件參考 為n維， 為m維， 為q維，ck為s維。要求ck跟蹤一個(gè)指令作用 dk。性能指標(biāo)為kzkukx設(shè)系統(tǒng)的動(dòng)態(tài)方程和量測(cè)方程為另有一個(gè)輸出方程為kkkcde其中,是跟蹤誤差。kkkkkkkkkkkvxhzwuxx, 11(8-80)kkkxmc (8-81)1111kktkkktknkurueqeej(8-82)53課件參考其中， 是白噪聲k 設(shè)指令作用 由另一個(gè)系統(tǒng)