第七章新-最優(yōu)控制理論課件

1、第七章第七章 最最 優(yōu)優(yōu) 控控 制制7.1 7.1 最優(yōu)控制問題最優(yōu)控制問題7.2 7.2 求解最優(yōu)控制的變分方法求解最優(yōu)控制的變分方法7.3 7.3 最大值原理最大值原理7.4 7.4 動態(tài)規(guī)劃動態(tài)規(guī)劃7.5 7.5 線性二次型性能指標的最優(yōu)控制線性二次型性能指標的最優(yōu)控制7.6 7.6 快速控制系統(tǒng)快速控制系統(tǒng)最優(yōu)控制理論現(xiàn)代控制理論的重要組成部分20世紀50年代發(fā)展形成系統(tǒng)的理論研究的對象控制系統(tǒng)中心問題給定一個控制系統(tǒng)，選擇控制規(guī)律，使系統(tǒng)在某種意義上是最優(yōu)的統(tǒng)一的、嚴格的數學方法最優(yōu)控制問題研究者的課題，工程師們設計控制系統(tǒng)時的目標最優(yōu)控制能在各個領域中得到應用，效益顯著1.1 兩個

2、例子1.2 問題描述第1章 最優(yōu)控制問題1.1 兩個例子 例1.1 飛船軟著陸問題 2022年4月12日星期二現(xiàn)代控制理論51.1 兩個例子 例1.1 飛船軟著陸問題 m 飛船的質量h 高度v 垂直速度g 月球重力加速度常數M 飛船自身質量F 燃料的質量軟著陸過程開始時刻 t 為零 K 為常數 2022年4月12日星期二現(xiàn)代控制理論61.1 兩個例子 例1.1 飛船軟著陸問題 hvuvgmmKu m 飛船的質量h 高度v 垂直速度g 月球重力加速度常數M 飛船自身質量F 燃料的質量軟著陸過程開始時刻 t 為零 K 為常數 2022年4月12日星期二現(xiàn)代控制理論71.1 兩個例子 例1.1 飛船

3、軟著陸問題 hvuvgmmKu m 飛船的質量h 高度v 垂直速度g 月球重力加速度常數M 飛船自身質量F 燃料的質量軟著陸過程開始時刻 t 為零 K 為常數 初始狀態(tài) 0(0)hh0(0)vvFMm)0(2022年4月12日星期二現(xiàn)代控制理論81.1 兩個例子 例1.1 飛船軟著陸問題 hvuvgmmKu m 飛船的質量h 高度v 垂直速度g 月球重力加速度常數M 飛船自身質量F 燃料的質量軟著陸過程開始時刻 t 為零 K 為常數 初始狀態(tài) 0(0)hh0(0)vvFMm)0(終點條件 0)(Th0)(Tv2022年4月12日星期二現(xiàn)代控制理論91.1 兩個例子 例1.1 飛船軟著陸問題 h

4、vuvgmmKu m 飛船的質量h 高度v 垂直速度g 月球重力加速度常數M 飛船自身質量F 燃料的質量軟著陸過程開始時刻 t 為零 K 為常數 初始狀態(tài) 0(0)hh0(0)vvFMm)0(終點條件 0)(Th0)(Tv)(TmJ 控制目標2022年4月12日星期二現(xiàn)代控制理論101.1 兩個例子 例1.1 飛船軟著陸問題 hvuvgmmKu m 飛船的質量h 高度v 垂直速度g 月球重力加速度常數M 飛船自身質量F 燃料的質量軟著陸過程開始時刻 t 為零 K 為常數 初始狀態(tài) 0(0)hh0(0)vvFMm)0(終點條件 0)(Th0)(Tv)(TmJ 控制目標max0( )u tu推力方

5、案2022年4月12日星期二現(xiàn)代控制理論11例1.2 導彈發(fā)射問題 例1.2 導彈發(fā)射問題 2022年4月12日星期二現(xiàn)代控制理論13最優(yōu)控制問題例1.2 導彈發(fā)射問題 ( )cos( )( )sin( )F txtmF tytm2022年4月12日星期二現(xiàn)代控制理論14例1.2 導彈發(fā)射問題 ( )cos( )( )sin( )F txtmF tytm初始條件 0)0(x0)0(y0)0(x 0)0(y 2022年4月12日星期二現(xiàn)代控制理論15例1.2 導彈發(fā)射問題 ( )cos( )( )sin( )F txtmF tytm初始條件 末端約束 0)0(x0)0(y0)0(x 0)0(y

6、12( ), ( ), ( ), ( )( )0( ), ( ), ( ), ( )( )0gx Ty Tx Ty Ty Tgx Ty Tx Ty Ty Th2022年4月12日星期二現(xiàn)代控制理論16例1.2 導彈發(fā)射問題 ( )cos( )( )sin( )F txtmF tytm初始條件 末端約束 指標 0)0(x0)0(y0)0(x 0)0(y 12( ), ( ), ( ), ( )( )0( ), ( ), ( ), ( )( )0gx Ty Tx Ty Ty Tgx Ty Tx Ty Ty Th( ), ( ), ( ), ( )( )Jx Ty Tx Ty Tx T2022年4月

7、12日星期二現(xiàn)代控制理論17例1.2 導彈發(fā)射問題 ( )cos( )( )sin( )F txtmF tytm初始條件 末端約束 指標 0)0(x0)0(y0)0(x 0)0(y 12( ), ( ), ( ), ( )( )0( ), ( ), ( ), ( )( )0gx Ty Tx Ty Ty Tgx Ty Tx Ty Ty Th( ), ( ), ( ), ( )( )Jx Ty Tx Ty Tx T)(t控制1.2 問題描述(1) 狀態(tài)方程 一般形式為 2022年4月12日星期二現(xiàn)代控制理論191.2 問題描述(1) 狀態(tài)方程 一般形式為 00( )( ( ), ( ), )( )

8、|t tx tf x t u t tx tx2022年4月12日星期二現(xiàn)代控制理論201.2 問題描述(1) 狀態(tài)方程 一般形式為 00( )( ( ), ( ), )( )|t tx tf x t u t tx tx( )nx tR為n維狀態(tài)向量 2022年4月12日星期二現(xiàn)代控制理論211.2 問題描述(1) 狀態(tài)方程 一般形式為 00( )( ( ), ( ), )( )|t tx tf x t u t tx tx( )nx tR( )ru tR為n維狀態(tài)向量 為r 維控制向量 2022年4月12日星期二現(xiàn)代控制理論221.2 問題描述(1) 狀態(tài)方程 一般形式為 00( )( ( ),

9、 ( ), )( )|t tx tf x t u t tx tx( )nx tR( )ru tR),(),(ttutxf為n維狀態(tài)向量 為r 維控制向量 為n維向量函數 2022年4月12日星期二現(xiàn)代控制理論231.2 問題描述(1) 狀態(tài)方程 一般形式為 00( )( ( ), ( ), )( )|t tx tf x t u t tx tx( )nx tR( )ru tR),(),(ttutxf為n維狀態(tài)向量 為r 維控制向量 為n維向量函數 給定控制規(guī)律 )(tu2022年4月12日星期二現(xiàn)代控制理論241.2 問題描述(1) 狀態(tài)方程 一般形式為 00( )( ( ), ( ), )(

10、)|t tx tf x t u t tx tx( )nx tR( )ru tR),(),(ttutxf為n維狀態(tài)向量 為r 維控制向量 為n維向量函數 給定控制規(guī)律 )(tu),(),(ttutxf滿足一定條件時，方程有唯一解 (2) 容許控制 2022年4月12日星期二現(xiàn)代控制理論26(2) 容許控制 0)(uGU：2022年4月12日星期二現(xiàn)代控制理論27(2) 容許控制 0)(uGU：Uu2022年4月12日星期二現(xiàn)代控制理論28(2) 容許控制 0)(uGU：Uu有時控制域可為超方體 2022年4月12日星期二現(xiàn)代控制理論29(2) 容許控制 0)(uGU：Uu( )iiu tm1,2

11、,ir有時控制域可為超方體 (3) 目標集 2022年4月12日星期二現(xiàn)代控制理論31(3) 目標集 ( ) ( ( ), )0Sx Tx T T2022年4月12日星期二現(xiàn)代控制理論32(3) 目標集 ( ) ( ( ), )0Sx Tx T T( ( ), )x T Tn維向量函數 2022年4月12日星期二現(xiàn)代控制理論33(3) 目標集 ( ) ( ( ), )0Sx Tx T T( )Tx Tx固定端問題 ( ( ), )x T Tn維向量函數 2022年4月12日星期二現(xiàn)代控制理論34(3) 目標集 ( ) ( ( ), )0Sx Tx T T( )Tx TxnSR固定端問題 自由端

12、問題 ( ( ), )x T Tn維向量函數 (4) 性能指標 2022年4月12日星期二現(xiàn)代控制理論36(4) 性能指標 0( ( )( ( ), )( ( ), ( ), )dTtJ ux T TL x t u t tt2022年4月12日星期二現(xiàn)代控制理論37(4) 性能指標 0( ( )( ( ), )( ( ), ( ), )dTtJ ux T TL x t u t tt對狀態(tài)、控制以及終點狀態(tài)的要求，復合型性能指標 2022年4月12日星期二現(xiàn)代控制理論38(4) 性能指標 0( ( )( ( ), )( ( ), ( ), )dTtJ ux T TL x t u t tt對狀態(tài)、

13、控制以及終點狀態(tài)的要求，復合型性能指標 0),(TTx2022年4月12日星期二現(xiàn)代控制理論39(4) 性能指標 0( ( )( ( ), )( ( ), ( ), )dTtJ ux T TL x t u t tt對狀態(tài)、控制以及終點狀態(tài)的要求，復合型性能指標 0),(TTx積分型性能指標，表示對整個狀態(tài)和控制過程的要求 2022年4月12日星期二現(xiàn)代控制理論40(4) 性能指標 0( ( )( ( ), )( ( ), ( ), )dTtJ ux T TL x t u t tt對狀態(tài)、控制以及終點狀態(tài)的要求，復合型性能指標 0),(TTx0),(),(ttutxL積分型性能指標，表示對整個狀

14、態(tài)和控制過程的要求 2022年4月12日星期二現(xiàn)代控制理論41(4) 性能指標 0( ( )( ( ), )( ( ), ( ), )dTtJ ux T TL x t u t tt對狀態(tài)、控制以及終點狀態(tài)的要求，復合型性能指標 0),(TTx0),(),(ttutxL積分型性能指標，表示對整個狀態(tài)和控制過程的要求 終點型指標，表示僅對終點狀態(tài)的要求 2.1 泛函與變分法基礎2.2 歐拉方程2.3 橫截條件2.4 含有多個未知函數泛函的極值2.5 條件極值2.6 最優(yōu)控制問題的變分解法 第2章 求解最優(yōu)控制的變分方法 求解最優(yōu)控制的變分方法2.1 泛函與變分法基礎泛函與變分法基礎平面上兩點連線的

15、長度問題平面上兩點連線的長度問題 2022年4月12日星期二現(xiàn)代控制理論44 求解最優(yōu)控制的變分方法2.1 泛函與變分法基礎泛函與變分法基礎平面上兩點連線的長度問題平面上兩點連線的長度問題 1211( )dSx tt2022年4月12日星期二現(xiàn)代控制理論45 求解最優(yōu)控制的變分方法2.1 泛函與變分法基礎泛函與變分法基礎平面上兩點連線的長度問題平面上兩點連線的長度問題 1211( )dSx tt一般來說，曲線不同，弧長就不同，即弧長依賴于曲線，記為 ( ( )S x2022年4月12日星期二現(xiàn)代控制理論46 求解最優(yōu)控制的變分方法2.1 泛函與變分法基礎泛函與變分法基礎平面上兩點連線的長度問題

16、平面上兩點連線的長度問題 1211( )dSx tt一般來說，曲線不同，弧長就不同，即弧長依賴于曲線，記為 ( ( )S x( ( )S x)(tx稱為泛函 稱為泛函的宗量 泛函與函數的幾何解釋 2022年4月12日星期二現(xiàn)代控制理論48泛函與函數的幾何解釋 2022年4月12日星期二現(xiàn)代控制理論49泛函與函數的幾何解釋 ( )( )( )x tx tx t宗量的變分 2022年4月12日星期二現(xiàn)代控制理論50泛函與函數的幾何解釋 ( )( )( )x tx tx t宗量的變分 泛函的增量 ( ( )( ( )( ( )( ,)( ,)J xJ xxJ xL xxr xx2022年4月12日星

17、期二現(xiàn)代控制理論51泛函與函數的幾何解釋 連續(xù)泛函 宗量的變分趨于無窮小時，泛函的變分也趨于無 窮小線性泛函 泛函對宗量是線性的( )( )( )x tx tx t宗量的變分 泛函的增量 ( ( )( ( )( ( )( ,)( ,)J xJ xxJ xL xxr xx泛函的變分 ( ,)JL xx 求解最優(yōu)控制的變分方法定理2.2 若泛函)(xJ有極值，則必有0J00 xxJJ上述方法與結論對多個未知函數的泛數同樣適用 2.6 最優(yōu)控制問題的變分解法2.6.4 終值時間自由的問題2.6.3 末端受限問題 2.6.2 固定端問題2.6.1 自由端問題2.6.1 自由端問題約束方程 0),( x

18、tuxf新的泛函 0T( ( )( ( , , )( ( , , )dTtJx TL x u tf x u txtT( , , )( , , )HL x u tf x u t0T( ( )( , , , )dTtJx TH xu txt00TTT( ( )( , , , )dTTttJx TH xu txtxx令有哈米頓函數 00TTTTTTTT( ( )()( )( )( )( )()()d () |( )()()dTtTTtx TJx TTx Tx THHxux txuHHx Txu txxu ( , , , )( )H xu ttx ( ( )( )( )x TTx T0T()d0TtH

19、Ju tu0uH進行變分令有伴隨方程 必要條件例2.5 )()(tutx00( )x tx02211( )d22TtJcx Tut哈米頓函數 uutuxfttxLH221),()(),(伴隨方程 邊界條件 ( )0Htx )()(21)()(2TcxTcxTxT必要條件 0uuH1c( )cx Tu)(Tcxu00( )( )()x tcx T ttx 00( )1()xx Tc Tt00( )( )()cxu tcx Tc Tt 最優(yōu)控制 代入狀態(tài)方程并求解令tT2.6.2 固定端問題00( )t tx txTTxtx)(0( , , )dTtJL x u tt性能指標 00TTT()dTT

20、ttJHxtxx0TT()()dTtHHJxutxu( )Htx 0T()d0TtHu tu0uH分部積分進行變分令變分為零邊界條件 1(0)1x2(0)1x1(2)0 x2(2)0 x2201d2Jut指標泛函 例2.6 考慮如下系統(tǒng)的終端固定的最優(yōu)控制問題，求取最優(yōu)控制 和最優(yōu)狀態(tài)曲線，使指標泛函 J 取得極小值。 系統(tǒng)的狀態(tài)方程： 12( )( )x tx t2( )( )x tu t2022年4月12日星期二現(xiàn)代控制理論6020Huu212uata 12xx212xua ta32112341162xa ta ta ta2212312xa ta ta273)(ttu32117( )124

21、x tttt 2237( )122x ttt哈米頓函數 212212Huxu伴隨方程 11( )0Htx 212( )( )Httx 11( ) ta212( ) tata 由狀態(tài)方程 代入初始和終端條件，可求得123473 1 12aaaa，2022年4月12日星期二現(xiàn)代控制理論614. 考慮如下系統(tǒng)的終端固定的最優(yōu)控制問題，求取最優(yōu)控制 和最優(yōu)狀態(tài)曲線，使指標泛函J取得極小值。 系統(tǒng)的狀態(tài)方程為： 12( )( )x tx t2( )( )x tu t其邊界條件為： 1(0)1x2(0)1x1(1)0 x2(1)0 x1201d2Jut其指標泛函為： 2022年4月12日星期二現(xiàn)代控制理論

22、62哈米頓函數 212212Huxu伴隨方程 11( )0Htx 212( )( )Httx 11( ) ta212( ) tata 20Huu212uata 12xx212xua ta32112341162xa ta ta ta2212312xa ta ta2022年4月12日星期二現(xiàn)代控制理論6332112341162xa ta ta ta2212312xa ta ta3211234110000162xaaaa（ ）22123100012xaaa（ ）41a 31a 32112111111 1062xaa （）22121111 102xaa （）12112062aa121102aa 113

23、06a210a 118a 2.6.3 末端受限問題( ( )0jgx Tnkj, 2 , 1( ( )0G x T新的泛函 0T( ( )( ( )()dTTtJx Tv G x THxt0TTT0( ( )( ) ( )( )( ) ( )dTtJx TT x TT xHt x tt T( ( )( ( )( ( )x Tx Tv G x T0TTT( )( )()()dTtHHJTx Txutxxu變分Hx 1( ( )( )( )( )( )kjTjjgx Ttvx Tx Tx T0T()d0TtHu tu0uH必要條件Htx )( 00( )tx tx( )Htx ( ( )( )(

24、)Tx Ttx T2.6.4 終值時間自由的問題T 有時是可變的，是指標泛函，選控制使有 T 極小值TT( ( ), )( ( ), )()( )()( )Tx T Tx T TJx TTHxTx TT0TTT()()dtHHxux txu TT( ( ), )( ( ), )()( )()( )Tx T Tx T Tx TTHxTx TT0TT()|()()dTTtHHxxutxu 變分 ( )( )TTTTx TxxTxx TxTT( ( ), )( ( ), )()( )( )( )( )x T Tx T TJTx TTH TTx TT0TT()()d0TtHHxutxuHx ( ( )

25、, )( )( )x T TTx T0( ( ), )( )Hux T TH TT 必要條件例2.7 )()(tutx1)0(x220( )(1)dTJsx Tut指標泛函 哈米頓函數 uuH21伴隨方程 0Hx ( ( ), )( )2( )( )x T TTsx Tx T02uuH必要條件 0)(1)(2TTuuTH)()(Tsxtu1( )1u tss sT113.1 古典變分法的局限性3.2 最大值原理3.3 變分法與極大值原理第3章 最大值原理3.1 古典變分法的局限性u(t)受限的例子 例3.1)()()(tutxtx1)0(x1)(tu10( )dJx tt( )( )( )(

26、)Hx ttx tu t1)()(txHt0) 1 (0)(tuH伴隨方程 極值必要條件 矛盾!3.2 最大值原理定理3.1 (最小值原理) 設為 容許控制， 為對應的積分軌線，為使 為最優(yōu)控制， 為最優(yōu)軌線，必存在一向量函數 ，使得 和 滿足正則方程 )(tu( )x t)(tu( )x t)(t( )x t)(t( )Hx t( )Htx 且 min( ), ( ), ( ), )( ), ( ),( ), )u UH x tt u t tH x tt u t t最小值原理只是最優(yōu)控制所滿足的必要條件。但對于線性系統(tǒng) ( )( ) ( )( ) ( )x tA t x tB t u t11

27、11( )( )( )( )( )nnnnatatA tatat1( )( )( )nb tB tb t最小值原理也是使泛函取最小值得充分條件。例3.2 重解例3.1 哈密頓函數 ( )( )( )( )(1) ( )( )Hx ttx tu tx tu t伴隨方程 1)()(txHt0) 1 (由極值必要條件，知 1sign1u 0001)(1tet01t 又于是有1)(tu1)()(txtx 1)0(x12)(tetx110d21Jxte )(tu協(xié)態(tài)變量與控制變量的關系圖 例3.3 )()()(tutxtx1)0(x1)(tu101()d2Jxut性能指標泛函 哈密頓函數 11()(1)

28、()22Hxuxuxu 伴隨方程 1)(xHt0) 1 (1( )(1)tte 1sign()2u 10ln2( )1ln12etu tet 10ln21ln12extxxuext 2ln, 0e上有 12)(tetx1xx 14)2(ln1eex1)2()(teetx210ln2( )(2)1ln12tteetx tee et 協(xié)態(tài)變量與控制變量的關系圖 整個最優(yōu)軌線 例3.4 12122, (0)0, (0)0 xxxxux1u把系統(tǒng)狀態(tài)在終點時刻轉移到 (121)( )4x Tx T性能指標泛函 20dTJut終點時刻是不固定的 哈米頓函數 2122Huxu伴隨方程 112120HxHx

29、 1a2batH是u的二次拋物線函數，u在 上一定使H有最小值，可能在內部，也可能在邊界上。 11u最優(yōu)控制可能且只能取三個值 220Huu211()22ubat 1u1u此二者都不能使狀態(tài)變量同時滿足初始條件和終點條件 231221 11( )()2 2611( )()22x tbtatx tbtat 231221 111( )()2 264111( )()224x TbTaTx TbTaT 2122T222( )()|11 ()()()0442H TuxuabaTbaTabaT0b91a3T18)(ttu31( )108tx t36)(22ttx361J最優(yōu)控制 最優(yōu)軌線 最優(yōu)性能指標 例

30、3.5 12xx2xu1(0)0 x2(0)2x1)(tu使系統(tǒng)以最短時間從給定初態(tài)轉移到零態(tài) 1( )0 x T 2( )0 x T 01dTJTtuxH2211哈米頓函數 伴隨方程 110Hx 212Hx 1( ) ta2( ) tbat2signsign()ubat 最優(yōu)控制切換及最優(yōu)軌線示意圖 3.3 古典變分法與最小值原理古典變分法適用的范圍是對u無約束，而最小值原理一般都適用。特別當u不受約束時，條件min(, , , )u UH xu t就等價于條件0uH4.1 多級決策過程與最優(yōu)性原理4.2 離散系統(tǒng)動態(tài)規(guī)劃4.3 連續(xù)系統(tǒng)動態(tài)規(guī)劃4.4 動態(tài)規(guī)劃與最大值原理的關系第4章 動態(tài)

31、規(guī)劃動態(tài)規(guī)劃是求解最優(yōu)控制的又一種方法，特別對離散型控制系統(tǒng)更為有效，而且得出的是綜合控制函數。這種方法來源于多決策過程，并由貝爾曼首先提出，故稱貝爾曼動態(tài)規(guī)劃。 4.1 多級決策過程與最優(yōu)性原理作為例子，首先分析最優(yōu)路徑問題(a) (b) (c)試分析(a),(b)和(c)三種情況的最優(yōu)路徑，即從 走到 所需時間最少。規(guī)定沿水平方向只能前進不能后退。 0 xTx(a)中只有兩條路徑，從起點開始，一旦選定路線，就直達終點，選最優(yōu)路徑就是從兩條中選一條，使路程所用時間最少。這很容易辦到，只稍加計算，便可知道，上面一條所需時間最少。(b)共有6條路徑可到達終點，若仍用上面方法，需計算6次，將每條路

32、線所需時間求出，然后比較，找出一條時間最短的路程。(c)需計算20次，因為這時有20條路徑，由此可見，計算量顯著增大了。 逆向分級計算法 逆向是指計算從后面開始，分級是指逐級計算。逆向分級就是從后向前逐級計算。 以(c)為例 從倒數第一級開始，狀態(tài)有兩個，分別為 51x和52x在51x處，只有一條路到達終點，其時間是3；在 處，也只有一條，時間為1。后一條時間最短，將此時間相應地標在 點上。52x52x并將此點到終點的最優(yōu)路徑畫上箭頭。 然后再考慮第二級 41x只有一種選擇，到終點所需時間是 63942x有兩條路，比較后選出時間最少的一條，即4+1=5。用箭頭標出 43x也標出最優(yōu)路徑和時間

33、依此類推，最后計算初始位置 求得最優(yōu)路徑 101222324252Tx x x x x x x最短時間為 13最優(yōu)路徑示意圖 2022年4月12日星期二現(xiàn)代控制理論915. 利用逆向分級計算法求解如下的最優(yōu)路徑問題 從倒數第一級開始，狀態(tài)有兩個，分別為 31x和32x在31x處，只有一條路到達終點，其時間是4；在 處，也只有一條，時間為3。后一條時間最短，將此時間相應地標在 點上。32x32x并將此點到終點的最優(yōu)路徑畫上箭頭。 2022年4月12日星期二現(xiàn)代控制理論92然后再考慮第二級，亦即倒數第二級 21x只有一種選擇，到終點所需時間是 24622x有兩條路，比較后選出時間最少的一條，即2+

34、4=6。用箭頭標出 23x也標出最優(yōu)路徑和時間 3+3=6 2022年4月12日星期二現(xiàn)代控制理論93然后再考慮第一級，亦即倒數第三級 11x有兩種選擇，到終點所需時間是分別是，保留前者 3249（）12x有兩條路，比較后選出時間最少的一條，即 2+(2+4)=8 和 2+(3+3)=8。用箭頭標出。 42410（）2022年4月12日星期二現(xiàn)代控制理論94最后再考慮第一級，亦即倒數第四級 0 x有兩種選擇，到終點所需時間是分別是 132410（）或 2+(2+3+3)=10。于是，最短路經有3條，時間為10。 222410（）求得最優(yōu)路徑 011213101222310122332, , ,

35、TTTx x x x xx x x x xx x x x x多級過程 1(), 0,1kkxf xkN多級決策過程 1(,), 0,1kkkxf x ukN目標函數 011011(,;,)NNJJ x xxu uu控制目的 選擇決策序列 011,Nu uu使目標函數取最小值或最大值 實際上就是離散狀態(tài)的最優(yōu)控制問題 最優(yōu)性原理 在一個多級決策問題中的最優(yōu)決策具有這樣的性質，不管初始級、初始狀態(tài)和初始決策是什么，當把其中任何一級和狀態(tài)做為初始級和初始狀態(tài)時，余下的決策對此仍是最優(yōu)決策。 指標函數多是各級指標之和，即具有可加性 10(,)NkkkJL x u最優(yōu)性原理的數學表達式 0101101*

36、0,0100,1*001()opt (,) opt( (,)opt (,)opt( (,)() NNNkkuukNkkuuukuJxL x uL x uL x uL x uJx4.2 離散系統(tǒng)動態(tài)規(guī)劃n階離散系統(tǒng) 1(,), 0,1kkkxf x ukN性能指標 10(,)NkkkJL x u求決策向量 01,Nuu使 有最小值（或最大值），其終點可自由，也可固定或受約束。J引進記號 11*,()()min( ,)kNNkkiiuui kV xJxL x u應用最優(yōu)性原理 00001()min(,)()uV xL x uV x可建立如下遞推公式 11111()min( (,)()min( (,

37、)( (,)()min (,)kkNkkkkkkkkuuNNNuV xL x uV xL x uV f x uV xL xu貝爾曼動態(tài)規(guī)劃方程 例4.2 設一階離散系統(tǒng)，狀態(tài)方程和初始條件為100, kkkkkxxuxx性能指標 12220()NNkkkJxxu求使 有最小值的最優(yōu)決策序列和最優(yōu)軌線序列 J指標可寫為 22222001111()Jxuxuxu11111( )22()0J xuxuu1112ux *2222311111111222( )()()Jxxxxxx 代入 1()J x22*000122222233001000022()() ()J xxuJxxuxxuxu上一級0000

38、0()23()0J xuxuu3005ux *28005()Jxx代入狀態(tài)方程 0u3210000055xxuxxx*1111025uxx 121105xxux最優(yōu)決策序列 最優(yōu)軌線 *3005ux *1105ux 0 x2105xx1205xx4.3 連續(xù)系統(tǒng)的動態(tài)規(guī)劃00( , , ), ( )xf x u tx tx( )u tU性能指標 ( ( )( , , )dTtJx TL x u tt目標集 | ( ( )0Ssx T引進記號 *( )( , )( ),( )min( ( ), ( )u tUV x tJ x t u tJ x t u t根據最優(yōu)性原理及( )( (),)min(

39、 ( ), ( ), )d( ( ), )Tu tUttV x tt ttL x t u t ttx T T( )( )( )( )( ( ), )min( ( ( ), )( ( ), ( ), )d )min( ( ), ( ), )d( ( ), ( ), )d( ( ), )min( ( ), ( ), )dmin( ( ), ( ), )d( ( ), )minTu tUtttTu tUtttttu tUtTu tUttuV x t tx T TL x t u t ttL x t u t ttL x t u t ttx T TL x t u t ttL x t u t ttx T T

40、( )( ( ), ( ), )d )( (),)tttUtL x t u t ttV x tt tt由泰勒公式，得 T2d( (),)( ( ), )()()dVxVV x tt ttV x t tttotxtt 由中值定理，得 ( ( ), ( ), )d( (), (),)tttL x t u t ttL x tt u tt ttt ( )T2( ( ), )min( ( (), (),)d ( ( ), )()()du tUV x t tL x tt u tt tttVxVV x t tttotxtt 2T( )d()min( ( (), (),)()du tUVVxotL x tt

41、u tt tttxtt T( )( , )min( ( , , )()( , , )u tUVV x tL x u tf x u ttx 0t 連續(xù)型動態(tài)規(guī)劃方程 實際上它不是一個偏微分方程，而是一個函數方程和偏微分方程的混合方程 ( , )Vu xtt滿足連續(xù)型動態(tài)規(guī)劃方程，有 設T( ( , , )()( , , )VVL x u tf x u ttt 邊界條件 ( ( ), )( ( ), )V x T Tx T T動態(tài)規(guī)劃 動態(tài)規(guī)劃方程是最優(yōu)控制函數滿足的充分條件；解一個偏微分方程；可直接得出綜合函數 ；動態(tài)規(guī)劃要求 有連續(xù)偏導數最大值原理 最大值原理是最優(yōu)控制函數滿足的必要條件；解一

42、個常微分方程組；最大值原理則只求得 。( , )u x t( )u t( , )V x t例4.3 一階系統(tǒng) ( )( )x tu t00( )x tx0221122( )dTtJcx Tut性能指標 動態(tài)規(guī)劃方程 T212( )( )min( ( , , )()( , , )min()u tu tVVVL x u tf x u tuuttt 右端對u求導數，令其導數為零，則得 Vut 212()VVtt212( , )( )( )V x tp t x t2( )( ), ( )p tp tp Tc( )1()cp tc Tt21( , )21()cxV x tc Tt*1()Vcutc Tt

43、 4.4 動態(tài)規(guī)劃與最大值原理的關系變分法、最大值原理和動態(tài)規(guī)劃都是研究最優(yōu)控制問題的求解方法，很容易想到，若用三者研究同一個問題，應該得到相同的結論。因此三者應該存在著內在聯(lián)系。變分法和最大值原理之間的關系前面已說明，下面將分析動態(tài)規(guī)劃和最大值原理的關系?？梢宰C明，在一定條件下，從動態(tài)規(guī)劃方程能求最大值原理的方程。 T( )min( ( , , )()( , , )u tVVL x u tf x u ttt 動態(tài)規(guī)劃方程 T( )min( ( , , )( , , )u tVL x u tf x u tt ( )Vtx令哈米頓函數 最大值原理的必要條件 5.1 問題提出5.2 狀態(tài)調節(jié)器5.

44、3 輸出調節(jié)器5.4 跟蹤問題5.5 利用Matlab求解最優(yōu)控制第5章 線性二次型性能指標的最優(yōu)控制用最大值原理求最優(yōu)控制，求出的最優(yōu)控制通常是時間的函數，這樣的控制為開環(huán)控制。當用開環(huán)控制時，在控制過程中不允許有任何干擾，這樣才能使系統(tǒng)以最優(yōu)狀態(tài)運行。在實際問題中，干擾不可能沒有，因此工程上總希望應用閉環(huán)控制，即控制函數表示成時間和狀態(tài)的函數。求解這樣的問題一般來說是很困難的。但對一類線性的且指標是二次型的動態(tài)系統(tǒng)，卻得了完全的解決。不但理論比較完善，數學處理簡單，而且在工程實際中又容易實現(xiàn)，因而在工程中有著廣泛的應用。5.1 問題提法動態(tài)方程 ( )( ) ( )( ) ( )x tA

45、t x tB t u t( )( ) ( )y tC t x t指標泛函 0TTT11( )( )( ) ( ) ( )( ) ( ) ( )d22TtJxT Sx Txt Q t x tut R t u tt求( , )u x t使之有最小值( , )u x t此問題稱線性二次型性能指標的最優(yōu)控制問題通常稱為綜合控制函數指標泛函的物理意義積分項，被積函數由兩項組成，都是二次型。第一項 過程在控制過程中，實際上是要求每個分量越小越好，但每一個分量不一定同等重要，所以用加權來調整，當權為零時，對該項無要求。第二項控制能力能量消耗最小。對每個分量要求不一樣，因而進行加權。要求正定，一方面對每個分量

46、都應有要求，否則會出現(xiàn)很大幅值，在實際工程中實現(xiàn)不了；另一方面，在計算中需要有逆存在。指標中的第一項是對點狀態(tài)的要求，由于對每個分量要求不同，用加權陣來調整。5.2 狀態(tài)調節(jié)器5.2.1 末端自由問題5.2.2 固定端問題5.2.3 T 的情況狀態(tài)調節(jié)器選擇 或 使系統(tǒng)性能指標有最小值( )u t( , )u x t5.2.1 末端自由問題構造哈密頓函數 TTTT1122( )( )( )( )Hx Q t xu R t uA t xB t u伴隨方程及邊界條件 T( )( )( ) ( )HtAtQ t x tx ( )( )TSx T最優(yōu)控制應滿足 TT( ) ( )( )0HRt u t

47、Btu*1T( )( )( ) ( )u tRt Btt 代入正則方程 線性二次型性能指標的最優(yōu)控制1T00( )( ) ( )( )( )( ) ( ), ( )x tA t x tB t Rt Bttx txT( )( ) ( )( ) ( ), ( )( )tAttQ t x tTSx T ( )( ) ( )tP t x t1T1T( )( ) ( )( ) ( )( ) ( )( )( ( ) ( )( )( )( ) ( )( ( )( ) ( )( ) ( )( )( ) ( ) ( )tP t x tP t x tP t x tP tA t x tB t Rt BttP tP

48、t A tP t B t Rt Bt P tx t求導 TT( )( ) ( )( ) ( )( )( ) ( ) ( )tQ t x tAttQ tAt P tx t T1T( )( ) ( ) ( )( ( )( ) ( )( ) ( )( )( ) ( ) ( )Q tAt P tx tP tP t A tP t B t Rt Bt P tx tT1T( )( ) ( )( ) ( )( ) ( )( )( ) ( )( )0P tP t A tAt P tP t B t Rt Bt P tQ t（矩陣黎卡提微分方程） 邊界條件 ( )P TS最優(yōu)控制 *1T( , )( )( ) (

49、)ux tRt Bt P t x 1T( )( )( ) ( )K tRt Bt P t*( , )( )ux tK t x 令最優(yōu)控制是狀態(tài)變量的線性函數借助狀態(tài)變量的線性反饋可實現(xiàn)閉環(huán)最優(yōu)控制 ( )P t對稱半正定陣 例5.1 , (0)1xaxux02221122( )( )( )dTtJsx Tqx tru tt性能指標泛函 *1( )up t xr 最優(yōu)控制 黎卡提微分方程 21( )2( )( ), ( )p tap tp tqp Tsr ( )( )2dd12p TTp ttppapqr2 ()2 ()/()()/( )/1/b t Tb t Ts res rp trs res

50、 r2qar最優(yōu)軌線的微分方程 1( )( ) ( ), (0)1x tap t x txr0( )/ )d( )tap trx te解 最優(yōu)軌線 最優(yōu)控制 1a 0s 1T 1q 黎卡提方程的解 隨終點時間變化的黎卡提方程的解 2lim( , )Tqp t Tarrar5.2.2 固定端問題0TT( ) ( ) ( )( ) ( ) ( )dTtJxt Q t x tut R t u tt指標泛函 （設）( )0 x T 采用“補償函數”法 0TTT11( )( )( ) ( ) ( )( ) ( ) ( )d22TtJxT Sx Txt Q t x tut R t u tt補償函數 懲罰函

51、數 ( )P TS邊界條件 黎卡提方程 逆黎卡提方程 1( )( )P t PtI11( )( )( )( )0P t PtP t Pt求導 1111T1T11( ) ( )( )( )( )( )( ) ( )( )( )( ) ( )( )0Pt P t PtA t PtPt AtB t Rt BtPt Q t Pt黎卡提方程1( )Pt乘以111T1T11( )( )( )( )( )( )( )( )( ) ( )( )0PtA t PtPt AtB t Rt BtPt Q t Pt逆黎卡提方程 1( )Pt( )P t解 逆 5.2.3 T 的情況0TT12( ) ( ) ( )(

52、) ( ) ( )dtJxt Q t x tut R t u tt性能指標 無限長時間調節(jié)器問題 黎卡提方程 ( , )P t T( , )0P T T 邊界條件 最優(yōu)控制 *1T( , )( )( ) ( )ux tRt Bt P t x 最優(yōu)指標 *T10002( ) ( ) ( )Jxt P tx t5.2.4 定常系統(tǒng)xAxBu0TT1( )( )( )( )d2TtJxt Qx tut Ru ttT1T0PAA PPBR B PQ*1T( , )( )ux tR Bt Px *T1002( )( )Jxt Px t完全可控 指標泛函 矩陣代數方程 最優(yōu)控制 最優(yōu)指標 例5.2 102

53、, (0)xxuxx 22211220( )(2)d , 0TJsx Txuts*1T( )( )uBR B P t xp t x 黎卡提方程 22, ( )pppp Ts1( )0.5 1.5th( 1.5)p tt 2( )0.5 1.5cth( 1.5)p tt5.3 輸出調節(jié)器0TTT11( )( )( ) ( ) ( )( ) ( ) ( )d22TtJyT Sy Tyt Q t y tut R t u tt指標泛函 輸出調節(jié)器問題0TTT1111( )( ) ( )( )( ) ( )( ) ( ) ( )d22TtJxT S T x Txt Q t x tut R t u ttT

54、1( )( ) ( ) ( )Q tCt Q t C tT1( )( )SCT SC T狀態(tài)調節(jié)器問題 令5.4 跟蹤問題問題的提法 )(t已知的理想輸出 )()()(ttyte偏差量 指標泛函 0TTT11( )( )( ) ( ) ( )( ) ( ) ( )d22TtJe T Se Tet Q t e tut R t u tt尋求控制規(guī)律使性能指標有極小值。物理意義 在控制過程中，使系統(tǒng)輸出盡量趨近理想輸出，同時也使能量消耗最少。 指標泛函 00TTTTTT1( ( )( )( ( )( )21 ( ( )( )( )( ( )( )( ) ( ) ( )d21 ( ( ) ( )( )

55、( ( ) ( )( )21 ( ( ) ( )( )( )( ( ) ( )( )( ) ( ) ( )d2TtTtJy TTS y TTy ttQ ty ttut R t u ttC T x TTS C T x TTC t x ttQ t C t x ttut R t u tt哈密頓函數 TTT1( ( ) ( )( )( )( ( ) ( )( )( ) ( ) ( )2 ( )( ( ) ( )( ) ( )HC t x ttQ t C t x ttut R t u ttA t x tB t u t2022年4月12日星期二現(xiàn)代控制理論130T( ) ( )( ) ( )0HR t u

56、 tBttu*1T( )( ) ( )uRt Btt 0)(22tRuH1T( )( ) ( )( )( )( ) ( )x tA t x tB t Rt BttTTT( )( ) ( ) ( ) ( )( ) ( )( ) ( ) ( )tCt Q t C t x tAttCt Q tt xtx)(0TT( )( )( ) ( )( )( )TCT SC T x TCT ST)()()()(ttxtPt設并微分2022年4月12日星期二現(xiàn)代控制理論1311T1T( )( ) ( )( ) ( )( ) ( ) ( )( ) ( )( ) ( )( )( ) ( ) ( ) ( )( )( )

57、 ( )( )tP t x tP t x ttP t x tP t A tP t B t Rt Bt P tP t B t Rt BtttT1TTT( )( ) ( )( ) ( )( ) ( )( )( )( ) ( ) ( )0P tP t A tAt P tP t B t Rt Bt PCt Q t C t)(tx的任意性 T1TT( )( )( ) ( )( )( ) ( )( ) ( ) ( )0tAtP t B t Rt BttCt Q ttT( )( ) ( )P TCT S TT( )( )( )TCT ST*1T1T( )( ) ( )( )( ) ( )uRt Bt P t

58、 xRt Btt 最優(yōu)控制 2022年4月12日星期二現(xiàn)代控制理論132最優(yōu)軌線方程 1T1T( )( ( )( )( )( ) ( ) ( )( )( )( ) ( )x tA tB t Rt Bt P tx tB t Rt Btt最優(yōu)性能指標 *TT0000001( ) ( ) ( )( ) ()( )2Jxtp tx ttx ttTT1T1( )( ) ( ) ( )( ) ( )( ) ( )2tt Q ttt B t R Btt T( )( ) ( ) ( )TT P TT2022年4月12日星期二現(xiàn)代控制理論133例5.3 0 100 01xxu 1020(0)xxx1121,0 xyxx性能指標 2201()d2Jyut1223121212122323232312230 10 0010,11,000 01 010( )( )0 0 ( )( )0 0ppppppppppppppppppppp Tp Tp Tp T 2022年4月12日星期二現(xiàn)代控制理論134212121232232331, ( )0, ( )02