最優(yōu)控制理論 (1)資料

1、最 優(yōu) 控 制 理 論與 應(yīng) 用 Optimal Control Theory and Application 主講(zhjing)：xxx共一百四十一頁主 要 內(nèi) 容 1 最優(yōu)控制問題(wnt)2 求解(qi ji)最優(yōu)控制的變分方法3 最大值原理與應(yīng)用5 動態(tài)規(guī)劃4 線性二次型性能指標(biāo)的最優(yōu)控制6 對策論與最大最小控制共一百四十一頁最優(yōu)控制理論 現(xiàn)代控制理論的重要組成部分(z chn b fn)；20世紀(jì)50年代 發(fā)展形成系統(tǒng)的理論； （動態(tài)規(guī)劃、最大值原理）中心問題 給定一個控制系統(tǒng)，選擇控制規(guī)律， 使系統(tǒng)在某種意義上是最優(yōu)的；應(yīng)用 在各個領(lǐng)域中得到應(yīng)用，效益顯著。前 言共一百四十一頁

2、例1.1 飛船軟著陸問題(wnt) ：飛船軟著陸：在月球表面著陸時速度必須為零，由發(fā)動機的推力變化來完成。1 最優(yōu)控制問題(wnt)1.1 一個實例 月球共一百四十一頁問題：如何(rh)選擇推力，使燃料消耗最少。高度(god)垂直速度飛船的質(zhì)量月球重力加速度常數(shù)飛船自身質(zhì)量發(fā)動機推力燃料的質(zhì)量F共一百四十一頁初始條件： 登月艙初始(ch sh)質(zhì)量 初始高度 初始速度 初始時間， 末端時間常數(shù)模型(mxng)抽象共一百四十一頁 邊界條件 初始條件 末端條件 控制約束： （發(fā)動機最大推力） 性能指標(biāo)：選擇(xunz) 使 燃料最省共一百四十一頁1.2 問題(wnt)描述(1) 狀態(tài)方程 一般(y

3、bn)形式為 為n維狀態(tài)向量 為r維控制向量 為n維向量函數(shù) 給定控制規(guī)律 滿足一定條件時，方程有唯一解 共一百四十一頁(2) 容許(rngx)控制 ：, 有時(yush)控制域可為超方體 (3) 目標(biāo)集 q維向量函數(shù) 固定端問題 自由端問題 共一百四十一頁(4) 性能指標(biāo) 對狀態(tài)、控制以及終點(zhngdin)狀態(tài)的要求，復(fù)合型性能指標(biāo)。 積分型性能指標(biāo)，表示對整個狀態(tài)和控制(kngzh)過程的要求。 終點型指標(biāo)，表示僅對終點狀態(tài)的要求。 共一百四十一頁2 求解(qi ji)最優(yōu)控制的變分方法（回顧：函數(shù)(hnsh)極值 ）共一百四十一頁回顧(hug): 靜態(tài)最優(yōu)化問題的解 -函數(shù)極值 (一

4、) 一元函數(shù)的極值(j zh)：共一百四十一頁(二) 多元函數(shù)(hnsh)的極值共一百四十一頁共一百四十一頁共一百四十一頁共一百四十一頁三、具有等式約束條件極值的解法拉格朗日乘子法將具有等式約束條件的極值問題(wnt)化為約束條件的極值問題(wnt)來求解（一）拉格朗日函數(shù)(hnsh)共一百四十一頁共一百四十一頁（二）拉格朗日函數(shù)(hnsh)H極值的解法共一百四十一頁2 求解(qi ji)最優(yōu)控制的變分方法2.1 泛函與變分法基礎(chǔ)(jch)平面上兩點連線的長度問題 其弧長為行程問題共一百四十一頁一般來說，曲線不同，弧長就不同，即弧長依賴于曲線，記為 。，稱為泛函。 ，稱泛函的宗量。共一百四十一

5、頁泛函與函數(shù)(hnsh)的幾何解釋 宗量的變分 線性泛函 泛函對宗量是線性的共一百四十一頁連續(xù)(linx)泛函：宗量的變分趨于無窮小時，泛函的變分也趨于無窮小. 泛函的變分： Jd=泛函的增量(zn lin) 此時,稱泛函是可微的。是的高階無窮小量，則若共一百四十一頁定理(dngl)2.1 泛函的變分為 證明(zhngmng)共一百四十一頁例2.1 求泛函的變分 定理2.2 若泛函在x有極值，則必有上述方法與結(jié)論對于(duy)包含多變量函數(shù)的泛數(shù)同樣適用 。共一百四十一頁2.2 歐拉方程(fngchng)泛函 有二階連續(xù)偏導(dǎo)數(shù) 兩端固定 變分 分部(fn b)積分 共一百四十一頁例2.2 求平

6、面上兩固定點間連線(lin xin)最短的曲線 ， 直線 共一百四十一頁2.3 橫截條件(tiojin)左端固定右端沿曲線變動 終點值與終點的變分 橫截條件(tiojin)共一百四十一頁 共一百四十一頁例2.3 從一固定點到已知曲線(qxin)有最小長度的曲線(qxin) 所求的極值(j zh)曲線與約束曲線相正交。 歐拉方程 積分求解計算橫截條件直線 共一百四十一頁2.4 含有多個未知函數(shù)(hnsh)泛函的極值 泛函 歐拉方程 邊界值 橫截條件(tiojin) 共一百四十一頁2.5 條件極值（有約束(yush)）狀態(tài)方程 泛函 引進(jìn)乘子 構(gòu)造(guzo)新的函數(shù)和泛函 歐拉方程 約束方程 共

7、一百四十一頁例2.4 泛函約束方程 邊界條件 試求使泛函有極值。 解：化為標(biāo)準(zhǔn)形式 把問題化為標(biāo)準(zhǔn)形式，令例2.6共一百四十一頁約束方程可定為邊界條件為共一百四十一頁引進(jìn)乘子構(gòu)造函數(shù)歐拉方程 共一百四十一頁解出 其中，和為任意常數(shù)。代入約束方程，并求解可得將利用邊界條件，可得：共一百四十一頁于是，極值曲線和為：共一百四十一頁2.6.1 自由(zyu)端問題約束方程 新的泛函 有令哈米頓函數(shù) 2.6 最優(yōu)控制問題(wnt)的變分解法共一百四十一頁變分則伴隨(bn su)方程 控制(kngzh)方程橫截條件 共一百四十一頁例2.5 考慮(kol)狀態(tài)方程和初始條件為的簡單(jindn)一階系統(tǒng)，其

8、指標(biāo)泛函為，使其中，給定，試求最優(yōu)控制有極小值。共一百四十一頁伴隨方程 邊界條件 控制方程 解:引進(jìn)伴隨變量，構(gòu)造哈米頓函數(shù)共一百四十一頁則最優(yōu)控制為 得代入狀態(tài)方程求解(qi ji)得令，則有共一百四十一頁2.6.2 固定(gdng)端問題， 性能指標(biāo) 共一百四十一頁邊界條件 指標(biāo)泛函 哈米頓函數(shù) 伴隨方程 ， 例2.6 重解例2.4 其解為 共一百四十一頁 共一百四十一頁約束方程 引入拉格朗日乘子向量(xingling)，得新的泛函 2.6.3 終端(zhn dun)時刻自由，終端(zhn dun)狀態(tài)受限問題終端約束 性能指標(biāo) 共一百四十一頁 有 令H函數(shù)(hnsh) 共一百四十一頁 而

9、共一百四十一頁 于是(ysh)共一百四十一頁 于是(ysh)共一百四十一頁， ， 取極值的必要條件得由共一百四十一頁問題(wnt)描述系統(tǒng)(xtng)狀態(tài)方程 性能指標(biāo) t0,tf 固定, 自由，u可以有約束，也可無約束。3 最小值原理共一百四十一頁3.1 古典(gdin)變分法的局限性u(t)受限的例子(l zi) 矛盾!例3.1伴隨方程 極值必要條件 共一百四十一頁3.2 最小值原理(yunl)且 定理3.1 (最小值原理) 設(shè)為容許控制，為對應(yīng)的積分軌線，為使為最優(yōu)控制，為最優(yōu)軌線，必存在一向量函數(shù)，使得和滿足正則方程 共一百四十一頁最小值原理只是最優(yōu)控制所滿足(mnz)的必要條件。但對

10、于線性系統(tǒng) ，最小值原理也是使泛函取最小值得(zh d)充分條件。共一百四十一頁例3.2 重解例3.1 ， 哈密頓函數(shù) 伴隨方程 由極值必要條件，知 ， 又于是有共一百四十一頁， 協(xié)態(tài)變量與控制變量的關(guān)系(gun x)圖 共一百四十一頁, ，例3.3 性能指標(biāo)泛函 哈密頓函數(shù) 伴隨(bn su)方程 ， 共一百四十一頁上有 共一百四十一頁協(xié)態(tài)變量與控制變量的關(guān)系(gun x)圖 整個(zhngg)最優(yōu)軌線 共一百四十一頁例3.4 把系統(tǒng)狀態(tài)在終點時刻轉(zhuǎn)移到 性能指標(biāo)泛函 終點時刻是不固定的 哈米頓函數(shù) 伴隨(bn su)方程 ， 共一百四十一頁H是u的二次拋物線函數(shù)，u在 上一定使H有最小值，

11、可能在內(nèi)部，也可能在邊界上。 最優(yōu)控制可能(knng)且只能取三個值 此二者都不能使?fàn)顟B(tài)變量同時滿足(mnz)初始條件和終點條件 共一百四十一頁 ， 最優(yōu)控制 最優(yōu)軌線 最優(yōu)性能指標(biāo)(zhbio) 共一百四十一頁例3.5 使系統(tǒng)以最短時間從給定初態(tài)轉(zhuǎn)移到零態(tài) 哈米頓函數(shù) 伴隨方程 共一百四十一頁最優(yōu)控制切換(qi hun)及最優(yōu)軌線示意圖 共一百四十一頁3.3 古典(gdin)變分法與最小值原理古典(gdin)變分法適用的范圍是對u無約束，而最小值原理一般都適用。特別當(dāng)u不受約束時，條件就等價于條件共一百四十一頁4 線性二次型性能指標(biāo)的最優(yōu)控制 用最大值原理求最優(yōu)控制(kngzh)，求出的最優(yōu)

12、控制(kngzh) 通常是時間的函數(shù)，這樣的控制(kngzh)為開環(huán)控制(kngzh) 當(dāng)用開環(huán)控制時，在控制過程中不允許有任何干擾，這樣才能使系統(tǒng)以最優(yōu)狀態(tài)運行。 在實際問題中，干擾不可能沒有，因此工程上總希望應(yīng)用閉環(huán)控制，即控制函數(shù)表示成時間(shjin)和狀態(tài)的函數(shù)。 求解這樣的問題一般來說是很困難的。共一百四十一頁 但對于線性，且指標(biāo)(zhbio)是二次型的動態(tài)系統(tǒng)，卻得了較好的解決。不但理論比較完善，數(shù)學(xué)處理簡單，而且在工程實際中又容易實現(xiàn)，因而有著廣泛的工程應(yīng)用。共一百四十一頁4.1 問題(wnt)提法動態(tài)方程 指標(biāo)(zhbio)泛函 使求有最小值.其中是理想輸出是實際輸出共一百四

13、十一頁（1）狀態(tài)(zhungti)調(diào)節(jié)器問題此問題(wnt)稱線性二次型性能指標(biāo)的最優(yōu)控制問題(wnt)。通常稱為綜合控制函數(shù)當(dāng)時。（2）伺服跟蹤問題當(dāng)時。共一百四十一頁指標(biāo)泛函的物理意義積分項，被積函數(shù)由兩項組成，都是二次型。第一項跟蹤誤差的懲罰。要求每個分量越小越好，但每一個分量不一定同等重要，所以用加權(quán)來調(diào)整，當(dāng)權(quán)為零時，對該項無要求。第二項控制能量消耗的懲罰。對每個分量要求不一樣，因而進(jìn)行加權(quán)。要求正定，一方面對每個分量都應(yīng)有要求，否則會出現(xiàn)很大幅值，在實際工程中實現(xiàn)不了；另一方面，在計算中需要有逆存在(cnzi)。指標(biāo)中的第一項是對終點狀態(tài)的要求，由于對每個分量要求不同，用加權(quán)陣來調(diào)

14、整。共一百四十一頁4.2.1 末端自由(zyu)問題構(gòu)造(guzo)哈密頓函數(shù) 伴隨方程及邊界條件 最優(yōu)控制應(yīng)滿足 4.2 狀態(tài)調(diào)節(jié)器共一百四十一頁求導(dǎo) 共一百四十一頁（矩陣(j zhn)黎卡提微分方程） 邊界條件 令最優(yōu)控制是狀態(tài)變量的線性函數(shù)借助(jizh)狀態(tài)變量的線性反饋可實現(xiàn)閉環(huán)最優(yōu)控制 最優(yōu)控制 對稱半正定陣 共一百四十一頁例4.1 性能指標(biāo)泛函 最優(yōu)控制 黎卡提微分方程 共一百四十一頁最優(yōu)軌線 最優(yōu)控制 最優(yōu)軌線的微分方程 解 共一百四十一頁黎卡提方程(fngchng)的解 隨終點(zhngdin)時間變化的黎卡提方程的解 共一百四十一頁4.2.2 的情況(qngkung)性能指

15、標(biāo) 無限(wxin)長時間調(diào)節(jié)器問題 黎卡提方程 邊界條件 最優(yōu)控制 最優(yōu)指標(biāo) 共一百四十一頁4.2.3 定常系統(tǒng)(xtng)完全可控 指標(biāo)(zhbio)泛函 矩陣代數(shù)方程 最優(yōu)控制 最優(yōu)指標(biāo) 共一百四十一頁例4.2 黎卡提方程(fngchng) 共一百四十一頁4.3 輸出(shch)調(diào)節(jié)器輸出(shch)調(diào)節(jié)器問題狀態(tài)調(diào)節(jié)器問題 指標(biāo)泛函 令共一百四十一頁4.4 跟蹤(gnzng)問題問題的提法 已知的理想輸出 偏差(pinch)量 指標(biāo)泛函 尋求控制規(guī)律使性能指標(biāo)有極小值。物理意義：在控制過程中，使系統(tǒng)輸出盡量趨近理想輸出，同時也使能量消耗最少。 共一百四十一頁指標(biāo)(zhbio)泛函 哈密

16、頓函數(shù) 共一百四十一頁設(shè)并微分(wi fn)共一百四十一頁的任意性 最優(yōu)控制 共一百四十一頁最優(yōu)軌線方程 最優(yōu)性能指標(biāo) 共一百四十一頁例4.3 ， 性能指標(biāo) 共一百四十一頁最優(yōu)控制 共一百四十一頁， ， 最優(yōu)控制 極限(jxin)解 共一百四十一頁閉環(huán)控制系統(tǒng)結(jié)構(gòu) 共一百四十一頁5 動態(tài)(dngti)規(guī)劃動態(tài)規(guī)劃是求解最優(yōu)控制的又一種方法，特別對離散型控制系統(tǒng)更為有效，而且得出的是綜合(zngh)控制函數(shù)。這種方法來源于多決策過程，并由貝爾曼首先提出，故稱貝爾曼動態(tài)規(guī)劃。 共一百四十一頁5.1 多級決策(juc)過程與最優(yōu)性原理作為例子，首先分析(fnx)最優(yōu)路徑問題(a) (b) (c)試分

17、析(a),(b)和(c)三種情況的最優(yōu)路徑，即從 走到 所需時間最少。規(guī)定沿水平方向只能前進(jìn)不能后退。 共一百四十一頁利用窮舉法，易知：(a) 有2條路徑，只需計算(j sun)21=2次加法，上面一條所需時間最少。(b) 有6條路徑可達(dá)終點，需計算63=18次加法，經(jīng)比較，可找出一條時間最短的路程。(c) 則需計算205=100次加法，才可得出結(jié)果，計算量顯著增大了。 共一百四十一頁逆向分級計算法 逆向是指計算從后面開始，分級是指逐級計算。逆向分級就是從后向前逐級計算。 以(c)為例 從倒數(shù)第一級開始，狀態(tài)有兩個，分別為 和 在處，只有一條路到達(dá)終點，其時間是；在 處，也只有一條，時間為1。

18、后一條時間最短，將此時間相應(yīng)地標(biāo)在 點上。并將此點到終點的最優(yōu)路徑畫上箭頭。 共一百四十一頁然后(rnhu)再考慮第二級 只有一種選擇，到終點所需時間是 有兩條路，比較后選出時間最少的一條，即4+1=5。用箭頭標(biāo)出(最優(yōu)路徑)也標(biāo)出時間(最優(yōu)路徑) 依此類推，最后(zuhu)計算初始位置 求得最優(yōu)路徑 最短時間為 13(最優(yōu)路徑)共一百四十一頁最優(yōu)路徑(ljng)示意圖 共一百四十一頁多級過程 多級決策過程 目標(biāo)函數(shù) 控制目的 選擇決策序列 使目標(biāo)(mbio)函數(shù)取最小值或最大值。 實際上就是(jish)離散狀態(tài)的最優(yōu)控制問題。 共一百四十一頁最優(yōu)性原理(yunl) 在一個多級決策問題中的最優(yōu)

19、決策具有這樣的性質(zhì)，不管初始(ch sh)級、初始(ch sh)狀態(tài)和初始(ch sh)決策是什么，當(dāng)把其中任何一級和狀態(tài)做為初始(ch sh)級和初始(ch sh)狀態(tài)時，余下的決策對此仍是最優(yōu)決策。 共一百四十一頁指標(biāo)函數(shù)多是各級( j)指標(biāo)之和，即具有可加性 最優(yōu)性原理(yunl)的數(shù)學(xué)表達(dá)式 共一百四十一頁5.2 離散系統(tǒng)動態(tài)(dngti)規(guī)劃階離散系統(tǒng) 性能指標(biāo) 求決策(juc)向量 使 有最小值（或最大值），其終點可自由，也可固定或受約束。共一百四十一頁記 應(yīng)用(yngyng)最優(yōu)性原理 可建立(jinl)如下遞推公式 貝爾曼動態(tài)規(guī)劃方程 共一百四十一頁例5.2 設(shè)一階離散系統(tǒng)，狀

20、態(tài)方程和初始條件為性能指標(biāo) 求使 有最小值的最優(yōu)決策序列和最優(yōu)軌線序列 指標(biāo)可寫為 共一百四十一頁代入 上一級共一百四十一頁代入狀態(tài)方程 最優(yōu)決策序列 最優(yōu)軌線 共一百四十一頁5.3 連續(xù)(linx)系統(tǒng)的動態(tài)規(guī)劃性能指標(biāo) 目標(biāo)(mbio)集 引進(jìn)記號 根據(jù)最優(yōu)性原理及共一百四十一頁共一百四十一頁由泰勒(ti l)公式，得 由中值(zhn zh)定理，得 共一百四十一頁連續(xù)型動態(tài)(dngti)規(guī)劃方程 實際上它不是一個偏微分方程(fngchng)，而是一個函數(shù)方程(fngchng)和偏微分方程(fngchng)的混合方程(fngchng) 共一百四十一頁滿足連續(xù)型動態(tài)規(guī)劃(guhu)方程，有

21、設(shè)邊界條件 動態(tài)規(guī)劃 動態(tài)規(guī)劃方程是最優(yōu)控制函數(shù)滿足的充分條件；解一個偏微分方程；可直接得出綜合(zngh)函數(shù) ；動態(tài)規(guī)劃要求 有連續(xù)偏導(dǎo)數(shù)最大值原理 最大值原理是最優(yōu)控制函數(shù)滿足的必要條件；解一個常微分方程組；最大值原理則只求得 。共一百四十一頁例5.3 一階系統(tǒng) ， 性能指標(biāo) 動態(tài)規(guī)劃方程 右端對u求導(dǎo)數(shù)，令其導(dǎo)數(shù)為零，則得 共一百四十一頁5.4 動態(tài)規(guī)劃與最大值原理(yunl)的關(guān)系變分法、最大值原理(yunl)和動態(tài)規(guī)劃都是研究最優(yōu)控制問題的求解方法，很容易想到，若用三者研究同一個問題，應(yīng)該得到相同的結(jié)論。因此三者應(yīng)該存在著內(nèi)在聯(lián)系。變分法和最大值原理(yunl)之間的關(guān)系前面已說明

22、，下面將分析動態(tài)規(guī)劃和最大值原理(yunl)的關(guān)系?？梢宰C明，在一定條件下，從動態(tài)規(guī)劃方程能求最大值原理(yunl)的方程。 共一百四十一頁動態(tài)(dngti)規(guī)劃方程 令哈米頓函數(shù)(hnsh) 最大值原理的必要條件 共一百四十一頁6 對策(duc)論與極大極小控制對策(duc)論-雙方控制問題 矛盾沖突活動中，局中雙方采取何種合理的策略而使自己處于“優(yōu)越”地位的理論。6.1 離散對策(矩陣對策)零和對策：博弈的對方的支付就是自己的贏得，支付與贏得之和為0。共一百四十一頁純策略解：博弈過程中不管誰先開局都存在唯一(wi y)的最優(yōu)對策解。 矩陣對策存在純策略(cl)解的條件：博弈過程中不管誰先開

23、局都存在唯一的最優(yōu)對策解。 共一百四十一頁 矩陣對策存在純策略解的條件：設(shè)對策的支付矩陣為L，u（行），v（列）是博弈(b y)的雙方，此時v方力圖使u支付最大，而 u方則試圖使之最小。共一百四十一頁 對局中人v來講，對L中的每一列取其中的最小值， （最壞情況），再從這些列的最小值中取最大值 （最壞情況下的最好結(jié)果），對局中人u來講，對L中的每一列取其中的最大值， （最壞情況），再從這些列的最小值中取最大值 （最壞情況下的最好結(jié)果）。如果 共一百四十一頁 定理1 零和矩陣對策有極小極大解充要條件：存在一個最優(yōu)對策解（i*，j*），使 對應(yīng)i*行j*列的對策 或簡寫為稱為（或稱最優(yōu)純策略）。V是

24、對策值，則稱存在極小極大解，對應(yīng)i*行j*列的對策 或簡寫為（i*，j*）稱為對策的最優(yōu)解（或稱最優(yōu)純策略）。共一百四十一頁 若u與v的選擇為連續(xù)值時（即可有無限個對策），則有一個連續(xù)的支付函數(shù) ，而非離散的支付矩陣 ?，F(xiàn)在要找一對最優(yōu)的 ，使得7.2 連續(xù)(linx)對策共一百四十一頁， 上式表明 是L的一個鞍點。 有鞍點的必要條件為充要條件為共一百四十一頁7.3 微分對策給定動態(tài)系統(tǒng)終端約束性能指標(biāo) 共一百四十一頁 引入哈密頓函數(shù)(hnsh)得新的泛函 共一百四十一頁如果 是其最優(yōu)解，則 一起滿足共一百四十一頁 特別(tbi)地，當(dāng)狀態(tài)方程和性能指標(biāo)函數(shù)的被積函數(shù)可分解為一部分僅與策略u有

25、關(guān)，另一部分僅與策略v有關(guān)時，即 共一百四十一頁 上述最優(yōu)策略(cl)的必要條件也是充分條件。共一百四十一頁8 快速(kui s)控制系統(tǒng)在實際問題中，經(jīng)常發(fā)生以時間為性能指標(biāo)的控制問題。如，當(dāng)被控(bi kn)對象受干擾后，偏離了平衡狀態(tài)，希望施加控制能以最短時間恢復(fù)到平衡狀態(tài)。凡是以運動時間為性能指標(biāo)的最優(yōu)控制問題稱為最小時間控制。共一百四十一頁8.1 快速控制問題性能指標(biāo) 時間上限是可變的 從狀態(tài)轉(zhuǎn)移平衡狀態(tài)所需時間最短 構(gòu)造哈密頓函數(shù) 最小值原理 分段常值函數(shù) 共一百四十一頁例8.1 有一單位質(zhì)點，在 處以初速度2沿直線運動?，F(xiàn)施加一力 ， ，使質(zhì)點盡快返回原點，并停留在原點上。力 簡稱為控制。若其它阻力不計，試求此控制力。質(zhì)點(zhdin)運動方程 狀態(tài)方程 哈密頓函數(shù)(hnsh) 伴隨方程 共一百四十一頁最優(yōu)控制 協(xié)態(tài)變量與控制(kngzh)函數(shù)4種情況示意圖 共一百四十一頁相軌線族示意圖 開關(guān)曲線(qxin) 共一百四十一頁開關(guān)(kigun)曲線 總時間(shjin) 初始狀態(tài) 最優(yōu)控制 狀態(tài)方程 相軌線 最優(yōu)控