最優(yōu)控制課件

第一章緒論

第一章緒論一、最優(yōu)控制簡(jiǎn)介二、最優(yōu)控制發(fā)展過(guò)程三、最優(yōu)控制應(yīng)用舉例四、小結(jié)五、本科程主要內(nèi)容返回主目錄一、最優(yōu)控制簡(jiǎn)介

在生產(chǎn)過(guò)程、軍事行動(dòng)、經(jīng)濟(jì)活動(dòng)以及人類的其他有目的的活動(dòng)中，常需要對(duì)被控系統(tǒng)或被控過(guò)程施加某種控制作用以使某個(gè)性能指標(biāo)達(dá)到最優(yōu)，這種控制作用稱為最優(yōu)控制。二、最優(yōu)控制發(fā)展過(guò)程

以後，拉塞爾（LaSalle）發(fā)展了時(shí)間最優(yōu)控制的理論，即所謂Bang—Bang控制理論。1953至1957年間美國(guó)學(xué)者貝爾曼（Bellman）創(chuàng)立了“動(dòng)態(tài)規(guī)劃”理論，發(fā)展了變分學(xué)中的哈密頓—雅可比（Hamilton—Jacobi）理論。

上世紀(jì)五十年代初期布紹（Bushaw）研究了伺服系統(tǒng)的時(shí)間最優(yōu)控制問(wèn)題。1956至1958年間蘇聯(lián)學(xué)者龐特裏雅金等創(chuàng)立了“極大值原理”。這兩種方法成為了目前最優(yōu)控制理論的兩個(gè)柱石。

時(shí)至今日，最優(yōu)控制理論的研究無(wú)論在深度上和廣度上都有了很大的發(fā)展，例如發(fā)展了對(duì)分佈參數(shù)系統(tǒng)、隨機(jī)系統(tǒng)、大系統(tǒng)的最優(yōu)控制理論的研究等等。三、最優(yōu)控制應(yīng)用舉例例1-1火車快速運(yùn)行問(wèn)題。設(shè)有一列火車從甲地出發(fā)，要求算出容許的控制使其到達(dá)乙地的時(shí)間最短?；疖嚨倪\(yùn)動(dòng)方程（1-1）

（1-2）式中，是火車的品質(zhì)，是火車的加速度，為使旅客舒適，其值有限制。是產(chǎn)生加速度的控制作用（即推力），其值也應(yīng)有限制，設(shè)選擇使為最小。初始條件（1-3）終端條件（1-4）性能指標(biāo)（1-5）

月球軟著陸問(wèn)題。為了使太空船在月球表面上實(shí)現(xiàn)軟著陸（即著陸時(shí)速度要為零），要尋求著陸過(guò)程中發(fā)動(dòng)機(jī)推力的最優(yōu)控制規(guī)律，使得燃料的消耗最少。設(shè)飛船的品質(zhì)為，離月球表面的高度為，飛船的垂直速度為，發(fā)動(dòng)機(jī)推力為，月球表面的重力加速度為，設(shè)不帶燃料的飛船品質(zhì)為，初始燃料的品質(zhì)為

，則飛船的運(yùn)動(dòng)方程可表示為（參見圖1-1）例1-2

圖1-1月球軟著陸最優(yōu)控制問(wèn)題（1-6）式中

為比例係數(shù)，表示了推力與燃料消耗率的關(guān)係。

控制目的是使燃料消耗量最小，即飛船在著陸時(shí)的品質(zhì)保持最大，即為最大。（1-10）

容許控制（1-9）

終端條件

（1-8）初始條件

（1-7）例1-3

是初始時(shí)刻的商品存貨量，且。從的實(shí)際意義來(lái)看，顯然必須選取生產(chǎn)率使得（1-13）

生產(chǎn)計(jì)畫問(wèn)題。設(shè)表示商品存貨量，表示對(duì)商品的需求率，是已知函數(shù)，表示生產(chǎn)率，它將由計(jì)畫人員來(lái)選取，故是控制變數(shù)。滿足下麵的微分方程（1-12）（1-11）其次，生產(chǎn)能力應(yīng)該有限制，即容許控制為（1-14）這裏表示最大生產(chǎn)率，另外為了保證滿足需求，必須有

由到的總成本為要求尋找最優(yōu)控制，使總成本最小。（1-15）（1-16）

假定每單位時(shí)間的生產(chǎn)成本是生產(chǎn)率的函數(shù)，即。設(shè)是單位時(shí)間儲(chǔ)存單位商品的費(fèi)用，於是，單位時(shí)間的總成本為四、小結(jié)：

由上面的例子可見，求解最優(yōu)控制問(wèn)題時(shí)要給定系統(tǒng)的狀態(tài)方程，狀態(tài)變數(shù)所滿足的初始條件和終端條件，性能指標(biāo)的形式（時(shí)間最短、消耗燃料最小，誤差平方積分最小等）以及控制作用的容許範(fàn)圍等。其中，為維狀態(tài)向量，為維控制向量，為維向量函數(shù)，它可以是非線性時(shí)變向量函數(shù)，也可以是線性定常的向量函數(shù)。狀態(tài)方程必須精確的知道。

用數(shù)學(xué)語(yǔ)言來(lái)比較詳細(xì)地表達(dá)最優(yōu)控制問(wèn)題的內(nèi)容：

（1）建立被控系統(tǒng)的狀態(tài)方程（1-17）

而到達(dá)終端的時(shí)刻和狀態(tài)則因問(wèn)題而異。

（2）確定狀態(tài)方程的邊界條件。一個(gè)動(dòng)態(tài)過(guò)程對(duì)應(yīng)於維狀態(tài)空間中從一個(gè)狀態(tài)到另一個(gè)狀態(tài)的轉(zhuǎn)移，也就是狀態(tài)空間中的一條軌線。在最優(yōu)控制中初態(tài)通常是知道的，即（1-18）（1-19）例如，在流水線生產(chǎn)過(guò)程中，是固定的；在飛機(jī)快速爬高時(shí)，只規(guī)定爬高的高度，而是自由的，要求越小越好。終端狀態(tài)一般屬於一個(gè)目標(biāo)集，即當(dāng)終端狀態(tài)是固定的，即時(shí)，則目標(biāo)集退化為維狀態(tài)空間中的一個(gè)點(diǎn)。而當(dāng)終態(tài)滿足某些約束條件，即這時(shí)處在維狀態(tài)空間中某個(gè)超曲面上。若終態(tài)不受約束，則目標(biāo)集便擴(kuò)展到整個(gè)維空間，或稱終端狀態(tài)自由。（1-20）上述性能指標(biāo)包括兩個(gè)部分，即積分指標(biāo)和終端指標(biāo)，這種綜合性指標(biāo)所對(duì)應(yīng)的最優(yōu)控制問(wèn)題稱為波爾紮（Bolza）問(wèn)題。當(dāng)只有終端指標(biāo)時(shí)，稱為邁耶爾（Mayer）問(wèn)題；當(dāng)只有積分指標(biāo)時(shí)，稱為拉格朗日（Lagrange）問(wèn)題。

（3）選定性能指標(biāo)。性能指標(biāo)一般有下麵的形式：（1-21）

性能指標(biāo)的確定因問(wèn)題的性質(zhì)而異。在導(dǎo)彈截?fù)裟繕?biāo)的問(wèn)題中，我們要求彈著點(diǎn)的散佈度最小，這時(shí)可用終端指標(biāo)來(lái)表示。在快速控制問(wèn)題時(shí)，要求系統(tǒng)從一個(gè)狀態(tài)過(guò)渡到另一個(gè)狀態(tài)的時(shí)間最短，即，這就是積分指標(biāo)。

性能指標(biāo)是控制作用的函數(shù)，也就是函數(shù)的函數(shù)，這種以函數(shù)為引數(shù)的函數(shù)稱為泛函，所以又稱為性能泛函。有的文獻(xiàn)中也把性能指標(biāo)稱為代價(jià)函數(shù)、目標(biāo)函數(shù)等等。（4）確定控制作用的容許範(fàn)圍，即

是維控制空間中的一個(gè)集合。例如，控制飛機(jī)的舵偏角是受限制的，控制電機(jī)的電流是受限制的，即有。這時(shí)控制作用屬於一個(gè)閉集。當(dāng)不受任何限制時(shí)，稱它屬於一個(gè)開集。下麵將看到處理這兩類問(wèn)題的方法是不同的?？煞Q為容許集合，屬於的控制則稱為容許控制。（1-22）

（5）按一定的方法計(jì)算出容許控制將它施加於用狀態(tài)方程描述的系統(tǒng)，使?fàn)顟B(tài)從初態(tài)轉(zhuǎn)移到目標(biāo)集中的某一個(gè)終態(tài)，並使性能指標(biāo)達(dá)到最大或最小，即達(dá)到某種意義下的最優(yōu)。五、本課程主要內(nèi)容

課程將介紹求解最優(yōu)控制問(wèn)題的方法：經(jīng)典變分法，極大（?。┲翟?，動(dòng)態(tài)規(guī)劃法，線性二次型最優(yōu)控制（系統(tǒng)為線性，指標(biāo)為狀態(tài)和控制的二次型），線性二次型高斯控制（系統(tǒng)為線性且有高斯雜訊，指標(biāo)為二次型），奇異最優(yōu)控制，微分對(duì)策控制（系統(tǒng)受雙方控制），最優(yōu)魯棒控制等。本書還將介紹最優(yōu)控制的一些基本的數(shù)值求解方法，最後介紹一些MATLAB在求解最優(yōu)控制問(wèn)題中的應(yīng)用實(shí)例。第二章靜態(tài)優(yōu)化——函數(shù)的極值問(wèn)題本章主要內(nèi)容:2.1無(wú)約束條件的函數(shù)極值問(wèn)題2.2有約束條件的函數(shù)極值問(wèn)題2.3小結(jié)2.4習(xí)題2.1無(wú)約束條件的函數(shù)極值問(wèn)題一元函數(shù)極值問(wèn)題二元函數(shù)極值問(wèn)題多元函數(shù)極值問(wèn)題一元函數(shù)的極值問(wèn)題

一元函數(shù)在處取極值的必要條件為

（2-1）當(dāng)

（2-2）

為極小。

當(dāng)（2-3）

為極大。

為簡(jiǎn)單起見，今後我們將只討論極小，式（2-1）和（2-2）一起構(gòu)成為極小值的充分條件。當(dāng)時(shí)，也可能有極小值，不過(guò)要檢驗(yàn)高階導(dǎo)數(shù)。

上述情況可用圖2-1來(lái)表示。R點(diǎn)是局部極小點(diǎn)，又是總體極小點(diǎn)，U只是局部極小點(diǎn)，T是局部極大點(diǎn)，S是拐點(diǎn)，不是極值點(diǎn)。圖2-1函數(shù)的極值點(diǎn)和拐點(diǎn)

例2-1求使

最小的x。解:

故解使達(dá)到極小。本例是著名的最小二乘問(wèn)題。二元函數(shù)極值問(wèn)題

下麵考慮二元函數(shù)的極值問(wèn)題。設(shè)在處取得極小值，記，這裏（T表示轉(zhuǎn)置，X是列向量）。在處取得極小值的必要條件和充分條件可如下求得。將在周圍展開為泰勒級(jí)數(shù)

（2-4）式中

表示高階無(wú)窮小。將（2-4）式用向量矩陣形式表示

(2-5)式中，(2-6)

由（2-5）式可知，取極值的必要條件為

(2-7)

進(jìn)一步，若（2-8）

則這個(gè)極值為極小值。由於是任意的不為零的向量，要使（2-8）式成立，由矩陣?yán)碚摽芍A導(dǎo)數(shù)矩陣（又稱為Hessian陣）必須是正定的。正定陣形式上可表示為（2-9）（2-7）和（2-9）一起構(gòu)成了在處取極小值的充分條件。

多元函數(shù)極值問(wèn)題設(shè)n個(gè)變數(shù)的多元函數(shù)為

式中

則在處有極小值的必要條

件為一階導(dǎo)數(shù)向量等於零向量，即進(jìn)一步，若二階導(dǎo)數(shù)矩陣是正定陣，即（2-11）則這個(gè)極值是極小。

式（2-10）和（2-11）一起構(gòu)成了多元函數(shù)在處取極小值的充分條件。由（2-11）式可知，是實(shí)對(duì)稱矩陣。判別實(shí)對(duì)稱矩陣是否為正定有兩個(gè)常用的方法。一是檢驗(yàn)的特徵值，若特徵值全部為正，則是正定的。另一是應(yīng)用塞爾維斯特（Sylvest）判據(jù)。根據(jù)此判據(jù)，若的各階順序主子式均大於零，即

（2-12）則就是正定的。det表示A陣的行列式。例2-2求下麵的多元函數(shù)的極值點(diǎn)解

由上面三個(gè)方程求得可能的極值點(diǎn)為

二階導(dǎo)數(shù)陣為

用塞爾維斯特判據(jù)來(lái)檢驗(yàn)，有

故為正定，在處，為極小。2.2有約束條件的函數(shù)極值問(wèn)題

前面討論函數(shù)的極值問(wèn)題時(shí)，向量的各個(gè)分量可獨(dú)立地選擇，相互間無(wú)約束。本節(jié)將討論的各分量滿足一定約束條件的情況。

設(shè)具有個(gè)n變數(shù)的多元函數(shù)為

X的各分量滿足下麵的m個(gè)等式約束方程

(2-13)

若能從m個(gè)約束方程中解出m個(gè)X的分量，即將它們用其他n-m個(gè)的X分量表示，那麼X中只剩下n-m個(gè)獨(dú)立變數(shù)。於是問(wèn)題可化為求n-m個(gè)變數(shù)的多元函數(shù)的無(wú)約束極值問(wèn)題。這就是所謂的“消去法”。

由於從m個(gè)方程（一般是非線性方程）求出m個(gè)分量常常是困難的，故經(jīng)常採(cǎi)用“拉格朗日乘子法”。為此，對(duì)個(gè)約束方程，引入個(gè)拉格朗日乘子，並作出一個(gè)輔助函數(shù)—拉格朗日函數(shù)。

若令

則（2-14）式可用向量形式表示為

（2-15）

於是的條件極值問(wèn)題就化為的無(wú)條件極值問(wèn)題。函數(shù)L有極值的必要條件為

例2-3求從原點(diǎn)（0，0，0）至平面

的最短距離。解原點(diǎn)至空間任何一點(diǎn)的距離的平方為

要使極小，而點(diǎn)必須在所規(guī)定的平面上。

這是一個(gè)條件極值問(wèn)題。作拉格朗日函數(shù)

極值的必要條件為

聯(lián)立求解上面四個(gè)方程可得

可能的極值點(diǎn)座標(biāo)為

根據(jù)問(wèn)題的性質(zhì)可以判斷極小值存在且是唯一的。故上面的即是極小點(diǎn)的座標(biāo)。將極小點(diǎn)座標(biāo)代入函數(shù)中，即可求出最短距離的平方為此問(wèn)題的約束方程是、、的線性函數(shù)，因此容易用“消去法”來(lái)求極值點(diǎn)。

例如，從中解出，將它用、表示，於是問(wèn)題就化為求二元函數(shù)的無(wú)條件極值問(wèn)題。讀者可自行驗(yàn)證這樣做的結(jié)果與拉格朗日乘子法的結(jié)果是一樣的。

例2-4動(dòng)態(tài)控制問(wèn)題的參數(shù)化法。設(shè)一個(gè)動(dòng)態(tài)系統(tǒng)由下麵的非線性狀態(tài)方程描述給定，終止時(shí)間t=0.5s，要求算出最優(yōu)控制，它使得指標(biāo)函數(shù)

為最小。解：這是動(dòng)態(tài)控制問(wèn)題，這裏將控制作用參數(shù)化，於是可用靜態(tài)最優(yōu)化的方法求解。

設(shè)控制作用可用下麵的級(jí)數(shù)來(lái)逼近是已知的時(shí)間函數(shù)集，如sin、cos、Hermite多項(xiàng)式等正交函數(shù)或其他線性無(wú)關(guān)的函數(shù)。於是可用N個(gè)參數(shù)來(lái)表示，即被參數(shù)化了。確定就等於確定N個(gè)參數(shù)，使指標(biāo)J最小。這裏可用數(shù)值尋優(yōu)的方法來(lái)確定參數(shù)。2.3小結(jié)

1.n個(gè)變數(shù)的多元函數(shù)取無(wú)約束極小值的必要條件為，充分條件為和。

2.在滿足約束條件時(shí)的極小值的求取，可用拉格朗日乘子法，令是拉格朗日乘子（列）向量。2.4習(xí)題

1.求使得最大的。

2.求使為極值的極值點(diǎn)。

3.求使為極值的極值點(diǎn)。

4.求使且

5.求原點(diǎn)到曲線的距離為最小。

6.求函數(shù)極值,若

7.在第一象限內(nèi)作橢球面

的切平面,使切平面與三座標(biāo)面所圍成的四面體體積最小,求切點(diǎn)的座標(biāo)。第三章用變分法解最優(yōu)控制

—泛函極值問(wèn)題

本章主要內(nèi)容3.1變分法基礎(chǔ)3.2無(wú)約束條件的泛函極值問(wèn)題3.3有約束條件的泛函極值——?jiǎng)討B(tài)系 統(tǒng)的最優(yōu)控制問(wèn)題3.4小結(jié)返回主目錄

在動(dòng)態(tài)系統(tǒng)最優(yōu)控制問(wèn)題中，性能指標(biāo)是一個(gè)泛函，性能指標(biāo)最優(yōu)即泛函達(dá)到極值。解決泛函極值問(wèn)題的有力工具是變分法。所以下麵就來(lái)列出變分法中的一些主要結(jié)果，大部分不加證明，但讀者可對(duì)照微分學(xué)中的結(jié)果來(lái)理解。3.1變分法基礎(chǔ)

如果對(duì)某一類函數(shù)中的每一個(gè)函數(shù)，有一個(gè)實(shí)數(shù)值與之相對(duì)應(yīng)，則稱為依賴於函數(shù)的泛函，記為粗略來(lái)說(shuō)，泛函是以函數(shù)為引數(shù)的函數(shù)。1、泛函：先來(lái)給出下麵的一些定義。

若對(duì)任給的，存在當(dāng)時(shí)，就有則稱在處是連續(xù)的。

2、泛函的連續(xù)性：

滿足下麵條件的泛函稱為線性泛函這裏是實(shí)數(shù)，和是函數(shù)空間中的函數(shù)。

3、線性泛函：

4、引數(shù)函數(shù)的變分：

引數(shù)函數(shù)的變分是指同屬於函數(shù)類中兩個(gè)函數(shù)、之差

這裏,t看作為參數(shù)。當(dāng)為一維函數(shù)時(shí)，可用圖3-1來(lái)表示。圖3-1引數(shù)函數(shù)的變分

這裏，是的線性泛函，若時(shí)，有，則稱是泛函的變分。是的線性主部。

當(dāng)引數(shù)函數(shù)有變分時(shí)，泛函的增量為

5、泛函的變分：6、泛函的極值：

若存在，對(duì)滿足的 一切X， 具有同一符號(hào)，則稱在處有極值。

定理：

在處有極值的必要條件是對(duì)於所有容許的增量函數(shù)（引數(shù)的變分），泛函在處的變分為零為了判別是極大還是極小，要計(jì)算二階變分。但在實(shí)際問(wèn)題中根據(jù)問(wèn)題的性質(zhì)容易判別是極大還是極小，故一般不計(jì)算。3.2無(wú)約束條件的泛函極值問(wèn)題3.2.1泛函的引數(shù)函數(shù)為標(biāo)量函數(shù)的情況

為簡(jiǎn)單起見，先討論引數(shù)函數(shù)為標(biāo)量函數(shù)（一維）的情況。我們要尋求極值曲線，使下麵的性能泛函取極值（3-1）於是泛函J的增量可計(jì)算如下（以下將*號(hào)省去）上式中是高階項(xiàng)。為此，讓引數(shù)函數(shù)、在極值曲線、附近發(fā)生微小變分、，即

根據(jù)定義，泛函的變分是的線性主部，即對(duì)上式第二項(xiàng)作分部積分，按公式可得（3-2）J取極值的必要條件是等於零。因是任意的，要使（3-2）中第一項(xiàng)（積分項(xiàng)）為零，必有（3-3）上式稱為歐拉——拉格朗日方程。（3-2）式中第二項(xiàng)為零的條件要分兩種情況來(lái)討論：

1、固定端點(diǎn)的情況

這時(shí)，它們不發(fā)生變化，所以。而（3-2）中第二項(xiàng)可寫成當(dāng)時(shí)，（3-4）式自然為零。（3-4）2、自由端點(diǎn)的情況

這時(shí)和可以發(fā)生化，，而且可以獨(dú)立地變化。於是要使（3-2）中第二項(xiàng)為零，由（3-4）式可得（3-6）（3-5）

因?yàn)檫@裏討論是標(biāo)量函數(shù)的情況，和也是標(biāo)量，且是任意的，故（3-5）、（3-6）可化為（3-7）、（3-8）稱為橫截條件。（3-8）（3-7）

當(dāng)邊界條件全部給定（即固定端點(diǎn)）時(shí)，不需要這些橫截條件。當(dāng) 給定時(shí)，不要（3-8）。當(dāng) 給定時(shí)，不要（3-7）。3.2.2泛函的引數(shù)函數(shù)為向量函數(shù)的情況

現(xiàn)在，將上面對(duì)是標(biāo)量函數(shù)時(shí)所得到的公式推廣到是n維向量函數(shù)的情況。這時(shí)，性能泛函為(3-9)(3-10)式中

向量歐拉——拉格朗日方程為(3-11)式中泛函變分由（3-2）式改為

（當(dāng)和時(shí)）橫截條件為（自由端點(diǎn)情況）

例3-1

取極值的軌跡。求通過(guò)點(diǎn)（0，0）及（1，1）且使

解

即它的通解形式為

式中：這是固定端點(diǎn)問(wèn)題，相應(yīng)的歐拉——拉格朗日方程為

由初始條件，可得A=0。再由終端條件，可得，因而極值軌跡為

例3-2

求使指標(biāo)

取極值的軌跡，並要求，但對(duì)沒(méi)有限制。解即常數(shù)於是是常數(shù)，則是時(shí)間的線性函數(shù)，令

由可得，又終端是自由的，由式（3-7）可得橫截條件為這是終端自由的情況。歐拉—拉格朗日方程為容易驗(yàn)證時(shí)，對(duì)應(yīng)局部極?。粫r(shí)，，對(duì)應(yīng)局部極大。由上式解得或。時(shí)的極值軌跡為；時(shí)的極值軌跡為。

即3.3有約束條件的泛函極值

——?jiǎng)討B(tài)系統(tǒng)的最優(yōu)控制問(wèn)題前面討論泛函極值問(wèn)題時(shí)，對(duì)極值軌跡沒(méi)有附加任何約束條件。但在動(dòng)態(tài)系統(tǒng)最優(yōu)控制問(wèn)題中，極值軌跡必須滿足系統(tǒng)的狀態(tài)方程，也就是要受到狀態(tài)方程的約束?？紤]下列系統(tǒng)（3-13）這是綜合指標(biāo)。我們要求出最優(yōu)控制和滿足狀態(tài)方程的極值軌跡，使性能指標(biāo)取極值。式中，為維狀態(tài)向量，為維控制向量（這裏假定不受限制.否則不能用變分法求解，而要用極小值原理或動(dòng)態(tài)規(guī)劃法求解）是n維連續(xù)可微的向量函數(shù)。性能指標(biāo)如下：（3-14）

在下面的討論中，假定初始時(shí)刻和初始狀態(tài) 是給定的，終端則可能有幾種情況。我們將就幾種常見的情況來(lái)討論，即給定，自由和自由,屬於一個(gè)約束集。3.3.1終端時(shí)刻給定，終端狀態(tài)自由（3-16）（3-15）與有約束條件的函數(shù)極值情況類似，引入待定的n維拉格朗日乘子向量函數(shù)

將狀態(tài)方程（3-13）寫成等式約束方程的形式

與以前不同的是，在動(dòng)態(tài)問(wèn)題中拉格朗日乘子向量是時(shí)間函數(shù)。在最優(yōu)控制中經(jīng)常將稱為伴隨變數(shù)，協(xié)態(tài)（協(xié)狀態(tài)向量）或共軛狀態(tài)。引入後可作出下麵的增廣泛函（3-17）

於是有約束條件的泛函的極值問(wèn)題化為無(wú)約束條件的增廣泛函的極值問(wèn)題。（3-18）再引入一個(gè)標(biāo)量函數(shù)它稱為哈密頓（Hamilton）函數(shù)，在最優(yōu)控制中起著重要的作用

於是可寫成（3-19）對(duì)上式積分號(hào)內(nèi)第二項(xiàng)作分部積分後可得

設(shè)、相對(duì)於最優(yōu)值、的變分分別為和 因?yàn)樽杂桑蔬€要考慮變分。下麵來(lái)計(jì)算由這些變分引起的泛函的變分 。

為極小的必要條件是：對(duì)任意的、、，變分等於零。由（3-18）及（3-20）可得下麵的一組關(guān)係式（協(xié)態(tài)方程）（3-21）（狀態(tài)方程）（3-22）（控制方程）（3-23）（橫截條件）（3-24）

（3-21）~（3-24）即為取極值的必要條件，由此即可求得最優(yōu)值，，。

（3-22）式即為狀態(tài)方程，這可由的定義式（3-18）看出，實(shí)際解題時(shí)無(wú)需求，只要直接用狀態(tài)方程即可，這裏為形式上對(duì)稱而寫成（3-22）式。（3-21）與（3-22）一起稱為哈密頓正則程。

（3-23）是控制方程，它表示在最優(yōu)控制處取極值。注意，這是在為任意時(shí)得出的方程，當(dāng)有界且在邊界上取得最優(yōu)值時(shí)，就不能用這方程，這時(shí)要用極小值原理求解。

（3-24）是在固定、自由時(shí)得出的橫截條件。當(dāng)固定時(shí)，，就不需要這個(gè)橫截條件了。橫截條件表示協(xié)態(tài)終端所滿足的條件。

在求解（3-21）~（3-24）時(shí)，我們只知道初值和由橫截條件（3-24）求得的協(xié)態(tài)終端值，這種問(wèn)題稱為兩點(diǎn)邊值問(wèn)題，一般情況下它們是很難求解的。

因?yàn)椴恢?，如果假定一個(gè)，然後正向積分（3-21）~（3-24），則在時(shí)的值一般與給定的不同，於是要反復(fù)修正的值，直至與給定值的差可忽略不計(jì)為止。

非線性系統(tǒng)最優(yōu)控制兩點(diǎn)邊值問(wèn)題的數(shù)值求解是一個(gè)重要的研究領(lǐng)域。對(duì)於線性系統(tǒng)兩點(diǎn)邊值問(wèn)題的求解，則可尋找缺少的邊界條件並只要進(jìn)行一次積分，下麵的例3-4給出了求解過(guò)程。

例3-3

設(shè)系統(tǒng)狀態(tài)方程為的邊界條件為。求最優(yōu)控制，使下列性能指標(biāo)為最小。

解

這裏、均給定，故不需要橫截條件（3-24）式。作哈密頓函數(shù)則協(xié)態(tài)方程和控制方程為即

故可得正則方程對(duì)正則方程進(jìn)行拉氏變換，可得（3-25）（3-26）（3-27）由（3-25）式可求得

於是，解出為（3-28）代入（3-26），即得（3-29）反變換可求得

將（3-28）代入（3-26）可得

故

由，從上式可得把代入（3-29），可得，而最優(yōu)控制為設(shè)系統(tǒng)的狀態(tài)方程為要求確定最優(yōu)控制，使指標(biāo)泛函例3-4初始條件為取極小值終端條件為自由

這裏是自由的，所以要用到橫截條件（3- 24）式，因終端指標(biāo)

解:作哈密頓函數(shù)由（3-21）~（3-23）可求得所以（3-30）（3-31）將代入狀態(tài)方程，可得

即得（3-32）邊界條件為（3-37）（3-36）（3-35）（3-34）（3-33）

（3-39）（3-38）（3-40）（3-41）

可見這是兩點(diǎn)邊值問(wèn)題，對(duì)正則方程（3-33）~（3-36）進(jìn)行拉氏變換，可得代入初始條件，，可得故由（3-38）~（3-41）可解出

同樣可解得

利用終端條件，，由（3-42）、（3-43）可得（3-43）（3-42）

由上二式可解出

由（3-42）式可得最優(yōu)狀態(tài)軌跡

由（3-43）式可得最優(yōu)協(xié)態(tài)

由（3-32）式可得最優(yōu)控制同理還可求出圖3-2最優(yōu)控制和最優(yōu)狀態(tài)軌跡解

注意，這個(gè)系統(tǒng)是線性定常系統(tǒng)，這種線性兩點(diǎn)邊值問(wèn)題的解可以通過(guò)尋找缺少的邊界條件，並且進(jìn)行一次積分而求得其解。

對(duì)非線性兩點(diǎn)邊值問(wèn)題，則要借助於迭代方法產(chǎn)生一個(gè)序列，來(lái)多次修正缺少的初始條件的試探值，直到滿足兩點(diǎn)邊值的條件。圖3-2是最優(yōu)解的軌跡曲線。3.3.2終端時(shí)刻自由，終端狀態(tài)受約束

設(shè)終端狀態(tài)滿足下麵約束方程（3-46）（3-45）（3-44）性能指標(biāo)為其中

引入n維拉格朗日乘子向量函數(shù)和維拉格朗日乘子向量，作出增廣性能泛函將代入（3-47），可得（3-49）（3-48）（3-47）引入哈密頓函數(shù)

與固定時(shí)的情況不同，現(xiàn)在由、、和所引起。這裏不再為零，而可計(jì)算如下（參見圖3-3）：（3-51）則（3-50）令圖3-3各種變分的表示（3-52）令一是在時(shí)函數(shù)相對(duì)的變化.另一是因的變化所引起的函數(shù)值的變化量後者可用它的線性主部來(lái)近似。注意，這裏和不同，故*號(hào)不能省去。上式表明由兩部分組成：

現(xiàn)在來(lái)計(jì)算（只計(jì)算到一階小量）。

上式中方括弧外的下標(biāo)*表示、、是最優(yōu)值、、。是上式的線性主部，故

對(duì)第三項(xiàng)作分部積分，可得

第四項(xiàng)可表示為（忽略二階小量）

上式最後一個(gè)等號(hào)用到了（3-52）式。表示的引數(shù)取最優(yōu)值時(shí)的值。根據(jù)上面的結(jié)果可得

取極值的必要條件為因、、、為任意，故得（省去*號(hào)）（協(xié)態(tài)方程）（3-53）（狀態(tài)方程）（3-54）（控制方程）（3-55）（橫截方程）（3-56）

與固定情況相比，這裏多了一個(gè)方程，，用它可求出最優(yōu)終端時(shí)間。

（3-57）要求確定最優(yōu)控制，使最小。例3-5設(shè)系統(tǒng)狀態(tài)方程為邊界條件為自由性能指標(biāo)為

解這是自由問(wèn)題。終端狀態(tài)固定，是滿足約束集的特殊情況，即作哈密頓函數(shù)正則方程是控制方程是將代入，可得因邊界條件全部給定，故不用橫截條件。確定最優(yōu)終端時(shí)刻的條件（3-57）式為

因?yàn)橛烧齽t方程，所以，於是最優(yōu)控制再由正則方程，可得由上式求得

由初始條件，求得，故最優(yōu)軌跡為以終端條件代入上式，即求得最優(yōu)終端時(shí)刻

火箭發(fā)射最優(yōu)程式問(wèn)題。設(shè)火箭在垂直平面內(nèi)運(yùn)動(dòng)，加速度與水平面夾角為，是控制作用，見圖3-4。令

例3-6（水準(zhǔn)速度）（垂直速度）（水準(zhǔn)距離）（垂直高度）圖3-4火箭發(fā)射示意圖

忽略重力和空氣阻力時(shí)，系統(tǒng)的狀態(tài)方程和初始條件為(3-58)要求選擇最優(yōu)控制程式，使性能指標(biāo)自由終端狀態(tài)為為最小。

因?yàn)橐笞钚。适亲杂蓡?wèn)題。由給 定的終端狀態(tài)可得三個(gè)約束方程為解(3-59)

作哈密頓函數(shù)協(xié)態(tài)方程為（3-60）

橫截條件為即上式右端矩陣中的引數(shù)已省略。由（3-59）式求出上式中的偏導(dǎo)數(shù)，可得協(xié)態(tài)的終值為（3-61）

常數(shù)積分協(xié)態(tài)方程可得常數(shù)代入?yún)f(xié)態(tài)終值條件後，得故（3-62）由控制方程，得（3-63）即

下麵來(lái)積分狀態(tài)方程（3-58），為此將引數(shù)變成。由（3-63）式得

為了確定最優(yōu)程式，還需確定拉格朗日未定常數(shù)、。將上面關(guān)係代入狀態(tài)方程，即得積分上面兩式得由初始條件可求得(3-64)（3-65）

將上面的和代入狀態(tài)方程（3-58）的後兩式，積分並經(jīng)較複雜運(yùn)算得（3-66）（3-67）

（注：另一解為，但這時(shí)由（3-67）式可得出與給定終端條件不符，故略去的解）由終端條件和（3-65）式得故（3-68）由（3-63）式得於是（3-70）故（3-69）

將終端條件和（3-69）式代入（3-64）式，可得（3-71）

將終端條件，（3-69）式和（3-71）式代入（3-67）式可得（3-72）

現(xiàn)在歸納一下所得的結(jié)果：由（3-72）式可確定，由（3-71）式確定最短時(shí)間，由（3-70）式即可求得最優(yōu)推力方向角。

由上面的計(jì)算可知，對(duì)於這樣一個(gè)比較簡(jiǎn)單的例子求出解析解也是比較困難的。一般情況下可用數(shù)值積分法求解。3.4小結(jié) 1、

函數(shù)的函數(shù)叫做泛函。性能指標(biāo)是控制作用的函數(shù)，故稱為性能泛函。和微分類似可引入泛函的變分。取極值的必要條件為。2、

泛函（為向量）取無(wú)約束極值的必要條件為（歐拉——拉格朗日方程）當(dāng)、自由時(shí)，還有橫截條件（當(dāng)和時(shí)）3、

求解動(dòng)態(tài)系統(tǒng)的最優(yōu)控制是一個(gè)求取有約束條件的泛函極值問(wèn)題。系統(tǒng)的狀態(tài)方程就是狀態(tài)變數(shù)要滿足的一個(gè)約束方程，即

設(shè)系統(tǒng)狀態(tài)方程為，性能指標(biāo)為，初始狀態(tài)給定，終端狀態(tài)滿足向量約束方程（包括給定的情況）。4、

則由變分法可得下麵的結(jié)果：

其中，稱為哈密頓函數(shù)。（1）終端時(shí)刻給定時(shí)，取極值的必要條件為（橫截條件）（控制方程）

正則方程有個(gè)變數(shù)，積分時(shí)要個(gè)邊界條件，初始條件給定時(shí)提供了個(gè)邊界條件，若也完全給定則又提供了個(gè)邊界條件，這時(shí)可不需要橫截條件，見例3-3。

當(dāng)自由或部分分量自由就要靠橫截條件來(lái)提供缺少的邊界條件，見例3-4。（2） 終端條件自由，取極值的必要條件與給定時(shí)的不同處，僅在於多一個(gè)求最優(yōu)終端時(shí)刻的條件（3-57）5、

用經(jīng)典變分法求解最優(yōu)控制時(shí)，假定不受限制，為任意，故得出控制方程

不滿足這種情況時(shí)，要用極小值原理或動(dòng)態(tài)規(guī)劃求解。這些內(nèi)容在下面的章節(jié)仲介紹。第四章極小值原理及其應(yīng)用

4.1經(jīng)典變分法的局限性

4.2連續(xù)系統(tǒng)的極小值原理4.3最短時(shí)間控制問(wèn)題

4.4最少燃料控制問(wèn)題4.5離散系統(tǒng)的極小值原理

4.6小結(jié)

4.1經(jīng)典變分法的局限性

上面我們用經(jīng)典變分法解最優(yōu)控制問(wèn)題時(shí)，得出了最優(yōu)性的必要條件

在得出這個(gè)條件時(shí)，作了下麵的假定：是任意的，即不受限制，它遍及整個(gè)向量空間，是一個(gè)開集；是存在的。

在實(shí)際工程問(wèn)題中，控制作用常常是有界的。如飛機(jī)舵面的偏角有限制，火箭的推力有限制，生產(chǎn)過(guò)程中的生產(chǎn)能力有限制等等。一般，我們可用下麵的不等式來(lái)表示iiMtu￡)(這時(shí)屬於一個(gè)有界的閉集，寫成，為閉集。更一般的情況可用下麵的不等式約束來(lái)表示。

當(dāng)屬於有界閉集，在邊界上取值時(shí)，就不是任意的了，因?yàn)闊o(wú)法向邊界外取值，這時(shí)就不一定是最優(yōu)解的必要條件。考察由圖4-1所表示的幾種情況，圖中橫軸上每一點(diǎn)都表示一個(gè)標(biāo)量控制函數(shù)，其容許取值範(fàn)圍為。圖4-1有界閉集內(nèi)函數(shù)的幾種形狀對(duì)於圖4-1（a）仍對(duì)應(yīng)最優(yōu)解。對(duì)於圖4-1(b)所對(duì)應(yīng)的解不是最優(yōu)解，最優(yōu)解在邊界上。對(duì)於圖4-1（c）常數(shù)，由這個(gè)方程解不出最優(yōu)控制來(lái)（這種情況稱為奇異情況），最優(yōu)解在邊界上。另外，也不一定是存在的。例如狀態(tài)方程的右端對(duì)U的一階偏導(dǎo)數(shù)可能不連續(xù)，或由於有些指標(biāo)函數(shù)，如燃料最優(yōu)控制問(wèn)題中，具有下麵的形式這時(shí)對(duì)U的一階偏導(dǎo)數(shù)不連續(xù)。

經(jīng)典變分法無(wú)法處理上面的情況，必須另辟新的途徑。極小值原理就是解決這類問(wèn)題的有力工具。用極小值原理求解控制無(wú)約束的最優(yōu)控制問(wèn)題和古典變分法是完全一樣的。1956年前蘇聯(lián)學(xué)者龐特裏雅金提出這個(gè)原理時(shí)，把它稱為極大值原理，目前較多地採(cǎi)用極小值原理這個(gè)名字。下麵給出這個(gè)原理及其證明，並舉例說(shuō)明其應(yīng)用。4.2連續(xù)系統(tǒng)的極小值原理

由於可以利用擴(kuò)充變數(shù)的方法將各類最優(yōu)控制問(wèn)題化為定常系統(tǒng)，末值型性能指標(biāo)情況下的標(biāo)準(zhǔn)形式。我們這裏只就定常系統(tǒng)、末值型性能指標(biāo)、固定、末端受約束情況下給出極小值原理的簡(jiǎn)單證明。設(shè)系統(tǒng)的狀態(tài)方程為

（4-1）

初始條件為

（4-2）控制向量，並受下麵的約束

（4-3）末值狀態(tài)必須滿足的約束條件為

（4-4）

（4-5）其中性能指標(biāo)函數(shù)為為待定列向量。在本節(jié)中，假設(shè)函數(shù)，，，存在且連續(xù)，並假定容許控制是在控制域內(nèi)取值的任何分段連續(xù)函數(shù)。這時(shí)如果選定了某一容許控制，則容易證明在任意的初始條件下，方程（4-1）唯一的確定了系統(tǒng)狀態(tài)的變化規(guī)律，且是連續(xù)的和分段可微的。在這些條件下，我們就定常系統(tǒng)、末值型性能指標(biāo)、固定、末端受約束情況下給出極小值原理的簡(jiǎn)單證明。證明：採(cǎi)用擾動(dòng)法，即給最優(yōu)控制一個(gè)變分，它將引起最優(yōu)軌線的變分，並使性能指標(biāo)有一增量，當(dāng)為極小時(shí)，必有，由此即可導(dǎo)出最優(yōu)控制所應(yīng)滿足的必要條件。在變分法中，是微量，即將最優(yōu)控制和鄰近的容許控制相比較，因而最多只能建立哈密頓函數(shù)的相對(duì)極小值性質(zhì)。龐特裏亞金極大值原理卻將最優(yōu)控制與控制域內(nèi)所有可能的值進(jìn)行比較，因而得出結(jié)論，在整個(gè)控制域內(nèi)最優(yōu)控制使哈密頓函數(shù)成為絕對(duì)極小值。正是這個(gè)性質(zhì)使得龐特裏亞金極大值原理成為尋找最優(yōu)控制的有力工具。但是這樣，的改變量必須看成有限量，而不再是微量。如果讓改變的時(shí)間很短，則由此引起的最優(yōu)軌線的改變?nèi)允俏⒘浚阅苤笜?biāo)的增量也是微量，因而對(duì)各關(guān)係式的數(shù)學(xué)處理仍是比較容易的。設(shè)為最優(yōu)控制，任選一時(shí)刻及一微量，在時(shí)間間隔中給一有限大小的改變量，且使得?，F(xiàn)在研究由引起的最優(yōu)軌線的變化。分為三段考慮：1在這一段中，，因而。2系統(tǒng)的狀態(tài)方程（4-1）可在初始條件下直接積分。當(dāng)時(shí)，當(dāng)時(shí)，兩式相減可得這一段的（4-6）可以對(duì)的大小作估計(jì)由於是微量，所以也是微量，因而在精確到一階微量的情況下，下式成立（4-7）將式（4-7）代入（4-6），並注意到微量在微小時(shí)間間隔上的積分是高階微量，即得在第二段時(shí)間間隔得終點(diǎn)，則有或（4-8）其中表示二階以上的微量。3這時(shí)又有，系統(tǒng)的狀態(tài)方程為而狀態(tài)變數(shù)的變分滿足方程

（4-9）引入變數(shù)及哈密頓函數(shù)（4-10）

（4-11）

（4-12）顯然，方程（4-9）和（4-11）為共軛方程，立即求得積分或（4-13）即最終求得了由於的有限改變而引起的最優(yōu)軌線的變化，特別是末值狀態(tài)的變化。下麵研究由引起的最優(yōu)性能指標(biāo)的改變量。由於故有（4-14）綜合（4-8）、（4-12）、（4-13）和（4-14）等式，可以建立與有限改變量之間的關(guān)係已知中的任意時(shí)刻，並以表示，當(dāng)時(shí)，上式變?yōu)椋?/p>

，或用哈密頓函數(shù)的運(yùn)算式（4-10）表示可得

（4-15）或於是定常系統(tǒng)、末值型性能指標(biāo)、固定、末端受約束情況下極小值原理得以證明?？偨Y(jié)上述討論，可將龐特裏雅金極小值原理寫為如下形式：定理（極小值原理）：系統(tǒng)狀態(tài)方程（4-1）

初始條件

（4-2）控制向量，並受下麵的約束

（4-3）終端約束

（4-4）指標(biāo)函數(shù)

（4-5）要求選擇最優(yōu)控制，使取極小值。取極小值的必要條件是、、和滿足下麵的一組方程1正則方程

（協(xié)態(tài)方程）（4-16）

（狀態(tài)方程）（4-17）2邊界條件

（4-18）3橫截條件

（4-19）

4最優(yōu)終端時(shí)刻條件

（4-20）在最優(yōu)軌線和最優(yōu)控制上哈密頓函數(shù)取極小值

（4-21）將上面的結(jié)果與用古典變分法所得的結(jié)果（（3-34）~（3-38）式）對(duì)比可見，只是將這個(gè)條件用（4-21）代替，其他無(wú)變化。應(yīng)該指出，當(dāng)存在，且得出的絕對(duì)極小，如圖4-1（a）所示時(shí)，即為條件（4-21）式。所以極小值原理可以解決變分法所能解決的問(wèn)題，還能解決變分法不能解決的問(wèn)題。如何應(yīng)用條件（4-21）式，這是一個(gè)關(guān)鍵，我們將用具體例子來(lái)說(shuō)明。4.3最短時(shí)間控制問(wèn)題

節(jié)省時(shí)間意味著提高生產(chǎn)率或先發(fā)制人取得軍事行動(dòng)的勝利。所以人們很早就開始了對(duì)最短時(shí)間控制的研究，這方面的研究結(jié)果很多，這裏先就簡(jiǎn)單的重積分系統(tǒng)的最短時(shí)間控制展開討論。在前面的緒論中列舉了火車快速行駛問(wèn)題。設(shè)火車品質(zhì)m=1，把運(yùn)動(dòng)方程寫成狀態(tài)方程形式，令可化為下麵的最短時(shí)間控制問(wèn)題。例4-1重積分系統(tǒng)的最短時(shí)間控制狀態(tài)方程

（4-22）初始條件為

（4-23）終端條件為

（4-24）控制約束為

（4-25）求出使性能指標(biāo)

（4-26）取極小的最優(yōu)控制。解

；因?yàn)榭刂谱饔糜邢拗疲▽凫队薪玳]集），故要用極小值原理求解。取哈密頓函數(shù)

（4-27）協(xié)態(tài)方程為

（4-28）

（4-29）積分上面兩個(gè)方程可得

（4-30）

（4-31）其中，、是積分常數(shù)。由的運(yùn)算式（4-27）可見，若要選擇使取極小，只要使越負(fù)越好，而，故當(dāng)，且與反號(hào)時(shí)，取極小，即最優(yōu)控制為由此可見，最優(yōu)解取邊界值+1或-1，是開關(guān)函數(shù)的形式。什麼時(shí)候發(fā)生開關(guān)轉(zhuǎn)換，將取決於的符號(hào)。而由（4-31）式可見，是的線性函數(shù)，它有四種可能的形狀（見圖4-2），也相應(yīng)有四種序列

由圖4-2可見，當(dāng)為的線性函數(shù)時(shí)最多改變一次符號(hào)。圖4-2與的四種形狀從上面兩式消去t，即可得相軌跡方程

（4-33）當(dāng)時(shí)，狀態(tài)方程的解為

（4-32）下麵來(lái)求出取不同值時(shí)的狀態(tài)軌跡（也稱為相軌跡）。在圖4-3中用實(shí)線表示，不同的C值可給出一簇曲線。由（4-32）第一式知增大時(shí)增大，故相軌跡進(jìn)行方向是自下而上，如圖中曲線上箭頭所示。當(dāng)時(shí)，狀態(tài)方程的解為

（4-34）消去，可得相軌跡方程圖4-3相軌跡圖在圖4-3中用虛線表示。因增大時(shí)，減少，故相軌跡進(jìn)行方向是自上而下。兩簇曲線中，每一簇中有一條曲線的半支進(jìn)入原點(diǎn)。在的曲線簇中，通過(guò)原點(diǎn)的曲線方程為