最優(yōu)控制的基本理論及應(yīng)用

第6章最優(yōu)控制的基本理論及應(yīng)用6.1

引言6.2

最優(yōu)控制問(wèn)題的提出及數(shù)學(xué)描述6.3

變分法6.4

極小值原理6.5

動(dòng)態(tài)規(guī)劃法6.6二次型最優(yōu)調(diào)節(jié)器6.7

最小時(shí)間控制6.8

應(yīng)用MATLAB解二次型最優(yōu)控制問(wèn)題

6.1引言

最優(yōu)控制理論是現(xiàn)代控制理論的核心。

數(shù)學(xué)觀點(diǎn)：最優(yōu)控制研究的問(wèn)題是求解一類(lèi)帶有約束條件的泛函極值問(wèn)題,本質(zhì)上是一個(gè)變分學(xué)問(wèn)題。經(jīng)典變分理論：容許控制屬于開(kāi)集實(shí)際上：容許控制為閉集的更多。

針對(duì)經(jīng)典變分法的局限性美國(guó)學(xué)者貝爾曼在1953～1957年間創(chuàng)立了“動(dòng)態(tài)規(guī)劃”,解決了控制有閉集約束的變分問(wèn)題;前蘇聯(lián)學(xué)者龐特里亞金等則在1956～1958年間創(chuàng)立了極小值原理,也發(fā)展了經(jīng)典變分原理,成為處理控制有閉集約束的變分問(wèn)題的強(qiáng)有力工具。

本章在介紹解決最優(yōu)控制問(wèn)題3種基本方法(變分法、極小值原理和動(dòng)態(tài)規(guī)劃)的基礎(chǔ)上，闡述兩類(lèi)典型最優(yōu)反饋系統(tǒng)的設(shè)計(jì),即線性二次型最優(yōu)控制和最小時(shí)間控制。

6.2最優(yōu)控制問(wèn)題的提出及數(shù)學(xué)描述

6.2.1最優(yōu)控制問(wèn)題實(shí)例

1.最速升降問(wèn)題

設(shè)有一物體M，假定在M內(nèi)部裝有一個(gè)控制器，它可以產(chǎn)生一個(gè)作用力u(t)，其中k是常數(shù)。設(shè)已知M在時(shí)，離地面的高度為，圖6-1最速升降問(wèn)題示意圖

問(wèn)題是尋找作用力u(t)的變化規(guī)律，使M最快到達(dá)地面，并使其到達(dá)地面時(shí)的速度為零。垂直運(yùn)動(dòng)的速度為，令物體M的質(zhì)量為m，用x(t)表示M離地面的高度，其方向規(guī)定為地面上x(chóng)(t)為正，令表示物體的高度，表示物體的升降速度，則上式可寫(xiě)成狀態(tài)方程

現(xiàn)需尋找一個(gè)能使物體以最短時(shí)間從初態(tài)到達(dá)終態(tài)(0,0)的控制u(t)。定義系統(tǒng)的性能指標(biāo)為

式中,為起始時(shí)刻，為終止時(shí)刻。要求時(shí)間最短，即使性能指標(biāo)J最小，這樣求得的控制即為最優(yōu)控制。

2.攪拌槽問(wèn)題

設(shè)有一盛放液體的連續(xù)攪拌槽，如圖6-2所示。槽內(nèi)裝有不停轉(zhuǎn)動(dòng)著的攪拌器S，使液體經(jīng)常處于完全混合狀態(tài)，槽中原放的液體?，F(xiàn)需將其溫度升高，為此在入口處送進(jìn)一定量的液體，其溫度為u(t)，出口處流出等量的液體，以保持槽內(nèi)液圖6-2攪拌槽問(wèn)題示意圖

面恒定。試尋找u(t)的變化規(guī)律，使槽中液體溫度經(jīng)1小時(shí)后上升到，并要求散失的熱量最小。因假定槽中液體處于完全混合狀態(tài)，故可用x(t)表示其溫度。由熱力學(xué)知，槽中液體溫度的變化率與溫差成正比，為簡(jiǎn)便計(jì)算，令比例系數(shù)為1，于是有

，

在1小時(shí)內(nèi)散失的熱量為

式中,q和r都是正的常數(shù)，，。因此該最優(yōu)控制問(wèn)題是：尋找u(t)的變化規(guī)律，使槽中液體經(jīng)1小時(shí)后從上升到，并要求散失的熱量最小，即J(u)取最小值。

6.2.2最優(yōu)控制問(wèn)題的數(shù)學(xué)描述

構(gòu)成最優(yōu)控制問(wèn)題必須具備以下幾個(gè)基本條件：

1.被控系統(tǒng)的數(shù)學(xué)模型，即動(dòng)態(tài)系統(tǒng)的狀態(tài)方程

狀態(tài)方程在最優(yōu)控制中為等式約束條件。

2.控制變量的約束條件(容許控制)任何實(shí)際物理系統(tǒng)，控制變量總是受約束的，一般可寫(xiě)成

(6-3)

式中,U表示一個(gè)封閉的點(diǎn)集合，稱(chēng)為控制域。此時(shí)稱(chēng)u(t)為容許控制。

3.狀態(tài)方程的邊界條件(初始狀態(tài)和終值狀態(tài))

在最優(yōu)控制問(wèn)題中，時(shí)的初態(tài)通常是已知的，即

(6-4)

而終值狀態(tài)可以是狀態(tài)空間中一個(gè)確定的點(diǎn)，也可以是狀態(tài)空間中某一個(gè)點(diǎn)集（目標(biāo)集）中的任一點(diǎn)。到達(dá)終端的時(shí)間和終值狀態(tài)因問(wèn)題而異。就終端時(shí)間來(lái)說(shuō)，它可以是固定的，也可以是變動(dòng)的或自由的。最通常的終值邊界條件是

(6-5)

但有時(shí)并不這樣簡(jiǎn)單，如用導(dǎo)彈攻擊運(yùn)動(dòng)的目標(biāo)，終值是可能運(yùn)動(dòng)軌跡上的一個(gè)點(diǎn)，此時(shí)終值狀態(tài)是受運(yùn)動(dòng)軌跡約束的，一般地約束可表示為

，(6-6)4.性能指標(biāo)，也稱(chēng)性能泛函或目標(biāo)函數(shù)

性能指標(biāo)是衡量系統(tǒng)在任一容許控制作用下性能好壞的尺度,在最優(yōu)控制中其代替了傳統(tǒng)的設(shè)計(jì)指標(biāo)(如超調(diào)、調(diào)節(jié)時(shí)間、幅值裕度和相角裕度等)。

1)積分型性能泛函

(6-7)

2)終值型性能泛函

(6-8)

3)復(fù)合型性能泛函

(6-9)

最優(yōu)控制問(wèn)題，就是從可供選擇的容許控制集U中，尋求一個(gè)控制向量u(t)，使被控系統(tǒng)在時(shí)間域內(nèi)，從初態(tài)轉(zhuǎn)移到終態(tài)或目標(biāo)集時(shí)，性能泛函J取最?。ù螅┲怠?.3變分法

6.3.1變分法的基本概念

6.3.2用變分法求解無(wú)約束條件的泛函極值問(wèn)題

6.3.3有約束條件的泛函極值問(wèn)題

6.3.1變分法的基本概念

1.泛函

如果對(duì)于某一類(lèi)函數(shù)集合中的每一個(gè)函數(shù)x(t)，因變量J都有一個(gè)確定的值與之對(duì)應(yīng)，則稱(chēng)因變量J為這個(gè)宗量函數(shù)x(t)的泛函數(shù)，簡(jiǎn)稱(chēng)泛函，記作。泛函可理解為“函數(shù)的函數(shù)”,其值由宗量函數(shù)的選取而定。

與多元函數(shù)的宗量(自變量)多于一個(gè)相類(lèi)似,多元泛函的宗量函數(shù)則多于一個(gè),這些宗量函數(shù)可以表示為一個(gè)向量。例如,在控制系統(tǒng)中,n維狀態(tài)向量x(t)為時(shí)間t的函數(shù),若取如下形式的積分型性能指標(biāo)

(6-11)

則J的數(shù)值取決于n維向量函數(shù)x(t),故式(6-11)為(多元)泛函。

2.泛函的連續(xù)與線性泛函

(1)若對(duì)任給的，存在，使得當(dāng)時(shí)，就有

(6-12)

則稱(chēng)泛函在函數(shù)處是連續(xù)的。

(2)連續(xù)泛函若滿足以下條件(6-13)

(6-14)

則稱(chēng)是線性泛函。式中k是實(shí)數(shù)，為函數(shù)空間中的函數(shù)。

3.泛函的變分

宗量函數(shù)變分的定義設(shè)為連續(xù)泛函,則宗量函數(shù)x(t)的變分為屬于同一函數(shù)類(lèi)中兩個(gè)函數(shù)x(t),之差,即

(6-17)

泛函變分的定義

設(shè)為n維線性賦范空間上的連續(xù)泛函,若其增量可表示為

(6-18)

式中,

為宗量函數(shù)x(t)的變分,是的線性連續(xù)泛函,

是關(guān)于的高階無(wú)窮小,則定義泛函增量的線性主部

(6-19)

為泛函的變分，記作。若泛函有變分，則稱(chēng)該泛函可微。

與函數(shù)的微分等于函數(shù)的導(dǎo)數(shù)與自變量的微分之乘積相對(duì)應(yīng),

泛函變分也可利用求導(dǎo)的方法來(lái)計(jì)算,即

(6-20)

【例6-1】求泛函的變分,其中,x(t)為標(biāo)量函數(shù)。

解由式(6-20)得

4.泛函的極值與泛函極值的必要條件

如果泛函在任何一條與接近的曲線上所取的值不小于，即

(6-21)

則稱(chēng)泛函在曲線上達(dá)到極小值。反之，若

(6-22)

則稱(chēng)泛函在曲線上達(dá)到極大值。

定理6-1(泛函極值定理)

若可微泛函在上達(dá)到極值，則在上的變分等于零，即

(6-23)

定理6-1表明,泛函一次變分為零,是泛函達(dá)到極值的必要條件。

綜上可見(jiàn),變分在泛函研究中的作用,相當(dāng)于微分在函數(shù)研究中的作用。事實(shí)上,求泛函極大(小)值問(wèn)題稱(chēng)為變分問(wèn)題,求泛函極值的方法稱(chēng)為變分法

6.3.2用變分法求解無(wú)約束條件的泛函極值問(wèn)題

設(shè)積分型性能泛函為

(6-24)

在區(qū)間上，被積函數(shù)二次連續(xù)可微，軌線x(t)有連續(xù)的二階導(dǎo)數(shù)，,對(duì)x(t)沒(méi)有任何約束。要求確定極值軌跡，使泛函J為極值。

1.始端時(shí)刻和終端時(shí)刻固定時(shí)的泛函極值問(wèn)題

首先討論不僅初始時(shí)刻、終端時(shí)刻固定,而且初始狀態(tài)、終端狀態(tài)固定這一最簡(jiǎn)單情況下無(wú)約束條件的泛函極值問(wèn)題(最優(yōu)控制的基本問(wèn)題)。

定理6-2

設(shè)初始時(shí)刻和初始狀態(tài)固定，且終端時(shí)刻和終端狀態(tài)固定，則使性能泛函式（6-24）取極值的必要條件是：x(t)為二階微分方程

(歐拉方程)

(6-25)（橫截條件）

(6-26)

的解。其中在區(qū)間上，二次連續(xù)可微，x(t)有連續(xù)的二階導(dǎo)數(shù)，,對(duì)x(t)沒(méi)有任何約束。

證明設(shè)是使J取極小值的最佳軌跡曲線，現(xiàn)在鄰近作一微小攝動(dòng)，并令

(6-27)

式中,是一個(gè)很小的參數(shù)，為任意選定的連續(xù)可微n維向量函數(shù)且滿足(6-28)

將和代入式（6-24）可得

取泛函增量

將上式在的鄰域內(nèi)展開(kāi)成泰勒（Taylor）級(jí)數(shù)

,則

(6-29)

式中,R表示泰勒（Taylor）級(jí)數(shù)展開(kāi)式中的高階項(xiàng)。

如果定義x(t)和的一階變分為

(6-30)

由泛函變分的定義，泛函的一階變分為

(6-31)

對(duì)上式積分中第二項(xiàng)作分部積分后可得

(6-32)

由定理6-1,泛函取極值的必要條件為其一次變分為零,故令,并考慮到式(6-32)中是任意的,即可證得定理6-2的結(jié)論式(6-25)和式(6-26)。

在、、、均固定的情況橫截條件式(6-26)退化為已知的兩點(diǎn)邊界值即求解歐拉方程的邊界條件為,

,。(歐拉方程)

(6-25)（橫截條件）

(6-26)

討論自由端點(diǎn)問(wèn)題若、均固定但有一個(gè)端點(diǎn)[或]或兩個(gè)端點(diǎn)自由時(shí),

例如,

若、、均固定,終端自由,

(6-35)

式(6-35)和已知的始點(diǎn)邊界值合起來(lái)構(gòu)成該情況下的邊界條件。

【例6-2】設(shè)泛函為

邊界條件為，，求J為極值時(shí)的曲線。

解

本例泛函為二元泛函,即,被積函數(shù)為

則

，，

代入歐拉方程

得

展開(kāi)并聯(lián)立方程組為

其通解為

代入已知的兩點(diǎn)邊界值，求出

，,故極值曲線為

2.終端時(shí)刻未給定的泛函極值問(wèn)題(可變端點(diǎn)問(wèn)題)

若始端時(shí)刻給定，始端狀態(tài)固定或沿規(guī)定的邊界曲線移動(dòng)，而終端時(shí)刻自由，終端狀態(tài)自由或沿規(guī)定的邊界曲線移動(dòng)，則這類(lèi)最優(yōu)控制問(wèn)題稱(chēng)之為未給定終端時(shí)刻的泛函極值問(wèn)題。定理6-3設(shè)軌線x(t)從固定始端到達(dá)給定終端曲線上，使性能泛函

(6-36)

取極值的必要條件是：軌跡x(t)滿足下列方程

（歐拉方程）

（6-37）

（終端橫截條件）

（6-38）

式中,x(t)應(yīng)具有連續(xù)的二階導(dǎo)數(shù)，L至少應(yīng)二次連續(xù)可微，C(t)應(yīng)具有連續(xù)的一階導(dǎo)數(shù)。

關(guān)于定理6-3的說(shuō)明:

(1)定理6-3適用于始端時(shí)刻、始端狀態(tài)給定,終端時(shí)刻自由但終態(tài)應(yīng)落在端點(diǎn)約束曲線C(t)上(即終端約束方程為)的情況,這時(shí)僅已知始點(diǎn),而終點(diǎn)未知,因此,求解歐拉方程所欠缺的邊界條件應(yīng)由終端橫截條件式(6-38)補(bǔ)足。式(6-38)確立了在終端處和之間的關(guān)系，并影響著和終端約束曲線C(t)在時(shí)刻的交點(diǎn)。

(2)可將定理6-3對(duì)x(t)是標(biāo)量函數(shù)時(shí)所得到的公式推廣到x(t)、C(t)是n維向量函數(shù)的情況,即可得向量形式的泛函極值必要條件

（歐拉方程）

（6-39）

（終端橫截條件）

（6-40）

6.3.3有約束條件的泛函極值問(wèn)題

求泛函在等式約束下的極值，稱(chēng)為條件泛函極值問(wèn)題。應(yīng)用拉格朗日乘子法,可將這類(lèi)條件泛函極值問(wèn)題轉(zhuǎn)化為無(wú)約束條件的泛函極值問(wèn)題。

最優(yōu)控制問(wèn)題中的性能泛函為

(6-41)

式中,泛函J所依賴(lài)的宗量函數(shù)x(t)、u(t)受被控系統(tǒng)的狀態(tài)方程約束，即

(6-42)

式中,,,是x(t)、u(t)和t的n維連續(xù)向量函數(shù)。最優(yōu)控制問(wèn)題是尋求最優(yōu)控制及最優(yōu)狀態(tài)軌跡，使系統(tǒng)式(6-42)從初始狀態(tài)

轉(zhuǎn)移到終端狀態(tài)，并使J取極值。

若初始時(shí)刻及始端狀態(tài)給定，按照終端狀態(tài)邊界條件，討論以下幾種情況。

■給定，終端自由

■給定，終端約束

■自由，終端約束

1.給定，終端自由

將狀態(tài)方程式(6-42)寫(xiě)成約束方程形式

(6-43)

仿照求函數(shù)條件極值的拉格朗日乘子法，將等式約束式(6-43)和原有的指標(biāo)泛函結(jié)合成增廣泛函

(6-44)

式中,，為待定拉格朗日乘子向量函數(shù)。顯然,不論取何種函數(shù),只要x(t)、u(t)滿足等式約束(6-43),即滿足系統(tǒng)的狀態(tài)方程式(6-42),則與J總是等價(jià)的。

定義標(biāo)量函數(shù)

(6-45)

為哈密頓(Hamilton)函數(shù)，則增廣泛函式（6-44）可寫(xiě)為

(6-46)

對(duì)式(4-46)右邊最后一項(xiàng)進(jìn)行分部積分,即

(6-47)

故增廣泛函式（6-44）可寫(xiě)為

(6-48)

設(shè)x(t),u(t)相對(duì)于最優(yōu)值，的變分分別為和,且注意到,則,故式(6-48)所示的一階變分為

(6-49)

令，因?yàn)?、及任?則得增廣泛函取極值的必要條件,再由約束方程式(6-43)及定義的哈密頓函數(shù)式(6-45),得在及始端狀態(tài)給定、給定、終端自由情況下,滿足狀態(tài)方程式(6-42)的泛函式(6-41)取極值的必要條件為同時(shí)滿足

(狀態(tài)方程)

(6-50)

(協(xié)態(tài)方程)(6-51)

(控制方程)(6-52)

(橫截條件)(6-53)

(始端邊界條件)(6-54)

式

(6-50)、式(6-51)和式

(6-52)相當(dāng)于前面的歐拉方程，式

(6-53)為橫截條件。式

(6-50)為系統(tǒng)狀態(tài)方程，其與式(6-51)的右端均為哈密頓函數(shù)的適當(dāng)偏導(dǎo)數(shù),故式

(6-50)和

式(6-51)合稱(chēng)為哈密頓正則方程，簡(jiǎn)稱(chēng)為正則方程。式

(6-51)則稱(chēng)為伴隨方程或協(xié)態(tài)方程,相應(yīng)的拉格朗日乘子向量又稱(chēng)為伴隨向量或協(xié)態(tài)向量。式

(6-52)表明,最優(yōu)控制使哈密頓函數(shù)取駐值,故式

(6-52)稱(chēng)為控制方程。

2.給定，終端約束

設(shè)終端狀態(tài)應(yīng)滿足如下目標(biāo)集等式約束條件

(6-55)

式中,，即終端狀態(tài)沿規(guī)定的邊界曲線移動(dòng)。現(xiàn)在存在狀態(tài)方程約束式(6-43)和終端邊界約束式(6-55)這兩種類(lèi)型的等式約束,為此除了引入待定的n維拉格朗日乘子向量函數(shù),再引入一個(gè)待定的乘子向量,且,構(gòu)造增廣泛函

(6-56)

式中,哈密頓函數(shù)仍由式(6-45)定義。

同樣,設(shè)x(t)，u(t)相對(duì)于最優(yōu)值，的變分分別為和,且注意到,故式(6-56)所示的一階變分為

(6-57)

令，并由式(6-42)、式(6-55)及式(6-45),得當(dāng)及始端狀態(tài)給定、給定、終端狀態(tài)受目標(biāo)集等式約束式(6-55)情況下,滿足狀態(tài)方程式(6-42)的泛函式(6-41)取極值的必要條件為同時(shí)滿足

正則方程

(6-58)

控制方程

(6-59)

邊界條件與橫截條件

(6-60)

(6-61),

3.自由，終端約束

在這一類(lèi)問(wèn)題中,終端時(shí)刻為待求的變量,且終端狀態(tài)又受式(6-55)所示的目標(biāo)集等式約束。顯然,終端時(shí)刻自由時(shí)所討論的問(wèn)題,除了自由之外,其余與終端時(shí)刻給定時(shí)所討論的內(nèi)容相同。

和給定時(shí)終端狀態(tài)受約束的最優(yōu)控制問(wèn)題一樣,引入待定的拉格朗日乘子向量和,構(gòu)造增廣泛函(參見(jiàn)式(6-56))式中,哈密頓函數(shù)仍按式(6-45)定義。但與給定情況不同的是,現(xiàn)在也是需要進(jìn)行最優(yōu)選擇的變量。設(shè)x(t)、u(t)、相對(duì)于其最優(yōu)值、、的變分分別為、、,即

(6-62)且有如下近似關(guān)系式

(6-63)考慮到,則由、、、產(chǎn)生的增廣泛函的一次變分為

(6-64)令，因?yàn)椤?、及任?則得增廣泛函取極值的必要條件,并由式(6-42)、式(6-55)及式

(6-45),得當(dāng)及始端狀態(tài)給定、自由、終端狀態(tài)受式

(6-55)約束情況下,滿足式(6-42)的泛函式(6-41)取極值的必要條件為同時(shí)滿足

正則方程

(6-65)

控制方程

(6-66)

邊界條件與橫截條件

,(6-67)(6-68)(6-69)

式中,為哈密頓函數(shù)H在最優(yōu)軌跡終端處的值。

【例6-3】設(shè)被控系統(tǒng)的狀態(tài)方程為

設(shè)初始狀態(tài)為，終端狀態(tài)約束曲線為，求使目標(biāo)函數(shù)

取極小時(shí)的最優(yōu)控制和最優(yōu)軌跡。

解

構(gòu)造哈密頓函數(shù)

正則方程為

(協(xié)態(tài)方程)(狀態(tài)方程)控制方程

它們的通解為

邊界條件與橫截條件

，

，

代入通解,得

，，，,則最優(yōu)控制

最優(yōu)軌跡

,6.4極小值原理

在用經(jīng)典變分法求解最優(yōu)控制問(wèn)題時(shí)，假定控制變量u(t)不受任何限制，即容許控制集合可以看成整個(gè)r維控制空間開(kāi)集，控制變分是任意的，同時(shí)還要求哈密頓函數(shù)H對(duì)u連續(xù)可微,在這種情況下，應(yīng)用變分法求解最優(yōu)控制問(wèn)題是行之有效的。

但是在大多數(shù)情況下,控制量的大小總是受限制的,即

(6-70)這時(shí)容許控制u(t)的集合是一個(gè)r維有界閉集。一般總可用如下不等式表示容許控制u(t)的閉集約束條件,即

(6-71)

當(dāng)容許控制集合u(t)屬于有界閉集時(shí),控制變分在容許控制集合邊界上不能任意，最優(yōu)控制的必要條件亦不滿足，則不能用經(jīng)典變分法處理。

針對(duì)經(jīng)典變分法應(yīng)用條件過(guò)嚴(yán)的局限性,前蘇聯(lián)學(xué)者龐特里亞金等發(fā)展了經(jīng)典變分原理,在1956～1958年間創(chuàng)立了極小值原理。極小值原理由變分法引伸而來(lái)，它的結(jié)論與經(jīng)典變分法的結(jié)論有許多相似之處，這一方法當(dāng)控制變量u(t)受閉集約束時(shí)是行之有效的，并且不要求哈密頓函數(shù)H對(duì)u(t)連續(xù)可微，是控制變量u(t)受限制時(shí)求解最優(yōu)控制問(wèn)題的有力工具,而且極小值原理也可用于解決控制不受約束的最優(yōu)控制問(wèn)題,因此其是解決最優(yōu)控制問(wèn)題的更一般的方法。

定理6-4(極小值原理)設(shè)系統(tǒng)狀態(tài)方程為

(6-73)

初始條件為

固定,固定

(6-74)控制約束為

，

(6-75)

終端約束為

,自由

(6-76)式中,x(t)為n維狀態(tài)向量;控制u(t)屬于r維空間中的有界閉集U,受不等式(6-75)約束;g為l維連續(xù)可微向量函數(shù),;N為q維連續(xù)可微向量函數(shù),。

性能泛函為

(6-77)

式中,和L為連續(xù)可微的標(biāo)量函數(shù);為待定的最優(yōu)終端時(shí)刻。

取哈密頓函數(shù)為

(6-78)

式中,為待定的n維伴隨向量函數(shù)(拉格朗日乘子向量)。則實(shí)現(xiàn)最優(yōu)控制的必要條件為:最優(yōu)控制、最優(yōu)軌跡和最優(yōu)伴隨向量必須滿足下列一組方程

(1)正則方程

(6-79)

(6-80)

式中,是與時(shí)間t無(wú)關(guān)的l維拉格朗日乘子向量(維數(shù)與g相同)。若g中不包含x，則有

(6-81)

(2)橫截條件及邊界條件

(6-82)

(6-83)

(6-84)

(6-85)

式中,為待定的拉格朗日乘子向量。

(3)在最優(yōu)軌跡上，與最優(yōu)控制相對(duì)應(yīng)的哈密頓函數(shù)H取絕對(duì)極小值，即(6-86)

且沿最優(yōu)軌跡,有

(6-87)

關(guān)于定理6-4的幾點(diǎn)說(shuō)明:

(1)定理給出的正則方程(式(6-79)～式(6-81))及極小值條件式(6-86)對(duì)各類(lèi)最優(yōu)控制問(wèn)題普遍適用,且與邊界條件形式或終端時(shí)刻是否自由無(wú)關(guān)。式(6-82)給出終端狀態(tài)受約束時(shí)最優(yōu)伴隨向量終值應(yīng)滿足的條件;式(6-84)給出始點(diǎn)邊界條件;式(6-85)則給出終端狀態(tài)約束條件,這3組方程正是確定正則方程的2n個(gè)積分常數(shù)和q維待定的拉格朗日乘子向量所必需的。條件式(6-83)則用于自由時(shí)確定最優(yōu)終端時(shí)刻。

(2)極小值條件式(6-86)表明,最優(yōu)控制使哈密頓函數(shù)H取全局最小,極小值原理因此而得名。

當(dāng)滿足經(jīng)典變分法應(yīng)用條件時(shí),其控制方程是式(6-87)的一種特別容易計(jì)算的情況,即用控制方程

求解控制向量無(wú)界時(shí)的泛函極值問(wèn)題只是極

小值原理應(yīng)用的一個(gè)特例。

(3)極小值原理只給出了最優(yōu)控制的必要條件,并非充分條件。

【例

6-4】設(shè)系統(tǒng)的狀態(tài)方程為

，

控制約束為，求使目標(biāo)函數(shù)為最小的最優(yōu)控制及最優(yōu)軌線,并求泛函J的最小值。

解

(1)構(gòu)造哈密頓函數(shù)

(2)由哈密頓函數(shù)及控制約束條件建立極值條件

應(yīng)用極小值條件式(6-86),即

根據(jù)極小值原理，求H極小等效于求泛函極小。故應(yīng)選取使H極小,這只要使為極小即可。u的上界為1，下界為1/2，因此,當(dāng)時(shí)，應(yīng)?。ㄉ辖纾?當(dāng)時(shí)，應(yīng)取（下界）

。

(3)由哈密頓函數(shù)建立正則方程

(狀態(tài)方程)

(協(xié)態(tài)方程)

(4)解方程

先解協(xié)態(tài)方程,得通解為

由終端橫截條件,得，代入上式確定積分常數(shù)

,所以

由極值條件知,當(dāng)時(shí)切換,為切換時(shí)間。故令

,,則最優(yōu)控制為

當(dāng)，對(duì)應(yīng)

，

當(dāng)，對(duì)應(yīng)，

將最優(yōu)控制代入狀態(tài)方程,即:當(dāng)時(shí),,有

，通解為,由x(0)=5確定，故;當(dāng)時(shí)，，有,通解為

,考慮第一段的終值為第二段初值，由此確定,故。

(5)求

本例所求最優(yōu)解曲線如圖6-3所示。

圖6-3例6-4的最優(yōu)解

6.5動(dòng)態(tài)規(guī)劃法

動(dòng)態(tài)規(guī)劃是美國(guó)數(shù)學(xué)家貝爾曼于20世紀(jì)50年代末為研究多級(jí)決策提出的，又稱(chēng)為貝爾曼規(guī)劃。動(dòng)態(tài)規(guī)劃法是一種分段（步）最優(yōu)化方法，其中心思想是將一個(gè)多級(jí)決策問(wèn)題化為多個(gè)一級(jí)決策問(wèn)題,使求解簡(jiǎn)化,它既可用來(lái)求解約束條件下的函數(shù)極值問(wèn)題，也可用于求解約束條件下的泛函極值問(wèn)題。與極小值原理一樣，動(dòng)態(tài)規(guī)劃法是控制變量限制在一定閉集內(nèi)求解最優(yōu)控制問(wèn)題的有效數(shù)學(xué)方法。

6.5.1

最優(yōu)性原理

動(dòng)態(tài)規(guī)劃是解決多段決策過(guò)程優(yōu)化問(wèn)題的一種強(qiáng)有力的工具。所謂多段決策過(guò)程，是指把一個(gè)過(guò)程按時(shí)間或空間順序分為若干段（步），然后給每一段（步）做出“決策”，以使整個(gè)過(guò)程取得最優(yōu)的效果。

【例6-5】一輛汽車(chē)從A城出發(fā)到B城，途中有3條河流，每條河上各有兩座橋Pi，Qi，（i=1，2，3），如圖6-4所示，各段路程的距離相應(yīng)標(biāo)在圖上(單位為km)，求從A城到B城的最短路線。

圖6-4隨機(jī)路線問(wèn)題

解

這是一個(gè)4步?jīng)Q策問(wèn)題。解決該問(wèn)題的最簡(jiǎn)單辦法就是窮舉法，即將所有可能的行車(chē)路線都計(jì)算出來(lái)，然后再進(jìn)行比較。本例中共有8條可能路線，列表計(jì)算見(jiàn)表6-1

路線距離/km路線距離/kmAP1P2P3B4+6+1+4=15AP1P2Q3B4+6+1+3=14APIQ2P3B4+6+2+4=16AP1Q2Q3B4+6+2+3=15AQl

Q2Q3B5+7+2+3=17AQ1Q2P3B5+7+2+4=18AQ1P2P3B5+4+1+4=14AQ1P2Q3B5+4+1+3=13

表6-1隨機(jī)路線問(wèn)題的列表計(jì)算

從表6-1的計(jì)算結(jié)果中進(jìn)行比較可得，從A城到B城的最短路線為

AQ1P2Q3B,距離為

13km，但采用窮舉法需要進(jìn)行的加法運(yùn)算次數(shù)較多。

應(yīng)用動(dòng)態(tài)規(guī)劃法可顯著降低計(jì)算量。采用動(dòng)態(tài)規(guī)劃法求解最短路線問(wèn)題的思路是從終點(diǎn)開(kāi)始,按行程最短為目標(biāo),逐段向前逆推,依次計(jì)算出各站至終點(diǎn)的行程最短值,并據(jù)此決策出每一站的最優(yōu)路線。如在圖6-4中,從終點(diǎn)B開(kāi)始逆推,即先從最后一段(第四段)開(kāi)始,分別計(jì)算P3和Q3到B的最短里程。在圖6-4上,從P3出發(fā)到B的路線只有這一條,里程為4km，故從P3出發(fā)到B的最優(yōu)決策為P3B,最短里程為

同理

接著向前逆推至倒數(shù)第2段,分別計(jì)算P2和Q2到B的最短里程。從P2到B有兩種決策:其一,經(jīng)P3到B,即路線為,里程為;其二,經(jīng)Q3到B,即路線為,里程為

可見(jiàn),從P2出發(fā)到B的最優(yōu)決策為,最短里程為

同理,從Q2出發(fā)到B的最短里程為

最優(yōu)決策為。

接著向前逆推至倒數(shù)第三段,分別計(jì)算P1和Q1到B的最短里程。為計(jì)算P1到B的最短里程,只需比較以下兩種路線:其一,,里程為

其二,,里程為

可見(jiàn),從P1出發(fā)到B的最優(yōu)決策為,最短里程為

為計(jì)算Q1到B的最短里程,只需比較以下兩種路線:

其一,,里程為其二,,里程為

可見(jiàn),從Q1出發(fā)到B的最優(yōu)決策為,最短里程為

最后,向前逆推至第一段,計(jì)算起點(diǎn)A到終點(diǎn)B的最短里程,為此,只需比較以下兩種路線:其一,,里程為

其二,,里程為

因此,從A城到B城的最短路線為,最短里程為13km，其結(jié)果與窮舉法一致。但本例,窮舉法要做24次加法和7次比較,而采用動(dòng)態(tài)規(guī)劃法僅需做10次加法和6次比較。以上采用動(dòng)態(tài)規(guī)劃法求最優(yōu)路線的實(shí)質(zhì)在于將一個(gè)四級(jí)決策問(wèn)題簡(jiǎn)化成四個(gè)相同的單級(jí)決策問(wèn)題,從而簡(jiǎn)化了問(wèn)題的求解。

6.5.2

離散系統(tǒng)的動(dòng)態(tài)規(guī)劃

設(shè)離散系統(tǒng)的狀態(tài)方程為

(6-88)

式中,為n維狀態(tài)向量，為r維控制空間中容許控制域內(nèi)的控制向量,是n維向量函數(shù)。設(shè)系統(tǒng)的初始狀態(tài)為，控制約束為，系統(tǒng)的性能泛函為

(6-89)

式中,J的下標(biāo)N表示由u(0)到u(N-1)控制N步?，F(xiàn)在的問(wèn)題是尋求一個(gè)最優(yōu)控制序列使泛函式(6-89)最小。

，由式(6-89),并逐次使用式(6-88)可以看出,JN只依賴(lài)于。若已求出最優(yōu)控制序列，則JN的最小值minJN只與初始狀態(tài)x(0)有關(guān),并將其記為。

對(duì)于一個(gè)N級(jí)最優(yōu)決策過(guò)程，不論第一級(jí)控制向量u(0)怎樣選取，余下的控制序列，對(duì)于由x(0)和u(0)所形成的狀態(tài)來(lái)說(shuō)，

一定是N-1級(jí)最優(yōu)控制序列,并以表示這一以x(1)為初始狀態(tài)的N-1級(jí)決策過(guò)程問(wèn)題的最優(yōu)性能指標(biāo)。那么，對(duì)初始狀態(tài)為x(0)的N級(jí)最優(yōu)決策過(guò)程的最優(yōu)性能泛函，則應(yīng)滿足動(dòng)態(tài)規(guī)劃基本方程

(6-90)

式中,

式(6-90)給出了與之間的遞推關(guān)系。事實(shí)上,可將任何一級(jí)的狀態(tài)看成從該級(jí)開(kāi)始的一個(gè)多級(jí)過(guò)程的初始狀態(tài),則由式(6-90)依次類(lèi)推，可得更一般的動(dòng)態(tài)規(guī)劃遞推方程

(6-91)

式中,(6-92)

6.5.3

連續(xù)系統(tǒng)的動(dòng)態(tài)規(guī)劃

設(shè)連續(xù)系統(tǒng)狀態(tài)方程為

(6-93)

式中,x(t)是n維狀態(tài)向量，是n維連續(xù)向量函數(shù)，u(t)是r維控制向量且受到限制，即，U為r維空間中的一個(gè)閉子集。設(shè)初始狀態(tài)為，求最優(yōu)控制,,使性能泛函

(6-94)為最小。

應(yīng)用動(dòng)態(tài)規(guī)劃的最優(yōu)性原理,可推導(dǎo)出使式(6-94)所示泛函J為極小的條件為

(6-102)

式(6-102)稱(chēng)為連續(xù)系統(tǒng)動(dòng)態(tài)規(guī)劃基本方程或貝爾曼方程，其是哈密頓-雅可比方程的一種形式,解此方程可求得使式(6-94)所示泛函J為極小的最優(yōu)控制，其邊界條件可由式(6-94)求出,即

(6-103)

若構(gòu)造哈密頓函數(shù)

(6-104)

式中

(6-105)

則式（6-102）可寫(xiě)為

(6-106)

當(dāng)控制向量u不受限制時(shí),如果是最優(yōu)控制,則由式(6-106)得

(6-107)

6.6線性二次型最優(yōu)調(diào)節(jié)器

如果系統(tǒng)是線性的,性能泛函是狀態(tài)變量和(或)控制變量的二次型函數(shù)的積分，則這樣的最優(yōu)控制問(wèn)題稱(chēng)為線性二次型最優(yōu)控制問(wèn)題。

6.6.1

線性二次型最優(yōu)控制問(wèn)題的提法

設(shè)線性系統(tǒng)的狀態(tài)空間描述為

,(6-108)

式中,，，，A(t)、B(t)和C(t)分別是、和維矩陣。

定義二次型性能指標(biāo)為

(6-109)

式中,和均為半正定(或正定)對(duì)稱(chēng)矩陣，R(t)是維正定對(duì)稱(chēng)矩陣。

二次型指標(biāo)式（6-109）最小的物理意義是：在整個(gè)時(shí)間區(qū)間內(nèi),綜合考慮過(guò)程中偏差、控制消耗的能量和終值誤差三個(gè)方面總的結(jié)果要最小。

二次型最優(yōu)控制問(wèn)題就是:對(duì)于系統(tǒng)式(6-108),確定最優(yōu)控制規(guī)律，使二次型指標(biāo)式

(6-109)為最小。

6.6.2

有限時(shí)間的線性最優(yōu)調(diào)節(jié)器

設(shè)系統(tǒng)的狀態(tài)方程為式

(6-108),目標(biāo)函數(shù)為

(6-112)式中,,,有限時(shí)間狀態(tài)調(diào)節(jié)器問(wèn)題:在滿足狀態(tài)方程

(6-108)約束條件下，在限定時(shí)間

內(nèi)，使系統(tǒng)由初始狀態(tài)轉(zhuǎn)移到終端狀態(tài)（在平衡狀態(tài)附近），設(shè)u(t)無(wú)限制,求最優(yōu)控制使二次型指標(biāo)式

(6-112)取極小。可見(jiàn)這是一個(gè)、、固定，終端狀態(tài)自由的條件泛函極值問(wèn)題。變分法、極小值原理和動(dòng)態(tài)規(guī)劃均可求解該最優(yōu)控制問(wèn)題,這里應(yīng)用極小值原理求解。

(1)列寫(xiě)哈密頓函數(shù)

(6-113)

(2)建立極值條件

由于控制量u(t)不受限制，故滿足控制方程

(6-114)

由于R(t)>0,保證了的存在，從而可得

(6-115)

(3)建立正則方程

(6-116)

(6-117)

設(shè)

(6-118)

式中,P(t)為實(shí)對(duì)稱(chēng)半正定矩陣,待定。

將式(6-118)代入式（6-115）,得

(6-119)

式中,

(6-120)

將式

(6-118)兩端對(duì)t求導(dǎo),得

(6-121)

將式

(6-118)、(6-121)代入正則方程組，消去及，得

(6-122)

(6-123)

將式(6-123)代入式(6-122),并整理后,得

(6-124)

式(6-124)稱(chēng)為黎卡提（Riccati）矩陣微分方程。

(4)邊界條件

據(jù)式(6-53),終端橫截條件為

(6-125)

而當(dāng)時(shí),式

(6-118)為

(6-126)

由式(6-125)、式(6-126)得時(shí)P(t)的邊界條件為

(6-127)

當(dāng)矩陣A(t)、B(t)、Q(t)和R(t)的各元素在時(shí)間區(qū)間上都是t的連續(xù)函數(shù)時(shí)，黎卡提矩陣微分方程在上滿足邊界條件的解是存在且惟一的。在解得P(t)后，即可按式(6-119)構(gòu)成狀態(tài)反饋的最優(yōu)控制。結(jié)構(gòu)圖如圖6-5所示。

圖6-5有限時(shí)間時(shí)變最優(yōu)反饋系統(tǒng)

(5)求最優(yōu)軌跡

因?yàn)?/p>

(6-128)

將式(6-119)代入式(6-128),得

解式(6-129)并由始點(diǎn)邊界條件,求解得最優(yōu)軌跡。

(6-129)

6.6.3

定常線性最優(yōu)調(diào)節(jié)器

設(shè)線性定常系統(tǒng)

(6-133)

能控，性能指標(biāo)為

(6-134)

式中,;,無(wú)限制;A、B分別是、常值矩陣;Q,R為常值對(duì)稱(chēng)矩陣，并且，

。則存在唯一最優(yōu)控制

(6-135)式中,P是維正定對(duì)稱(chēng)常數(shù)矩陣，滿足下列黎卡提矩陣代數(shù)方程

(6-136)

將式

(6-135)代入式

(6-133)，可得閉環(huán)最優(yōu)系統(tǒng)的狀態(tài)方程

(6-137)

解線性定常齊次方程式

(6-137)，可得最優(yōu)軌線。

性能泛函的最小值為

(6-138)

【例6-7】已知被控系統(tǒng)及二次型指標(biāo)為求使泛函J達(dá)極小值的最優(yōu)控制。系統(tǒng)能控，存在。

解

已知

設(shè)

,則Q正定。

最優(yōu)控制為

即

式中,P是下列黎卡提矩陣代數(shù)方程的正定對(duì)稱(chēng)解矩陣

得代數(shù)方程組

聯(lián)立求解，得

最優(yōu)控制

即實(shí)現(xiàn)最優(yōu)控制的狀態(tài)反饋增益矩陣

最優(yōu)閉環(huán)系統(tǒng)結(jié)構(gòu)圖如圖6-6所示。

圖6-6例6-7的閉環(huán)系統(tǒng)結(jié)構(gòu)圖

6.6.4

輸出調(diào)節(jié)器

輸出調(diào)節(jié)器主要研究當(dāng)系統(tǒng)受到外部干擾時(shí)，在不消耗過(guò)多控制能量前提下，維持系統(tǒng)的輸出向量接近輸出平衡狀態(tài)。由于輸出調(diào)節(jié)器問(wèn)題可以轉(zhuǎn)化為等效的狀態(tài)調(diào)節(jié)器問(wèn)題，故可根據(jù)前述狀態(tài)調(diào)節(jié)器，應(yīng)用類(lèi)比的方法，建立輸出調(diào)節(jié)器的最優(yōu)控制規(guī)律。

設(shè)能觀的時(shí)變系統(tǒng)為

(6-139)

式中,,，，A(t)、B(t)和C(t)分別是、和維矩陣，控制u(t)不受限制。

(6-140)

1.有限時(shí)間時(shí)變輸出調(diào)節(jié)器目標(biāo)函數(shù)為式中,

和Q(t)均為維半正定對(duì)稱(chēng)矩陣，R(t)是維正定對(duì)稱(chēng)矩陣。要求在有限時(shí)間區(qū)間內(nèi)，在式

(6-139)約束下，尋求

最優(yōu)控制，使泛函J

最小。

首先將這類(lèi)問(wèn)題轉(zhuǎn)化為等效的狀態(tài)調(diào)節(jié)器問(wèn)題，然后利用前述狀態(tài)調(diào)節(jié)器的結(jié)論求最優(yōu)控制規(guī)律。為此根據(jù)輸出方程,用y=C(t)x(t)代入式（6-140）中，得

(6-141)

比較式（6-141）和式（6-112），可見(jiàn)其差別僅是泛函中的權(quán)函數(shù)發(fā)生了變換，即由和分別替代式(6-112)中的Q和。

若和為半正定矩陣，且系統(tǒng)式（6-139）能觀測(cè)，則可證明

和也為半正定矩陣。因此，可以用狀態(tài)調(diào)節(jié)器式(6-119)確定式(6-139)、式(6-140)所定義輸出調(diào)節(jié)器問(wèn)題的最優(yōu)控制

(6-142)

式中,P(t)是下列黎卡提矩陣微分方程

在邊界條件下的惟一非負(fù)定解。

最優(yōu)輸出調(diào)節(jié)器的最優(yōu)控制律仍然是狀態(tài)反饋而不是輸出反饋，表明構(gòu)成最優(yōu)控制系統(tǒng)需要利用全部狀態(tài)信息。

設(shè)能控且能觀的定常系統(tǒng)

(6-145)

式中,,無(wú)限制

。目標(biāo)函數(shù)為

(6-146)

式中,

，。求最優(yōu)控制使泛函式(6-146)取極小。

2.無(wú)限時(shí)間定常輸出調(diào)節(jié)器這一問(wèn)題等價(jià)于一個(gè)定常狀態(tài)調(diào)節(jié)器問(wèn)題,于是可用定常狀態(tài)調(diào)節(jié)器式(6-135)確定式(6-145)、式(6-146)所定義無(wú)限時(shí)間定常輸出調(diào)節(jié)器問(wèn)題的最優(yōu)控制為

(6-147)

式中,P是下列黎卡提矩陣代數(shù)方程的正定對(duì)稱(chēng)解

(6-148)

6.6.5

非零給定點(diǎn)調(diào)節(jié)器

設(shè)能控且能觀的系統(tǒng)

(6-149)

式中,;;,無(wú)限制;A、B、C分別是、、常值矩陣。被控量為輸出向量y,希望使其保持在非零給定點(diǎn)。

本節(jié)討論非零給定點(diǎn)的定常輸出調(diào)節(jié)器設(shè)計(jì)問(wèn)題。

x、y、u的穩(wěn)態(tài)值、、應(yīng)滿足

(6-150)

設(shè)動(dòng)態(tài)過(guò)程中,x、y、u偏離各自(期望)穩(wěn)態(tài)值的偏差量分別為、、,即

，，

(6-151)

將上式變形代入狀態(tài)空間表達(dá)式(6-149)，并根據(jù)式(6-150),得

(6-152)

對(duì)式(6-152)所示偏差量的系統(tǒng)，取目標(biāo)函數(shù)

(6-153)

式中,Q、R為常值對(duì)稱(chēng)矩陣，并且Q>0，R>0。

偏差量的系統(tǒng)式(6-152)的期望點(diǎn)為零點(diǎn),故根據(jù)給定點(diǎn)為零的輸出調(diào)節(jié)器設(shè)計(jì)原理，可求出使目標(biāo)泛函式(6-153)最小的最優(yōu)控制

(6-154)

式中,,其中實(shí)對(duì)稱(chēng)陣P是下列黎卡提矩陣代數(shù)方程

(6-155)

的惟一正定解,并保證閉環(huán)系統(tǒng)

(6-156)

在漸近穩(wěn)定。

將式（6-151）代入控制律式（6-154）中，整理可得原系統(tǒng)式(6-149)希望輸出向量維持在非零給定點(diǎn)上的最優(yōu)控制

(6-157)

式中

(6-158)

將最優(yōu)控制律式（6-157）代入原被控系統(tǒng)狀態(tài)方程式(6-149),得

(6-160)

由于閉環(huán)系統(tǒng)漸近穩(wěn)定，因此，穩(wěn)態(tài)時(shí)有,則由式(6-160)得

則故有

(6-161)

當(dāng)時(shí)，若非奇異，由式（6-161）可求得

(6-162)

又狀態(tài)反饋閉環(huán)系統(tǒng)傳遞函數(shù)陣為

(6-163)

顯然有

(6-164)

故當(dāng)時(shí),若的逆存在，只要取

(6-165)

即可實(shí)現(xiàn)非零給定點(diǎn)的最優(yōu)輸出調(diào)節(jié),即。

采用式(6-165)最優(yōu)控制律的閉環(huán)系統(tǒng)結(jié)構(gòu)如圖6-7所示。

圖6-7非零給定點(diǎn)最優(yōu)調(diào)節(jié)系統(tǒng)結(jié)構(gòu)圖

6.6.6

最優(yōu)跟蹤問(wèn)題

最優(yōu)跟蹤問(wèn)題:設(shè)能觀測(cè)系統(tǒng)

(6-166)

式中,，，，A(t)、B(t)和C(t)分別是、和維時(shí)變矩陣，控制量u(t)不受約束，終端時(shí)刻固定。設(shè),為系統(tǒng)輸出y(t)的期望向量,即為所跟蹤目標(biāo)的運(yùn)動(dòng)規(guī)律，定義誤差函數(shù)向量為

(6-167)

尋找最優(yōu)控制,使被控系統(tǒng)式(6-166)的輸出y(t)跟蹤z(t),且使泛函

(6-168)

最小。式中,為半正定對(duì)稱(chēng)矩陣，R(t)為正定對(duì)稱(chēng)矩陣。

應(yīng)用極小值原理求解最優(yōu)控制。首先建立上述最優(yōu)跟蹤問(wèn)題的哈密頓函數(shù)

(6-169)

由控制方程建立極值條件

(6-170)

則