chap最大值原理實(shí)用

會(huì)計(jì)學(xué)1chap最大值原理實(shí)用2023/1/172二.最大值原理和動(dòng)態(tài)規(guī)劃

為了解決古典變分法在求解最優(yōu)控制問(wèn)題中所暴露出來(lái)的上述問(wèn)題，許多學(xué)者進(jìn)行了各種探索。其中以蘇聯(lián)學(xué)者龐特里雅金（Л.C.ПoHTpЯГИH）的最大值原理（或最小值原理）與美國(guó)學(xué)者貝爾曼（R.E.Bellman）的動(dòng)態(tài)規(guī)劃較為成功，應(yīng)用也較廣泛，現(xiàn)已成為求解最優(yōu)控制問(wèn)題的強(qiáng)有力的工具。

在這一章里，首先通過(guò)積分型最優(yōu)控制問(wèn)題提出最大值原理，然后再推廣到復(fù)合型最優(yōu)控制問(wèn)題中，然后利用增量法對(duì)最大值原理進(jìn)行證明。第1頁(yè)/共96頁(yè)2023/1/173§2.1最大值原理的提出

2.1.1積分型最優(yōu)控制問(wèn)題

問(wèn)題2.1.1(積分型最優(yōu)控制問(wèn)題)給定系統(tǒng)的狀態(tài)方程：

(2.1.1)

其中，f是n維連續(xù)可微的向量函數(shù)；X(t)是n維狀態(tài)變量，其初態(tài)X(t0)=X0，而終態(tài)應(yīng)滿足的條件是：終端時(shí)刻tf固定，終端狀態(tài)X(tf)自由，U(t)是m維控制變量，其所受約束條件是(2.1.2)其中，是以U(t)為元素的m維實(shí)函數(shù)空間中的一個(gè)閉子集。式(2.1.2)表明，控制變量是這個(gè)閉子集中的元素。滿足式(2.1.2)約束條件的控制變量稱為容許控制變量，簡(jiǎn)稱容許控制。要求在滿足式(2.1.2)的容許控制中，確定一控制變量U(t)，使系統(tǒng)（2.1.1）從給定的初態(tài)X(t0)轉(zhuǎn)移到某個(gè)終態(tài)

第2頁(yè)/共96頁(yè)2023/1/174X(tf)的過(guò)程中，性能泛函

達(dá)到極小值。其中L是連續(xù)可微的標(biāo)量函數(shù)。這個(gè)積分型最優(yōu)控制問(wèn)題所確定的控制U(t)稱為最優(yōu)控制，記為U*(t)。如果不考慮式（2.1.2）的約束條件，那么該最優(yōu)控制問(wèn)題的解的必要條件可由第一章的定理1.6.1給出，現(xiàn)引述如下：

定理1.6.1設(shè)系統(tǒng)的狀態(tài)方程為

則為將系統(tǒng)從給定的初態(tài)X(t0)=X0轉(zhuǎn)移到終端時(shí)刻tf固定，終端狀態(tài)X(tf)自由的某個(gè)終態(tài)，并使性能泛函(2.1.3)第3頁(yè)/共96頁(yè)2023/1/175

達(dá)到極小值的最優(yōu)控制應(yīng)滿足的必要條件是(1)設(shè)U*(t)是最優(yōu)控制，X*(t)是對(duì)應(yīng)與U*(t)的最優(yōu)軌線，則必存在一與U*(t)和X*(t)相對(duì)應(yīng)的n維協(xié)態(tài)變量(t)，使得X(t)與(t)滿足規(guī)范方程

（2.1.4）（2.1.5）其中，（2.1.6）第4頁(yè)/共96頁(yè)2023/1/176

(2)邊界條件為(3)哈密頓函數(shù)H對(duì)控制變量U(t)(t0ttf)取極小值，即定理1.6.1是在控制變量u(t)不受約束的情況下，求最優(yōu)控制函數(shù)U*(t)，使哈密頓函數(shù)（2.1.6）達(dá)到極小值。這也是在控制函數(shù)U(t)不受約束或只受開集性的約束的情況下的最小值原理。顯然，控制方程（2.1.9）也可以寫成如下形式（2.1.7）（2.1.8）（2.1.9）（2.1.10）第5頁(yè)/共96頁(yè)2023/1/177說(shuō)明：(1)當(dāng)控制函數(shù)U(t)不受約束或只受開集性約束條件下，控制方程（2.1.9）和（2.1.10）是等價(jià)的。(2)在控制函數(shù)U(t)受到式（2.1.2）所表示的閉集性約束的條件下，控制方程（2.1.9）未必是最優(yōu)控制問(wèn)題的解的必要條件之一。

a.因?yàn)?/p>

b.作為控制變量U(t)的函數(shù)的Hamilton函數(shù)H[X(t)，(t)，U(t)，t]在閉子集內(nèi)可能不存在極值點(diǎn)，而企圖以H/U來(lái)求極小值點(diǎn)也是難以奏效的。因此，在控制函數(shù)U(t)受到式（2.1.2）那樣閉集性約束的條件下，控制方程（2.1.9）不再是由式（2.1.1）～式（2.1.3）所給定的最優(yōu)控制問(wèn)題解的必要條件了。第6頁(yè)/共96頁(yè)2023/1/178但是，控制方程（2.1.10）總是成立的，它仍然是由式（2.1.1）～式（2.1.3）所給定的最優(yōu)控制問(wèn)題解的必要條件。定理2.1.1（積分型最優(yōu)控制問(wèn)題的最小值原理）給定系統(tǒng)的狀態(tài)方程

和初態(tài)X(t0)=X0，而終端時(shí)刻tf固定，終端狀態(tài)X(tf)自由以及控制變量U(t)所受約束條件是則為將系統(tǒng)從給定的初態(tài)X(t0)轉(zhuǎn)移到某個(gè)終態(tài)X(tf)，并使性能泛函達(dá)到極小值的最優(yōu)控制應(yīng)滿足的必要條件是：第7頁(yè)/共96頁(yè)2023/1/179(1)設(shè)U*(t)是最優(yōu)控制,X*(t)是對(duì)應(yīng)于U*(t)的最優(yōu)軌線，則必存在一與U*(t)和X*(t)相對(duì)應(yīng)的n維協(xié)態(tài)變量(t)，使得X*(t)和(t)滿足規(guī)范方程式中H是哈密頓函數(shù)，且為(2)邊界條件為第8頁(yè)/共96頁(yè)2023/1/1710(3)哈密頓函數(shù)在最優(yōu)控制U*(t)和最優(yōu)軌線X*(t)上達(dá)到最小值,即

說(shuō)明:(1)由于定理2.1.1的中心內(nèi)容是,使性能泛函(2.1.3)達(dá)到最小值的最優(yōu)控制的必要條件是哈密頓函數(shù)H達(dá)到最小值，所以，該定理稱為最小值原理。(2)一個(gè)函數(shù)的最小值點(diǎn)與該函數(shù)反號(hào)后的最大值是一致的。所以，若令哈密頓函數(shù)為則下列二式第9頁(yè)/共96頁(yè)2023/1/1711和的結(jié)果是一致的，只是二式中的協(xié)態(tài)變量(t)是互為反號(hào)的。定理2.1.2（積分型最優(yōu)控制問(wèn)題的最大值原理）

給定系統(tǒng)的狀態(tài)方程和初態(tài)X(t0)=X0，而終端時(shí)刻tf固定，終端狀態(tài)X(tf)自由以及控制變量U(t)所受約束條件是則為將系統(tǒng)從給定的初態(tài)X(t0)轉(zhuǎn)移到某個(gè)終態(tài)X(tf)，并使性能泛函第10頁(yè)/共96頁(yè)2023/1/1712達(dá)到極小值的最優(yōu)控制應(yīng)滿足的必要條件是：(1)設(shè)U*(t)是最優(yōu)控制,X*(t)是對(duì)應(yīng)于U*(t)的最優(yōu)軌線，則必存在一與U*(t)和X*(t)相對(duì)應(yīng)的n維協(xié)態(tài)變量(t)，使得X*(t)和(t)滿足規(guī)范方程其中，第11頁(yè)/共96頁(yè)2023/1/1713(2)邊界條件為(3)在最優(yōu)控制U*(t)和最優(yōu)軌線X*(t)上哈密頓函數(shù)達(dá)到最大值,即說(shuō)明：由于定理2.1.2的中心內(nèi)容是，使性能泛函達(dá)到極小值的最優(yōu)控制的必要條件是哈密頓函數(shù)H達(dá)到最大值，所以，該定理稱為最大值原理。

第12頁(yè)/共96頁(yè)2023/1/1714例

2.1.1

給定一階線性系統(tǒng)和初始條件

（2.1.11）其中控制作用u(t)的約束條件為

（2.1.12）要求確定控制函數(shù)u(t)，使性能泛函（2.1.13）達(dá)到極小值。

解：這是一個(gè)積分型最優(yōu)控制問(wèn)題，其終端時(shí)刻tf=1固定，終端狀態(tài)X(tf)是自由的。控制函數(shù)受到閉集性的約束條件?？梢岳蒙厦娼榻B過(guò)的最大值原理（定理2.1.2）或最小值原理（定理2.1.1）來(lái)求解。在這里，為了進(jìn)行比較，將分別利用這兩個(gè)定理來(lái)求解。(1)應(yīng)用最大值原理求解，為此構(gòu)造哈密頓函數(shù)

（2.1.14）第13頁(yè)/共96頁(yè)2023/1/1715

按照最大值原理，為使泛函（2.1.13）達(dá)到極小值必須選擇控制函數(shù)u(t)，使哈密頓函數(shù)（2.1.14）達(dá)到最大值。由式(2.1.14)可見(jiàn)，當(dāng)u(t)與((t)+1/2)同號(hào)，且取其約束條件的邊界值，即|u(t)|=1時(shí)，使哈密頓函數(shù)H達(dá)到最大值。所以，控制函數(shù)應(yīng)選擇為

（2.1.15）或（2.1.16）第14頁(yè)/共96頁(yè)2023/1/1716

由上式可見(jiàn)，若要確定u(t)

，必須通過(guò)協(xié)態(tài)方程解出(t)。根據(jù)哈密頓函數(shù)（2.1.14）可以寫出協(xié)態(tài)方程

因?yàn)閠f=1固定，x(1)自由，所以(1)=0，則協(xié)態(tài)方程的解為

而

其曲線如圖2－1(a)所示。由此可得最優(yōu)控制為或

（2.1.17）第15頁(yè)/共96頁(yè)2023/1/1717第16頁(yè)/共96頁(yè)2023/1/1718式中=ln(e/2)，控制函數(shù)的曲線如圖2－1(b)所示。將最優(yōu)控制u*(t)代入狀態(tài)方程（2.1.11）得到（2.1.18）（2.1.19）利用初始條件x(0)=1，可得式（2.1.18）的解

當(dāng)t==ln(e/2)時(shí)，有

將它作為式（2.1.19）的初始條件。解得

第17頁(yè)/共96頁(yè)2023/1/1719

于是有將u*(t)和x*(t)代入式（2.1.13），得由于只有一個(gè)u

(t)滿足最大值原理。根據(jù)實(shí)際情況，可判定它是最優(yōu)控制u*(t)。(2)應(yīng)用最小值原理求解，為此構(gòu)造哈密頓函數(shù)

（2.1.20）第18頁(yè)/共96頁(yè)2023/1/1720按照最小值原理，為使泛函（2.1.13）達(dá)到極小值，必須選擇控制函數(shù)u

(t)使哈密頓函數(shù)（2.1.20）達(dá)到最小值。由式（2.1.20）可知，當(dāng)u

(t)與((t)－1/2)異號(hào)，且取其約束條件的邊界值（即|u(t)|=1）時(shí)，哈密頓函數(shù)H達(dá)到最小值，所以控制函數(shù)應(yīng)取為由上式可見(jiàn)，若要確定u(t)

，必須由協(xié)態(tài)方程解出(t)

，根據(jù)哈密頓函數(shù)（2.1.20），可寫出協(xié)態(tài)方程

其解為

第19頁(yè)/共96頁(yè)2023/1/1721由此可得最優(yōu)控制函數(shù)為

可見(jiàn)，這一結(jié)果與應(yīng)用最大值原理所得到的結(jié)果是一致的。將它代入狀態(tài)方程（2.1.11），當(dāng)然也會(huì)得到相同的結(jié)果。以下的計(jì)算可以仿照（1）進(jìn)行，這里就不重復(fù)了。

說(shuō)明：由例2.1.1可以看出，分別應(yīng)用最大值原理和最小值原理求解同一個(gè)最優(yōu)控制問(wèn)題，所得到的最優(yōu)控制和最優(yōu)軌線是一致的，但是，協(xié)態(tài)變量卻是互為反號(hào)的。

第20頁(yè)/共96頁(yè)2023/1/17222.1.2復(fù)合型最優(yōu)控制問(wèn)題

問(wèn)題2.1.2(復(fù)合型最優(yōu)控制問(wèn)題)給定系統(tǒng)的狀態(tài)方程：（

2.1.21）其中f是n維連續(xù)可微的向量函數(shù)。X(t)是n維狀態(tài)變量，已知其初態(tài)為

X(t0)=X0，終端的約束條件為：

（2.1.22）其中是r維連續(xù)可微的向量函數(shù)，且r<n，U(t)是m維控制變量，且其約束條件為

（2.1.23）其中是以U(t)為元素的m維實(shí)函數(shù)空間中的閉子集。要求我們?cè)跐M足式（2.1.23）的容許控制中，確定一控制變量U(t)，使系統(tǒng)（2.2.21）從給定的初態(tài)X(t0)轉(zhuǎn)移到滿足式（2.1.22）條件下的某個(gè)終態(tài)X(tf)，并使性能泛函第21頁(yè)/共96頁(yè)2023/1/1723

（2.1.24）達(dá)到極小值。其中和L都是連續(xù)可微的標(biāo)量函數(shù)，而終端時(shí)刻tf是可變的。定理2.1.3（復(fù)合型最優(yōu)控制問(wèn)題的最小值原理）給定系統(tǒng)的狀態(tài)方程和控制函數(shù)U(t)的閉集約束條件則為將系統(tǒng)從給定的初態(tài)X(t0)=X0，轉(zhuǎn)移到滿足終端約束條件

的某個(gè)終態(tài)X(tf)，其中tf是可變的，并使性能泛函

第22頁(yè)/共96頁(yè)2023/1/1724達(dá)到極小值的最優(yōu)控制應(yīng)滿足的必要條件是

(1)

設(shè)U*(t)是最優(yōu)控制,X*(t)是對(duì)應(yīng)于U*(t)的最優(yōu)軌線，則存在一與U*(t)和X*(t)相對(duì)應(yīng)的n維協(xié)態(tài)變量(t)，使得X*(t)和(t)滿足規(guī)范方程其中

(2)狀態(tài)變量和協(xié)態(tài)變量的邊界條件為第23頁(yè)/共96頁(yè)2023/1/1725在上述各式中的是待定的r維乘子向量，即

(3)哈密頓函數(shù)H在最優(yōu)控制與最優(yōu)軌線上達(dá)到最小值。即

終端受限tf自由第24頁(yè)/共96頁(yè)2023/1/1726定理2.1.4（復(fù)合型最優(yōu)控制問(wèn)題的最大值原理）給定系統(tǒng)的狀態(tài)方程和控制函數(shù)U(t)的閉集約束條件則為將系統(tǒng)從給定的初態(tài)X(t0)=X0，轉(zhuǎn)移到滿足終端約束條件

的某個(gè)終態(tài)X(tf)，其中tf是可變的，并使性能泛函達(dá)到極小值的最優(yōu)控制應(yīng)滿足的必要條件是：(1)

設(shè)U*(t)是最優(yōu)控制,X*(t)是對(duì)應(yīng)于U*(t)的最優(yōu)軌線，則必存在一與U*(t)和X*(t)相對(duì)應(yīng)的(t)，使得X*(t)和(t)滿足規(guī)范方程

第25頁(yè)/共96頁(yè)2023/1/1727其中(2)狀態(tài)變量和協(xié)態(tài)變量的邊界條件為第26頁(yè)/共96頁(yè)2023/1/1728(3)哈密頓函數(shù)H在最優(yōu)控制與最優(yōu)軌線上達(dá)到最大值。即

2.1.3有關(guān)最大值原理（或最小值原理）的幾點(diǎn)說(shuō)明

最大值原理（當(dāng)然包括最小值原理，以下同）是對(duì)古典變分法的發(fā)展。它不僅可以用來(lái)求解函數(shù)U(t)不受約束或只受開集性約束的最優(yōu)控制問(wèn)題，而且也可以用來(lái)求解控制函數(shù)U(t)受到閉集性約束條件的最優(yōu)控制問(wèn)題。這就意味著最大值原理放寬了對(duì)控制函數(shù)U(t)的要求。

最大值原理沒(méi)有提出哈密頓函數(shù)H對(duì)控制函數(shù)U(t)的可微性的要求，因此，其應(yīng)用條件進(jìn)一步放寬了。并且，由最大值原理所求得的最優(yōu)控制U(t)使哈密頓函數(shù)H達(dá)到全局、絕對(duì)最大值，而由古典變分法的極值條件H/U=0所得到的解是H的局部、相對(duì)最大值或駐值。因此，最大值原理將古典變分法求解最優(yōu)控制問(wèn)題的極值條件作為一個(gè)特例概括在自己之中。第27頁(yè)/共96頁(yè)2023/1/1729最大值原理是最優(yōu)控制問(wèn)題的必要條件，并非充分條件。也就是說(shuō)，由最大值原理所求得的解能否使性能泛函J達(dá)到極小值，還需要進(jìn)一步分析與判定。但是，如果根據(jù)物理意義已經(jīng)能夠斷定所討論的最優(yōu)控制問(wèn)題的解是存在的，而由最大值原理所得到的解只有一個(gè)，那么，該解就是最優(yōu)解。實(shí)際上，我們遇到的問(wèn)題往往屬于這種情況。

利用最大值原理和古典變分法求解最優(yōu)控制問(wèn)題時(shí)，除了控制方程的形式不同外，其余條件是相同的。一般來(lái)說(shuō)，根據(jù)最大值原理確定最優(yōu)控制U*(t)和最優(yōu)軌線X*(t)仍然需要求解兩點(diǎn)邊界值問(wèn)題。這是一件復(fù)雜的工作。

由最大值原理和最小值原理所得到的最優(yōu)控制U*(t)和最優(yōu)軌線X*(t)是一致的，只是協(xié)態(tài)變量(t)是互為反號(hào)的。

若所討論問(wèn)題是確定最優(yōu)控制U*(t)

，使性能泛函

第28頁(yè)/共96頁(yè)2023/1/1730達(dá)到極大值，最大值原理仍然成立，這時(shí)只要將上述性能泛函變?yōu)?/p>

就可以了。

第29頁(yè)/共96頁(yè)2023/1/1731§2.2最大值原理的證明2.2.1一般型最優(yōu)控制問(wèn)題

問(wèn)題2.2.1(一般型最優(yōu)控制問(wèn)題)給定系統(tǒng)的狀態(tài)方程：（2.2.1）的初態(tài)X(t0)=X0和控制函數(shù)的約束條件（2.2.2）從滿足約束條件（2.2.2）的容許控制函數(shù)中，確定一個(gè)控制函數(shù)U(t)，使性能泛函

（2.2.3）達(dá)到極小值，其中

tf是終端時(shí)刻，X(tf)是終端狀態(tài)。

龐特里雅金函數(shù)第30頁(yè)/共96頁(yè)2023/1/1732

說(shuō)明：最優(yōu)控制問(wèn)題的上述提法具有一般性，它將許多常見(jiàn)的最優(yōu)控制問(wèn)題概括成為自己的特殊情況，故稱為一般型最優(yōu)控制問(wèn)題，許多最優(yōu)控制問(wèn)題都可以轉(zhuǎn)化為一般型最優(yōu)控制問(wèn)題。

最速控制問(wèn)題給定n階系統(tǒng)的狀態(tài)方程的初始狀態(tài)X(t0)=X0和控制函數(shù)的約束條件需要從容許控制U(t)中，確定一個(gè)控制函數(shù)U(t)

，能在最短的時(shí)間內(nèi)，將系統(tǒng)從給定的初態(tài)X(t0)轉(zhuǎn)移到給定的終態(tài)X(tf)。這是最速控制問(wèn)題，其性能泛函

第31頁(yè)/共96頁(yè)2023/1/1733

其中，t0是固定的初始時(shí)刻，tf是可變的終端時(shí)刻。下面將其化為一般型最優(yōu)控制問(wèn)題。為此，引入一個(gè)新的狀態(tài)變量xn+1(t)，令

其中，于是一個(gè)n階系統(tǒng)的最速控制問(wèn)題就轉(zhuǎn)化為一個(gè)n+1階系統(tǒng)的一般型最優(yōu)控制問(wèn)題。

第32頁(yè)/共96頁(yè)2023/1/1734積分型最優(yōu)控制問(wèn)題給定n階系統(tǒng)的狀態(tài)方程的初始狀態(tài)X(t0)=X0和控制函數(shù)的約束條件要求從容許控制U(t)中，確定一個(gè)控制函數(shù)U(t)

，將系統(tǒng)從給定的初態(tài)X(t0)轉(zhuǎn)移到某個(gè)終態(tài)X(tf)，并使性能泛函達(dá)到極小值。這是個(gè)積分型最優(yōu)控制問(wèn)題，引入一個(gè)新的狀態(tài)變量xn+1(t)，滿足

第33頁(yè)/共96頁(yè)2023/1/1735其中，于是一個(gè)n階系統(tǒng)的積分型最優(yōu)控制問(wèn)題便轉(zhuǎn)化成一個(gè)n+1階系統(tǒng)的一般型最優(yōu)控制問(wèn)題。終端型指標(biāo)的最優(yōu)控制問(wèn)題給定n階系統(tǒng)的狀態(tài)方程的初始狀態(tài)X(t0)=X0和控制函數(shù)的約束條件第34頁(yè)/共96頁(yè)2023/1/1736 要求從容許控制U(t)中，確定一個(gè)控制函數(shù)U(t)，使性能泛函達(dá)到極小值。這是個(gè)終端型指標(biāo)的最優(yōu)控制問(wèn)題，引入一個(gè)新的狀態(tài)變量xn+1(t)，滿足

第35頁(yè)/共96頁(yè)2023/1/1737于是，一個(gè)n階系統(tǒng)的終端型指標(biāo)的最優(yōu)控制問(wèn)題也可轉(zhuǎn)化為一個(gè)n+1階系統(tǒng)的一般型最優(yōu)控制問(wèn)題。

說(shuō)明：類似地，一個(gè)復(fù)合型指標(biāo)的最優(yōu)控制問(wèn)題，也能夠轉(zhuǎn)化為一般型最優(yōu)控制問(wèn)題。這里只要結(jié)合應(yīng)用積分型指標(biāo)和終端型指標(biāo)最優(yōu)控制問(wèn)題轉(zhuǎn)化為一般型指標(biāo)最優(yōu)控制問(wèn)題的思想和方法，就可以完成這種轉(zhuǎn)化工作。

第36頁(yè)/共96頁(yè)2023/1/17382.2.2一般型最優(yōu)控制問(wèn)題的最大值原理及證明定理2.2.1(一般型最優(yōu)控制問(wèn)題的最大值原理—終端時(shí)刻固定，終端狀態(tài)自由)給定系統(tǒng)的狀態(tài)方程

和控制函數(shù)U(t)的約束條件則為將系統(tǒng)從給定的初態(tài)X(t0)=X0轉(zhuǎn)移到終端時(shí)刻tf固定，終端狀態(tài)自由的某個(gè)終態(tài)X(tf)，并使性能泛函

達(dá)到極小值的最優(yōu)控制應(yīng)滿足的必要條件是：

(1)

設(shè)U*(t)是最優(yōu)控制,X*(t)是對(duì)應(yīng)于U*(t)的最優(yōu)軌線，則必存在一與U*(t)和X*(t)相對(duì)應(yīng)的(t)，使得X*(t)和(t)滿足規(guī)范方程第37頁(yè)/共96頁(yè)2023/1/1739其中，(2)邊界條件為(3)在最優(yōu)控制和最優(yōu)軌線上哈密頓函數(shù)H達(dá)到最大值。即（2.2.4）

第38頁(yè)/共96頁(yè)2023/1/1740證明：證明該定理的基本思路是，設(shè)最優(yōu)控制U*(t)獲得變分U

(t)，相應(yīng)地，最優(yōu)軌線X*(t)也發(fā)生變分

X

(t)，這時(shí)求出性能泛函J的增量J。根據(jù)最優(yōu)控制U*(t)使J達(dá)到極小值，則其增量為（2.2.5）的性質(zhì)，利用反證法證明，若最大值原理不成立，則式（2.2.5）一定不成立。這與控制函數(shù)U*(t)使J達(dá)到極小值的假設(shè)相矛盾，于是就完成了定理2.2.1的證明。其具體步驟如下：

求增量J設(shè)最優(yōu)控制U*(t)已經(jīng)求得，即U*(t)使J達(dá)到了極小值?，F(xiàn)在令U*(t)獲得一個(gè)變分U

(t)，則最優(yōu)軌線X*(t)相應(yīng)地也發(fā)生變分，設(shè)為

X

(t)

。

由狀態(tài)方程（2.2.1）得

（2.2.6）第39頁(yè)/共96頁(yè)2023/1/1741 （2.2.7） 將式（2.2.7）與式(2.2.6)相減，并左乘以T(t)，得（2.2.8）考慮到哈密頓函數(shù)為

則式（2.2.8）變?yōu)?/p>

對(duì)上式兩端進(jìn)行積分，得

（2.2.9）第40頁(yè)/共96頁(yè)2023/1/1742 對(duì)上式左端進(jìn)行分部積分，得

將上式代入式（2.2.9），移項(xiàng)后，得

（2.2.10） 第41頁(yè)/共96頁(yè)2023/1/1743 將上式代入式（2.2.10），得性能泛函的增量為（2.2.11）化簡(jiǎn)增量J由于協(xié)態(tài)變量方程為

（2.2.12）

并利用泰勒公式，將式（2.2.11）右端的第二項(xiàng)積分中的第一個(gè)函數(shù)的最優(yōu)軌線X*(t)處展開，得

第42頁(yè)/共96頁(yè)2023/1/1744

（2.2.13） 其中,0

1,是n×n階非負(fù)定矩陣，且為

第43頁(yè)/共96頁(yè)2023/1/1745 將式（2.2.12）和式(2.2.13)代入式（2.2.11）中，經(jīng)整理得

（2.2.14）在上式右端后兩個(gè)積分中都含有

X

(t)

，它們相對(duì)于第一個(gè)積分而言，都是高階無(wú)窮小量，記為，于是，式（2.2.14）變?yōu)?/p>

第44頁(yè)/共96頁(yè)2023/1/1746（2.2.15）

反證法證明定理為了證明最大值原理是使性能泛函J達(dá)到極小值的必要條件，需要證明：如果在容許控制

（2.2.16）

中，至少能找到一個(gè)控制函數(shù)U

(t)，使哈密頓函數(shù)H不能達(dá)到最大值的話，那么，該控制函數(shù)就一定不會(huì)使性能泛函J達(dá)到極小值。如果在容許控制（2.2.16）中能夠找到使性能泛函J達(dá)到極小值的最優(yōu)控制U*(t)，那么當(dāng)它發(fā)生任何變分U

(t)時(shí)，都有J0?，F(xiàn)在假定最優(yōu)控制U*(t)只在區(qū)間[t0，tf]中的任一小區(qū)間[ta，tb]上發(fā)生變分U

(t)，即假定第45頁(yè)/共96頁(yè)2023/1/1747 并且，假設(shè)U*(t)不能使哈密頓函數(shù)H滿足最大值原理，也就是說(shuō)，對(duì)于控制函數(shù)U*(t)發(fā)生微小變分U

(t)后，有

其中t[ta，tb]，是一個(gè)正常數(shù)，對(duì)上式兩邊積分，得

由于控制函數(shù)U

(t)的變分U

(t)只在區(qū)間[ta，tb]上發(fā)生，所以式（2.2.15）的泛函的增量將變?yōu)?/p>

第46頁(yè)/共96頁(yè)2023/1/1748

由于是無(wú)窮小量，它的存在與否，不影響上面不等式關(guān)系，所以J0。這表明，若控制函數(shù)U*(t)不能使哈密頓函數(shù)H滿足最大值原理，則該控制函數(shù)U*(t)也不會(huì)使泛函J達(dá)到極小值。這與控制函數(shù)U*(t)是使泛函J達(dá)到極小值的假設(shè)矛盾。所以，使性能泛函J達(dá)到極小值的控制函數(shù)U*(t)

，一定使哈密頓函數(shù)滿足最大值原理，于是定理2.2.1得到證明。

第47頁(yè)/共96頁(yè)2023/1/1749推論

2.3.1對(duì)于線性系統(tǒng)

來(lái)說(shuō)，最大值原理是使性能泛函J（見(jiàn)式2.2.3）達(dá)到極小值的充要條件。

證明：在這種情況下，哈密頓函數(shù)為

第48頁(yè)/共96頁(yè)2023/1/1750 這時(shí)，相應(yīng)的式（2.2.14）中的后兩個(gè)積分均等于零，于是得到

因此，若哈密頓函數(shù)H滿足最大值原理，則上式右端的積分就是非負(fù)的，即

J0，這樣，性能泛函J達(dá)到極小值的條件滿足了，充分條件得到證明。

第49頁(yè)/共96頁(yè)2023/1/1751例

2.2.1

給定二階系統(tǒng)的狀態(tài)方程及初始狀態(tài)

其中控制函數(shù)的約束條件為|u(t)|1，現(xiàn)在需要容許控制中，確定一控制函數(shù)u(t)

，使系統(tǒng)在終態(tài)自由的情況下，從給定的初態(tài)（x1(0)=1，x2(0)=0）轉(zhuǎn)移到某個(gè)終態(tài)（x1(1)，x2(1)），并使性能泛函 達(dá)到極小值。

解：這是一個(gè)一般型最優(yōu)控制問(wèn)題，其終端時(shí)刻tf=1固定，終端狀態(tài)自由，可以利用定理2.2.1求解。為此，構(gòu)造哈密頓函數(shù)第50頁(yè)/共96頁(yè)2023/1/1752 協(xié)態(tài)方程

求解協(xié)態(tài)方程得其中(t)曲線如圖2－2所示。根據(jù)定理2.2.1，為使變量u(t)的函數(shù)H在約束|u(t)|1條件下達(dá)到最大值，顯然應(yīng)取

第51頁(yè)/共96頁(yè)2023/1/1753 由圖2-2可見(jiàn)，在區(qū)間[0，1]上，

1<0，所以 將它代入狀態(tài)方程，得到

由此得到性能泛函的極小值

第52頁(yè)/共96頁(yè)2023/1/1754定理2.2.2(一般型最優(yōu)控制問(wèn)題的最大值原理—終端時(shí)刻固定，終端狀態(tài)受限) 給定系統(tǒng)的狀態(tài)方程（2.2.17） 和控制函數(shù)U(t)的約束條件（2.2.18） 則為將系統(tǒng)從給定的初態(tài)X(t0)=X0轉(zhuǎn)移到滿足終端約束條件（2.2.19）某個(gè)終態(tài)X(tf)，其中，tf是固定，并使性能泛函（2.2.20） 達(dá)到極小值的最優(yōu)控制應(yīng)滿足的必要條件是：(1)

設(shè)U*(t)是最優(yōu)控制,X*(t)是對(duì)應(yīng)于U*(t)的最優(yōu)軌線，則必存在一與U*(t)和X*(t)相對(duì)應(yīng)的(t)，使得X*(t)和(t)滿足規(guī)范方程

第53頁(yè)/共96頁(yè)2023/1/1755其中，(2)邊界條件為（2.2.21a）

或者（2.2.21b）(3)在最優(yōu)控制和最優(yōu)軌線上哈密頓函數(shù)H達(dá)到最大值。即第54頁(yè)/共96頁(yè)2023/1/1756例

2.2.2

給定系統(tǒng)的狀態(tài)方程和初始條件 其終端狀態(tài)的約束條件為

上面的約束方程在四維空間中代表一個(gè)三維圖形，也就是說(shuō)，系統(tǒng)的終態(tài)不自由，被限制在這個(gè)三維圖形上?，F(xiàn)在的問(wèn)題是要求確定控制函數(shù)u(t)，使系統(tǒng)在t=0時(shí)從原點(diǎn)開始，在t=1時(shí)到達(dá)上述三維圖形上，并使性能泛函第55頁(yè)/共96頁(yè)2023/1/1757

達(dá)到極小值。

解：寫出問(wèn)題的哈密頓函數(shù) 由此得協(xié)態(tài)方程

而c1=c2=c3=0，c4=1，所以第56頁(yè)/共96頁(yè)2023/1/1758 可以解出

將上式代入Hamilton函數(shù)得

因?yàn)閷?duì)控制函數(shù)u(t)沒(méi)有施加約束條件，所以由

第57頁(yè)/共96頁(yè)2023/1/1759

可以求出滿足最大值原理的控制函數(shù)為

將上述結(jié)果綜合起來(lái)，求解本例題的最優(yōu)控制和最優(yōu)軌線問(wèn)題就轉(zhuǎn)化為求解下列的兩點(diǎn)邊界值問(wèn)題。

第58頁(yè)/共96頁(yè)2023/1/1760 加上終端狀態(tài)的約束條件

上述方程組的解就確定了。不過(guò)，欲將它解出來(lái)，卻是非常困難的，因?yàn)闋顟B(tài)方程與終端條件是非線性的。(可以借助MATLAB求解)

特例：狀態(tài)變量某些分量的終態(tài)xj(tf)是完全固定的情況

設(shè)狀態(tài)變量的前r個(gè)分量的終態(tài)是固定的，而其余分量的終態(tài)是沒(méi)有約束的。這時(shí)約束條件（2.2.19）變?yōu)?/p>

其中xif是常數(shù)，將上述終端約束條件代入式（2.2.21b），則可得到在這種情況下協(xié)態(tài)變量的終端條件為

第59頁(yè)/共96頁(yè)2023/1/1761 既然狀態(tài)變量前r個(gè)分量的終態(tài)是固定的，它們?cè)谛阅苤笜?biāo)泛函中自然不會(huì)出現(xiàn)。也就是說(shuō)，對(duì)應(yīng)于狀態(tài)變量這些分量的常數(shù)ci等于零。所以最后得

由于i是待定的常數(shù)，所以由上面兩式可以得到一個(gè)重要的結(jié)論：若狀態(tài)變量的分量xi(t)的終態(tài)xi(tf)是固定的，則協(xié)態(tài)變量與之相應(yīng)的分量i(t)的終態(tài)i(tf)是自由的；反之，若狀態(tài)變量的分量xi(t)的終態(tài)xi(tf)是自由的，則協(xié)態(tài)變量與之相應(yīng)的分量i(t)的終態(tài)i(tf)是固定的，且為－ci。第60頁(yè)/共96頁(yè)2023/1/1762例2.2.3

給定系統(tǒng)的狀態(tài)方程

初始條件

（2.2.23） 和終端條件

（2.2.24）

現(xiàn)在需要確定最優(yōu)控制u1*(t)和u2*(t)以及最優(yōu)軌線x1*(t)和x2*(t)

，將系統(tǒng)從t=0時(shí)的初態(tài)轉(zhuǎn)移到t=1時(shí)的終態(tài)，并使性能泛函

達(dá)到極小值。

（2.2.22）第61頁(yè)/共96頁(yè)2023/1/1763

解：

這是一個(gè)積分型最優(yōu)控制問(wèn)題。應(yīng)用定理2.1.2來(lái)求解，為此構(gòu)造哈密頓函數(shù)

由此可寫出協(xié)態(tài)方程

由于x1(1)和x2(1)都是固定的，所以1(1)和2(1)都是自由的，故得協(xié)態(tài)方程的解為 其中積分常數(shù)a和b需要根據(jù)另外的條件來(lái)確定。下面分三種情況進(jìn)行討論。

第62頁(yè)/共96頁(yè)2023/1/1764u1(t)和u2(t)都不受約束

此時(shí)，當(dāng)時(shí)，H達(dá)到最大值。于是有

第63頁(yè)/共96頁(yè)2023/1/1765

將上式代入系統(tǒng)狀態(tài)方程（2.2.22）并考慮到狀態(tài)變量的初始條件（2.2.23），可得

代入終端條件（2.2.24），就得到關(guān)于a和b的聯(lián)立方程

由此得到最優(yōu)控制為

第64頁(yè)/共96頁(yè)2023/1/1766

最優(yōu)軌線為

而性能泛函為

解的曲線如圖2-3(a)所示。

第65頁(yè)/共96頁(yè)2023/1/1767u1(t)不受約束，u2(t)1/4`前面已經(jīng)指出，對(duì)于u2(t)來(lái)說(shuō)，哈密頓函數(shù)H的最大值發(fā)生在a/2的地方，但是，這時(shí)a之值尚不知道，不過(guò)從情況1知a=1時(shí)，u2(t)=1/2，依此判斷，H的最大值現(xiàn)在發(fā)生在u2(t)=1/4的地方，因此，取

u2(t)=1/4。 由于u1(t)不受約束，所以

將u1(t)和u2(t)代入系統(tǒng)方程（2.2.22）并考慮到狀態(tài)變量的初始條件（2.2.23），可得第66頁(yè)/共96頁(yè)2023/1/1768

利用終端條件（2.2.24），可得聯(lián)立方程

由于

所以，我們?nèi)2(t)=1/4是正確的，代入a，b之值后，求得的最優(yōu)控制為

第67頁(yè)/共96頁(yè)2023/1/1769

而最優(yōu)軌線為 性能指標(biāo)泛函之值為

由此可以看出，對(duì)u2(t)加了約束之后，泛函J的極小值變大了。這時(shí)解的曲線如圖2-3（b）所示。

第68頁(yè)/共96頁(yè)2023/1/1770u1(t)

0和u2(t)1/4

由情況2中已經(jīng)看到，u1(t)之值在后一段時(shí)間是小于零的?，F(xiàn)在對(duì)u1(t)施加了不小于零的限制。由于函數(shù)H對(duì)于u1(t)來(lái)說(shuō)是二次函數(shù)，所以在這種情況下為使H達(dá)到最大值的最優(yōu)控制也將包含有

(1)(2) 兩部分，這兩部分的轉(zhuǎn)換時(shí)間是需要確定的，問(wèn)題的復(fù)雜性在于，現(xiàn)在還不知道常數(shù)a和b之值，因而也不知道u2(t)應(yīng)取多大值方能滿足最大值原理。所以，我們應(yīng)采用的方法多少帶有試探的性質(zhì)。假設(shè)

第69頁(yè)/共96頁(yè)2023/1/1771

至于u1(t)應(yīng)如何假設(shè)，我們先分析一下，如果在開始一段時(shí)間，設(shè)u1(t)＝0，那么這等于在方程中設(shè)b<0，為了要在時(shí)間區(qū)間[0，1]上實(shí)現(xiàn)一次轉(zhuǎn)換，這又要求a<1+b，因此a一定小于1，甚至小于零，以至于u2(t)也可能小于零。將這樣的u1(t)和u2(t)代入原狀態(tài)方程（2.2.22），顯然不能滿足終端條件（2.2.24），所以先設(shè)b>0，于是在t=0時(shí)，有u1(t)>0，因而取

將假設(shè)的u1(t)和u2(t)代入原狀態(tài)方程（2.2.22），并考慮初始條件（2.2.23），可得

第70頁(yè)/共96頁(yè)2023/1/1772第71頁(yè)/共96頁(yè)2023/1/1773

這種狀態(tài)運(yùn)動(dòng)將一直繼續(xù)到轉(zhuǎn)換時(shí)刻，我們令u1(t)＝0可求出轉(zhuǎn)換時(shí)刻 在時(shí)刻，x1(t)和x2(t)分別為第72頁(yè)/共96頁(yè)2023/1/1774

此后控制函數(shù)變?yōu)?將此控制函數(shù)代入原狀態(tài)方程（2.2.22），并以x1()和x2()作為初始值，可得轉(zhuǎn)換時(shí)刻以后的狀態(tài)運(yùn)動(dòng)方程為

現(xiàn)在將終點(diǎn)條件（2.2.24）代入上式，可得聯(lián)立方程

（2.2.25）第73頁(yè)/共96頁(yè)2023/1/1775 若取d=a/2，則上列聯(lián)立方程的解為 而轉(zhuǎn)換時(shí)刻與d分別為

與題設(shè)是矛盾的。若取d=1/4，代入式（2.2.25），得第74頁(yè)/共96頁(yè)2023/1/1776

與題相符。綜合以上結(jié)果，就得到最優(yōu)控制與最優(yōu)軌線分別為（1）當(dāng)0

t3/4時(shí)，

第75頁(yè)/共96頁(yè)2023/1/1777 (2)當(dāng)3/4

t1時(shí)

它們隨時(shí)間變化的情況如圖2-3（c）所示

這個(gè)例子一方面說(shuō)明了最大值原理的應(yīng)用，另一方面也說(shuō)明了，即使能夠用于計(jì)算的簡(jiǎn)單問(wèn)題也會(huì)遇到很大的困難。稍微復(fù)雜的問(wèn)題，就得借助于MATLAB求其數(shù)值解。第76頁(yè)/共96頁(yè)2023/1/1778第77頁(yè)/共96頁(yè)2023/1/1779§2.3一般型最優(yōu)控制問(wèn)題終端時(shí)刻tf可變的情況問(wèn)題2.3.1(一般型最優(yōu)控制問(wèn)題)給定系統(tǒng)的狀態(tài)方程：（23.1）的初態(tài)X(t0)=X0和終端的約束條件（2.3.2） 其中tf是可變的終端時(shí)刻，[X(tf)]是r維函數(shù)向量，即

以及控制函數(shù)的約束條件（2.3.3） 要求從滿足約束條件（2.3.3）的容許控制中，確定一最優(yōu)控制U*(t)，使性能泛函

(2.3.4)第78頁(yè)/共96頁(yè)2023/1/1780

達(dá)到極小值。 利用拉格朗日乘子法，可以將性能泛函寫成為

(2.3.5) 其中是待定的r維乘子向量，即

假設(shè)終端時(shí)刻tf變化了d

tf，則由式（2.3.5）可得

(2.3.6) 由上節(jié)的式（2.2.21a），有

第79頁(yè)/共96頁(yè)2023/1/1781

所以式（2.3.6）可以寫為

由于當(dāng)tf=tf*時(shí)，性能泛函J達(dá)到極小值，所以上式應(yīng)等于零，即

又因?yàn)閐tf*是任意的，所以有

（2.3.7）

上述結(jié)果表明，對(duì)于終端時(shí)刻tf可變的情況，除了增加一個(gè)方程（2.3.7）用來(lái)確定終端時(shí)刻以外，最優(yōu)控制與終端時(shí)刻tf固定時(shí)應(yīng)滿足的條件完全相同。于是，可以寫出關(guān)于問(wèn)題2.3.1的最優(yōu)控制所應(yīng)滿足的必要條件的最大值原理的定理。

第80頁(yè)/共96頁(yè)2023/1/1782定理2.3.1(一般型最優(yōu)控制問(wèn)題的最大值原理—終端時(shí)刻可變，終端狀態(tài)受限－不顯含tf)給定系統(tǒng)的狀態(tài)方程：和控制函數(shù)U(t)的約束條件

則為將系統(tǒng)從給定的初態(tài)

X(t0)=X0轉(zhuǎn)移到滿足約束條件

的某個(gè)終態(tài)X(tf)，其中tf是可變的，并使性能泛函

達(dá)到極小值的最優(yōu)控制應(yīng)滿足的必要條件是：(1)

設(shè)U*(t)是最優(yōu)控制,X*(t)是對(duì)應(yīng)于U*(t)的最優(yōu)軌線，則必存在一與U*(t)和X*(t)相對(duì)應(yīng)的(t)，使得X*(t)和(t)滿足規(guī)范方程第81頁(yè)/共96頁(yè)2023/1/1783其中，(2)邊界條件為