最優(yōu)控制課件

緒論本節(jié)主要內(nèi)容：最優(yōu)控制理論的發(fā)展

最優(yōu)化問題的分類最優(yōu)化問題的解法最優(yōu)控制問題本門課程的主要教學(xué)內(nèi)容現(xiàn)代控制理論是研究系統(tǒng)狀態(tài)的控制和觀測的理論，主要包括5個方面：線性系統(tǒng)理論：研究線性系統(tǒng)的性質(zhì)，能觀性、能控性、穩(wěn)定性等。系統(tǒng)辨識：根據(jù)輸入、輸出觀測確定系統(tǒng)的數(shù)學(xué)模型。最優(yōu)控制：尋找最優(yōu)控制向量u(t)最佳濾波（卡爾曼濾波）：存在雜訊情況下，如何根據(jù)輸入、輸出估計狀態(tài)變數(shù)。適應(yīng)控制：參數(shù)擾動情況下，控制器的設(shè)計1.最優(yōu)控制理論的發(fā)展先期工作：1948年，維納(N.Wiener)發(fā)表《控制論》，引進了資訊、回饋和控制等重要概念，奠定了控制論(Cybernetics)的基礎(chǔ)。並提出了相對於某一性能指標(biāo)進行最優(yōu)設(shè)計的概念。

1954年，錢學(xué)森編著《工程控制論》，作者系統(tǒng)地揭示了控制論對自動化、航空、航太、電子通信等科學(xué)技術(shù)的意義和重大影響。

其中“最優(yōu)開關(guān)曲線”等素材，直接促進了最優(yōu)控制理論的形成和發(fā)展。

最優(yōu)控制的發(fā)展簡史：1953~1957年，貝爾曼(R.E.Bellman)創(chuàng)立“動態(tài)規(guī)劃”原理。

為了解決多階段決策過程逐步創(chuàng)立的，依據(jù)最優(yōu)化原理，用一組基本的遞推關(guān)係式使過程連續(xù)地最優(yōu)轉(zhuǎn)移?！皠討B(tài)規(guī)劃”對於研究最優(yōu)控制理論的重要性，表現(xiàn)於可得出離散時間系統(tǒng)的理論結(jié)果和迭代演算法。

1956~1958年，龐特裏亞金創(chuàng)立“最大值原理”。

它是最優(yōu)控制理論的主要組成部分和該理論發(fā)展史上的一個里程碑。對于“最大值原理”，由於放寬了有關(guān)條件的使得許多古典變分法和動態(tài)規(guī)劃方法無法解決的工程技術(shù)問題得到解決，所以它是解決最優(yōu)控制問題的一種最普遍的有效的方法。同時，龐特裏亞金在《最優(yōu)過程的數(shù)學(xué)理論》著作中已經(jīng)把最優(yōu)控制理論初步形成了一個完整的體系。此外，構(gòu)成最優(yōu)控制理論及現(xiàn)代最優(yōu)化技術(shù)理論基礎(chǔ)的代表性工作，還有不等式約束條件下的非線性最優(yōu)必要條件(庫恩—圖克定理)以及卡爾曼的關(guān)於隨機控制系統(tǒng)最優(yōu)濾波器等。理論形成階段：經(jīng)典控制理論設(shè)計控制方法

幅值裕量、相位裕量（頻率指標(biāo)）

上升時間、調(diào)節(jié)時間、超調(diào)量（時域指標(biāo)）特點：系統(tǒng)的控制結(jié)構(gòu)是確定的，控制參數(shù)設(shè)計一般採用試湊方法，不是最優(yōu)結(jié)果。最優(yōu)化(optimization)技術(shù)是研究和解決最優(yōu)化問題的一門學(xué)科,它研究和解決如何從一切可能的方案中尋找最優(yōu)的方案。也就是說，最優(yōu)化技術(shù)是研究和解決如下兩個問題：（1）如何將最優(yōu)化問題表示為數(shù)學(xué)模型（2）如何根據(jù)數(shù)學(xué)模型（儘快）求出其最優(yōu)解

最優(yōu)控制(optimalcontrol)是控制理論中的優(yōu)化技術(shù)。尋找在某種性能指標(biāo)要求下最好的控制?，F(xiàn)有產(chǎn)品A、B,每種產(chǎn)品各有兩道工序，分別由兩臺機器完成，其所需工時如下表所示，且每臺機器每週最多只能工作40小時。若產(chǎn)品A的單價為200元，產(chǎn)品B的單價為500元，應(yīng)如何安排生產(chǎn)計畫，即A、B各應(yīng)生產(chǎn)多少可使總產(chǎn)值最高。解：設(shè)該車間每週應(yīng)生產(chǎn)產(chǎn)品A、B的件數(shù)分別為X1、X2,由於每臺機器工作時間有限制，則有約束條件：在這些約束條件下選擇X1、X2,使總產(chǎn)值達到最大。第一道工序第一道工序產(chǎn)品A1.5h2h產(chǎn)品B5h4h例0-1

生產(chǎn)計畫安排問題

設(shè)有一盛放液體的連續(xù)攪拌槽。如下圖所示。槽內(nèi)裝有不停地轉(zhuǎn)動著的攪拌器J，使液體經(jīng)常處於完全混合狀態(tài)。槽中原放0℃的液體，現(xiàn)需將其溫度經(jīng)1小時後升高到40℃。為此在入口處送進一定量的液體，其溫度為u(t)，出口處流出等量的液體，以便保持槽內(nèi)液面恒定。試尋找u(t)的變化規(guī)律，使槽中液體溫度經(jīng)1小時後上升到40℃，並要求散失的熱量最小。解：因假定槽中液體處於完全混合狀態(tài)，故可用x(t)表示其溫度。由熱力學(xué)可知，槽中液體溫度的變化率與溫差[u(t)一x(t)]成正比，為簡便計，令比例係數(shù)為1，於是有

在1小時內(nèi)散失掉的熱量可用下式表示：其中g(shù)和r都是正的常數(shù)。因此在目前情況下，最

優(yōu)控制問題是：找u(t)的變化規(guī)律．使槽中液體

經(jīng)I小時後從0℃上升到40℃，並要求散失的熱

量最小，即方程(4）中J(u)取最小值。例0-2

攪拌槽的溫度控制

靜態(tài)最優(yōu)化問題。最優(yōu)化問題的解不隨時間t的變化而變化，則稱為靜態(tài)最優(yōu)化(參數(shù)最優(yōu)化)問題。

解決方法：線性規(guī)劃和非線性規(guī)劃法。

動態(tài)最優(yōu)化問題。如果最優(yōu)化問題的解隨時間t的變化而變化，

即變數(shù)是時間t的函數(shù)，則稱為動態(tài)最優(yōu)化(最優(yōu)控制)問題。

解決方法：動態(tài)規(guī)劃和最大值原理。

其它分類：無約束與有約束

確定性和隨機性

線性和非線性

2.最優(yōu)化問題的分類3.最優(yōu)化問題的解法1．間接法(又稱解析法)對於目標(biāo)函數(shù)及約束條件具有簡單而明確的數(shù)學(xué)解析運算式的最優(yōu)化問題，通?？蓲裼瞄g接法(解析法)來解決。其求解方法是先按照函數(shù)極值的必要條件，用數(shù)學(xué)分析方法(求導(dǎo)數(shù)方法或變分方法)求出其解析解，然後按照充分條件或問題的實際物理意義間接地確定最優(yōu)解。2．直接法(數(shù)值解法)對於目標(biāo)函數(shù)較為複雜或無明確的數(shù)學(xué)運算式或無法用解析法求解的最優(yōu)化問題，通常可採用直接法(數(shù)值解法)來解決。直接法的基本思想，就是用直接搜索方法經(jīng)過—系列的迭代以產(chǎn)生點的序列(簡稱點列)，使之逐步接近到最優(yōu)點。直接法常常是根據(jù)經(jīng)驗或試驗而得到的。3.以解析法為基礎(chǔ)的數(shù)值解法。解析與數(shù)值計算相結(jié)合的方法。4.網(wǎng)路最優(yōu)化方法。以網(wǎng)路圖作為數(shù)學(xué)模型，用圖論方法進行投索的尋優(yōu)方法。4.最優(yōu)控制問題最優(yōu)控制問題的實質(zhì)，就是求解給定條件下給定系統(tǒng)的控制規(guī)律，致使系統(tǒng)在規(guī)定的性能指標(biāo)(目標(biāo)函數(shù))下具有最優(yōu)值。1.最優(yōu)控制問題的性能指標(biāo)(1)積分型性能指標(biāo)(拉格朗日型)(2)末值型性能指標(biāo)（梅耶型）(3)綜合性能指標(biāo)（鮑爾紮型）2.最優(yōu)控制問題的數(shù)學(xué)模型用以下4個方程來描述(1)給定系統(tǒng)的狀態(tài)方程(3)給定性能指標(biāo)(2)狀態(tài)方程的邊界條件(4)允許控制域u(t)確定一個最優(yōu)控制u*(t)，使系統(tǒng)從初始狀態(tài)x(t0)，轉(zhuǎn)移到終端狀態(tài)x(tf)，並使性能指標(biāo)J(u)具有極大（極?。┲怠，F(xiàn)代數(shù)學(xué)基礎(chǔ)：變分法（研究泛函的極值）基礎(chǔ)理論：最大值原理、動態(tài)規(guī)劃原理典型應(yīng)用：最小時間控制問題最少燃料控制問題線性二次型性能指標(biāo)最優(yōu)控制問題5.本門課程的主要教學(xué)內(nèi)容本節(jié)要點最優(yōu)控制問題的數(shù)學(xué)模型主要參考教材：符曦．系統(tǒng)最優(yōu)化及控制．機械工業(yè)出版社，1995（１～７章）輔助參考教材：秦壽康．最優(yōu)控制．電子工業(yè)出版社，1984第1章最優(yōu)控制中的變分法本章主要內(nèi)容：1.1變分的基本概念

1.2

無約束條件的最優(yōu)化問題1.3具有等式約束條件的最優(yōu)化問題1.4應(yīng)用變分法求解最優(yōu)控制問題1.1變分的基本概念例1-1最速降線問題最速降線問題對變分學(xué)的創(chuàng)立產(chǎn)生過重大影響。確立一條連結(jié)定點A(0，0)和定點B(xf，yf)的曲線。使質(zhì)點在重力作用下從點A滑動到點B所需的時間最短(忽略摩擦和阻力的影響)。解：最速降線問題的示意圖如下(1)泛函的概念函數(shù)：對於變數(shù)x的某一變域中的每一個值，y都有一個值與之相對應(yīng)，那麼變數(shù)y稱作變數(shù)x的函數(shù)。記為：y=f(x)x稱為函數(shù)的引數(shù)引數(shù)的微分：dx=x-x0（增量足夠小時）泛函：對於某一類函數(shù)y(·)中的每一個函數(shù)y(x)，變數(shù)J都有一個值與之相對應(yīng)，那麼變數(shù)J稱作依賴於函數(shù)y(x)的泛函。記為：J=J[y(x)]y(x)稱為泛函的宗量宗量的變分：例1-1問題的本質(zhì)：泛函極值泛函的連續(xù)性：對任意給定的正數(shù)ε，總存在另一個正數(shù)δ，當(dāng)則稱泛函J[y(x)]在點y0(x)處是連續(xù)的。兩個函數(shù)接近度的概念：k階接近度零階接近度一階接近度線性泛函：泛函J[y(x)]如果滿足下列兩個條件：則稱為線性泛函。(2)泛函的變分設(shè)泛函J[y(x)]為連續(xù)泛函，則泛函增量的線性主部稱為泛函的變分：記為：δ

J。可以證明，泛函的變分是唯一的。如何求解泛函的變分？借鑒函數(shù)f(x)微分的求解：與（1-5）類似，可得出泛函J[y(x)]的求解：

例：求下列泛函的變分

(3)泛函的極值泛函極值的定義：對於與y0(x)接近的曲線y(x)，泛函J[y(x)]的增量則泛函J[y(x)]在曲線y0(x)上達到極值。泛函極值定理：若可微泛函J[y(x)]在y0(x)上達到極值，則在y=y0(x)上的變分為零。即證明如下：

根據(jù)函數(shù)極值的條件，函數(shù)φ(ε)在ε=0時達到極值的必要條件為：比較（1-9）和（1-10），可見：1.2無約束條件的最優(yōu)化問題1．端點固定的情況瞭解泛函極值的概念後，再來研究最速降線問題。其目標(biāo)函數(shù)為：不失一般性，可寫為：問題為：確定一個函數(shù)x(t)，使J[x(t)]達到極小（大）值。這條能使泛函J[x(t)]達到極值的曲線稱為極值曲線（軌線），記作：x*(t)對於端點固定的情況，容許軌線x(t)應(yīng)滿足下列邊界條件：對（1-13）求取泛函極值的思路：求取泛函的變分（通過泰勒展開，求取泛函增量的線性主部，）容許軌線是由極值曲線微小攝動而成，即將（1-15）式代入（1-13）對式（1-21）中被積函數(shù)第二項分部積分(消去）根據(jù)泛函極值的必要條件，可得歐拉方程歐拉方程的展開形式：歐拉方程的特殊形式（L不顯含t時)再來回顧最速降線問題，其指標(biāo)函數(shù)為：代入（1-28）式：整理、簡化後可得若用參數(shù)法求解，令，可得這是圓滾線的參數(shù)方程。關(guān)於歐拉方程的幾點說明：歐拉方程是泛函極值的必要條件，是否充分還需進一步判斷。（參見p56“泛函極值的充分條件——勒蓋特條件）歐拉方程是二階微分方程，只有在個別情況下才能得到封閉形式的解。（如最速降線問題）

2．端點變動的情況

（例如，攔截問題）

始點x0在曲線x=φ(x)上變動終點xf在曲線x=ψ(x)上變動端點變動時泛函極值的必要條件：（推導(dǎo)過程略）（1）歐拉方程（2）橫截條件x21012t例：確定點A(0,1)至給定直線的最短的曲線方程。解：由A至的弧長性能指標(biāo)為由歐拉方程：積分得，再積分，得通解

根據(jù)始端條件：根據(jù)終端橫截條件，得最優(yōu)軌線方程：1.3具有等式約束條件的最優(yōu)化問題在最優(yōu)控制問題中，泛函J[x(t)]所依賴的函數(shù)往往會受到—定約束條件的限制。在動態(tài)最優(yōu)化問題中，由於受控系統(tǒng)的數(shù)學(xué)模型往往用微分方程來描述，所以等式約束就是系統(tǒng)的狀態(tài)方程。解決具有等式約束條件的最優(yōu)化問題的基本思路，就是應(yīng)用拉格朗日乘子法，將有約束條件的泛函極值問題轉(zhuǎn)化為無約束條件的泛函極值問題。1.微分約束問題：已知受控系統(tǒng)狀態(tài)方程為目標(biāo)泛函為：求最優(yōu)控制u*(t)，使系統(tǒng)從初始狀態(tài)x(t0)轉(zhuǎn)移到終端狀態(tài)x(tf)，其目標(biāo)函數(shù)J取極值。（兩點邊值問題）這裏，為了將有約束條件的泛函極值問題轉(zhuǎn)化為無約束條件的泛函極值問題，可應(yīng)用拉格朗日乘子法。為此，引入待定的n維拉格朗日乘子向量λ(t)，即構(gòu)造一個新的輔助泛函：定義哈密爾頓(Hamilton)函數(shù)H：（將分離出去）代入（1-36）式

多元輔助泛函J’的歐拉方程為：協(xié)態(tài)方程狀態(tài)方程控制方程正則方程組根據(jù)上述三個方程，加上邊界條件，可得最優(yōu)控制問題的唯一確定解

思考：，給定，自由時的情況。2.端點等式約束（等式約束的更一般形式)問題：已知受控系統(tǒng)狀態(tài)方程為目標(biāo)泛函為：求最優(yōu)控制u*(t)，使系統(tǒng)從初始狀態(tài)x(t0)轉(zhuǎn)移到終端狀態(tài)x(tf)，其目標(biāo)函數(shù)J取極值。根據(jù)一個微分約束，一個端點約束，共需引入2個拉格朗日乘子向量，構(gòu)成新的輔助目標(biāo)泛函：用分部積分法消去極值的必要條件是一階變分為零（2）協(xié)態(tài)方程（1）狀態(tài)方程（3）控制方程

（極值條件）（4）端點約束（5）橫截條件思考：1.4應(yīng)用變分法求解最優(yōu)控制問題用變分法求解連續(xù)系統(tǒng)最優(yōu)控制問題，實際上就是具有等式約束條件的泛函極值問題，只要把受控系統(tǒng)的數(shù)學(xué)模型看成是最優(yōu)軌線x(t)應(yīng)滿足的等式約束條件即可。1.變分法中的三類基本問題受控系統(tǒng)狀態(tài)方程目標(biāo)泛函為：拉格朗日(Lagrange)問題：梅耶（Mayer)問題：波爾紮（Bolza)問題：2.變分法應(yīng)用示例已知系統(tǒng)狀態(tài)方程邊界條件為：性能指標(biāo)為：1）寫出H函數(shù)2）由控制方程推導(dǎo)u的運算式解:3）求解協(xié)態(tài)方程4）求解狀態(tài)方程5）利用邊界條件求解c１～c４6）寫出最優(yōu)控制ｕ＊７)將ｕ＊代入J求出最優(yōu)性能指標(biāo)J＊8)寫出最優(yōu)軌線解畢！上例中當(dāng)存在端點約束時，如求解步驟1)-4)相同，5）中所需邊界條件的變動為：*橫截條件用於補充所缺邊界條件作業(yè)1。系統(tǒng)的狀態(tài)方程為：初態(tài)。欲使系統(tǒng)從初態(tài)轉(zhuǎn)移到目標(biāo)集且使性能指標(biāo)為最小的最優(yōu)控制及最優(yōu)軌線。第1章要點無約束條件下泛函極值必要條件（歐拉方程，橫截條件）微分型和端點等式約束下泛函極值必要條件（波爾紮問題的解）

古典變分法知識結(jié)構(gòu)圖泛函極值定理歐拉方程：無條件極值定理無約束條件、固定端點微分、端點約束條件

目標(biāo)泛函極值必要條件:正則方程、協(xié)態(tài)方程、控制方程、橫截條件應(yīng)用於三類基本問題條件極值定理U受限最優(yōu)控制問題（現(xiàn)代變分法）第2章最小值原理本章主要內(nèi)容：2.1連續(xù)系統(tǒng)的最小值原理2.2

最小值原理的應(yīng)用示例原蘇聯(lián)著名數(shù)學(xué)家龐特裏亞金，總結(jié)經(jīng)典變分法和早期簡單最優(yōu)控制的成果，在1956-1958年間逐步創(chuàng)立了“最大值原理”。通常稱為“最小值原理”—當(dāng)控制作用的大小限制在一定範(fàn)圍內(nèi)時，由最優(yōu)控制規(guī)律所確定的最優(yōu)軌線在整個作用範(fàn)圍內(nèi)必取最小值。2.1連續(xù)系統(tǒng)的最小值原理考慮條件極值定理中，控制函數(shù)u受約束的情況。為了便於分析，控制方程（2-1），可寫成另一種形式（2-2）：

分析：（1）在控制函數(shù)

u不受約束的情況，（2-1）與（2-2)等價

（2）在u受閉集性約束的情況下，（2-1）未必是求解最優(yōu)控制的必要條件之一，例如：u在邊界值上使指標(biāo)最優(yōu)時，

控制方程不一定是必要條件H在的閉集內(nèi)可能

不存在極點。而（2-2）總是成立的。uHU龐特裏亞金最小值原理與古典變分法中條件極值定理的主要區(qū)別在於：

容許控制u(t)受有界閉集限制控制方程變?yōu)闃O值條件（證明略）說明：（1）最小值原理是對古典變分法的發(fā)展

放寬了應(yīng)用條件（L的可微性、控制約束）使性能指標(biāo)獲得全局最小(H為全局最?。┦构诺渥兎址ㄖ袟l件極值定理成為最小值原理的一個特例。（2）最小值原理只給出最優(yōu)控制的必要條件，並非充分條件。符合最小值原理的控制能否使性能指標(biāo)取最小值，還需進一步判斷：數(shù)學(xué)證明

根據(jù)問題的物理性質(zhì)來判斷（3）若討論的是性能指標(biāo)極大的問題，只要將指標(biāo)函數(shù)前加負號，即可應(yīng)用最小值原理來求解。（4）為了適合於電腦運算的需要，最小值原理還有離散的表達形式。2.2最小值原理的應(yīng)用示例例2-1系統(tǒng)狀態(tài)方程為其始端狀態(tài)和終端狀態(tài)分別為求最優(yōu)控制u*(t)，使如下性能指標(biāo)最小。

解：控制函數(shù)受閉集性約束，應(yīng)用最小值原理求解。為使H達到最小，控制函數(shù)應(yīng)為：由協(xié)態(tài)方程求解作業(yè)2-1：繼續(xù)推導(dǎo)，完成本題例2-2：試求：時的，解：定常系統(tǒng)、積分型，固定，自由，受約束由協(xié)態(tài)方程切換點：根據(jù)邊界條件繼續(xù)求出：第2章要點龐特裏亞金最小值原理的表述和簡單應(yīng)用第3章最短時間和最少燃料控制本章主要內(nèi)容：3.1非線性系統(tǒng)的3.2線性時不變系統(tǒng)最短時間控制問題

3.3

雙積分模型的3.4非線性系統(tǒng)的3.5線性時不變系統(tǒng)最少燃料控制問題3.6雙積分模型的時間最優(yōu)控制：導(dǎo)彈以最短時間擊毀敵機最少燃料最優(yōu)控制：航太航空控制（高度、姿態(tài)、交會）3.1非線性系統(tǒng)的最短時間控制問題最短時間控制問題的提法：設(shè)受控系統(tǒng)狀態(tài)方程為

給定終端約束條件為

尋求m維有界閉集中的最優(yōu)控制u*(t)，滿足不等式約束

使系統(tǒng)從已知初始狀態(tài)轉(zhuǎn)移到目標(biāo)集中某一狀態(tài)時，如下目標(biāo)泛函取極小值，其中未知

應(yīng)用最小值原理，系統(tǒng)的哈密爾頓函數(shù)為：在使J最小以實現(xiàn)最優(yōu)控制的必要條件中，側(cè)重分析極值條件將（3-6）式中的矩陣運算式展開成分量形式則極值條件可寫為：由式（3-8）可見，由於是確定的，故使取極小值的最優(yōu)控制為或簡寫為：根據(jù)是否為零，將系統(tǒng)分為兩種情形：（砰-砰控制）平凡最短時間控制系統(tǒng)

只是在各個孤立的瞬刻才取零值，是有第一類間斷點的分段恒值函數(shù)。奇異（非平凡）最短時間控制系統(tǒng)。並不意味著在該區(qū)間內(nèi)最優(yōu)控制不存在，僅表明，從必要條件不能推出確切關(guān)係式。3.2線性時不變系統(tǒng)的最短時間控制問題線性時間最優(yōu)調(diào)節(jié)器問題的提法：設(shè)受控系統(tǒng)狀態(tài)方程為

給定終端約束條件為

尋求m維有界閉集中的最優(yōu)控制u*(t)，滿足不等式約束

使系統(tǒng)從以最短時間從初始狀態(tài)轉(zhuǎn)移到狀態(tài)空間原點。根據(jù)上一節(jié)的結(jié)論，可得極值條件為：對於線性時不變系統(tǒng)的最短時間控制問題，經(jīng)過理論推導(dǎo)和證明，可得如下重要結(jié)論：（1）系統(tǒng)平凡的充要條件：當(dāng)且僅當(dāng)m個矩陣中全部為非奇異矩陣時，系統(tǒng)是平凡的。（至少有一個為奇異矩陣時，系統(tǒng)是奇異的）

（2）系統(tǒng)最優(yōu)解存在的條件：常數(shù)矩陣A的特徵值全部具有非正實部。（3）最優(yōu)解唯一性定理：系統(tǒng)是平凡的且最短時間控制存在，則最短時間控制必然是唯一的。（4）開關(guān)次數(shù)定理：系統(tǒng)是平凡的且最短時間控制存在，則最優(yōu)控制u*的任一分量的切換次數(shù)最多為n-1次。（n為系統(tǒng)維數(shù)）3.3雙積分模型的最短時間控制問題雙積分模型的物理意義：慣性負載在無阻力環(huán)境中運動

負載運動方程：

傳遞函數(shù)：

（由兩個積分環(huán)節(jié)組成）

定義u(t)=f(t)/m,則（3-16）式變?yōu)椋喝顟B(tài)變數(shù)

則有

矩陣形式為：

雙積分模型最短時間控制問題的提法：已知二階系統(tǒng)的狀態(tài)方程為

給定端點約束條件為

尋求有界閉集中的最優(yōu)控制u*(t)，滿足不等式約束

使系統(tǒng)從以最短時間從任意初態(tài)轉(zhuǎn)移到終態(tài)。先判斷該系統(tǒng)是否平凡？由上節(jié)重要結(jié)論可知：（1）本系統(tǒng)為平凡最短時間控制系統(tǒng)（2）其時間最優(yōu)控制必然存在且唯一（3）時間最優(yōu)控制u(t)至多切換一次

最優(yōu)控制運算式：下麵利用協(xié)態(tài)方程求解由式（3-25）可知，為一直線，由於開關(guān)次數(shù)的限制，其四種可能的開關(guān)序列為：下麵通過圖解法，在相平面上分析相軌跡轉(zhuǎn)移的規(guī)律，從而尋找最優(yōu)控制u*(t)。首先求解狀態(tài)軌線的方程：為拋物線為開關(guān)曲線雙積分模型時間最優(yōu)控制工程實現(xiàn)的閉環(huán)結(jié)構(gòu)求解狀態(tài)轉(zhuǎn)移最短時間t*：

(1)式帶入（2）式即可解出

結(jié)果參見P187(5-116)作業(yè)：秦壽康教材，第三章

習(xí)題1，3，4，5，6通過對非線性系統(tǒng)的最短時間控制問題的分析，得到最優(yōu)控制的

一般形式(砰-砰控制）具體到線性時不變系統(tǒng)，得到最短時間控制問題的若干重要結(jié)論。（開關(guān)次數(shù)定理，非平凡判據(jù)）將上述結(jié)論應(yīng)用於雙積分模型的最短時間控制問題，求解過程為：1)應(yīng)用最小值原理得出最優(yōu)控制運算式2)解協(xié)態(tài)方程，結(jié)合開關(guān)次數(shù)定理，列出最優(yōu)控制的候選函數(shù)序列3)在狀態(tài)平面上分析狀態(tài)轉(zhuǎn)移軌線，尋找開關(guān)曲線，總結(jié)控制規(guī)律4)計算狀態(tài)轉(zhuǎn)移的最短時間最短時間控制問題小結(jié)：3.4非線性系統(tǒng)的最少燃料控制問題最少燃料控制問題的提法：設(shè)受控系統(tǒng)狀態(tài)方程為

給定端點約束條件為

尋求m維有界閉集中的最優(yōu)控制u*(t)，滿足不等式約束

使系統(tǒng)從已知初始狀態(tài)轉(zhuǎn)移到目標(biāo)集中某一狀態(tài)時，如下目標(biāo)泛函取極小值，其中未知

應(yīng)用最小值原理，系統(tǒng)的哈密爾頓函數(shù)為：在使J最小以實現(xiàn)最優(yōu)控制的必要條件中，側(cè)重分析極值條件將（3-29）式中的矩陣運算式

展開成分量形式則極值條件可寫為：為使（3-30）右端取極小值，應(yīng)與符號相反，則有再來確定的幅值：三位控制、離合控制平凡最少燃料控制系統(tǒng)奇異（非平凡）最少燃料控制系統(tǒng)。並不意味著在該區(qū)間內(nèi)最優(yōu)控制不存在，僅表明，利用常規(guī)公式無法求解3.5線性時不變系統(tǒng)的最少燃料控制問題線性時間最優(yōu)調(diào)節(jié)器問題的提法：設(shè)受控系統(tǒng)狀態(tài)方程為

給定終端約束條件為

尋求m維有界閉集中的最優(yōu)控制u*(t)，滿足不等式約束

使系統(tǒng)從從初始狀態(tài)，在給定時間內(nèi)轉(zhuǎn)移到預(yù)定終態(tài)，並使如下目標(biāo)函數(shù)取極小值。對於線性時不變系統(tǒng)的最短時間控制問題，經(jīng)過理論推導(dǎo)和證明，可得如下重要結(jié)論：（1）平凡最少燃料控制的充分條件：（至少有一個為零時，系統(tǒng)是奇異的）

（2）最優(yōu)解唯一性定理：系統(tǒng)是平凡的且最少燃料控制存在，則最少燃料控制必然是唯一的。目標(biāo)泛函的相對極小值也是唯一的。對j=1,2,…m中每個值均成立。雙積分模型最少燃料控制問題的提法：已知二階系統(tǒng)的狀態(tài)方程為

尋求有界閉集中的最優(yōu)控制u*(t)，

滿足不等式約束

3.6雙積分模型的最少燃料控制問題使系統(tǒng)由任意初始狀態(tài)，轉(zhuǎn)移到預(yù)定終態(tài)，並使如下目標(biāo)函數(shù)取極小值。其中自由。給定端點約束條件為

由上節(jié)重要結(jié)論可知：該系統(tǒng)是奇異的。（則最少燃料控制不一定是唯一的。）最優(yōu)控制運算式：下麵利用協(xié)態(tài)方程求解判斷其平凡性：先來分析在奇異區(qū)內(nèi)的情況，此時再來分析在平凡區(qū)內(nèi)的情況，此時得出9種可能的控制序列作為候選函數(shù)下麵通過圖解法，在相平面上分析相軌跡轉(zhuǎn)移的規(guī)律，從而從候選函數(shù)中尋找最優(yōu)控制u*(t)。（前面已分析了時的狀態(tài)軌線，這裏只分析的情形。等速直線根據(jù)什麼原則選取狀態(tài)轉(zhuǎn)移軌跡？下麵來計算在狀態(tài)轉(zhuǎn)移過程中燃料的消耗：表示從初態(tài)轉(zhuǎn)移到終態(tài)（原點）所需消耗的能量。該關(guān)係式提供了燃料消耗量的下限，所以，如果能找到一個控制，驅(qū)使?fàn)顟B(tài)從初態(tài)轉(zhuǎn)移到原點的燃料消耗為，則該控制肯定是燃料最優(yōu)控制。以此為依據(jù)來選擇最優(yōu)控制序列（最優(yōu)軌線）下麵根據(jù)初始點的位置，分區(qū)討論：（1）平凡情況：只有{+1}序列可驅(qū)使系統(tǒng)狀態(tài)到達原點。故為問題的解非平凡情況：因為v(t)<1，則系統(tǒng)狀態(tài)不可能到達原點。結(jié)論：1）為最優(yōu)解2）消耗燃料（2）平凡情況：只有序列{0，+1}和{-1，0，+1}可驅(qū)使系統(tǒng)狀態(tài)到達原點。其中：{0，+1}控制下，燃料消耗為{-1，0，+1}，燃料消耗大於結(jié)論：{0，+1}為最優(yōu)控制序列，且在各種情況下其回應(yīng)時間最短，為非平凡情況：可以找到許多v(t)，使系統(tǒng)狀態(tài)轉(zhuǎn)移到原點。且燃料消耗為，因而都是最優(yōu)控制。（3）平凡情況：只有序列

{-1，0，+1}可驅(qū)使系統(tǒng)狀態(tài)到達原點。問題：B點如何選取使燃料消耗最少設(shè)B點縱坐標(biāo)為結(jié)論：燃料控制問題無解（燃料最優(yōu)控制）

類似地，可對其他兩個區(qū)間進行研究。綜上所述，雙積分裝置最少燃料問題的控制規(guī)律如下：最少燃料控制問題作業(yè)：秦壽康

教材，P119習(xí)題1，2，3，4，5通過對非線性系統(tǒng)的最少燃料控制問題的分析，得到最優(yōu)控制的

一般形式（離合控制）具體到線性時不變系統(tǒng)，得到最短時間控制問題的若干重要結(jié)論。（非平凡判據(jù)）將上述結(jié)論應(yīng)用於雙積分模型的最少燃料控制問題，求解過程為：1)應(yīng)用最小值原理得出最優(yōu)控制運算式2)解協(xié)態(tài)方程，列出最優(yōu)控制的候選函數(shù)序列（9個）

3)燃料消耗量的下限為4)在狀態(tài)平面上分析狀態(tài)轉(zhuǎn)移軌線，尋找開關(guān)曲線，總結(jié)控制規(guī)律5)計算狀態(tài)轉(zhuǎn)移的所需時間、消耗燃料最少燃料控制問題小結(jié)：修正：習(xí)題1的控制序列為{0，-1}第3章結(jié)束語

最少燃料控制為三位式控制，存在（+1，0，-1）三種控制狀態(tài)，與最短時間控制相比，多1個u=0的控制狀態(tài)，這意味著：

在狀態(tài)轉(zhuǎn)移的某些階段，可借助系統(tǒng)中積存的能量來維持運動，根本不需要消耗能量。

雙積分裝置最少燃料系統(tǒng)的最優(yōu)解取決於初態(tài)的位置。即可無解，也可唯一解或多個解。這意味著，同一個問題，在某些初值下是平凡的，在另一些初值下是非平凡的。

單考慮燃料最少，相應(yīng)可能太慢，應(yīng)與時間綜合考慮。如：採用時間燃料綜合最優(yōu)的指標(biāo)函數(shù)。最短時間控制與最少燃料控制的相互關(guān)係ABFO

最少燃料控制ACEO

時間、燃料綜合最優(yōu)ADO

最短時間控制本質(zhì)：最短時間控制靠消耗燃料減少時間，

最少時間控制則靠延長時間來節(jié)省燃料。第4章動態(tài)規(guī)劃本章主要內(nèi)容：4.1多級決策過程和最優(yōu)性原理4.2離散控制系統(tǒng)的動態(tài)規(guī)劃4.3連續(xù)控制系統(tǒng)的動態(tài)規(guī)劃4.4動態(tài)規(guī)劃與變分法、最小值原理的關(guān)係求解動態(tài)最優(yōu)化問題的兩種基本方法：最小值原理和動態(tài)規(guī)劃動態(tài)規(guī)劃：美國學(xué)者貝爾曼在20世紀(jì)50年代提出是一種分級最優(yōu)化方法其連續(xù)形式與最小值原理相輔相成，深化了最優(yōu)控制的研究4.1多級決策過程及最優(yōu)性原理1.多級決策過程所謂多級決策過程，是指將一個過程按時間或空間順序分為若干級(步)，然後給每一級(步)作出“決策”(在控制過程中令每走一步所要決定的控制步驟稱之為決策)，以使整個過程取得最優(yōu)的效果，即多次的決策最終要構(gòu)成一個總的最優(yōu)控制策略(最優(yōu)控制方案)。說明：1）全部“決策”總體，成為“策略”。2）在多級決策過程中，每一級的輸出狀態(tài)都僅與該級的“決策”及該級的輸入狀態(tài)有關(guān)，而與其前面各級的“決策”及狀態(tài)的轉(zhuǎn)移規(guī)律無關(guān)。這種特有性質(zhì)，稱為無後效性。

下麵以最短旅程問題為例，說明多級決策過程及動態(tài)規(guī)劃的特點。解法一：窮舉法，列出所有可能的組合方案，找出時間最短的一個可能的行車線路共有：2*2*2=8（每階段有兩種可能）缺點：計算量大，容易出錯。需確定一條最優(yōu)的汽車行駛路線，使從S站到F站的行車時間為最短。解法二：動態(tài)規(guī)劃法，從終點開始，按時間最短為目標(biāo)，逐段向前逆推，

依次計算出各站至終點站的時間最優(yōu)值，據(jù)此決策出每一站的最

優(yōu)路線。特點：1）將一個多階段決策問題化為多個單階段決策問題，易於分析2）每階段評估只與前一階段結(jié)果有關(guān)，計算量減小4345108132.最優(yōu)性原理

若—N級決策是最優(yōu)的，則以第K級(K<=N)決策所形成的狀態(tài)為初態(tài)的任何一個N-K級的子決策也必然是最優(yōu)的。表明：不論初始狀態(tài)和初始決策如何，其餘的後級決策(或控制)對於初始決策所形成的狀態(tài)來說，必定也是一個最優(yōu)策略。4.2離散控制系統(tǒng)的動態(tài)規(guī)劃離散控制系統(tǒng)最優(yōu)控制問題的提法：離散控制系統(tǒng)的狀態(tài)方程為

給定端點約束條件為

尋求最優(yōu)控制序列使系統(tǒng)從起點轉(zhuǎn)移終端時，目標(biāo)函數(shù)取極小值相對獨立動態(tài)規(guī)劃基本方程或貝爾曼泛函方程同理，不斷向終點遞推，可得結(jié)合（4-2），從（4-9）出發(fā)逆推到（4-5），可得出最優(yōu)控制序列例4-1設(shè)一階離散控制系統(tǒng)試確定最優(yōu)控制序列u(0),u(1),u(2),使如下性能指標(biāo)達最小。

解：從最後一級相前遞推（N=3)：

為使達到最小，則有：最後，從前往後推，可得出最優(yōu)控制序列u*(0),u*(1),u*(2)

關(guān)於動態(tài)規(guī)劃本質(zhì)的討論：

一個最優(yōu)控制策略具有這樣的性質(zhì)，不論過去的狀態(tài)及過去的決策如何，如把現(xiàn)在的狀態(tài)看作後續(xù)狀態(tài)的初態(tài)，則其後諸決策仍必須構(gòu)成一最優(yōu)策略。動態(tài)規(guī)劃的最優(yōu)性原理得以成立的前提條件是所謂“無後效性”。即

上一狀態(tài)和上一決策對後續(xù)過程的影響，僅表現(xiàn)在它們把狀態(tài)轉(zhuǎn)移到了當(dāng)前狀態(tài)，至於後續(xù)過程如何，他們就不再起作用了。動態(tài)規(guī)劃的解題順序，與事物發(fā)展進程相反。作業(yè)：秦壽康參考教材p162:習(xí)題2，8

4.3連續(xù)控制系統(tǒng)的動態(tài)規(guī)劃控制問題的提法：設(shè)受控系統(tǒng)狀態(tài)方程為

給定端點約束條件為

尋求m維有界閉集中的最優(yōu)控制u*(t)，即

使系統(tǒng)從已知初始狀態(tài)轉(zhuǎn)移到目標(biāo)集中某一狀態(tài)時，如下目標(biāo)泛函取極小值，由動態(tài)規(guī)劃最優(yōu)性原理：對任意給定初態(tài)時，式（4-21）可改寫為：

哈密爾頓——雅可比——貝爾曼方程

定義：可視為影響函數(shù)，表示的變分施加於的影響程度。

哈密爾頓——雅可比——貝爾曼方程

表明：在最優(yōu)軌線上，最優(yōu)控制函數(shù)必使H達整體最小，這是最小值原理的另一種表述形式。

4.4動態(tài)規(guī)劃與變分法、最小值原理的關(guān)係1.動態(tài)規(guī)劃與變分法由哈密爾頓——雅可比——貝爾曼方程可推倒出歐拉方程結(jié)論：

動態(tài)規(guī)劃與變分法和最小值原理在數(shù)學(xué)上是等效關(guān)係應(yīng)用範(fàn)疇有所不同：對某些最優(yōu)性能指標(biāo)的可微性條件不能滿足的最優(yōu)控制問題，未必能寫出哈密爾頓—雅可比—貝爾曼方程。2.動態(tài)規(guī)劃與最小值原理由哈密爾頓——雅可比——貝爾曼方程，本身就是最小值原理的極值條件，通過它還可推倒最小值原理的協(xié)態(tài)方程和橫截條件。區(qū)別在於：第4章要點動態(tài)規(guī)劃的最優(yōu)性原理。不論初始狀態(tài)和初始決策如何，其餘的後級決策(或控制)對於初始決策所形成的狀態(tài)來說，必定也是一個最優(yōu)策略

離散系統(tǒng)的動態(tài)規(guī)劃基本方程第5章線性二次型的最優(yōu)控制本章主要內(nèi)容：5.1線性二次型問題5.2狀態(tài)調(diào)節(jié)器

5.3輸出調(diào)節(jié)器5.4跟蹤器線性二次型問題的特點（1）最優(yōu)解可寫成統(tǒng)一的解析運算式，實現(xiàn)求解過程規(guī)範(fàn)化（2）可以兼顧系統(tǒng)的性能指標(biāo)（快速性、準(zhǔn)確性、穩(wěn)定性、靈敏度）5.1線性二次型問題線性二次性問題的提法：設(shè)線性時變系統(tǒng)的狀態(tài)方程為

假設(shè)控制向量不受約束，用表示期望輸出，則誤差向量為正定二次型半正定二次型實對稱陣A為正定（半正定）的充要條件是全部特徵值>0（>=0)。加權(quán)矩陣總可化為對稱形式。求最優(yōu)控制，使下列二次型性能指標(biāo)最小。性能指標(biāo)的物理含義：加權(quán)矩陣的意義：（1）F,Q,R是衡量誤差分量和控制分量的加權(quán)矩陣，可根據(jù)各分量的重要性靈活選取。（2）採用時變矩陣Q(t),R(t)更能適應(yīng)各種特殊情況。例如：

Q(t)可開始取值小，而后取值大線性二次型問題的本質(zhì)：用不大的控制，來保持較小的誤差，以達到能量和誤差綜合最優(yōu)的目的。

線性二次型問題的三種重要情形：

5.2狀態(tài)調(diào)節(jié)器問題設(shè)線性時變系統(tǒng)的狀態(tài)方程為

假設(shè)控制向量不受約束，求最優(yōu)控制，使系統(tǒng)的二次型性能指標(biāo)取極小值。5.2.1有限時間狀態(tài)調(diào)節(jié)器問題物理意義：以較小的控制能量為代價，使?fàn)顟B(tài)保持在零值附近。

解：1.應(yīng)用最小值原理求解u(t)關(guān)係式因控制不受約束，故沿最優(yōu)軌線有：（R(t)正定，保證其逆陣的存在。）規(guī)範(fàn)方程組：寫成矩陣形式：其解為：下麵思路：確定與的關(guān)係，帶入（5-6）形成狀態(tài)回饋橫截條件給出了終端時刻二者的關(guān)係：即為了與（5-10）建立聯(lián)繫，將（5-9）寫成向終端轉(zhuǎn)移形式：（5-13）-（5-12）*F可得可實現(xiàn)最優(yōu)

線性回饋控制下麵思路：求解P(t),但直接利用（5-16）求解，涉及矩陣求逆，運算量大（5-17）對時間求導(dǎo)2.應(yīng)用其性質(zhì)求解p(t)（5-20）與（5-19）相等，可得黎卡提方程（Riccati)邊界條件：

還可進一步證明，最優(yōu)性能指標(biāo)為：黎卡提方程求解問題：（1）可以證明，P(t)為對稱矩陣，只需求解n(n+1)/2個一階微分方程組。（2）為非線性微分方程，大多數(shù)情況下只能通過電腦求出數(shù)值解。（1）根據(jù)系統(tǒng)要求和工程實際經(jīng)驗，選取加權(quán)矩陣F,Q,R3.狀態(tài)調(diào)節(jié)器的設(shè)計步驟（2）求解黎卡提微分方程，求得矩陣P(t)（3）求回饋增益矩陣K(t)及最優(yōu)控制u*(t)（4）求解最優(yōu)軌線x*(t)（5）計算性能指標(biāo)最優(yōu)值例[5-1]已知一階系統(tǒng)的微分方程為求使性能指標(biāo)為極小值時的最優(yōu)控制。解：二次型性能指標(biāo)為：其中p(t)為黎卡提方程的解最優(yōu)軌為如下時變一階微分方程的解(可得出解析解）利用matlab求解黎卡提方程的解（數(shù)值解）檔案名：dfun1.matfunctiondy=dfun1(t,y)dy=zeros(1,1);%acolumnvectora=-1;q=1;r=1;dy(1)=-2*a*y(1)+y(1)^2-q;利用matlab求解黎卡提方程的解（數(shù)值解）檔案名：cal_p.mat(主程序）options=odeset('RelTol',1e-4,'AbsTol',1e-4);f=0;%initialvaluesol=ode45(@dfun1,[10],f,options);x=linspace(1,0,100);y=deval(sol,x);plot(x,y);disp(y(100));%p(t0)=y(100)利用matlab進行最優(yōu)控制系統(tǒng)仿真設(shè)線性定常系統(tǒng)的狀態(tài)方程為

假設(shè)控制向量不受約束，求最優(yōu)控制，使系統(tǒng)的二次型性能指標(biāo)取極小值。5.2.1無限時間狀態(tài)調(diào)節(jié)器問題說明：1）要求系統(tǒng)完全能控。2）F=0,人們所關(guān)心的總是系統(tǒng)在有限時間內(nèi)的回應(yīng)最優(yōu)軌線滿足下列線性定常齊次方程：性能指標(biāo)最優(yōu)值可以證明：

P為正定常數(shù)矩陣，滿足下列黎卡提矩陣代數(shù)方程?？梢宰C明：線性定常最優(yōu)調(diào)節(jié)器組成的閉環(huán)回饋控制系統(tǒng)，是漸近穩(wěn)定的。例[5-2]已知二階系統(tǒng)的狀態(tài)方程為求使性能指標(biāo)為極小值時的最優(yōu)控制。解：化為標(biāo)準(zhǔn)矩陣形式二次型性能指標(biāo)為：驗證系統(tǒng)能控性展開整理得到三個代數(shù)方程

P滿足下列黎卡提矩陣代數(shù)方程：系統(tǒng)完全能控，且Q,R為正定對稱矩陣，故最優(yōu)控制存在且唯一解之利用矩陣P正定的性質(zhì)與給定條件矛盾，故假設(shè)不成立下麵用反證法證明不是所求的根最優(yōu)控制為：利用矩陣P正定的性質(zhì)最優(yōu)狀態(tài)調(diào)節(jié)器閉環(huán)系統(tǒng)結(jié)構(gòu)圖閉環(huán)系統(tǒng)傳遞函數(shù)閉環(huán)極點為

a>2,實根，過阻尼a<2,複根，衰減震盪利用matlab計算和仿真A=[01;00]B=[0;1]a=2b=1Q=[1b;ba]R=1K=lqr(A,B,Q,R,0)5.3輸出調(diào)節(jié)器5.2.1有限時間輸出調(diào)節(jié)器問題設(shè)線性時變系統(tǒng)的狀態(tài)方程為

假設(shè)控制向量