最優(yōu)控制第七章動態(tài)規(guī)劃法

1、第七章第七章 動態(tài)規(guī)劃法動態(tài)規(guī)劃法 動態(tài)規(guī)劃是貝爾曼在動態(tài)規(guī)劃是貝爾曼在50年代作為多段決策過程年代作為多段決策過程研究出來的，現(xiàn)已在許多技術(shù)領(lǐng)域中獲得廣泛應(yīng)研究出來的，現(xiàn)已在許多技術(shù)領(lǐng)域中獲得廣泛應(yīng)用。動態(tài)規(guī)劃是一種用。動態(tài)規(guī)劃是一種分段最優(yōu)化方法分段最優(yōu)化方法，它，它既可用來既可用來求解約束條件下的函數(shù)極值問題，也可用于求解約求解約束條件下的函數(shù)極值問題，也可用于求解約束條件下的泛函極值問題束條件下的泛函極值問題。它與極小值原理一樣，。它與極小值原理一樣，是處理控制矢量被限制在一定閉集內(nèi)，求解最優(yōu)控是處理控制矢量被限制在一定閉集內(nèi)，求解最優(yōu)控制問題的有效數(shù)學(xué)方法之一。制問題的有效數(shù)學(xué)方法之

2、一。 動態(tài)最優(yōu)的核心是動態(tài)最優(yōu)的核心是最優(yōu)性原理最優(yōu)性原理，它首先將一個，它首先將一個多段決策問題轉(zhuǎn)化為一系列單段決策問題，然后從多段決策問題轉(zhuǎn)化為一系列單段決策問題，然后從最后一段狀態(tài)開始逆向遞推到初始段狀態(tài)為止的一最后一段狀態(tài)開始逆向遞推到初始段狀態(tài)為止的一套求解最優(yōu)策略的完整方法。套求解最優(yōu)策略的完整方法。 下面先介紹動態(tài)規(guī)劃的基本概念，然后討論連下面先介紹動態(tài)規(guī)劃的基本概念，然后討論連續(xù)型動態(tài)規(guī)劃。續(xù)型動態(tài)規(guī)劃。 一、多段決策問題一、多段決策問題 動態(tài)規(guī)劃是解決多段決策過程優(yōu)化問題的一動態(tài)規(guī)劃是解決多段決策過程優(yōu)化問題的一種強有力的工具。所謂多段決策過程，是指把一種強有力的工具。所謂多

3、段決策過程，是指把一個過程按時間或空間順序分為若干段，然后給每個過程按時間或空間順序分為若干段，然后給每一步作出一步作出“決策決策”(或控制或控制)，以使整個過程取得最，以使整個過程取得最優(yōu)優(yōu)的效果。的效果。 如圖如圖1所示，對于中間的任意一段，例如第所示，對于中間的任意一段，例如第k+1段作出相應(yīng)的段作出相應(yīng)的“決策決策”(或控制或控制)uk后，才能確定該段后，才能確定該段輸輸入狀態(tài)與輸出狀態(tài)間的關(guān)系，即從入狀態(tài)與輸出狀態(tài)間的關(guān)系，即從xk變化到變化到xk+1的狀的狀態(tài)轉(zhuǎn)移規(guī)律。在選擇好每一段的態(tài)轉(zhuǎn)移規(guī)律。在選擇好每一段的“決策決策”(或控制或控制) uk以后，那么整個過程的狀態(tài)轉(zhuǎn)移規(guī)律從以

4、后，那么整個過程的狀態(tài)轉(zhuǎn)移規(guī)律從x0經(jīng)經(jīng)xk一直到一直到xN也就被完全確定。全部也就被完全確定。全部“決策決策”的總體，稱為的總體，稱為“策策略略”。 當(dāng)然，如果對每一段的決策都是按照使某種性當(dāng)然，如果對每一段的決策都是按照使某種性能指標為最優(yōu)的原則作出的，那么這就是一個多段能指標為最優(yōu)的原則作出的，那么這就是一個多段最優(yōu)決策過程。最優(yōu)決策過程。 圖圖1 多段決策過程示意圖多段決策過程示意圖 容易理解，在多段決策過程中，每一段容易理解，在多段決策過程中，每一段(如第如第k+1段段)的輸出狀態(tài)的輸出狀態(tài)(xk+1)都僅僅與該段的決策都僅僅與該段的決策(uk)及及該段的初始狀態(tài)該段的初始狀態(tài)(xk

5、)有關(guān)。而與其前面各段的決策有關(guān)。而與其前面各段的決策及狀態(tài)的轉(zhuǎn)移規(guī)律無關(guān)。這種性質(zhì)稱為及狀態(tài)的轉(zhuǎn)移規(guī)律無關(guān)。這種性質(zhì)稱為無后效性無后效性。 下面以最優(yōu)路線問題為例，來討論動態(tài)規(guī)劃求下面以最優(yōu)路線問題為例，來討論動態(tài)規(guī)劃求解多段決策問題。解多段決策問題。 設(shè)汽車從設(shè)汽車從A城出發(fā)到城出發(fā)到B城，途中需穿越三條河城，途中需穿越三條河流，它們各有兩座橋流，它們各有兩座橋P、Q可供選擇通過，如圖可供選擇通過，如圖2所所示。各段間的行車時間示。各段間的行車時間(或里程、費用等或里程、費用等)已標注在已標注在相應(yīng)段旁。問題是要確定一條最優(yōu)行駛路線，使從相應(yīng)段旁。問題是要確定一條最優(yōu)行駛路線，使從A城出發(fā)

6、到城出發(fā)到B城的行車時間最短。城的行車時間最短。 現(xiàn)將現(xiàn)將A到到B分成四段，每一段都要作一最優(yōu)決分成四段，每一段都要作一最優(yōu)決策，使總過程時間為最短。所以這是一個多段最策，使總過程時間為最短。所以這是一個多段最優(yōu)決策問題。優(yōu)決策問題。 由圖由圖2可知，所有可能的行車路線共有可知，所有可能的行車路線共有8條。條。如果將各條路線所需的時間都一一計算出來，并如果將各條路線所需的時間都一一計算出來，并作一比較，便可求得最優(yōu)路線是作一比較，便可求得最優(yōu)路線是AQ1P2Q3B，歷時，歷時12。這種一一計算的方法稱為窮舉算法。這種方。這種一一計算的方法稱為窮舉算法。這種方法計算量大，如本例就要做法計算量大，

7、如本例就要做323=24次加法和次加法和7次次比較。如果決策一個比較。如果決策一個n段過程，則共需段過程，則共需(n-1)2n-1次次加法和加法和(2n-1-1)次比較?？梢婋S著段數(shù)的增多，計次比較?？梢婋S著段數(shù)的增多，計算量將急劇增加。算量將急劇增加。 應(yīng)用動態(tài)規(guī)劃法可使計算量減少許多。動態(tài)規(guī)應(yīng)用動態(tài)規(guī)劃法可使計算量減少許多。動態(tài)規(guī)劃法遵循一個最優(yōu)化原則：即所選擇的最優(yōu)路線必劃法遵循一個最優(yōu)化原則：即所選擇的最優(yōu)路線必須保證其后部子路線是最優(yōu)的。須保證其后部子路線是最優(yōu)的。 例如在圖例如在圖2中，如果中，如果AQ1P2Q3B是最優(yōu)路線，那么是最優(yōu)路線，那么從這條路線上任一中間點到終點之間的一

8、段路線必從這條路線上任一中間點到終點之間的一段路線必定也是最優(yōu)的。否則定也是最優(yōu)的。否則AQ1P2Q3B就不能是最優(yōu)路線就不能是最優(yōu)路線了。了。 根據(jù)這一原則，求解最優(yōu)路線問題，最好的辦根據(jù)這一原則，求解最優(yōu)路線問題，最好的辦法就是從終點開始，按時間最短為目標，逐段向前法就是從終點開始，按時間最短為目標，逐段向前逆推。依次計算出各站至終點之間的時間最優(yōu)值，逆推。依次計算出各站至終點之間的時間最優(yōu)值，并據(jù)此決策出每一站的最優(yōu)路線。如在圖并據(jù)此決策出每一站的最優(yōu)路線。如在圖2中，從終中，從終點點B開始逆推。開始逆推。 最后一段最后一段(第四段第四段)：終點：終點B的前站是的前站是P3或或Q3，不，

9、不論汽車先從哪一站始發(fā)，行駛路線如何，在這最后論汽車先從哪一站始發(fā)，行駛路線如何，在這最后一段，總不外乎是從一段，總不外乎是從P3到到B，歷時為，歷時為4，或從，或從Q3到到B，歷時為歷時為2，將其標明在圖，將其標明在圖3中相應(yīng)的圓圈內(nèi)。比較中相應(yīng)的圓圈內(nèi)。比較P3與與Q3這一最后一段最優(yōu)決策為這一最后一段最優(yōu)決策為Q3B。 最后一段最后一段(第四段第四段)：終點：終點B的前站是的前站是P3或或Q3，不，不論汽車先從哪一站始發(fā)，行駛路線如何，在這最后論汽車先從哪一站始發(fā)，行駛路線如何，在這最后一段，總不外乎是從一段，總不外乎是從P3到到B，歷時為，歷時為4，或從，或從Q3到到B，歷時為歷時為2

10、，將其標明在圖，將其標明在圖3中相應(yīng)的圓圈內(nèi)。比較中相應(yīng)的圓圈內(nèi)。比較P3與與Q3這一最后一段最優(yōu)決策為這一最后一段最優(yōu)決策為Q3B。 第三段：第三段：P3、Q3的前站是的前站是P2、Q2。在這一段也。在這一段也不論其先后的情況如何，只需對從不論其先后的情況如何，只需對從P2或或Q2到到B進行最進行最優(yōu)決策。從優(yōu)決策。從P2到到B有兩條路線：有兩條路線：P2P3B，歷時為，歷時為6；P2Q3B，歷時為，歷時為4，取最短歷時，取最短歷時4，標注在，標注在P2旁。從旁。從Q2到到B也有兩條路線：也有兩條路線：Q2P3B，歷時為，歷時為7；Q2Q3B，歷時，歷時為為5，取最短歷時，取最短歷時5，標注

11、在，標注在Q2旁。比較旁。比較P2與與Q2的最的最優(yōu)值，可知這一段的最優(yōu)路線是優(yōu)值，可知這一段的最優(yōu)路線是P2Q3B。 第二段：第二段： P2、Q2的前站是的前站是P1、Q1。同樣不管。同樣不管汽車是如何到達的汽車是如何到達的P1、Q1，重要的是保證從，重要的是保證從P1或或Q1到到B要構(gòu)成最優(yōu)路線。從要構(gòu)成最優(yōu)路線。從P1到到B的兩條路線中，的兩條路線中，P1P2Q3B，歷時為，歷時為11；P1Q2Q3B，歷時為，歷時為11，取最，取最短歷時短歷時11，標注在，標注在P1旁。從旁。從Q1到到B的也有兩條路的也有兩條路線中，線中，Q1P2Q3B，歷時為，歷時為8；Q1Q2Q3B，歷時為，歷時為

12、13，取最短歷時，取最短歷時8，標注在，標注在Q1旁。比較旁。比較P1與與Q1的的最優(yōu)值，可知這一段的最優(yōu)路線是最優(yōu)值，可知這一段的最優(yōu)路線是Q1P2Q3B。 第一段：第一段：P1、Q1的前站是始發(fā)站的前站是始發(fā)站A。顯見從。顯見從A到到B的最優(yōu)值為的最優(yōu)值為12，故得最優(yōu)路線為，故得最優(yōu)路線為AQ1P2Q3B。 綜上可見，動態(tài)規(guī)劃法的特點是：綜上可見，動態(tài)規(guī)劃法的特點是：1) 與窮舉算法相比，可使計算量大大減少。如與窮舉算法相比，可使計算量大大減少。如上述最優(yōu)路線問題，用動態(tài)規(guī)劃法只須做上述最優(yōu)路線問題，用動態(tài)規(guī)劃法只須做10次次加法和加法和6次比較。如果過程為次比較。如果過程為n段，則需做

13、加段，則需做加法。以上例為例，用窮舉法需作法。以上例為例，用窮舉法需作4608次加法，次加法，而后者只需做而后者只需做34次加法。次加法。 2) 最優(yōu)路線的整體決策是從終點開始，采用逆推方最優(yōu)路線的整體決策是從終點開始，采用逆推方法，通過計算、比較各段性能指標，逐段決策逐步法，通過計算、比較各段性能指標，逐段決策逐步延伸完成的。延伸完成的。 全部最優(yōu)路線的形成過程已充分表達在圖全部最優(yōu)路線的形成過程已充分表達在圖3中。中。 從最后一段開始，通過比較從最后一段開始，通過比較P3、Q3，得到，得到Q3B； 倒數(shù)第二段，通過比較倒數(shù)第二段，通過比較P2、Q2，得到，得到P2Q3B； 倒數(shù)第三段，通過

14、比較倒數(shù)第三段，通過比較P1、Q1，得到最優(yōu)決策，得到最優(yōu)決策為為Q1P2Q3B； 直至最后形成最優(yōu)路線直至最后形成最優(yōu)路線AQ1P2Q3B。 象這樣將一個多段決策問題轉(zhuǎn)化為多個單段決象這樣將一個多段決策問題轉(zhuǎn)化為多個單段決策的簡單問題來處理，正是動態(tài)規(guī)劃法的重要特點策的簡單問題來處理，正是動態(tài)規(guī)劃法的重要特點之一。之一。 3) 動態(tài)規(guī)劃法體現(xiàn)了多段最優(yōu)決策的一個重要動態(tài)規(guī)劃法體現(xiàn)了多段最優(yōu)決策的一個重要規(guī)律，即所謂規(guī)律，即所謂最優(yōu)性原理最優(yōu)性原理。它是動態(tài)規(guī)劃的理。它是動態(tài)規(guī)劃的理論基礎(chǔ)。論基礎(chǔ)。 對圖對圖4所示的所示的N段決策過程，如果在第段決策過程，如果在第k+1段處把全段處把全過程看成

15、前過程看成前k段子過程和后段子過程和后N-k段子過程兩部分。對于后段子過程兩部分。對于后部子過程來說，部子過程來說，xk可看作是由可看作是由x0及前及前k段初始決策段初始決策(或控或控制制) u0,u1, uk-1所形成的初始狀態(tài)。那么，多段決策的所形成的初始狀態(tài)。那么，多段決策的最優(yōu)決策略具有這樣的性質(zhì)：不論初始狀態(tài)和初始決策最優(yōu)決策略具有這樣的性質(zhì)：不論初始狀態(tài)和初始決策如何，其余如何，其余(后段后段)決策決策(或控制或控制)對于由初始決策所形成的對于由初始決策所形成的狀態(tài)來說，必定也是一個最優(yōu)策略。這個性質(zhì)稱為最優(yōu)狀態(tài)來說，必定也是一個最優(yōu)策略。這個性質(zhì)稱為最優(yōu)性原理。性原理。 圖圖4

16、N段決策過程段決策過程 設(shè)圖設(shè)圖5中中x*(t)是連續(xù)系統(tǒng)的一條最優(yōu)軌線。是連續(xù)系統(tǒng)的一條最優(yōu)軌線。x(t1)是最優(yōu)軌線上的一點，那么最優(yōu)性原理說明，不管是最優(yōu)軌線上的一點，那么最優(yōu)性原理說明，不管t=t1, t0 t1 tf時，系統(tǒng)是怎樣轉(zhuǎn)移到狀態(tài)時，系統(tǒng)是怎樣轉(zhuǎn)移到狀態(tài)x(t1)的，但的，但從從x(t1)到到x(tf)這段軌線必定是最優(yōu)的。因為最優(yōu)軌線這段軌線必定是最優(yōu)的。因為最優(yōu)軌線的后一段從的后一段從x(t1)到到x(tf)如果還有另一條軌線是最優(yōu)的如果還有另一條軌線是最優(yōu)的話，那么原來從話，那么原來從x(t0)到到x(tf)的軌線就不是最優(yōu)的，這的軌線就不是最優(yōu)的，這與假設(shè)矛盾。因此

17、，最優(yōu)性原理成立。與假設(shè)矛盾。因此，最優(yōu)性原理成立。 應(yīng)用最優(yōu)性原理可以將一個應(yīng)用最優(yōu)性原理可以將一個N段最優(yōu)決策問題轉(zhuǎn)段最優(yōu)決策問題轉(zhuǎn)化為化為N個一段最優(yōu)決策問題，從而大大減少求解最優(yōu)個一段最優(yōu)決策問題，從而大大減少求解最優(yōu)決策問題的計算量。決策問題的計算量。 圖圖5 連續(xù)系統(tǒng)的狀態(tài)轉(zhuǎn)移過程連續(xù)系統(tǒng)的狀態(tài)轉(zhuǎn)移過程 圖圖5 連續(xù)系統(tǒng)的狀態(tài)轉(zhuǎn)移過程連續(xù)系統(tǒng)的狀態(tài)轉(zhuǎn)移過程 二、連續(xù)系統(tǒng)的動態(tài)規(guī)劃二、連續(xù)系統(tǒng)的動態(tài)規(guī)劃 利用動態(tài)規(guī)劃最優(yōu)性原理，可以推導(dǎo)出性能利用動態(tài)規(guī)劃最優(yōu)性原理，可以推導(dǎo)出性能泛函為極小應(yīng)滿足的條件泛函為極小應(yīng)滿足的條件哈密爾頓雅可比哈密爾頓雅可比方程。它是動態(tài)規(guī)劃的連續(xù)形式，解此

18、方程可求方程。它是動態(tài)規(guī)劃的連續(xù)形式，解此方程可求得最優(yōu)控制得最優(yōu)控制u*(t)?，F(xiàn)在來推導(dǎo)這一方程。現(xiàn)在來推導(dǎo)這一方程。 tuxfx, 00 xtx 0,ffttxN ftttxttuxLtxJfd,min,00Uu設(shè)連續(xù)方程為設(shè)連續(xù)方程為(1)終端約束終端約束使性能泛函使性能泛函求最優(yōu)控制求最優(yōu)控制u*(t)， 或或u任意。任意。初始狀態(tài)初始狀態(tài)(2)(3)(4) 根據(jù)最優(yōu)性原理，如果根據(jù)最優(yōu)性原理，如果x*(t)是以是以x(t0)為初始為初始狀態(tài)的最優(yōu)軌線。如圖狀態(tài)的最優(yōu)軌線。如圖6所示。所示。圖圖6 連續(xù)系統(tǒng)最優(yōu)軌線連續(xù)系統(tǒng)最優(yōu)軌線 fttUutxttuxLtxJfd,min,0* f

19、ttttttUutxttuxLttuxLfd,d,min(5) 設(shè)設(shè)t = t ( t0 t tf)時，狀態(tài)為時，狀態(tài)為x(t)，它將軌線，它將軌線分成前后兩半斷。那么以分成前后兩半斷。那么以x(t)為初始狀態(tài)的后半為初始狀態(tài)的后半段也必是最優(yōu)軌線。而與系統(tǒng)先前如何到達段也必是最優(yōu)軌線。而與系統(tǒng)先前如何到達x(t)無關(guān)。無關(guān)。 若取若取t0= t, t= t + t，式，式(4)可寫成可寫成 ftttUutxttuxLttttxJfd,min,*ttuxLttuxLttt,d, 根據(jù)最優(yōu)性原理，如果根據(jù)最優(yōu)性原理，如果t到到tf的過程是最優(yōu)的，的過程是最優(yōu)的，則從則從t + t到到tf的后部子

20、過程也是最優(yōu)的，其中的后部子過程也是最優(yōu)的，其中t t + t tf。因此可寫成。因此可寫成 (6)(7) 當(dāng)當(dāng)t很小時，有很小時，有式式(5)可近似表示為可近似表示為ttttxJttuxLtxJUu,min,*(8) fttUutxttuxLtxJfd,min,0* fttttttUutxttuxLttuxLfd,d,min(5) ttuxLttuxLttt,d, ftttUutxttuxLttttxJfd,min,*xxttxxttxddttuxfttxx,ddttxxJttttxJ,*將將x(t + t)進行泰勒展開，取一次近似，有進行泰勒展開，取一次近似，有(9)(10)(11)ttt

21、xJxxtxJtxJttxxJT,* 將上式在將上式在x,t領(lǐng)域展成泰勒級數(shù)，考慮到領(lǐng)域展成泰勒級數(shù)，考慮到J*x+x, t+t既是既是x的函數(shù)，也與的函數(shù)，也與t有關(guān)，所以有關(guān)，所以(12)ttttxJttuxLtxJUu,min,*(8)tttxJxxtxJtxJttuxLtxJTUu,min,*ttuxfxtxJttuxLtttxJtxJTUu,min,* 代入式代入式(8)，得，得(13)tttxJxxtxJtxJttxxJT,*(12)ttttxJttuxLtxJUu,min,*(8)tttxJ,*tuxfxtxJtuxLttxJTUu,min,*考察上式因為考察上式因為J*x, t

22、與與u無關(guān)，故無關(guān)，故J*x, t與與可提到可提到min號外面。經(jīng)整理可得號外面。經(jīng)整理可得式式(14)稱為連續(xù)系統(tǒng)動態(tài)規(guī)劃基本方程或貝爾曼方程。稱為連續(xù)系統(tǒng)動態(tài)規(guī)劃基本方程或貝爾曼方程。 (14) 貝爾曼方程。它是一個關(guān)于貝爾曼方程。它是一個關(guān)于J*x, t的偏微分的偏微分方程。解此方程可求得最優(yōu)控制使方程。解此方程可求得最優(yōu)控制使J為極小。它為極小。它的邊界條件為的邊界條件為 ffffttxttxJ,*(15) tuxfxtxJtuxLttxJTUu,min,*(14)tuxfxtxJtuxLtuxHT,*tuxftuxLT,xtxJ,*tuxHttxJUu,min,*如果令哈密爾頓函數(shù)為

23、如果令哈密爾頓函數(shù)為式中式中則式則式(14)可寫成可寫成(17) (16)當(dāng)控制矢量當(dāng)控制矢量u(t)不受限制時，則有不受限制時，則有tuxHttxJ,*上兩式稱為哈密爾頓雅可比方程。上式說明，上兩式稱為哈密爾頓雅可比方程。上式說明，在最優(yōu)軌線上，最優(yōu)控制必須使在最優(yōu)軌線上，最優(yōu)控制必須使H達全局最小。達全局最小。實際上這就是極小值原理的另一種形式。實際上這就是極小值原理的另一種形式。 (18)0,*tuxfxtxJtuxLttxJT0,2*2*2tuxfxtxJxtuxfxtxJxtuxLtxtxJT 由貝爾曼方程可推導(dǎo)出協(xié)態(tài)方程和橫截條件。由貝爾曼方程可推導(dǎo)出協(xié)態(tài)方程和橫截條件。式式(14

24、)可寫成可寫成 對對x求偏導(dǎo)數(shù)，得求偏導(dǎo)數(shù)，得(20)(19)tuxfxtxJtuxLttxJTUu,min,*(14)xJ*txxtxJtxtxJxtxJtdd,dd2*2*2*0,dd*xtuxfxtxJxtuxLxtxJtT由于對由于對t的的 全導(dǎo)數(shù)，為全導(dǎo)數(shù)，為(22) (21)代入式代入式(20)可寫成可寫成0,2*2*2tuxfxtxJxtuxfxtxJxtuxLtxtxJT(20) xtxJt,* xHxtuxftxtuxLttT,ddxH令令 ，則上式可寫成，則上式可寫成(23)這就是所求的協(xié)態(tài)方程這就是所求的協(xié)態(tài)方程 ，與以前結(jié)果，與以前結(jié)果完全一致。完全一致。0,dd*xt

25、uxfxtxJxtuxLxtxJtT(22) 在在t= tf時，在終端處性能泛函為時，在終端處性能泛函為 ffTffffttxNttxttxJ,*式中式中與與N同維的乘子矢量。同維的乘子矢量。 (24) ffttTffffffttffftxttxNtxttxtxttxJ,* fttfTfftxNtxt對對x(tf)求偏導(dǎo)數(shù)，得求偏導(dǎo)數(shù)，得(25)(26)即即 ffTffffttxNttxttxJ,*(24)將式將式(24)對對tf求偏導(dǎo)數(shù)，得求偏導(dǎo)數(shù)，得 ffttfffTfffttffftttxNtttxtttxJ,*(27) ffTffffttxNttxttxJ,*(24)考慮式考慮式(17

26、)、式、式(20)得得0fttfTftNtH 上述結(jié)果與極小值原理中推導(dǎo)的完全一致。上述結(jié)果與極小值原理中推導(dǎo)的完全一致。上述推導(dǎo)過程實際上等于用動態(tài)規(guī)劃方法間接證上述推導(dǎo)過程實際上等于用動態(tài)規(guī)劃方法間接證明了極小值原理。明了極小值原理。 (28)tuxHttxJUu,min,*(17) 0,2*2*2tuxfxtxJxtuxfxtxJxtuxLtxtxJT(20) ffttfffTfffttffftttxNtttxtttxJ,*(27) 應(yīng)當(dāng)指出，與極小值原理相比，動態(tài)規(guī)劃法需應(yīng)當(dāng)指出，與極小值原理相比，動態(tài)規(guī)劃法需要解偏微分方程式要解偏微分方程式(14)，它要求，它要求J x, t具有連續(xù)

27、的具有連續(xù)的偏導(dǎo)數(shù)，但在實際工程中，這一點常常不能滿足，偏導(dǎo)數(shù)，但在實際工程中，這一點常常不能滿足，因而限制了動態(tài)規(guī)劃法的使用范圍。因而限制了動態(tài)規(guī)劃法的使用范圍。 ux tuxxJftud21min0242例例1：設(shè)：設(shè) ，求最優(yōu)控制，求最優(yōu)控制u*(t)使使uxJuxxfxJLH24221uxJuxxfxJLtJuu*242*21minmin解：構(gòu)造哈密爾頓函數(shù)解：構(gòu)造哈密爾頓函數(shù) 根據(jù)哈密爾頓雅可比方程，有根據(jù)哈密爾頓雅可比方程，有考慮控制考慮控制u不受限制，得不受限制，得0221*242xJuuuxJuxxuH xJtu*212*2*42*214121xJxJxxtJ2*424121x

28、Jxx故故 xJt* ttu21* 邊界條件，因邊界條件，因x(tf), tf=0，故，故Jx(tf)=0 如果令如果令 ，則得，則得 這正是應(yīng)用極小值原理所得的結(jié)果，二者這正是應(yīng)用極小值原理所得的結(jié)果，二者完全一致。完全一致。 uxx100010 010 xtuxJd2120221例例2：設(shè)受控系統(tǒng)狀態(tài)方程為：設(shè)受控系統(tǒng)狀態(tài)方程為初始狀態(tài)為初始狀態(tài)為性能泛函為性能泛函為試求在試求在u無限制情況下，使無限制情況下，使J取極小時的最優(yōu)控制。取極小時的最優(yōu)控制。 uxxJxJuxfxJLHT22*1*221*212uxJxxJux2*21*221212解：構(gòu)造哈密爾頓函數(shù)解：構(gòu)造哈密爾頓函數(shù)uxJ

29、xxJuxHtJuu2*21*221*212minmin0uuH2*xJu由哈密爾頓雅可比方程由哈密爾頓雅可比方程因因u無限制，可從無限制，可從求得求得0*tJ021222*21*21xJxxJx代入上式，并注意到代入上式，并注意到J*與與t無關(guān)，因而無關(guān)，因而 ，有有223212211*2xaxxaxaJ02122232213212122xaaxxaaaxa 為求解此偏微分方程，設(shè)其解為為求解此偏微分方程，設(shè)其解為滿足方程，得滿足方程，得0, 02, 0123232122aaaaaa1, 2321aaa222121*22xxxxJ 212*2xxxtxJu各項系數(shù)為各項系數(shù)為可得可得解為解為最優(yōu)控制最優(yōu)控制最優(yōu)控制可由狀態(tài)反饋實現(xiàn)，如圖最優(yōu)控制可由狀態(tài)反饋實現(xiàn)，如圖7所示。所示。進一步考察系統(tǒng)的狀態(tài)軌線。系統(tǒng)的狀態(tài)方程進一步考察系統(tǒng)的狀態(tài)軌線。系統(tǒng)的狀態(tài)方程*2210 xx為齊次方程。為齊次方程。 0011*xAsILxetxAt011121201221111j