北京交通大學(xué)(最優(yōu)控制理論與算法研究生課程)第四章 極大值原理

1、極大值原理極大值原理(1/4)(1/4)第第 4 章章 極大值原理極大值原理q 前一章討論的最優(yōu)控制問題都基于以下基本假定: 控制量u(t)的取值范圍U不受任何限制,即控制域U充滿整個r維控制空間,或者U是一個開集。 即控制量u(t)受等式條件約束但是,大多數(shù)情況下控制量總是受限制的。 例如,控制量可能受如下大小限制|ui(t)|a i=1,2,r 式中, a 為已知常數(shù)。極大值原理極大值原理(2/4)(2/4)q 上述約束條件即相當(dāng)于容許控制空間U是一個超方體。 甚至, 有些實(shí)際控制問題的控制量為某一孤立點(diǎn)集。 例如, 繼電器控制系統(tǒng)的控制輸入限制為ui(t) =a i=1, 2, , rq

2、 一般情況下, 可將控制量所受的約束用不等式來表示Mi(u(t),t)0, i=1,2, 當(dāng)控制變量u(t)受不等式約束條件不等式約束條件限制時, 古典變分法就無能為力了。 最優(yōu)控制往往需要在閉集的邊界上取值。 這就要求人們?nèi)ヌ剿餍碌睦碚摵头椒āO大值原理極大值原理(3/4)(3/4)q 應(yīng)用古典變分法的另一個限制條件是要求函數(shù)L(x,u,t), f(x,u,t), S(x(tf),tf) 對其自變量的連續(xù)可微性其自變量的連續(xù)可微性, 特別是要求H/u=0存在。 因此, 對于有較大實(shí)際意義的性能指標(biāo)泛函就無能為力了。 所以,類似消耗燃料最小這類常見最優(yōu)控制就無法用古典變分法來解決。fttttu

3、J0d| )(|極大值原理極大值原理(4/4)(4/4)q 鑒于古典變分法的應(yīng)用條件失之過嚴(yán),引起了不少數(shù)學(xué)界和控制界學(xué)者的關(guān)注。 貝爾曼的動態(tài)規(guī)劃貝爾曼的動態(tài)規(guī)劃和龐特里亞金的極大值原理龐特里亞金的極大值原理是較為成功的,應(yīng)用很廣泛,成為解決最優(yōu)控制問題的有效工具。 本節(jié)主要介紹極大值原理的結(jié)論及其啟發(fā)性證明。 講授內(nèi)容為 自由末端的極大值原理自由末端的極大值原理 極大值原理的證明極大值原理的證明 極大值原理的幾種具體形式極大值原理的幾種具體形式 約束條件的處理約束條件的處理自由末端的極大值原理自由末端的極大值原理(1/8)1/8)4.1 自由末端的極大值原理自由末端的極大值原理q 最優(yōu)控制

4、問題的具體形式是多種多樣的,在第2章的討論中可知,3種泛函問題(拉格朗日問題、波爾扎問題和麥耶爾問題)的表達(dá)形式可以互相轉(zhuǎn)換。 這里，研究泛函為定常的末值型性能指標(biāo)的最優(yōu)控制問題(麥耶爾問題),然后將結(jié)論逐步推廣逐步推廣至其他最優(yōu)控制問題。 下面,就定常的末值型性能指標(biāo)定常的末值型性能指標(biāo)、末態(tài)自由末態(tài)自由的控制問題來敘述極大值原理。自由末端的極大值原理自由末端的極大值原理(2/8)2/8)定理定理7-97-9q 定理定理 9(極大值原理極大值原理) 設(shè)u(t)U, tt0,tf, 是一容許控制。 指定的末值末值型性能指標(biāo)泛函為Ju()=S(x(tf), 式中,x(t)是定常的被控系統(tǒng)相應(yīng)于控

5、制量u(t)的狀態(tài)軌線,tf為未知的末態(tài)時刻。 設(shè)使該性能指標(biāo)泛函極小的最優(yōu)控制函數(shù)為u*(t)、最優(yōu)狀態(tài)軌線為x*(t)。 則必存在不恒為零的n維向量函數(shù) (t),使得1) (t)是方程00( )( ( ), ( ),( )ttttxf xuxx)()(),()(tttHtxuxfx自由末端的極大值原理自由末端的極大值原理(3/8)3/8)滿足2) 邊界條件 的解, 其中哈密頓函數(shù)為3)3)則有即( ()()()fffStttxx*( )( ), ( ),( )min( ), ( ), ( )tUHtttHtttuxuxu)(),()()(),(),(ttttttHuxfux*0( ), (

6、 ),( )( ), ( ), ( ), ,( )fHtttHttttt ttU xuxuu自由末端的極大值原理自由末端的極大值原理(4/8)4/8)4) 沿最優(yōu)軌線哈密頓函數(shù)應(yīng)滿足 q 下面先對上述極大值原理的涵義作簡單的解釋,再給出該定理的啟發(fā)性證明。*(), (),()0( ), ( ),( )(), (),()ffffffffHttttHtttHtttt自由常值固定xuxuxu自由末端的極大值原理自由末端的極大值原理(5/8)5/8) 容許控制條件的放寬。容許控制條件的放寬。 古典變分法應(yīng)用于最優(yōu)控制問題,要求控制域U=Rr,即控制域U充滿整個r維控制空間。 然后,從控制量的變分u(t

7、)的任意性出發(fā),導(dǎo)出極值條件H/u=0。 這一條件是非常嚴(yán)格的。 其一,它要求哈密頓函數(shù)H對控制量u(t)連續(xù)可微; 其二,它要求控制量的變分u(t)具有任意性, 即控制量u(t)不受限制, 或僅在受等式約束條件限制的開集中取值。自由末端的極大值原理自由末端的極大值原理(6/8)6/8)2)2) 定理9中的式(93)和(94)同樣稱為協(xié)態(tài)方程協(xié)態(tài)方程和橫截條件橫截條件,其相應(yīng)求解方法與基于古典變分法的最優(yōu)控制求解方法類似。 變分法的極值條件是一種解析形式,而極大值原理的極值求解條件(96)是一種定義形式定義形式,不需不需要哈密頓函哈密頓函數(shù)數(shù)H對控制量對控制量u(t)的可微性加以約束的可微性加

8、以約束,而且對于通常的對u(t)的約束都是適用的,v 例如,u(t) 受不等式約束條件約束, 即在閉集中取值。*( )( ( ), ( )( )( )(93)( ()()(94)()( ), ( ),( )min( ), ( ), ( )(96)ffftUHttttStttHtttHttt ufxuxxxxxuxu自由末端的極大值原理自由末端的極大值原理(7/8)7/8)3)3) 由極值求解條件(96)可知,極大值原理得到的是全局最小值,而非局部極值,而古典變分法中由極值條件H/u=0得到的是局部極小值。 再則,如果把條件(96)仍稱為極值條件,則極大值原理得到的是強(qiáng)極值。 而古典變分法在歐拉

9、方程推導(dǎo)時,對極值曲線x*(t)和其導(dǎo)數(shù)都引入變分,得到的是弱極值。 不難理解,當(dāng)滿足古典變分法的應(yīng)用條件時,極值條件H/u=0只是極大值原理的極值求解條件(96)的一個特例。*( )( ), ( ),( )min( ), ( ), ( )(96)tUHtttHtttuxuxu自由末端的極大值原理自由末端的極大值原理(8/8)8/8)4) 在上述定理中,最優(yōu)控制u*(t)使哈密頓函數(shù)取最小值。 所謂“極小值原理”一詞正源于此,稱“極大值原理”是習(xí)慣性叫法。 若實(shí)際控制問題需求極大值,可將極值求解條件的求最小(min)改為求最大(max)即可。5) 極大值原理只給出最優(yōu)控制的必要條件必要條件,并

10、非充分條件充分條件。 得到的解是否能使泛函泛函J最小最小,還有待證實(shí)。 極大值原理更沒有涉及解的存在性問題。 如果實(shí)際問題的物理意義已經(jīng)能夠判定所討論的問題的解是存在解是存在的,而由極大值原理所求出的控制僅僅有一個,可以斷定,此控制就是最優(yōu)控制。v 實(shí)際遇到的問題往往屬于這種情況。極大值原理的證明極大值原理的證明(1/2)1/2)7.4.2 極大值原理的證明極大值原理的證明q 龐特里亞金對極大值原理作了嚴(yán)格的證明,涉及拓?fù)鋵W(xué)、實(shí)函數(shù)分析等很多數(shù)學(xué)問題,這是作為工科教材難以詳細(xì)論述的。 本教材利用增量法給出極大值原理的一個啟發(fā)性證明。q 證明中所作的假設(shè)是:1) 函數(shù) f(x,u) 和 S(x(

11、tf) 都是其自變量的連續(xù)函數(shù);2)函數(shù)f(x,u)和S(x(tf)對于x是連續(xù)可微的,即f/x和S/x(tf)存在且連續(xù), 但并不要求函數(shù) f(x,u)對u可微; 極大值原理的證明極大值原理的證明(2/2)2/2)3) 為了保證微分方程解的存在和惟一性,假定f(x,u)在任意有界集上對自變量 x 滿足如下李普希茨(Lipschitz)條件f(x1,u)-f(x2,u)x1-x2 0,x1,x2XRn,uURrq 下面敘述用增量法證明極大值原理的過程,證明步驟為: 構(gòu)造泛函構(gòu)造泛函J的增量的增量 求取求取 x(t)的表達(dá)式的表達(dá)式 對對 x(t)進(jìn)行估計進(jìn)行估計 極值條件的推證極值條件的推證

12、tf的考慮的考慮然后介紹一基于極大值原理的最優(yōu)控制算例最優(yōu)控制算例泛函泛函J的增量的增量(1/2)1/2)(1) 泛函泛函J的增量的增量q 假定末態(tài)時刻tf已知,根據(jù)S(x(tf)對x(tf)的連續(xù)可微性泛函J的增量J可表示為式中u*(t)和x*(t)分別表示最優(yōu)控制函數(shù)及相應(yīng)的最優(yōu)軌線; x(t)為x(t)在最優(yōu)軌線x*(tf)附近的變分變分; o(x(tf)表示泰勒展開式中x(tf)的高階項。)()()()()()()()()()(*ffffffftotttStSttSJJJxxxxxxxuuuJu()=S(x(tf)泛函泛函J的增量的增量(2/2)2/2)q 要從Ju*()0的條件導(dǎo)出最

13、優(yōu)控制必要條件最優(yōu)控制必要條件, 首先應(yīng)找出x(t)與控制量u(t)的變分 u(t)的關(guān)系, 進(jìn)而對x(t)作出估計作出估計。下面為表述更簡潔, 時間函數(shù)x(t)與u(t)的時間變量t略去不寫。 x(t)的表達(dá)式的表達(dá)式(1/3)1/3)(2) x(t)的表達(dá)式的表達(dá)式q 根據(jù)f(x,u)對x的可微性,由狀態(tài)方程(92)可得如下由控制量的變分u(t)引起的狀態(tài)方程(92)的變分*(,)(,)(,)(,)()(,)(,)(,)(,),(,()oo xf x uxf xx uuf x uf x uuf x uuxxf x uxf x uuxf x uxf x uf x uuxxx( )( ( ),

14、 ( )(92)ttt xf xu x(t)的表達(dá)式的表達(dá)式(2/3)2/3) 令矩陣函數(shù)(t,s)為線性狀態(tài)方程的狀態(tài)轉(zhuǎn)移矩陣,即(t,s)滿足如下微分方程組 考慮到x(t0)=0,則x(t)在t=tf時的解為*( ),( )( )( )ttttf xuxxxIsssttttst),(),()(),(d),(d*xuxf000*()(, )( ),( )( )( ),( ) d( ),( )( )( ),( )(, )( )d(, ) ( ) )dffftffttfttftttsssssssssssstsssts oss xf xuuf xuf xuuf xuxxxx x(t)的表達(dá)式的表達(dá)

15、式(3/3)3/3) 將上述方程代入式(98),則得泛函J的增量J為 上式雖然給出了泛函增量J與（u,x ）的關(guān)系,但是對一般形式的u, 還很難估計上式的 J。 然而，對任意的u, 上式均成立,故對特定的u也應(yīng)成立。 為此,下面討論時取一特定的變分u,以利于對上式的估計。000*()(, )(,)(,) d()()(,)(,)(, )( )d()()(, ) ( ) )d()()ffftfftftfftftffftfStJtsstSttssstStts ossott xf xuuf xuxxf xuuf xuxxxxxxxx*()()()(98)()ffffStJtottxxxx對對x(t)的

16、估計的估計(1/11)1/11)(3) 對對 x(t)的估計的估計q 設(shè)u(t)是控制u(t)的任意變分,對應(yīng)x(t)的增量x(t)應(yīng)滿足如下方程 將上式的第一式改寫為0( )(,)( , )( )0tt xf xx uuf x ux(,)( ,)( ,)( , ) xf xx uuf x uuf x uuf x u對對x(t)的估計的估計(2/11)2/11)q 對于給定的u(t)和u(t),由于它們的分段連續(xù)性,必存在有界的U1U及XRn,使u(t)+u(t)U1,x(t)X,對所有的tt0,tf,根據(jù)李卜希茨條件,必存在0,滿足f(x+x,u+u)-f(x,u+u)0,則f(x,u+u)

17、-f(x,u)|b(t)| tt0,tf其中 于是由式(105)可知, x(t)滿足 0( )0( )0( )0tb tbtuu( )( )( )tatb txx(,)( ,)( ,)( , )(105) xf xx uuf x uuf x uuf x u對對x(t)的估計的估計(3/11)3/11)引理引理 2 2q 為了作進(jìn)一步的估計,下面先引入一個引理。q 引理引理 2q 證明證明 由歐幾里德范數(shù)(2-范數(shù))的定義,有 從而有證畢 ddt xx 1d12d2niiixxt xxxxxxxxx1/221niixx對對x(t)的估計的估計(4/11)4/11)q 因此,由引理 2和式(109

18、),有即 將兩邊乘以e-t,得 解得d( )( )( )dtatb ttxxd( )( )datateteb ttxd( )( )( )dtatb ttxx( )( )( )(109)d2dtatb tt xxxx引理 ttstassbet0d)()()(x對對x(t)的估計的估計(5/11)5/11)q 至今我們還沒有對u(t)作任何限制。 為了使變分后的控制u(t)仍屬于容許控制空間,即u(t)U,對所有的tt0,tf, 為了便于導(dǎo)出極值求解條件,采用一種異于古典變分的特定形式的變分-針狀變分針狀變分。圖圖5 針狀變分示意圖針狀變分示意圖 令為最優(yōu)控制u*(t)的任意一個連續(xù)點(diǎn), l0是某

19、一確定的數(shù), 0是一個充分小的數(shù)。 可將控制量的變分u(t)取成一個依賴于,l和的針狀變分,如圖5所示。對對x(t)的估計的估計(6/11)6/11) 上述針狀變分記為u(t), 可表示為 式中, U表示任意容許控制,這就是說,在充分小的時間區(qū)間,+l內(nèi), 可以取控制域U內(nèi)的任何點(diǎn)。 當(dāng)然,也可以取閉集上的點(diǎn)。 變分 是一個有限量。 當(dāng)是一個充分小的量時, 則由u(t)所引起的變分 x(t)是否是否仍為一個充分小的量。* ,( )( )( )tlttt uuuu其它uu*( )( ) ,tttl uuu對對x(t)的估計的估計(7/11)7/11)q 下面證明由針狀變分u(t)引起的狀態(tài)增量x

20、(t)是一個與同階的無窮小量。 事實(shí)上,當(dāng)控制量作針狀變分時,式(108)可表示為 于是,由式(111)可知,由針狀變分u(t)引起的狀態(tài)增量x(t)為 上式表明,x(t)與0是同階無窮小量。0 ,( )0btlb t 其它000()()( )d( )d()dd)fffffftta tsa t stttlatatatteb sseb sseb ssteb sb le x0()0( )0( )(108)0( )0( )( )d(111)ta t sttb tbtteb ssuux對對x(t)的估計的估計(8/11)8/11)q 據(jù)此,由式(103)可得如下由針狀變分u(t)所引起的泛函J的變分J

21、的表達(dá)式*()(, )(,)(,) d()()(,)(,)(, )d()()(, ) ( ) )d()()lffflffflffflfStJtsstSttsstStts ossott xf x uuf x uxxf x uuf x uxxxxxxxx000*()(, )(,)(,) d()()(,)(,)(, )( )d()()(, ) ( ) )d()(103)()ffftfftftfftftffftfStJtsstSttssstStts ossott xf x uuf x uxxf x uuf x uxxxxxxxx對對x(t)的估計的估計(9/11)9/11) 上式中后3項都是的高階無窮

22、小量,可歸并成一項,則上式可記為 *()(, )(,)(,) d()lfffStJtssot xf x uuf x ux*()(,)(,)(, )d()()(, ) ( ) )()(, )(,)(,) d)d)(lffflfffflfflfSttsstSttsStJtssootsstt xf x uufxf x uuf x uxxxxxxxxxx u對對x(t)的估計的估計(10/11)10/11) 令 則向量 (t)必滿足狀態(tài)方程的協(xié)態(tài)方程及邊界條件*()( )( , )()fffStstsHamiltont為構(gòu)建函數(shù)xx)()(),()(*ttttxuxf)()()(*fffttStxx對

23、對x(t)的估計的估計(11/11)11/11) 若記則共軛方程( 118)可寫成 于是,泛函增量表達(dá)式( 116)可改寫成( ( ), ( ), ( )( ) ( ( ), ( )Httttttxuf xu*( ),( )( )( )(118)tttt fxux*( ), ( ),( )( )Htttt xux *(,)(,) d(, ,)(, ,) dllJsoHHso f x uuf x ux uux u *()( , )(,)(,) d(7116)()lfffStJtssot xf x uuf x ux極值條件的推證極值條件的推證(1/4)1/4)(4) 極值條件的推證極值條件的推證q

24、 已記u*(t)是使泛函J取最小值的最優(yōu)控制, x*(t)為相應(yīng)的軌線, 而 (t)是協(xié)態(tài)方程的解。 所以,對任意的控制變分,當(dāng)然也包含對u(t)的針狀變分,泛函的增量(122)必滿足 因為x*(t)和 (t)在tt0,tf范圍內(nèi)是連續(xù)函數(shù),而u*(t)和 =u*(t)-u(t)在上式的積分范圍內(nèi)積分范圍內(nèi)也是連續(xù)的,所以哈密頓函數(shù)H是一連續(xù)函數(shù)連續(xù)函數(shù)。 *(, ,)( , ,) d0lJHHso x uux u *(, ,)(, ,) d(122)lJHHso x uux uu極值條件的推證極值條件的推證(2/4)2/4) 根據(jù)中值定理及H的連續(xù)性,則有式中,00,則有或?qū)懽?由于上式在區(qū)

25、間t0,tf內(nèi)u*(t)的所有連續(xù)點(diǎn)都成立。 同時考慮到 要取遍容許控制域U中所有的點(diǎn),因此,上式也可表示為 式中,是區(qū)間t0,tf內(nèi)u*(t)的任意連續(xù)點(diǎn)。 *( ), ( ), ( )( ), ( ),( )0HHxuxu *( ), ( ),( )( )( ), ( ),( )0ol HH xuuxu*( ), ( ),( )( ), ( ), ( )HHxuxu*()( ), ( ),( )min( ), ( ), ( )UHHuxuxuu極值條件的推證極值條件的推證(4/4)4/4) 由于假定u(t)是分段連續(xù)函數(shù),而u*(t)的不連續(xù)點(diǎn)上的函數(shù)值如何, 并不影響控制效果, 因此,不

26、妨認(rèn)為(127)對于任意的t0,tf都成立。 這就是說,如果u*(t)U, tt0,tf是最優(yōu)控制,則對所有tt0,tf都必須滿足從而證明了極值條件。*( )( ), ( ),( )min( ), ( ), ( )tUHtttHtttuxuxu*()( ), ( ),( )min( ), ( ), ( )(127)UHHuxuxu tf的考慮的考慮(1/9)1/9)(5) tf的考慮的考慮q 前面僅僅考慮了末態(tài)時刻tf給定的情況。 當(dāng)tf可變時,還要考慮由tf的改變量tf所引起的泛函改變量。 設(shè)u*(t)是使性能指標(biāo)泛函最小的最優(yōu)解, x*(t)是相應(yīng)的最優(yōu)軌線。 若令tf的改變量tf=T1,

27、其中T1為任意常數(shù),并同時考慮控制u(t)的針狀變分u()。Ju()=S(x(tf) tf的考慮的考慮(2/9)2/9) 根據(jù)S(x(tf)的可微性 ,則有 上式對任意T1及任意控制變分均成立, 對u(t)0時也成立。 當(dāng)u(t)0時,顯然有u(tf)=0, 考慮到T1為任意實(shí)數(shù),于是可得*1*()()( )()()()( )()()(),()( )fffffffffffStJttoStttoSttfttTot xxxxxxxxxxuxJu()=S(x(tf)*()(),()0fffStfttxxux tf的考慮的考慮(3/9)3/9) 因此,有從而證明了式(97)的第1部分。 當(dāng)取T1=0,

28、對于針狀變分u(t)應(yīng)有 因此,依上述證明過程(1)(4),同樣可以證明式(128)成立。*(), (),()()( (),()()(),()0(128)fffffffffHttttttStfttxuf xuxxux*(), (),()0( ), ( ),( )(97)(), (),()constant()(),()0fffffffffffHttttHtttHttttStfttxuxuxuxxux自由固定0)()()(*ottSJffxxx tf的考慮的考慮(4/9)4/9)q 下面證明當(dāng) tf 固定, x(tf)自由時,式( 97)的第2部分的證明。 哈密頓函數(shù)H的增量可表示為 考慮到哈密頓

29、函數(shù)H(x, ,u)對x和 的連續(xù)可微性,因此,由泰勒展開式可得哈密頓函數(shù)的一階增量表示式*( ), ( ),( )(), (),()( ), ( ),( )(), ( ), ( ),()( ), (),()( ), ( ),(),( )HtttHtttHttttttHtttHttttttHttHtttttt xxuuxxuxuxuuux*(), (),()0( ), ( ),( )(97)(), (),()constantffffffffHttttHtttHttttxuxuxu自由固定 若定義 =u*(t+t),則由上式有如下H的一階增量式 考慮到u*(t)是最優(yōu)控制函數(shù), 由極值條件則有*

30、( ), ( ),( )( ), ( ), ( )( ), ( ),( )HtttHtttHtttxuxuxu*( ), ( ),( )0Htttxuu tf的考慮的考慮(5/9)5/9)*(, ,)( ), ( ),( )()( )(, ,)()( )( ), ( ),()( ), ( ),( )( ), ( ),( )()( ), ( ),( )( )( ) ( )HHttttttHtttHttttHtttHttttHttttttttHt x uxuxxxx uxuxuxuxuxx*( ), ( ),()( ), ( ),( )ttttHttt xuxu tf的考慮的考慮(6/9)6/9)

31、 考慮到時間增量t的任意性,其值可正可負(fù)。 因此, 由上式可知, 當(dāng)t0時, H0,則意味著哈密頓函數(shù)H隨時間t遞增; 而當(dāng)t0, t0,1, 可得 u*(t)=-1 t0,1*( )*11211( ) 1*1 12111( ) 1*1 12111( ) 1( ), ( ),( )min( ), ( ), ( )min()minmintUu tu tu tHtttHtttxuxxxuxxu uxuxu111( )0*( )1( )0tutt1(t)=1-et-1 2(t)=1 tf的考慮的考慮(9/9)9/9) 因此,由得 同樣,可求得 因此,該問題的最優(yōu)控制函數(shù)u*(t)和最優(yōu)軌線x*(t)

32、分別為*11111(0)1xxuxx *1( )21tx te1(t)=1-et-1 2(t)=122)(*2tetxt*1*2*( )1( )21( )22ttutx tex tet 極大值原理的幾種具體形式極大值原理的幾種具體形式 (1/1)1/1)4.3 極大值原理的幾種具體形式極大值原理的幾種具體形式 q 前面討論了定常系統(tǒng)的定常末值型性能指標(biāo)、末態(tài)自由的最優(yōu)控制問題的極大值原理。 經(jīng)數(shù)學(xué)變換,上述最優(yōu)控制問題的極大值原理的結(jié)論可以推廣至 時變系統(tǒng)時變系統(tǒng) 積分型或復(fù)合型性能指標(biāo)積分型或復(fù)合型性能指標(biāo)等控制問題的最優(yōu)控制中, 不再詳加證明。 下面將給出幾種具體的極大值原理形式和分析證明

33、的思路。時變情況時變情況(1/7)1/7)1. 時變情況時變情況q 如果描述最優(yōu)控制問題的一些函數(shù),如狀態(tài)方程的 f() 中顯含時間t, 或末值型性能指標(biāo) S()中顯含時間tf, 則該問題稱為時變(非定常)的,并可描述如下。 時變系統(tǒng)最優(yōu)控制問題時變系統(tǒng)最優(yōu)控制問題 對時變的被控系統(tǒng) 求一容許控制u(t)U,tt0,tf,使如下末值型性能指標(biāo)泛函取極值。Ju()=S(x(tf),tf) 00( )( ( ), ( ), ),( )ttt ttxf xuxx時變情況時變情況(2/7)2/7)q 對于時變問題,可以通過引進(jìn)新的狀態(tài)變量的方法將時變的問題變換成定常的問題,再應(yīng)用定常問題的極大值原理(

34、定理9),便可推導(dǎo)出時變問題的極大值原理。證明：對時變的狀態(tài)方程和性能指標(biāo),引入如下輔助狀態(tài)變量xn+1(t) = t使其滿足輔助狀態(tài)方程和初始條件xn+1(t0)=t0, xn+1(tf)=tf1( )1nxt時變情況時變情況(3/7)3/7) 則上述時變的狀態(tài)方程和性能指標(biāo)泛函可分別變換為如下定常的狀態(tài)方程和性能指標(biāo)泛函 對上述輔助的定常最優(yōu)控制問題,應(yīng)用極大值原理(定理9),則有如下時變最優(yōu)控制問題的極大值原理。11( )( ( ), ( ), )( )1 ( )( (),()nfnfttt txtJStxtxf xuux時變情況時變情況(4/7)4/7)定理定理1010q 定理定理10

35、(10(時變系統(tǒng)極大值原理時變系統(tǒng)極大值原理) )時變系統(tǒng)最優(yōu)控制問題時變系統(tǒng)最優(yōu)控制問題的最優(yōu)控制函數(shù)u*(t)、最優(yōu)狀態(tài)軌線x*(t)和協(xié)態(tài)向量函數(shù) (t)使得:1) x*(t)和 (t)滿足規(guī)范方程式中,哈密頓函數(shù)為( , , , )( )( ( ), ( ), )( , , , )( ( ), ( ), )( )( )Htttt tHttt ttt x u xf xux u fxuxx),(),()(),(),(),(ttttttttHuxfux時變情況時變情況(5/7)5/7)2) 邊界條件 3) 哈密頓函數(shù)H作為u(t)U的函數(shù),在u(t)=u*(t),tt0,tf時取絕對極小,即

36、或4) 在最優(yōu)軌線的末端,哈密頓函數(shù)應(yīng)滿足0( (),)( ),()()ffffStttttxxxx*( )( ), ( ),( ), )min( ), ( ), ( ), )tUHttt tHttt tuxuxuUttttttttHttttHf)(,),(),(),(),(),(),(0*uuxuxffffffftttSttttH),(),(),(),(*xux時變情況時變情況(6/7)6/7)5) 沿最優(yōu)軌線哈密頓函數(shù)滿足如下關(guān)系 q 定理10的證明可直接應(yīng)用定常情況的極大值原理(定理9)給出（略）。*(, , )( ), ( ),( ), )(), (),(),)dftfffftHsHt

37、tt tHttttssx uxuxu時變情況時變情況(7/7)7/7)q 比較定理10和定理9可知,時變性并沒有改變極大值原理的規(guī)范方程、橫截條件及極值條件,卻改變了最優(yōu)軌線末端哈密頓函數(shù)的值。 在定常情況下,沿最優(yōu)軌線哈密頓函數(shù)的值為常數(shù)(當(dāng)tf自由時為零),而時變時卻不是常數(shù),它由定理10的條件5)決定。q 值得指出的是,定理10的條件(5)不是求解該最優(yōu)控制問題的必要條件,只是描述最優(yōu)軌線上哈密頓函數(shù)的一個性質(zhì)。 定理10的前4個條件才是必要的,由它們已經(jīng)能決定出最優(yōu)控制函數(shù)u*(t)、最優(yōu)軌線x*(t)和最優(yōu)末態(tài)時刻。積分型性能指標(biāo)積分型性能指標(biāo)(1/7)1/7)2. 積分型性能指標(biāo)積

38、分型性能指標(biāo)q 最優(yōu)控制的極大值原理討論的性能指標(biāo)泛函為末值型的,實(shí)際上許多控制問題的指標(biāo)函數(shù)為積分型。 對該類性能指標(biāo)函數(shù)的控制問題可描述如下。 積分型泛函最優(yōu)控制問題積分型泛函最優(yōu)控制問題 對定常的被控系統(tǒng)(92),求容許控制u(t)U,tt0,tf,使如下積分型性能指標(biāo)泛函取極值。0 ()( ( ), ( ), )dfttJLtt ttuxu( )( ( ), ( )(92)ttt xf xu積分型性能指標(biāo)積分型性能指標(biāo)(2/7)2/7)q 對積分型泛函指標(biāo)(138),引入輔助狀態(tài)變量x0,使其滿足則有則上述積分型性能指標(biāo)泛函的最優(yōu)控制問題可變換成狀態(tài)方程和性能指標(biāo)泛函分別為 的最優(yōu)控制

39、問題。 00 ()( ( ), ( )d()ftftJLtttx tuxu0 ()( ( ), ( ), )d(138)fttJLtt ttuxu000( )( ( ), ( ).( )0 x tLttx txu00( )( ( ), ( )( )( ( ), ( ) ()()fx tLtttttJx txuxf xuu積分型性能指標(biāo)積分型性能指標(biāo)(3/7)3/7)定理定理1111q 對上述輔助的最優(yōu)控制問題,應(yīng)用極大值原理(定理 9),則有如下積分型性能指標(biāo)泛函的最優(yōu)控制問題的極大值原理。q 定理定理1111( (積分型泛函積分型泛函極大值原理極大值原理) ) 積分型泛函積分型泛函最優(yōu)控制問

40、題最優(yōu)控制問題的最優(yōu)控制函數(shù)u*(t)、最優(yōu)狀態(tài)軌線x*(t)和協(xié)態(tài)向量函數(shù) (t),使得:1) x*(t)和 (t)滿足規(guī)范方程式中,哈密頓函數(shù)為( , , )( )( ( ), ( )( , , )( ( ), ( )( ( ), ( )( )( )HtttHLtttttt x u xf xux u xufxuxxx( ( ), ( ), ( )( ( ), ( )( )( ( ), ( )HtttLtttttxuxuf xu積分型性能指標(biāo)積分型性能指標(biāo)(4/7)4/7)2) 邊界條件 3) 哈密頓函數(shù)H作為u(t)U的函數(shù),在u(t)=u*(t),tt0,tf時取絕對極小,即或4) 在最

41、優(yōu)軌線的末端,哈密頓函數(shù)應(yīng)滿足0( ),()0fttxx*( )( ), ( ),( )min( ), ( ), ( )tUHtttHtttuxuxu*0( ), ( ),( )( ), ( ), ( ) ,( )fHtttHttttt ttU xuxuu*(), (),()0( ), ( ),( )(), (),()constantffffffffHttttHtttHttttxuxuxu自由固定積分型性能指標(biāo)積分型性能指標(biāo)(5/7)5/7)q 定理11的證明可直接應(yīng)用定常情況的極大值原理(定理9)給出（略）。 比較定理11和定理9可知,積分型性能指標(biāo)泛函的極大值原理與末值型性能指標(biāo)的極大值原

42、理相比,除哈密頓函數(shù)H的定義和協(xié)態(tài)變量向量函數(shù) (t)的邊界條件有一定區(qū)別之外,其他條件與結(jié)論基本一致。積分型性能指標(biāo)積分型性能指標(biāo)(6/7)6/7)q 不難驗證,若性能指標(biāo)泛函為復(fù)合型的,即則相應(yīng)的哈密頓函數(shù)為 復(fù)合型性能指標(biāo)泛函的最優(yōu)控制問題的極大值原理與積分型性能指標(biāo)泛函的基本一致,但協(xié)態(tài)變量向量函數(shù) (t)的邊界條件(橫截條件)變?yōu)?可見末值型性能指標(biāo)不影響哈密頓函數(shù)的定義,但會影響邊界條件(橫截條件)。fttftttLtSJ0d)(),()()(uxxu)(),()()(),()(),(),(tttttLtttHuxfuxux)()()(fffttStxx積分型性能指標(biāo)積分型性能指標(biāo)

43、(7/7)7/7)q 上面討論的是時變的、末值型性能指標(biāo)泛函的最優(yōu)控制問題,和定常的、積分型性能指標(biāo)泛函的最優(yōu)控制問題的極大值原理。 由于前面所述的各種最優(yōu)控制問題經(jīng)數(shù)學(xué)變換都可等效到同一類型的最優(yōu)控制問題來處理,故其他情況的最優(yōu)控制問題的極大值原理可由定理9、定理10和定理11推廣而得。自由末端的極大值原理自由末端的極大值原理(1/1)1/1)4.4 末端受約束的極大值原理末端受約束的極大值原理q 前面討論了自由末端問題的極大值原理,下面考慮存在 末態(tài)約束末態(tài)約束 積分型限制積分型限制的最優(yōu)控制問題。末態(tài)約束問題末態(tài)約束問題(1/6)1/6)1. 末態(tài)約束問題末態(tài)約束問題q 末態(tài)x(tf)受

44、約束的控制問題可描述如下。 末態(tài)約束最優(yōu)控制問題末態(tài)約束最優(yōu)控制問題 對定常的被控系統(tǒng)(7-92),其末態(tài)滿足約束(目標(biāo)集)式中,g1(x(tf)和g2(x(tf)分別表示p維和q維關(guān)于x(tf)的連續(xù)可微向量函數(shù)。 求一容許控制u(t)U,tt0,tf,使末值型性能指標(biāo)(91)取極小值。 ( )( ()(91)( )( ( ), ( )(92)fJSttttuxxf xu12:( ()=0,( ()0ffMttg xg x末態(tài)約束問題末態(tài)約束問題(2/6)2/6)q 末態(tài)約束(144)中末態(tài)時刻tf是狀態(tài)軌線x(t)與目標(biāo)集M首次相遇的時刻。 若式(144)中性能指標(biāo)含有末值項, pn；否則

45、,pn。 而維數(shù)q不受限制。q 與自由末端問題不同,現(xiàn)在要求末態(tài)x(tf)只能落在由約束條件(144)所規(guī)定的目標(biāo)集上。 對于這種約束條件下的泛函極值問題,如同等式和不等式約束下求函數(shù)極值一樣,通過引入拉格朗日乘子 和 ,將末態(tài)約束化為等價的末值型性能指標(biāo)J1u()=S(x(tf)+ g1(x(tf)+ g2(x(tf)式中, 和 為不同時為零的p維和q維常向量。12:( ()=0,( ()0(144)ffMttg xg x末態(tài)約束問題末態(tài)約束問題(3/6)3/6) 類似不等式約束的函數(shù)極值問題的庫恩-塔克爾定理,考慮不等式約束條件的乘子要滿足約束條件q 類似于前面定常的末值型性能指標(biāo)泛函的最

46、優(yōu)控制問題的極大值原理的證明,有如下末態(tài)受等式和不等式條件約束的定常末值型性能指標(biāo)泛函的最優(yōu)控制問題的極大值原理。2( ()00,1,2,.,iifigtiqx末態(tài)約束問題末態(tài)約束問題(4/6)4/6)定理定理7-127-12q 定理定理12(末態(tài)約束極大值原理末態(tài)約束極大值原理)末態(tài)約束最優(yōu)控制問題末態(tài)約束最優(yōu)控制問題的最優(yōu)控制函數(shù)為u*(t)、最優(yōu)狀態(tài)軌線為x*(t)和協(xié)態(tài)向量函數(shù) (t),以及不同時為零的 p 維常向量 和 q維常向量 ,使得:1) x*(t) 和 (t) 滿足規(guī)范方程 式中, 哈密頓函數(shù)為( , , )( )( ( ), ( )( , , )( ( ), ( )( )(

47、 )HtttHtttt x u xf xux u fxuxx( ( ), ( ), ( )( )( ( ), ( )Httttttxuf xu末態(tài)約束問題末態(tài)約束問題(5/6)5/6)2) 邊界條件 3) 哈密頓函數(shù)H作為u(t)U的函數(shù),在u(t)=u*(t),tt0,tf時取絕對極小,即或012122( ),( ()( ()( ()()()()()( ()=0( ()0( ()00,1,2,.,fffffffffiifitStttttttttgtiqxxxgxgxxxxg xg xx*( )( ), ( ),( )min( ), ( ), ( )tUHtttHtttuxuxu*0( ),

48、( ),( )( ), ( ), ( ) ,( )fHtttHttttt ttU xuxuu末態(tài)約束問題末態(tài)約束問題(6/6)6/6)4) 在最優(yōu)軌線的末端,哈密頓函數(shù)應(yīng)滿足q 上面給出的是末態(tài)受約束的定常性能指標(biāo)泛函的最優(yōu)控制問題的極大值原理,對于其他情況, 如時變的、積分型的或復(fù)合型的性能指標(biāo)泛函的最優(yōu)控制問題的極大值原理, 可參照定理12及相應(yīng)的定理10或定理11得到。 這里不再進(jìn)行詳細(xì)討論。*(), (),()0( ), ( ),( )(), (),()constantffffffffHttttHtttHttttxuxuxu自由固定積分約束問題積分約束問題(1/7)1/7)2. 積分約

49、束問題積分約束問題q 實(shí)際被控系統(tǒng)由于所處環(huán)境的復(fù)雜性,所受的限制、約束條件是各異的。 例如,航天器材上要求總的消耗能量是有限的。 這些約束條件有時可用對狀態(tài)變量x(t)和控制變量u(t)的積分型約束條件來表示。 這類有積分型約束條件的最優(yōu)控制問題可描述如下。積分約束問題積分約束問題(2/7)2/7)q 積分型約束最優(yōu)控制問題積分型約束最優(yōu)控制問題 對定常的被控系統(tǒng)(92),其系統(tǒng)狀態(tài)軌線x(t)和控制函數(shù)u(t)滿足積分型約束式中,L1(x(t),u(t)和L2(x(t),u(t)分別為k維和l維向量函數(shù)。 求一容許控制u(t)U,tt0,tf,使積分型性能指標(biāo)(138)取極值。q 處理這類

50、問題與前面類似,同樣可以采用引進(jìn)新的狀態(tài)變量的方法將受上述積分限制的最優(yōu)控制問題轉(zhuǎn)換到前面已經(jīng)討論過的最優(yōu)控制問題,從而獲得該最優(yōu)控制問題的極大值原理。0( )( ( ), ( )(92) ()( ( ), ( ), )d(138)ftttttJLtt tt xf xuuxu001122( ( ), ( )d0( ( ), ( )d0ffttttJLtttJLtttxuxu積分約束問題積分約束問題(3/7)3/7) 如,引入輔助狀態(tài)變量x0,x1和x2如下則積分型性能指標(biāo)泛函變換為輔助末值型性能指標(biāo)泛函Ju()=x0(tf) 上述積分型約束變換為如下輔助狀態(tài)變量的末端條件x1(tf)=J1=0

51、 x2(tf)=J20那么,再應(yīng)用極大值原理,可推導(dǎo)得受積分限制的、積分型性能指標(biāo)泛函指標(biāo)的最優(yōu)控制的極大值原理。0001122( ( ), ( )d( ( ), ( )d0( ( ), ( )d0fffttttttJLtttJLtttJLtttxuxuxu00011102220( )( ( ), ( ),( )0( )( ( ), ( ),( )0( )( ( ), ( ),( )0 x tLttx ttLttttLtttxuxxuxxxux積分約束問題積分約束問題(4/7)4/7)定理定理1313q 定理定理13(積分型約束極大值原理積分型約束極大值原理) 積分型約束最優(yōu)控制問題積分型約束

52、最優(yōu)控制問題的最優(yōu)控制函數(shù)u*(t)、最優(yōu)狀態(tài)軌線x*(t)和協(xié)態(tài)向量函數(shù) (t),以及k維常向量 1和l維常向量 2,使得:1) x*(t)和 (t)滿足規(guī)范方程式中,哈密頓函數(shù)為( , , )( )( ( ), ( )( , , )( ( ), ( )( ( ), ( )( )( )HtttHLtttttt x u xf xux u xufxuxxx121122( ( ), ( ), ( )( ( ), ( )( ) ( ( ), ( )( ( ), ( )( ( ), ( )HtttLtttttLttLttx uxuf xuxuxu積分約束問題積分約束問題(5/7)5/7)2) 邊界條件

53、 3) 哈密頓函數(shù)H作為u(t)U的函數(shù),在u(t)=u*(t),tt0,tf時取絕對極小,即或00001122222( )()0( ( ), ( )d0( ( ), ( )d000,1,2,.,fffttttiiittJLtttJLtttJilxxxuxu*1212( )( ), ( ),( )min( ), ( ), ( )tUHtttHtttux ux u*12120( ), ( ),( )( ), ( ), ( ) ,( )fHtttHttttt ttU x ux uu積分約束問題積分約束問題(6/7)6/7)4) 在最優(yōu)軌線的末端,哈密頓函數(shù)應(yīng)滿足q 綜上所述,積分型約束限制條件可通

54、過拉格朗日乘子向量轉(zhuǎn)化成等價的積分型性能指標(biāo)泛函。 因此,相應(yīng)的哈密頓函數(shù)的定義中,引進(jìn)了乘子向量 1和 2。*12*12*12(), (),()0( ), ( ),( )(), (),()constantffffffffHttttHtttHttttx ux ux u自由固定積分約束問題積分約束問題(7/7)7/7)q 上面討論的是帶積分約束限制條件的、定常的積分型性能指標(biāo)泛函的最優(yōu)控制問題。 對其他類型的被控系統(tǒng)和性能指標(biāo)泛函,帶積分型約束限制條件的最優(yōu)控制問題,可類似于上述定理13給出。4.5 離散系統(tǒng)極小值原理 設(shè)離散系統(tǒng)的狀態(tài)方程為:) 1, 2 , 1 , 0(),(),() 1(N

55、kkkukxfkx 其中f是連續(xù)可導(dǎo)的n維向量函數(shù), x(k)為n維的狀態(tài)向量序列, u(k)為p維控制向量序列,k表示時刻tk,終端時刻tf =tN.設(shè)初始狀態(tài)x(0)=0,終端時刻tN給定,終端狀態(tài) x(N)自由,控制向量序列u(k)無不等式約束.系統(tǒng)性能指標(biāo)為: 10),(),(),(NkkkukxFNNxJ要求尋找最優(yōu)控制u*(k),使性能指標(biāo)J為極小.建立新的指標(biāo)泛函101100(),(),(), (1)(),(),(1)(),(),(),(1),(1)(1)NakTNNTkkJx NNFx ku kkkfx ku kkx kx NNHx ku kkkkx k式中(k+1)為n維拉格

56、朗日乘子向量序列 離散哈密而頓函數(shù)序列H為)1,2, 1 ,0(),(),()1(),(),(),1(),(),(NkkkukxfkkkukxFkkkukxHT由于x(0)給定, x(0)=0101010)1()1()1(),1(),(),()()(),1(),(),()()()(),1(),(),()()()(),(NkTNkTNkTakkxkkkkukxHkukukkkukxHkxkkxkkkukxHNxNNxNNxJ令 0aJ可得J取極值的必要條件為: 正則方程 1,2,1 ,0,)1(),1(),(),()1(1,2,1 ,0,)(),1(),(),()(NkkkkkukxHkxNkk

57、xkkkukxHk邊界條件與橫截條件: )(),()(0)0(NxNNxNx控制方程: 1,2, 1 ,0,0)(),1(),(),(NkkukkkukxH*特別的當(dāng)終端狀態(tài)有等式 約束時 0),(NNxM橫截條件改為: )()(),()(),()(kNxNNxMNxNNxNT*當(dāng)u(k) 有不等式約束時u(k) U =0Hu不成立, 此時最優(yōu)控制序列對應(yīng)的H函數(shù)序列為絕對極小值, 即: *()( ),( ),(1),min( ),( ),(1),u kUH xkukkkH xku kkk連續(xù)極小值原理離散極小值原理系統(tǒng)性能指標(biāo)極值問題哈密而頓函數(shù)正則方程極值極值條件條件控制無約束控制有約束橫

58、截條件(終端時間給定,終端自由)00)(),(),()(xtxttutxftx)1,2,1 ,0()0(),(),()1(0Nkxxkkukxfkx0 (), ( ),( ), ftfftJx ttF x tu tt dt10(),(),(),NkJxNNFxkukkmin),(*Jtu使求min, 1, 2 , 1 , 0),(*JNkku使求),(),(),(tuxftuxFtuxHT)1,2, 1 ,0(),(),()1(),(),()(NkkkukxfkkkukxFkHTHHxx ，1,2, 1 ,0)1()()1(,)()()(NkkkHkxkxkHk0uH1,2,1 ,0,0)()

59、(NkkukH*, min, H xutH xut),1(),(),(min),1(),(),(*kkkukxHkkkukxH0)(0),()()(ffffftttxtxt時0)(0),()()(NNNxNxN時q 例例 設(shè)離散狀態(tài)方程及邊界條件為 00)2(01)0(1 . 00101 . 01)()() 1(xxhGkhukGxkx試用離散極小值原理求最優(yōu)控制序列使性能指標(biāo)102)(05.0kkuJ取極小值, 并求出最優(yōu)狀態(tài)序列. 解 )()()1()(05.0),1(),(),(2khukGxkkukkkukxHT)1()()(kGkxHkT0)1()(1 .00)(khkukuHT狀態(tài)

60、方程:2(1)( )( )(1)( )10(1)(1)( )10( )0,(0)(1) (1)(0)10(1)1,(1)(2) (2)(1)10(1) (0)10(1)10(1)TTTTTTTTTTTx kGx khu kx kGx khhkx kGx khh GkkGxGxhhkGxGxhh GG xGhhhh G101)1(100)1(,100)0()(10)1(10)(3002000)1()0(1002000)1(xuukGhkhkuGTTTT，列寫結(jié)果如下 100)1(,100)0(1002000)1(3002000)0(00)2(101)1(01)0(uuxxxq 4.6 4.6 極