北京交通大學(xué)最優(yōu)控制理論與算法研究生課程第四章極大值原理課件

極大值原理(1/4)第4章

極大值原理前一章討論的最優(yōu)控制問題都基于以下基本假定:控制量u(t)的取值范圍U不受任何限制,即控制域U充滿整個r維控制空間,或者U是一個開集。即控制量u(t)受等式條件約束但是,大多數(shù)情況下控制量總是受限制的。例如,控制量可能受如下大小限制|ui(t)|a

i=1,2…,r式中,a為已知常數(shù)。極大值原理(1/4)第4章極大值原理極大值原理(2/4)上述約束條件即相當(dāng)于容許控制空間U是一個超方體。甚至,有些實際控制問題的控制量為某一孤立點集。例如,繼電器控制系統(tǒng)的控制輸入限制為ui(t)=±a

i=1,2,…,r一般情況下,可將控制量所受的約束用不等式來表示Mi(u(t),t)0,i=1,2,…當(dāng)控制變量u(t)受不等式約束條件限制時,古典變分法就無能為力了。最優(yōu)控制往往需要在閉集的邊界上取值。這就要求人們?nèi)ヌ剿餍碌睦碚摵头椒āO大值原理(2/4)上述約束條件即相當(dāng)于容許控制空間U是一個極大值原理(3/4)應(yīng)用古典變分法的另一個限制條件是要求函數(shù)L(x,u,t),f(x,u,t),S(x(tf),tf)對其自變量的連續(xù)可微性,特別是要求H/u=0存在。因此,對于有較大實際意義的性能指標(biāo)泛函就無能為力了。所以,類似消耗燃料最小這類常見最優(yōu)控制就無法用古典變分法來解決。極大值原理(3/4)應(yīng)用古典變分法的另一個限制條件是要求函數(shù)極大值原理(4/4)鑒于古典變分法的應(yīng)用條件失之過嚴(yán),引起了不少數(shù)學(xué)界和控制界學(xué)者的關(guān)注。貝爾曼的動態(tài)規(guī)劃和龐特里亞金的極大值原理是較為成功的,應(yīng)用很廣泛,成為解決最優(yōu)控制問題的有效工具。本節(jié)主要介紹極大值原理的結(jié)論及其啟發(fā)性證明。講授內(nèi)容為自由末端的極大值原理極大值原理的證明極大值原理的幾種具體形式

約束條件的處理極大值原理(4/4)鑒于古典變分法的應(yīng)用條件失之過嚴(yán),引起了自由末端的極大值原理(1/8)4.1自由末端的極大值原理最優(yōu)控制問題的具體形式是多種多樣的,在第2章的討論中可知,3種泛函問題(拉格朗日問題、波爾扎問題和麥耶爾問題)的表達(dá)形式可以互相轉(zhuǎn)換。這里，研究泛函為定常的末值型性能指標(biāo)的最優(yōu)控制問題(麥耶爾問題),然后將結(jié)論逐步推廣至其他最優(yōu)控制問題。下面,就定常的末值型性能指標(biāo)、末態(tài)自由的控制問題來敘述極大值原理。自由末端的極大值原理(1/8)4.1自由末端的極大值原理自由末端的極大值原理(2/8)—定理7-9定理9(極大值原理)

設(shè)u(t)U,t[t0,tf],是一容許控制。指定的末值型性能指標(biāo)泛函為J[u(·)]=S(x(tf)),式中,x(t)是定常的被控系統(tǒng)相應(yīng)于控制量u(t)的狀態(tài)軌線,tf為未知的末態(tài)時刻。設(shè)使該性能指標(biāo)泛函極小的最優(yōu)控制函數(shù)為u*(t)、最優(yōu)狀態(tài)軌線為x*(t)。則必存在不恒為零的n維向量函數(shù)(t),使得1)

(t)是方程自由末端的極大值原理(2/8)—定理7-9定理9(極大值原自由末端的極大值原理(3/8)滿足2)

邊界條件的解,其中哈密頓函數(shù)為3)則有即自由末端的極大值原理(3/8)滿足自由末端的極大值原理(4/8)4)

沿最優(yōu)軌線哈密頓函數(shù)應(yīng)滿足下面先對上述極大值原理的涵義作簡單的解釋,再給出該定理的啟發(fā)性證明。自由末端的極大值原理(4/8)4)沿最優(yōu)軌線哈密頓函數(shù)應(yīng)滿自由末端的極大值原理(5/8)容許控制條件的放寬。古典變分法應(yīng)用于最優(yōu)控制問題,要求控制域U=Rr,即控制域U充滿整個r維控制空間。然后,從控制量的變分u(t)的任意性出發(fā),導(dǎo)出極值條件H/u=0。這一條件是非常嚴(yán)格的。其一,它要求哈密頓函數(shù)H對控制量u(t)連續(xù)可微;其二,它要求控制量的變分u(t)具有任意性,即控制量u(t)不受限制,或僅在受等式約束條件限制的開集中取值。自由末端的極大值原理(5/8)容許控制條件的放寬。自由末端的極大值原理(6/8)2)

定理9中的式(93)和(94)同樣稱為協(xié)態(tài)方程和橫截條件,其相應(yīng)求解方法與基于古典變分法的最優(yōu)控制求解方法類似。變分法的極值條件是一種解析形式,而極大值原理的極值求解條件(96)是一種定義形式,不需要哈密頓函數(shù)H對控制量u(t)的可微性加以約束,而且對于通常的對u(t)的約束都是適用的,例如,u(t)受不等式約束條件約束,即在閉集中取值。自由末端的極大值原理(6/8)2)定理9中的式(93)和(自由末端的極大值原理(7/8)3)

由極值求解條件(96)可知,極大值原理得到的是全局最小值,而非局部極值,而古典變分法中由極值條件H/u=0得到的是局部極小值。再則,如果把條件(96)仍稱為極值條件,則極大值原理得到的是強極值。而古典變分法在歐拉方程推導(dǎo)時,對極值曲線x*(t)和其導(dǎo)數(shù)都引入變分,得到的是弱極值。不難理解,當(dāng)滿足古典變分法的應(yīng)用條件時,極值條件H/u=0只是極大值原理的極值求解條件(96)的一個特例。自由末端的極大值原理(7/8)3)由極值求解條件(96)可自由末端的極大值原理(8/8)4)

在上述定理中,最優(yōu)控制u*(t)使哈密頓函數(shù)取最小值。所謂“極小值原理”一詞正源于此,稱“極大值原理”是習(xí)慣性叫法。若實際控制問題需求極大值,可將極值求解條件的求最小(min)改為求最大(max)即可。5)

極大值原理只給出最優(yōu)控制的必要條件,并非充分條件。得到的解是否能使泛函J最小,還有待證實。極大值原理更沒有涉及解的存在性問題。如果實際問題的物理意義已經(jīng)能夠判定所討論的問題的解是存在的,而由極大值原理所求出的控制僅有一個,可以斷定,此控制就是最優(yōu)控制。實際遇到的問題往往屬于這種情況。自由末端的極大值原理(8/8)4)在上述定理中,最優(yōu)控制u極大值原理的證明(1/2)7.4.2極大值原理的證明龐特里亞金對極大值原理作了嚴(yán)格的證明,涉及拓?fù)鋵W(xué)、實函數(shù)分析等很多數(shù)學(xué)問題,這是作為工科教材難以詳細(xì)論述的。本教材利用增量法給出極大值原理的一個啟發(fā)性證明。證明中所作的假設(shè)是:1)

函數(shù)f(x,u)和S(x(tf))都是其自變量的連續(xù)函數(shù);2)函數(shù)f(x,u)和S(x(tf))對于x是連續(xù)可微的,即f/x和S/x(tf)存在且連續(xù),但并不要求函數(shù)f(x,u)對u可微;極大值原理的證明(1/2)7.4.2極大值原理的證明極大值原理的證明(2/2)3)

為了保證微分方程解的存在和惟一性,假定f(x,u)在任意有界集上對自變量x滿足如下李普希茨(Lipschitz)條件‖f(x1,u)-f(x2,u)‖‖x1-x2‖>0,x1,x2XRn,uURr下面敘述用增量法證明極大值原理的過程,證明步驟為:構(gòu)造泛函J的增量求取x(t)的表達(dá)式對x(t)進(jìn)行估計極值條件的推證tf的考慮然后介紹一基于極大值原理的最優(yōu)控制算例極大值原理的證明(2/2)3)為了保證微分方程解的存在和惟泛函J的增量(1/2)(1)泛函J的增量假定末態(tài)時刻tf已知,根據(jù)S(x(tf))對x(tf)的連續(xù)可微性泛函J的增量J可表示為式中u*(t)和x*(t)分別表示最優(yōu)控制函數(shù)及相應(yīng)的最優(yōu)軌線;x(t)為x(t)在最優(yōu)軌線x*(tf)附近的變分;o(‖x(tf)‖)表示泰勒展開式中x(tf)的高階項。J[u(·)]=S(x(tf))泛函J的增量(1/2)(1)泛函J的增量J[u(·)]=S泛函J的增量(2/2)要從J[u*(·)]0的條件導(dǎo)出最優(yōu)控制必要條件,首先應(yīng)找出x(t)與控制量u(t)的變分u(t)的關(guān)系,進(jìn)而對x(t)作出估計。下面為表述更簡潔,時間函數(shù)x(t)與u(t)的時間變量t略去不寫。泛函J的增量(2/2)要從J[u*(·)]0的條件導(dǎo)出最x(t)的表達(dá)式(1/3)(2)x(t)的表達(dá)式根據(jù)f(x,u)對x的可微性,由狀態(tài)方程(92)可得如下由控制量的變分u(t)引起的狀態(tài)方程(92)的變分x(t)的表達(dá)式(1/3)(2)x(t)的表達(dá)式x(t)的表達(dá)式(2/3)令矩陣函數(shù)Φ(t,s)為線性狀態(tài)方程的狀態(tài)轉(zhuǎn)移矩陣,即Φ(t,s)滿足如下微分方程組考慮到x(t0)=0,則x(t)在t=tf時的解為x(t)的表達(dá)式(2/3)令矩陣函數(shù)Φ(t,s)為線性狀態(tài)x(t)的表達(dá)式(3/3)將上述方程代入式(98),則得泛函J的增量J為上式雖然給出了泛函增量J與（u,x

）的關(guān)系,但是對一般形式的u,還很難估計上式的J。然而，對任意的u,上式均成立,故對特定的u也應(yīng)成立。為此,下面討論時取一特定的變分u,以利于對上式的估計。x(t)的表達(dá)式(3/3)將上述方程代入式(98),則得泛對x(t)的估計(1/11)(3)對x(t)的估計設(shè)u(t)是控制u(t)的任意變分,對應(yīng)x(t)的增量x(t)應(yīng)滿足如下方程將上式的第一式改寫為對x(t)的估計(1/11)(3)對x(t)的估計對x(t)的估計(2/11)對于給定的u(t)和u(t),由于它們的分段連續(xù)性,必存在有界的U1U及XRn,使u(t)+u(t)U1,x(t)X,對所有的t[t0,tf],根據(jù)李卜希茨條件,必存在>0,滿足‖f(x+x,u+u)-f(x,u+u)‖<‖x‖且由f(x,u)對u的連續(xù)性,對有界的u(t)和u(t),存在b(t)>0,則‖f(x,u+u)-f(x,u)‖|b(t)|t[t0,tf]其中于是由式(105)可知,x(t)滿足對x(t)的估計(2/11)對于給定的u(t)和u(t),對x(t)的估計(3/11)—引理2為了作進(jìn)一步的估計,下面先引入一個引理。引理2證明由歐幾里德范數(shù)(2-范數(shù))的定義,有從而有證畢對x(t)的估計(3/11)—引理2為了作進(jìn)一步的估計,下對x(t)的估計(4/11)因此,由引理2和式(109),有即將兩邊乘以e-t,得解得對x(t)的估計(4/11)因此,由引理2和式(109),對x(t)的估計(5/11)至今我們還沒有對u(t)作任何限制。為了使變分后的控制u(t)仍屬于容許控制空間,即u(t)U,對所有的t[t0,tf],

為了便于導(dǎo)出極值求解條件,采用一種異于古典變分的特定形式的變分--針狀變分。圖5針狀變分示意圖令σ為最優(yōu)控制u*(t)的任意一個連續(xù)點,l>0是某一確定的數(shù),>0是一個充分小的數(shù)?？蓪⒖刂屏康淖兎謚(t)取成一個依賴于σ,l和的針狀變分,如圖5所示。對x(t)的估計(5/11)至今我們還沒有對u(t)作任何對x(t)的估計(6/11)上述針狀變分記為σu(t),可表示為式中,U表示任意容許控制,這就是說,在充分小的時間區(qū)間[σ,σ+l]內(nèi),可以取控制域U內(nèi)的任何點。當(dāng)然,也可以取閉集上的點。變分是一個有限量。當(dāng)是一個充分小的量時,則由σu(t)所引起的變分σx(t)是否仍為一個充分小的量。對x(t)的估計(6/11)上述針狀變分記為σu(t),對x(t)的估計(7/11)下面證明由針狀變分σu(t)引起的狀態(tài)增量σx(t)是一個與同階的無窮小量。事實上,當(dāng)控制量作針狀變分時,式(108)可表示為于是,由式(111)可知,由針狀變分σu(t)引起的狀態(tài)增量σx(t)為上式表明,‖σx(t)‖與>0是同階無窮小量。對x(t)的估計(7/11)下面證明由針狀變分σu(t)對x(t)的估計(8/11)據(jù)此,由式(103)可得如下由針狀變分σu(t)所引起的泛函J的變分σJ的表達(dá)式對x(t)的估計(8/11)據(jù)此,由式(103)可得如下由針對x(t)的估計(9/11)上式中后3項都是的高階無窮小量,可歸并成一項,則上式可記為對x(t)的估計(9/11)上式中后3項都是的高階無窮小量對x(t)的估計(10/11)令則向量(t)必滿足狀態(tài)方程的協(xié)態(tài)方程及邊界條件對x(t)的估計(10/11)令對x(t)的估計(11/11)若記則共軛方程(118)可寫成于是,泛函增量表達(dá)式(116)可改寫成對x(t)的估計(11/11)若記極值條件的推證(1/4)(4)極值條件的推證已記u*(t)是使泛函J取最小值的最優(yōu)控制,x*(t)為相應(yīng)的軌線,而(t)是協(xié)態(tài)方程的解。所以,對任意的控制變分,當(dāng)然也包含對u(t)的針狀變分,泛函的增量(122)必滿足因為x*(t)和(t)在t[t0,tf]范圍內(nèi)是連續(xù)函數(shù),而u*(t)和=u*(t)-σu(t)在上式的積分范圍內(nèi)也是連續(xù)的,所以哈密頓函數(shù)H是一連續(xù)函數(shù)。極值條件的推證(1/4)(4)極值條件的推證極值條件的推證(2/4)根據(jù)中值定理及H的連續(xù)性,則有式中,0<β<1。將上式代入式(123),可得用除上式的兩邊,得極值條件的推證(2/4)根據(jù)中值定理及H的連續(xù)性,則有極值條件的推證(3/4)當(dāng)→0時,考慮到l>0,則有或?qū)懽饔捎谏鲜皆趨^(qū)間[t0,tf]內(nèi)u*(t)的所有連續(xù)點都成立。同時考慮到要取遍容許控制域U中所有的點,因此,上式也可表示為式中,σ是區(qū)間[t0,tf]內(nèi)u*(t)的任意連續(xù)點。極值條件的推證(3/4)當(dāng)→0時,考慮到l>0,則有極值條件的推證(4/4)由于假定u(t)是分段連續(xù)函數(shù),而u*(t)的不連續(xù)點上的函數(shù)值如何,并不影響控制效果,因此,不妨認(rèn)為(127)對于任意的σ[t0,tf]都成立。這就是說,如果u*(t)U,t[t0,tf]是最優(yōu)控制,則對所有t[t0,tf]都必須滿足從而證明了極值條件。極值條件的推證(4/4)由于假定u(t)是分段連續(xù)函數(shù),而utf的考慮(1/9)(5)tf的考慮前面僅僅考慮了末態(tài)時刻tf給定的情況。當(dāng)tf可變時,還要考慮由tf的改變量tf所引起的泛函改變量。設(shè)u*(t)是使性能指標(biāo)泛函最小的最優(yōu)解,x*(t)是相應(yīng)的最優(yōu)軌線。若令tf的改變量tf=T1,其中T1為任意常數(shù),并同時考慮控制u(t)的針狀變分σu(σ)。J[u(·)]=S(x(tf))tf的考慮(1/9)(5)tf的考慮J[u(·)]=Stf的考慮(2/9)根據(jù)S(x(tf))的可微性,則有上式對任意T1及任意控制變分均成立,對u(t)0時也成立。當(dāng)u(t)0時,顯然有u(tf)=0,考慮到T1為任意實數(shù),于是可得J[u(·)]=S(x(tf))tf的考慮(2/9)根據(jù)S(x(tf))的可微性,則有Jtf的考慮(3/9)因此,有從而證明了式(97)的第1部分。當(dāng)取T1=0,對于針狀變分σu(t)應(yīng)有因此,依上述證明過程(1)~(4),同樣可以證明式(128)成立。tf的考慮(3/9)因此,有tf的考慮(4/9)下面證明當(dāng)tf固定,x(tf)自由時,式(97)的第2部分的證明。哈密頓函數(shù)H的增量可表示為考慮到哈密頓函數(shù)H(x,,u)對x和的連續(xù)可微性,因此,由泰勒展開式可得哈密頓函數(shù)的一階增量表示式tf的考慮(4/9)下面證明當(dāng)tf固定,x(tf)自若定義=u*(t+t),則由上式有如下H的一階增量式考慮到u*(t)是最優(yōu)控制函數(shù),由極值條件則有tf的考慮(5/9)若定義=u*(t+t),則由上式有如下H的一階增量式tf的考慮(6/9)考慮到時間增量t的任意性,其值可正可負(fù)。因此,由上式可知,當(dāng)t>0時,H0,則意味著哈密頓函數(shù)H隨時間t遞增;而當(dāng)t<0時,H0則意味著哈密頓函數(shù)H隨時間t遞減。故證明了即證明了式(97)的第2部分。綜合式(128)和上式,即證明了式(97)。tf的考慮(6/9)考慮到時間增量t的任意性,其值可正可tf的考慮(7/9)—例10例10

給定被控系統(tǒng)控制變量u(t)受不等式約束-1u(t)1約束,試求最優(yōu)控制函數(shù)u*(t)和最優(yōu)軌線x*(t),使性能指標(biāo)泛函J=x2(1)最小。tf的考慮(7/9)—例10例10給定被控系統(tǒng)tf的考慮(7/9)解該問題的哈密頓函數(shù)為則協(xié)態(tài)方程是其末端條件(橫截條件)為解之得1(t)=1-et-1

，

2(t)=1tf的考慮(7/9)解該問題的哈密頓函數(shù)為tf的考慮(8/9)運用極大值原理解得由于1(t)=1-et-1>0,t[0,1],可得

u*(t)=-1t[0,1]1(t)=1-et-1

2(t)=1tf的考慮(8/9)運用極大值原理1(t)=1-et-1tf的考慮(9/9)因此,由得同樣,可求得因此,該問題的最優(yōu)控制函數(shù)u*(t)和最優(yōu)軌線x*(t)分別為1(t)=1-et-1

2(t)=1tf的考慮(9/9)因此,由1(t)=1-et-1極大值原理的幾種具體形式

(1/1)4.3極大值原理的幾種具體形式

前面討論了定常系統(tǒng)的定常末值型性能指標(biāo)、末態(tài)自由的最優(yōu)控制問題的極大值原理。經(jīng)數(shù)學(xué)變換,上述最優(yōu)控制問題的極大值原理的結(jié)論可以推廣至?xí)r變系統(tǒng)積分型或復(fù)合型性能指標(biāo)等控制問題的最優(yōu)控制中,不再詳加證明。下面將給出幾種具體的極大值原理形式和分析證明的思路。極大值原理的幾種具體形式(1/1)4.3極大值原理的幾種時變情況(1/7)1.時變情況如果描述最優(yōu)控制問題的一些函數(shù),如狀態(tài)方程的f(·)中顯含時間t,或末值型性能指標(biāo)S(·)中顯含時間tf,則該問題稱為時變(非定常)的,并可描述如下。時變系統(tǒng)最優(yōu)控制問題

對時變的被控系統(tǒng)求一容許控制u(t)U,t[t0,tf],使如下末值型性能指標(biāo)泛函取極值。J[u(·)]=S(x(tf),tf))時變情況(1/7)1.時變情況時變情況(2/7)對于時變問題,可以通過引進(jìn)新的狀態(tài)變量的方法將時變的問題變換成定常的問題,再應(yīng)用定常問題的極大值原理(定理9),便可推導(dǎo)出時變問題的極大值原理。證明：對時變的狀態(tài)方程和性能指標(biāo),引入如下輔助狀態(tài)變量xn+1(t)=t使其滿足輔助狀態(tài)方程和初始條件xn+1(t0)=t0,

xn+1(tf)=tf時變情況(2/7)對于時變問題,可以通過引進(jìn)新的狀態(tài)變量的方時變情況(3/7)則上述時變的狀態(tài)方程和性能指標(biāo)泛函可分別變換為如下定常的狀態(tài)方程和性能指標(biāo)泛函對上述輔助的定常最優(yōu)控制問題,應(yīng)用極大值原理(定理9),則有如下時變最優(yōu)控制問題的極大值原理。時變情況(3/7)則上述時變的狀態(tài)方程和性能指標(biāo)泛函可分別變時變情況(4/7)—定理10定理10(時變系統(tǒng)極大值原理)時變系統(tǒng)最優(yōu)控制問題的最優(yōu)控制函數(shù)u*(t)、最優(yōu)狀態(tài)軌線x*(t)和協(xié)態(tài)向量函數(shù)(t)使得:1)

x*(t)和(t)滿足規(guī)范方程式中,哈密頓函數(shù)為時變情況(4/7)—定理10定理10(時變系統(tǒng)極大值原理)時時變情況(5/7)2)

邊界條件3)

哈密頓函數(shù)H作為u(t)U的函數(shù),在u(t)=u*(t),t[t0,tf]時取絕對極小,即或4)

在最優(yōu)軌線的末端,哈密頓函數(shù)應(yīng)滿足時變情況(5/7)2)邊界條件時變情況(6/7)5)

沿最優(yōu)軌線哈密頓函數(shù)滿足如下關(guān)系

定理10的證明可直接應(yīng)用定常情況的極大值原理(定理9)給出（略）。時變情況(6/7)5)沿最優(yōu)軌線哈密頓函數(shù)滿足如下關(guān)系時變情況(7/7)比較定理10和定理9可知,時變性并沒有改變極大值原理的規(guī)范方程、橫截條件及極值條件,卻改變了最優(yōu)軌線末端哈密頓函數(shù)的值。在定常情況下,沿最優(yōu)軌線哈密頓函數(shù)的值為常數(shù)(當(dāng)tf自由時為零),而時變時卻不是常數(shù),它由定理10的條件5)決定。值得指出的是,定理10的條件(5)不是求解該最優(yōu)控制問題的必要條件,只是描述最優(yōu)軌線上哈密頓函數(shù)的一個性質(zhì)。定理10的前4個條件才是必要的,由它們已經(jīng)能決定出最優(yōu)控制函數(shù)u*(t)、最優(yōu)軌線x*(t)和最優(yōu)末態(tài)時刻。時變情況(7/7)比較定理10和定理9可知,時變性并沒有改變積分型性能指標(biāo)(1/7)2.積分型性能指標(biāo)最優(yōu)控制的極大值原理討論的性能指標(biāo)泛函為末值型的,實際上許多控制問題的指標(biāo)函數(shù)為積分型。對該類性能指標(biāo)函數(shù)的控制問題可描述如下。積分型泛函最優(yōu)控制問題

對定常的被控系統(tǒng)(92),求容許控制u(t)U,t[t0,tf],使如下積分型性能指標(biāo)泛函取極值。積分型性能指標(biāo)(1/7)2.積分型性能指標(biāo)積分型性能指標(biāo)(2/7)對積分型泛函指標(biāo)(138),引入輔助狀態(tài)變量x0,使其滿足則有則上述積分型性能指標(biāo)泛函的最優(yōu)控制問題可變換成狀態(tài)方程和性能指標(biāo)泛函分別為的最優(yōu)控制問題。積分型性能指標(biāo)(2/7)對積分型泛函指標(biāo)(138),引入輔助積分型性能指標(biāo)(3/7)—定理11對上述輔助的最優(yōu)控制問題,應(yīng)用極大值原理(定理9),則有如下積分型性能指標(biāo)泛函的最優(yōu)控制問題的極大值原理。定理11(積分型泛函極大值原理)

積分型泛函最優(yōu)控制問題的最優(yōu)控制函數(shù)u*(t)、最優(yōu)狀態(tài)軌線x*(t)和協(xié)態(tài)向量函數(shù)(t),使得:1)

x*(t)和(t)滿足規(guī)范方程式中,哈密頓函數(shù)為積分型性能指標(biāo)(3/7)—定理11對上述輔助的最優(yōu)控制問題,積分型性能指標(biāo)(4/7)2)

邊界條件3)

哈密頓函數(shù)H作為u(t)U的函數(shù),在u(t)=u*(t),t[t0,tf]時取絕對極小,即或4)

在最優(yōu)軌線的末端,哈密頓函數(shù)應(yīng)滿足積分型性能指標(biāo)(4/7)2)邊界條件積分型性能指標(biāo)(5/7)定理11的證明可直接應(yīng)用定常情況的極大值原理(定理9)給出（略）。比較定理11和定理9可知,積分型性能指標(biāo)泛函的極大值原理與末值型性能指標(biāo)的極大值原理相比,除哈密頓函數(shù)H的定義和協(xié)態(tài)變量向量函數(shù)(t)的邊界條件有一定區(qū)別之外,其他條件與結(jié)論基本一致。積分型性能指標(biāo)(5/7)定理11的證明可直接應(yīng)用定常情況的極積分型性能指標(biāo)(6/7)不難驗證,若性能指標(biāo)泛函為復(fù)合型的,即則相應(yīng)的哈密頓函數(shù)為復(fù)合型性能指標(biāo)泛函的最優(yōu)控制問題的極大值原理與積分型性能指標(biāo)泛函的基本一致,但協(xié)態(tài)變量向量函數(shù)(t)的邊界條件(橫截條件)變?yōu)榭梢娔┲敌托阅苤笜?biāo)不影響哈密頓函數(shù)的定義,但會影響邊界條件(橫截條件)。積分型性能指標(biāo)(6/7)不難驗證,若性能指標(biāo)泛函為復(fù)合型的,積分型性能指標(biāo)(7/7)上面討論的是時變的、末值型性能指標(biāo)泛函的最優(yōu)控制問題,和定常的、積分型性能指標(biāo)泛函的最優(yōu)控制問題的極大值原理。由于前面所述的各種最優(yōu)控制問題經(jīng)數(shù)學(xué)變換都可等效到同一類型的最優(yōu)控制問題來處理,故其他情況的最優(yōu)控制問題的極大值原理可由定理9、定理10和定理11推廣而得。積分型性能指標(biāo)(7/7)上面討論的是時變的、末值型性能指標(biāo)泛自由末端的極大值原理(1/1)4.4末端受約束的極大值原理前面討論了自由末端問題的極大值原理,下面考慮存在末態(tài)約束積分型限制的最優(yōu)控制問題。自由末端的極大值原理(1/1)4.4末端受約束的極大值原理末態(tài)約束問題(1/6)1.末態(tài)約束問題末態(tài)x(tf)受約束的控制問題可描述如下。末態(tài)約束最優(yōu)控制問題對定常的被控系統(tǒng)(7-92),其末態(tài)滿足約束(目標(biāo)集)式中,g1(x(tf))和g2(x(tf))分別表示p維和q維關(guān)于x(tf)的連續(xù)可微向量函數(shù)。求一容許控制u(t)U,t[t0,tf],使末值型性能指標(biāo)(91)取極小值。末態(tài)約束問題(1/6)1.末態(tài)約束問題末態(tài)約束問題(2/6)末態(tài)約束(144)中末態(tài)時刻tf是狀態(tài)軌線x(t)與目標(biāo)集M首次相遇的時刻。若式(144)中性能指標(biāo)含有末值項,p<n；否則,pn。而維數(shù)q不受限制。與自由末端問題不同,現(xiàn)在要求末態(tài)x(tf)只能落在由約束條件(144)所規(guī)定的目標(biāo)集上。對于這種約束條件下的泛函極值問題,如同等式和不等式約束下求函數(shù)極值一樣,通過引入拉格朗日乘子和,將末態(tài)約束化為等價的末值型性能指標(biāo)J1[u(·)]=S(x(tf))+g1(x(tf))+g2(x(tf))式中,和為不同時為零的p維和q維常向量。末態(tài)約束問題(2/6)末態(tài)約束(144)中末態(tài)時刻tf是狀態(tài)末態(tài)約束問題(3/6)類似不等式約束的函數(shù)極值問題的庫恩-塔克爾定理,考慮不等式約束條件的乘子要滿足約束條件類似于前面定常的末值型性能指標(biāo)泛函的最優(yōu)控制問題的極大值原理的證明,有如下末態(tài)受等式和不等式條件約束的定常末值型性能指標(biāo)泛函的最優(yōu)控制問題的極大值原理。末態(tài)約束問題(3/6)類似不等式約束的函數(shù)極值問題的庫恩-塔末態(tài)約束問題(4/6)—定理7-12定理12(末態(tài)約束極大值原理)末態(tài)約束最優(yōu)控制問題的最優(yōu)控制函數(shù)為u*(t)、最優(yōu)狀態(tài)軌線為x*(t)和協(xié)態(tài)向量函數(shù)(t),以及不同時為零的p維常向量和q維常向量,使得:1)

x*(t)和(t)滿足規(guī)范方程式中,哈密頓函數(shù)為末態(tài)約束問題(4/6)—定理7-12定理12(末態(tài)約束極大值末態(tài)約束問題(5/6)2)

邊界條件3)

哈密頓函數(shù)H作為u(t)U的函數(shù),在u(t)=u*(t),t[t0,tf]時取絕對極小,即或末態(tài)約束問題(5/6)2)邊界條件末態(tài)約束問題(6/6)4)

在最優(yōu)軌線的末端,哈密頓函數(shù)應(yīng)滿足上面給出的是末態(tài)受約束的定常性能指標(biāo)泛函的最優(yōu)控制問題的極大值原理,對于其他情況,如時變的、積分型的或復(fù)合型的性能指標(biāo)泛函的最優(yōu)控制問題的極大值原理,可參照定理12及相應(yīng)的定理10或定理11得到。這里不再進(jìn)行詳細(xì)討論。末態(tài)約束問題(6/6)4)在最優(yōu)軌線的末端,哈密頓函數(shù)應(yīng)滿積分約束問題(1/7)2.積分約束問題實際被控系統(tǒng)由于所處環(huán)境的復(fù)雜性,所受的限制、約束條件是各異的。例如,航天器材上要求總的消耗能量是有限的。這些約束條件有時可用對狀態(tài)變量x(t)和控制變量u(t)的積分型約束條件來表示。這類有積分型約束條件的最優(yōu)控制問題可描述如下。積分約束問題(1/7)2.積分約束問題積分約束問題(2/7)積分型約束最優(yōu)控制問題對定常的被控系統(tǒng)(92),其系統(tǒng)狀態(tài)軌線x(t)和控制函數(shù)u(t)滿足積分型約束式中,L1(x(t),u(t))和L2(x(t),u(t))分別為k維和l維向量函數(shù)。求一容許控制u(t)U,t[t0,tf],使積分型性能指標(biāo)(138)取極值。處理這類問題與前面類似,同樣可以采用引進(jìn)新的狀態(tài)變量的方法將受上述積分限制的最優(yōu)控制問題轉(zhuǎn)換到前面已經(jīng)討論過的最優(yōu)控制問題,從而獲得該最優(yōu)控制問題的極大值原理。積分約束問題(2/7)積分型約束最優(yōu)控制問題對定常的被控系積分約束問題(3/7)如,引入輔助狀態(tài)變量x0,x1和x2如下則積分型性能指標(biāo)泛函變換為輔助末值型性能指標(biāo)泛函J[u(·)]=x0(tf)上述積分型約束變換為如下輔助狀態(tài)變量的末端條件x1(tf)=J1=0x2(tf)=J20那么,再應(yīng)用極大值原理,可推導(dǎo)得受積分限制的、積分型性能指標(biāo)泛函指標(biāo)的最優(yōu)控制的極大值原理。積分約束問題(3/7)如,引入輔助狀態(tài)變量x0,x1和x2如積分約束問題(4/7)—定理13定理13(積分型約束極大值原理)積分型約束最優(yōu)控制問題的最優(yōu)控制函數(shù)u*(t)、最優(yōu)狀態(tài)軌線x*(t)和協(xié)態(tài)向量函數(shù)(t),以及k維常向量1和l維常向量2,使得:1)

x*(t)和(t)滿足規(guī)范方程式中,哈密頓函數(shù)為積分約束問題(4/7)—定理13定理13(積分型約束極大值原積分約束問題(5/7)2)

邊界條件3)

哈密頓函數(shù)H作為u(t)U的函數(shù),在u(t)=u*(t),t[t0,tf]時取絕對極小,即或積分約束問題(5/7)2)邊界條件積分約束問題(6/7)4)

在最優(yōu)軌線的末端,哈密頓函數(shù)應(yīng)滿足綜上所述,積分型約束限制條件可通過拉格朗日乘子向量轉(zhuǎn)化成等價的積分型性能指標(biāo)泛函。因此,相應(yīng)的哈密頓函數(shù)的定義中,引進(jìn)了乘子向量1和2。積分約束問題(6/7)4)在最優(yōu)軌線的末端,哈密頓函數(shù)應(yīng)滿積分約束問題(7/7)上面討論的是帶積分約束限制條件的、定常的積分型性能指標(biāo)泛函的最優(yōu)控制問題。對其他類型的被控系統(tǒng)和性能指標(biāo)泛函,帶積分型約束限制條件的最優(yōu)控制問題,可類似于上述定理13給出。積分約束問題(7/7)上面討論的是帶積分約束限制條件的、定常4.5離散系統(tǒng)極小值原理設(shè)離散系統(tǒng)的狀態(tài)方程為:其中f是連續(xù)可導(dǎo)的n維向量函數(shù),x(k)為n維的狀態(tài)向量序列,u(k)為p維控制向量序列,k表示時刻tk,終端時刻tf=tN.設(shè)初始狀態(tài)x(0)=0,終端時刻tN給定,終端狀態(tài)x(N)自由,控制向量序列u(k)無不等式約束.系統(tǒng)性能指標(biāo)為:要求尋找最優(yōu)控制u*(k),使性能指標(biāo)J為極小.建立新的指標(biāo)泛函4.5離散系統(tǒng)極小值原理設(shè)離散系統(tǒng)的狀態(tài)方程為:式中λ(k+1)為n維拉格朗日乘子向量序列離散哈密而頓函數(shù)序列H為由于x(0)給定,δx(0)=0式中λ(k+1)為n維拉格朗日乘子向量序列離散哈密而頓函數(shù)令可得J取極值的必要條件為:正則方程邊界條件與橫截條件:控制方程:令可得J取極值的必要條件為:正則方程邊界條件與橫截條件*特別的當(dāng)終端狀態(tài)有等式約束時橫截條件改為:*當(dāng)u(k)

有不等式約束時u(k)U

不成立,此時最優(yōu)控制序列對應(yīng)的H函數(shù)序列為絕對極小值,即:*特別的當(dāng)終端狀態(tài)有等式連續(xù)極小值原理離散極小值原理系統(tǒng)性能指標(biāo)極值問題哈密而頓函數(shù)正則方程極值條件控制無約束控制有約束橫截條件(終端時間給定,終端自由)連續(xù)極小值原理離散極小值原理性能指標(biāo)極值問題哈密而頓函數(shù)正則例設(shè)離散狀態(tài)方程及邊界條件為試用離散極小值原理求最優(yōu)控制序列使性能指標(biāo)取極小值,并求出最優(yōu)狀態(tài)序列.解例設(shè)離散狀態(tài)方程及邊界條件為試用離散極小值原理求最優(yōu)控制狀態(tài)方程:狀態(tài)方程:列寫結(jié)果如下列寫結(jié)果如下4.6極小值原理的應(yīng)用1.最小時間控制(時間最優(yōu)控制)設(shè)線性定常系統(tǒng)的狀態(tài)方程其中。

控制向量u(t)滿足不等式約束尋求最優(yōu)控制u*(t),使系統(tǒng)從已知的初始狀態(tài)轉(zhuǎn)移到終端狀態(tài)，tf自由,并使性能指標(biāo)為極小.

4.6極小值原理的應(yīng)用設(shè)線性定常系統(tǒng)的狀態(tài)方程其中構(gòu)造哈密爾頓函數(shù):根據(jù)極小值原理,最優(yōu)控制的必要條件為:正則方程邊界條件極值條件設(shè)構(gòu)造哈密爾頓函數(shù):根據(jù)極小值原理,最優(yōu)控制的必要條件為:則設(shè)各控制分量相互獨立,則有在約束條件下的最優(yōu)控制為:由此可知,當(dāng)λ*T(t)bj≠0時,可以找出確定的u*j(t)來,并且它們都為容許控制的邊界值.當(dāng)λ*T(t)bj

穿過零點時,u*j(t)由一個邊界值切換到另一個邊界值.如果λ*T(t)bj在某一時間區(qū)間內(nèi)保持為零,則u*j(t)為不確定值,這種情況稱為奇異問題或非平凡問題,相應(yīng)的時間區(qū)段稱為奇異區(qū)段.當(dāng)整個時間區(qū)間內(nèi)不出現(xiàn)奇異區(qū)段時,則稱為非奇異問題或平凡問題。對于平凡問題,有以下幾個定義及定理。則設(shè)各控制分量相互獨立,則有在約束條件下的最優(yōu)控制為:①Bang-Bang原理若線性定常系統(tǒng)屬于平凡情況,則其最短時間控制為u*(t)的各個分量都是時間的分段恒值函數(shù),并均取邊界值,稱此為Bang-Bang原理.Bang-Bang原理也適用于下列一類非線性系統(tǒng)①Bang-Bang原理若線性定常系統(tǒng)屬于平凡情況,則其②最短時間控制存在定理若線性定常系統(tǒng)完全能控,矩陣A的特征值均具有非正實部,控制變量滿足不等式約束|u(t)|≤M,則最短時間控制存在.③最短時間控制的唯一性定理若線性定常系統(tǒng)屬于平凡情況,若時間最優(yōu)控制存在,則必定是唯一的.④開關(guān)次數(shù)定理若線性定常系統(tǒng)控制變量滿足不等式約束|u(t)|≤M矩陣A的特征值全部為實數(shù),若最短時間控制存在.則必為Bang-Bang控制,并且每個控制分量在兩個邊界值之間的切換次數(shù)最多不超過n-1次，n為系統(tǒng)的維數(shù).②最短時間控制存在定理若線性定常系統(tǒng)完全能控,矩陣A的例1設(shè)系統(tǒng)的狀態(tài)方程為邊界條件:控制變量u(t)的不等式約束|u(t)|≤1性能指標(biāo)求最優(yōu)控制u*(t),使J為最小.例1設(shè)系統(tǒng)的狀態(tài)方程為邊界條件:控制變量u(t)的不等解:由于A具有兩個零特征值,滿足非正實部的要求,且系統(tǒng)能控,因而最優(yōu)時間控制存在,如果系統(tǒng)屬于平凡情況,則最優(yōu)控制是唯一的,開關(guān)換向次數(shù)最多只有一次.伴隨方程解得極值條件解:由于A具有兩個零特征值,滿足非正實部的要求,且系統(tǒng)能最優(yōu)控制規(guī)律為當(dāng)u(t)=+1時,狀態(tài)方程的解為:最優(yōu)軌跡方程:當(dāng)u(t)=-1時,狀態(tài)方程的解為:最優(yōu)軌跡方程最優(yōu)控制規(guī)律為當(dāng)u(t)=+1時,狀態(tài)方程的解為:最優(yōu)軌兩族拋物線中,各有半支拋物線引向原點,由這兩條半支拋物線所組成的曲線AOB稱為開關(guān)曲線:討論不同初始狀態(tài)的最優(yōu)控制方案,有四種情況綜上所述,最優(yōu)控制規(guī)律為兩族拋物線中,各有半支拋物線引向原點,由這兩條半支拋物線所組上述控制規(guī)律的工程實現(xiàn)方法上述控制規(guī)律的工程實現(xiàn)方法例2:最小燃料消耗控制

最小燃料控制問題,性能指標(biāo)對于雙積分模型的最小燃料消耗控制問題,描述如下:設(shè)系統(tǒng)狀態(tài)方程為控制約束為例2:最小燃料消耗控制最小燃料控制問題,性能指標(biāo)對于雙性能指標(biāo)求最優(yōu)控制,使J為極小,其中tf

給定根據(jù)最優(yōu)控制規(guī)律性能指標(biāo)求最優(yōu)控制,使J為極小,其中tf給定根據(jù)最優(yōu)控伴隨方程為:狀態(tài)方程的解為伴隨方程為:狀態(tài)方程的解為上述方程和邊界條件聯(lián)立,可求出由此可見,最小燃料消耗控制是一種開關(guān)型控制,可采用理想的三位式繼電器作為控制器.上述方程和邊界條件聯(lián)立,可求出由此可見,最小燃料消耗控制是例4已知系統(tǒng)狀態(tài)方程及初始條件為:試求最優(yōu)控制,使性能指標(biāo)取極小值,并分段求出最優(yōu)軌線解：本題屬于終端狀態(tài)自由,有末值性能指標(biāo)要求的最小燃料消耗問題由例4已知系統(tǒng)狀態(tài)方程及初始條件為:試求最優(yōu)控制,使性能指標(biāo)伴隨方程為橫截條件為從而得伴隨方程為橫截條件為從而得解此方程,解此方程,北京交通大學(xué)最優(yōu)控制理論與算法研究生課程第四章極大值原理課件極大值原理(1/4)第4章

極大值原理前一章討論的最優(yōu)控制問題都基于以下基本假定:控制量u(t)的取值范圍U不受任何限制,即控制域U充滿整個r維控制空間,或者U是一個開集。即控制量u(t)受等式條件約束但是,大多數(shù)情況下控制量總是受限制的。例如,控制量可能受如下大小限制|ui(t)|a

i=1,2…,r式中,a為已知常數(shù)。極大值原理(1/4)第4章極大值原理極大值原理(2/4)上述約束條件即相當(dāng)于容許控制空間U是一個超方體。甚至,有些實際控制問題的控制量為某一孤立點集。例如,繼電器控制系統(tǒng)的控制輸入限制為ui(t)=±a

i=1,2,…,r一般情況下,可將控制量所受的約束用不等式來表示Mi(u(t),t)0,i=1,2,…當(dāng)控制變量u(t)受不等式約束條件限制時,古典變分法就無能為力了。最優(yōu)控制往往需要在閉集的邊界上取值。這就要求人們?nèi)ヌ剿餍碌睦碚摵头椒āO大值原理(2/4)上述約束條件即相當(dāng)于容許控制空間U是一個極大值原理(3/4)應(yīng)用古典變分法的另一個限制條件是要求函數(shù)L(x,u,t),f(x,u,t),S(x(tf),tf)對其自變量的連續(xù)可微性,特別是要求H/u=0存在。因此,對于有較大實際意義的性能指標(biāo)泛函就無能為力了。所以,類似消耗燃料最小這類常見最優(yōu)控制就無法用古典變分法來解決。極大值原理(3/4)應(yīng)用古典變分法的另一個限制條件是要求函數(shù)極大值原理(4/4)鑒于古典變分法的應(yīng)用條件失之過嚴(yán),引起了不少數(shù)學(xué)界和控制界學(xué)者的關(guān)注。貝爾曼的動態(tài)規(guī)劃和龐特里亞金的極大值原理是較為成功的,應(yīng)用很廣泛,成為解決最優(yōu)控制問題的有效工具。本節(jié)主要介紹極大值原理的結(jié)論及其啟發(fā)性證明。講授內(nèi)容為自由末端的極大值原理極大值原理的證明極大值原理的幾種具體形式

約束條件的處理極大值原理(4/4)鑒于古典變分法的應(yīng)用條件失之過嚴(yán),引起了自由末端的極大值原理(1/8)4.1自由末端的極大值原理最優(yōu)控制問題的具體形式是多種多樣的,在第2章的討論中可知,3種泛函問題(拉格朗日問題、波爾扎問題和麥耶爾問題)的表達(dá)形式可以互相轉(zhuǎn)換。這里，研究泛函為定常的末值型性能指標(biāo)的最優(yōu)控制問題(麥耶爾問題),然后將結(jié)論逐步推廣至其他最優(yōu)控制問題。下面,就定常的末值型性能指標(biāo)、末態(tài)自由的控制問題來敘述極大值原理。自由末端的極大值原理(1/8)4.1自由末端的極大值原理自由末端的極大值原理(2/8)—定理7-9定理9(極大值原理)

設(shè)u(t)U,t[t0,tf],是一容許控制。指定的末值型性能指標(biāo)泛函為J[u(·)]=S(x(tf)),式中,x(t)是定常的被控系統(tǒng)相應(yīng)于控制量u(t)的狀態(tài)軌線,tf為未知的末態(tài)時刻。設(shè)使該性能指標(biāo)泛函極小的最優(yōu)控制函數(shù)為u*(t)、最優(yōu)狀態(tài)軌線為x*(t)。則必存在不恒為零的n維向量函數(shù)(t),使得1)

(t)是方程自由末端的極大值原理(2/8)—定理7-9定理9(極大值原自由末端的極大值原理(3/8)滿足2)

邊界條件的解,其中哈密頓函數(shù)為3)則有即自由末端的極大值原理(3/8)滿足自由末端的極大值原理(4/8)4)

沿最優(yōu)軌線哈密頓函數(shù)應(yīng)滿足下面先對上述極大值原理的涵義作簡單的解釋,再給出該定理的啟發(fā)性證明。自由末端的極大值原理(4/8)4)沿最優(yōu)軌線哈密頓函數(shù)應(yīng)滿自由末端的極大值原理(5/8)容許控制條件的放寬。古典變分法應(yīng)用于最優(yōu)控制問題,要求控制域U=Rr,即控制域U充滿整個r維控制空間。然后,從控制量的變分u(t)的任意性出發(fā),導(dǎo)出極值條件H/u=0。這一條件是非常嚴(yán)格的。其一,它要求哈密頓函數(shù)H對控制量u(t)連續(xù)可微;其二,它要求控制量的變分u(t)具有任意性,即控制量u(t)不受限制,或僅在受等式約束條件限制的開集中取值。自由末端的極大值原理(5/8)容許控制條件的放寬。自由末端的極大值原理(6/8)2)

定理9中的式(93)和(94)同樣稱為協(xié)態(tài)方程和橫截條件,其相應(yīng)求解方法與基于古典變分法的最優(yōu)控制求解方法類似。變分法的極值條件是一種解析形式,而極大值原理的極值求解條件(96)是一種定義形式,不需要哈密頓函數(shù)H對控制量u(t)的可微性加以約束,而且對于通常的對u(t)的約束都是適用的,例如,u(t)受不等式約束條件約束,即在閉集中取值。自由末端的極大值原理(6/8)2)定理9中的式(93)和(自由末端的極大值原理(7/8)3)

由極值求解條件(96)可知,極大值原理得到的是全局最小值,而非局部極值,而古典變分法中由極值條件H/u=0得到的是局部極小值。再則,如果把條件(96)仍稱為極值條件,則極大值原理得到的是強極值。而古典變分法在歐拉方程推導(dǎo)時,對極值曲線x*(t)和其導(dǎo)數(shù)都引入變分,得到的是弱極值。不難理解,當(dāng)滿足古典變分法的應(yīng)用條件時,極值條件H/u=0只是極大值原理的極值求解條件(96)的一個特例。自由末端的極大值原理(7/8)3)由極值求解條件(96)可自由末端的極大值原理(8/8)4)

在上述定理中,最優(yōu)控制u*(t)使哈密頓函數(shù)取最小值。所謂“極小值原理”一詞正源于此,稱“極大值原理”是習(xí)慣性叫法。若實際控制問題需求極大值,可將極值求解條件的求最小(min)改為求最大(max)即可。5)

極大值原理只給出最優(yōu)控制的必要條件,并非充分條件。得到的解是否能使泛函J最小,還有待證實。極大值原理更沒有涉及解的存在性問題。如果實際問題的物理意義已經(jīng)能夠判定所討論的問題的解是存在的,而由極大值原理所求出的控制僅有一個,可以斷定,此控制就是最優(yōu)控制。實際遇到的問題往往屬于這種情況。自由末端的極大值原理(8/8)4)在上述定理中,最優(yōu)控制u極大值原理的證明(1/2)7.4.2極大值原理的證明龐特里亞金對極大值原理作了嚴(yán)格的證明,涉及拓?fù)鋵W(xué)、實函數(shù)分析等很多數(shù)學(xué)問題,這是作為工科教材難以詳細(xì)論述的。本教材利用增量法給出極大值原理的一個啟發(fā)性證明。證明中所作的假設(shè)是:1)

函數(shù)f(x,u)和S(x(tf))都是其自變量的連續(xù)函數(shù);2)函數(shù)f(x,u)和S(x(tf))對于x是連續(xù)可微的,即f/x和S/x(tf)存在且連續(xù),但并不要求函數(shù)f(x,u)對u可微;極大值原理的證明(1/2)7.4.2極大值原理的證明極大值原理的證明(2/2)3)

為了保證微分方程解的存在和惟一性,假定f(x,u)在任意有界集上對自變量x滿足如下李普希茨(Lipschitz)條件‖f(x1,u)-f(x2,u)‖‖x1-x2‖>0,x1,x2XRn,uURr下面敘述用增量法證明極大值原理的過程,證明步驟為:構(gòu)造泛函J的增量求取x(t)的表達(dá)式對x(t)進(jìn)行估計極值條件的推證tf的考慮然后介紹一基于極大值原理的最優(yōu)控制算例極大值原理的證明(2/2)3)為了保證微分方程解的存在和惟泛函J的增量(1/2)(1)泛函J的增量假定末態(tài)時刻tf已知,根據(jù)S(x(tf))對x(tf)的連續(xù)可微性泛函J的增量J可表示為式中u*(t)和x*(t)分別表示最優(yōu)控制函數(shù)及相應(yīng)的最優(yōu)軌線;x(t)為x(t)在最優(yōu)軌線x*(tf)附近的變分;o(‖x(tf)‖)表示泰勒展開式中x(tf)的高階項。J[u(·)]=S(x(tf))泛函J的增量(1/2)(1)泛函J的增量J[u(·)]=S泛函J的增量(2/2)要從J[u*(·)]0的條件導(dǎo)出最優(yōu)控制必要條件,首先應(yīng)找出x(t)與控制量u(t)的變分u(t)的關(guān)系,進(jìn)而對x(t)作出估計。下面為表述更簡潔,時間函數(shù)x(t)與u(t)的時間變量t略去不寫。泛函J的增量(2/2)要從J[u*(·)]0的條件導(dǎo)出最x(t)的表達(dá)式(1/3)(2)x(t)的表達(dá)式根據(jù)f(x,u)對x的可微性,由狀態(tài)方程(92)可得如下由控制量的變分u(t)引起的狀態(tài)方程(92)的變分x(t)的表達(dá)式(1/3)(2)x(t)的表達(dá)式x(t)的表達(dá)式(2/3)令矩陣函數(shù)Φ(t,s)為線性狀態(tài)方程的狀態(tài)轉(zhuǎn)移矩陣,即Φ(t,s)滿足如下微分方程組考慮到x(t0)=0,則x(t)在t=tf時的解為x(t)的表達(dá)式(2/3)令矩陣函數(shù)Φ(t,s)為線性狀態(tài)x(t)的表達(dá)式(3/3)將上述方程代入式(98),則得泛函J的增量J為上式雖然給出了泛函增量J與（u,x

）的關(guān)系,但是對一般形式的u,還很難估計上式的J。然而，對任意的u,上式均成立,故對特定的u也應(yīng)成立。為此,下面討論時取一特定的變分u,以利于對上式的估計。x(t)的表達(dá)式(3/3)將上述方程代入式(98),則得泛對x(t)的估計(1/11)(3)對x(t)的估計設(shè)u(t)是控制u(t)的任意變分,對應(yīng)x(t)的增量x(t)應(yīng)滿足如下方程將上式的第一式改寫為對x(t)的估計(1/11)(3)對x(t)的估計對x(t)的估計(2/11)對于給定的u(t)和u(t),由于它們的分段連續(xù)性,必存在有界的U1U及XRn,使u(t)+u(t)U1,x(t)X,對所有的t[t0,tf],根據(jù)李卜希茨條件,必存在>0,滿足‖f(x+x,u+u)-f(x,u+u)‖<‖x‖且由f(x,u)對u的連續(xù)性,對有界的u(t)和u(t),存在b(t)>0,則‖f(x,u+u)-f(x,u)‖|b(t)|t[t0,tf]其中于是由式(105)可知,x(t)滿足對x(t)的估計(2/11)對于給定的u(t)和u(t),對x(t)的估計(3/11)—引理2為了作進(jìn)一步的估計,下面先引入一個引理。引理2證明由歐幾里德范數(shù)(2-范數(shù))的定義,有從而有證畢對x(t)的估計(3/11)—引理2為了作進(jìn)一步的估計,下對x(t)的估計(4/11)因此,由引理2和式(109),有即將兩邊乘以e-t,得解得對x(t)的估計(4/11)因此,由引理2和式(109),對x(t)的估計(5/11)至今我們還沒有對u(t)作任何限制。為了使變分后的控制u(t)仍屬于容許控制空間,即u(t)U,對所有的t[t0,tf],

為了便于導(dǎo)出極值求解條件,采用一種異于古典變分的特定形式的變分--針狀變分。圖5針狀變分示意圖令σ為最優(yōu)控制u*(t)的任意一個連續(xù)點,l>0是某一確定的數(shù),>0是一個充分小的數(shù)?？蓪⒖刂屏康淖兎謚(t)取成一個依賴于σ,l和的針狀變分,如圖5所示。對x(t)的估計(5/11)至今我們還沒有對u(t)作任何對x(t)的估計(6/11)上述針狀變分記為σu(t),可表示為式中,U表示任意容許控制,這就是說,在充分小的時間區(qū)間[σ,σ+l]內(nèi),可以取控制域U內(nèi)的任何點。當(dāng)然,也可以取閉集上的點。變分是一個有限量。當(dāng)是一個充分小的量時,則由σu(t)所引起的變分σx(t)是否仍為一個充分小的量。對x(t)的估計(6/11)上述針狀變分記為σu(t),對x(t)的估計(7/11)下面證明由針狀變分σu(t)引起的狀態(tài)增量σx(t)是一個與同階的無窮小量。事實上,當(dāng)控制量作針狀變分時,式(108)可表示為于是,由式(111)可知,由針狀變分σu(t)引起的狀態(tài)增量σx(t)為上式表明,‖σx(t)‖與>0是同階無窮小量。對x(t)的估計(7/11)下面證明由針狀變分σu(t)對x(t)的估計(8/11)據(jù)此,由式(103)可得如下由針狀變分σu(t)所引起的泛函J的變分σJ的表達(dá)式對x(t)的估計(8/11)據(jù)此,由式(103)可得如下由針對x(t)的估計(9/11)上式中后3項都是的高階無窮小量,可歸并成一項,則上式可記為對x(t)的估計(9/11)上式中后3項都是的高階無窮小量對x(t)的估計(10/11)令則向量(t)必滿足狀態(tài)方程的協(xié)態(tài)方程及邊界條件對x(t)的估計(10/11)令對x(t)的估計(11/11)若記則共軛方程(118)可寫成于是,泛函增量表達(dá)式(116)可改寫成對x(t)的估計(11/11)若記極值條件的推證(1/4)(4)極值條件的推證已記u*(t)是使泛函J取最小值的最優(yōu)控制,x*(t)為相應(yīng)的軌線,而(t)是協(xié)態(tài)方程的解。所以,對任意的控制變分,當(dāng)然也包含對u(t)的針狀變分,泛函的增量(122)必滿足因為x*(t)和(t)在t[t0,tf]范圍內(nèi)是連續(xù)函數(shù),而u*(t)和=u*(t)-σu(t)在上式的積分范圍內(nèi)也是連續(xù)的,所以哈密頓函數(shù)H是一連續(xù)函數(shù)。極值條件的推證(1/4)(4)極值條件的推證極值條件的推證(2/4)根據(jù)中值定理及H的連續(xù)性,則有式中,0<β<1。將上式代入式(123),可得用除上式的兩邊,得極值條件的推證(2/4)根據(jù)中值定理及H的連續(xù)性,則有極值條件的推證(3/4)當(dāng)→0時,考慮到l>0,則有或?qū)懽饔捎谏鲜皆趨^(qū)間[t0,tf]內(nèi)u*(t)的所有連續(xù)點都成立。同時考慮到要取遍容許控制域U中所有的點,因此,上式也可表示為式中,σ是區(qū)間[t0,tf]內(nèi)u*(t)的任意連續(xù)點。極值條件的推證(3/4)當(dāng)→0時,考慮到l>0,則有極值條件的推證(4/4)由于假定u(t)是分段連續(xù)函數(shù),而u*(t)的不連續(xù)點上的函數(shù)值如何,并不影響控制效果,因此,不妨認(rèn)為(127)對于任意的σ[t0,tf]都成立。這就是說,如果u*(t)U,t[t0,tf]是最優(yōu)控制,則對所有t[t0,tf]都必須滿足從而證明了極值條件。極值條件的推證(4/4)由于假定u(t)是分段連續(xù)函數(shù),而utf的考慮(1/9)(5)tf的考慮前面僅僅考慮了末態(tài)時刻tf給定的情況。當(dāng)tf可變時,還要考慮由tf的改變量tf所引起的泛函改變量。設(shè)u*(t)是使性能指標(biāo)泛函最小的最優(yōu)解,x*(t)是相應(yīng)的最優(yōu)軌線。若令tf的改變量tf=T1,其中T1為任意常數(shù),并同時考慮控制u(t)的針狀變分σu(σ)。J[u(·)]=S(x(tf))tf的考慮(1/9)(5)tf的考慮J[u(·)]=Stf的考慮(2/9)根據(jù)S(x(tf))的可微性,則有上式對任意T1及任意控制變分均成立,對u(t)0時也成立。當(dāng)u(t)0時,顯然有u(tf)=0,考慮到T1為任意實數(shù),于是可得J[u(·)]=S(x(tf))tf的考慮(2/9)根據(jù)S(x(tf))的可微性,則有Jtf的考慮(3/9)因此,有從而證明了式(97)的第1部分。當(dāng)取T1=0,對于針狀變分σu(t)應(yīng)有因此,依上述證明過程(1)~(4),同樣可以證明式(128)成立。tf的考慮(3/9)因此,有tf的考慮(4/9)下面證明當(dāng)tf固定,x(tf)自由時,式(97)的第2部分的證明。哈密頓函數(shù)H的增量可表示為考慮到哈密頓函數(shù)H(x,,u)對x和的連續(xù)可微性,因此,由泰勒展開式可得哈密頓函數(shù)的一階增量表示式tf的考慮(4/9)下面證明當(dāng)tf固定,x(tf)自若定義=u*(t+t),則由上式有如下H的一階增量式考慮到u*(t)是最優(yōu)控制函數(shù),由極值條件則有tf的考慮(5/9)若定義=u*(t+t),則由上式有如下H的一階增量式tf的考慮(6/9)考慮到時間增量t的任意性,其值可正可負(fù)。因此,由上式可知,當(dāng)t>0時,H0,則意味著哈密頓函數(shù)H隨時間t遞增;而當(dāng)t<0時,H0則意味著哈密頓函數(shù)H隨時間t遞減。故證明了即證明了式(97)的第2部分。綜合式(128)和上式,即證明了式(97)。tf的考慮(6/9)考慮到時間增量t的任意性,其值可正可tf的考慮(7/9)—例10例10

給定被控系統(tǒng)控制變量u(t)受不等式約束-1u(t)1約束,試求最優(yōu)控制函數(shù)u*(t)和最優(yōu)軌線x*(