第九章動(dòng)態(tài)規(guī)劃法

第九章動(dòng)態(tài)規(guī)劃法動(dòng)態(tài)規(guī)劃法是求解控制變量限制在一定閉集內(nèi)的最優(yōu)控制問題的又一種重要方法，它是由美國學(xué)者貝爾曼于1957年提出來的。動(dòng)態(tài)規(guī)劃法把復(fù)雜的最優(yōu)控制問題變成多級決策過程的遞推函數(shù)關(guān)系，它的基礎(chǔ)及核心是最優(yōu)性原理。本章首先介紹動(dòng)態(tài)規(guī)劃法的基本概念，然后討論如何用動(dòng)態(tài)規(guī)劃法求解離散及連續(xù)系統(tǒng)的最優(yōu)控制問題。第一節(jié)動(dòng)態(tài)規(guī)劃法的基本概念一、多級決策過程所謂多級決策過程是指把一個(gè)過程分成若干級，而每一級都需作出決策，以便使整個(gè)過程達(dá)到最佳效果。為了說明這個(gè)概念，首先討論一個(gè)最短路線問題的例子。設(shè)有路線圖如圖7-1所示?，F(xiàn)在要從地出發(fā)，選擇一條最短路線最終到達(dá)地，其間要通過等中間站，各站又有若干個(gè)可供選擇的通過點(diǎn)，各地之間的距離已用數(shù)字標(biāo)注在圖中。由此可見，通過這些中間站時(shí)，有多個(gè)方案可供選擇。解決這類問題有兩種方法：探索法（窮舉法）將至的所有可能的路線方案都列舉出來，算出每條路線的路程，進(jìn)行比較，找出最短路線。直觀可知，這種方法是很費(fèi)時(shí)的，如本例共有38條路線可供選擇。如果中間站及各站可供選擇的通過點(diǎn)都增為10個(gè)，則可供選擇的路線將急劇增至1010條，顯然計(jì)算工作量將急劇增加。分級決策法將整個(gè)過程分成若干級，逐級進(jìn)行決策。具體過程如下：將至全程分為五級：第一級由至；第二級由至；第三級由至；第四級由至；第五級由至。讓我們由后向前逐級分析，先從第五級開始，其起點(diǎn)為，終點(diǎn)為。至各只有一條路線，并無選擇余地。至路程為1，至路程為2。第四級起點(diǎn)為，終點(diǎn)為，其間有六條路線，由至的各種可能路線為:可以發(fā)現(xiàn)，如果從出發(fā)，則走為最短，因此至應(yīng)選這段路線，稱為決策。同理，如果從出發(fā)，應(yīng)決策；從出發(fā)，應(yīng)決策。可見作此決策時(shí)不能只從本級路程長短出發(fā)，應(yīng)考慮兩級路程之和為最短。在整個(gè)路線問題中，究竟哪一點(diǎn)作為起點(diǎn)，則取決于第三級的決策，不過提出的三條可能的最短路線為第三級的決策積累了數(shù)據(jù)資料?？梢娡瑯臃椒▉矸治龅谌墸淦瘘c(diǎn)為，終點(diǎn)為，按題意共有八條路線。但是，至的最短路線已在第四級討論中確定，因此的路線選擇問題，實(shí)際上只是選定級的路線問題（即本級決策問題）。因此，至只有八條路線，分別為比較可得分別從出發(fā)時(shí)的三條最短路線，它們?yōu)椋?；?/p>

。用同樣方法，依次對級及級進(jìn)行討論，其結(jié)果列于表7-1。最后得到最短路線為相應(yīng)最短路程為：。通過上例的討論，可以看到多級決策過程具有以下特點(diǎn)：⑴把整個(gè)過程看成（或人為地分成）級的多級過程。⑵采取逐級分析的方法，一般由最后一級開始倒向進(jìn)行。⑶在每一級決策時(shí)，不只考慮本級的性能指標(biāo)的最優(yōu)，而是同時(shí)考慮本級及以后的總性能指標(biāo)最優(yōu)，因此它是根據(jù)“全局”最優(yōu)來作出本級決策的。⑷從數(shù)學(xué)觀點(diǎn)，分級決策法與窮舉法進(jìn)行比較：窮舉法：全程五級線路，每一級都可任選，因此全部路程相當(dāng)于一個(gè)“五變量函數(shù)”，求全程最短實(shí)質(zhì)上是求這個(gè)“五變量函數(shù)”的極小值。分級決策法：分成五級，從最后一級開始進(jìn)行分級決策時(shí)，每級都是一個(gè)“單變量函數(shù)”，因此進(jìn)行每一級決策時(shí)，實(shí)際上是求一個(gè)“單變量函數(shù)”的極小值。因此多級決策法把一個(gè)求“五變量函數(shù)”的極值問題轉(zhuǎn)化成為一個(gè)五組求“單變量函數(shù)”的極值問題。這組實(shí)際解題帶來極大好處，使計(jì)算工作量在為減少。以前面舉的十級中間站并各站具有十個(gè)通過點(diǎn)的路線問題為例，用多級決策法只需920次計(jì)算，這與1010次相比要少得多。⑸在最后一級開始倒向逐級分析中，我們發(fā)現(xiàn)，由于各站的起始點(diǎn)并未確定，因此需要把各中間站的所有通過點(diǎn)作為出發(fā)點(diǎn)進(jìn)行計(jì)算，并將所有對應(yīng)的最佳決策存進(jìn)計(jì)算機(jī)，建立起一個(gè)完整的“檔案庫”，因此要求計(jì)算機(jī)有相當(dāng)大的容量。(6)第一級起始條件（地）是確定的，因此只有逐級倒向分析到第一級時(shí)，才能作出確定的第一級決策，然后再根據(jù)第一級決策順向確定各級的起始條件（各站的通過點(diǎn)），這時(shí)由于“檔案庫”中存有全部“資料”，因此用“查檔”的方法就可逐級確定決策。由此可見，一般情況下，多級決策過程包括兩個(gè)過程：倒向“建檔”及順向“查檔”，而大量的計(jì)算工作是花費(fèi)在建立“檔案庫”上。二、最優(yōu)性原理在前例的分級決策過程中，實(shí)際上已應(yīng)用了這樣一個(gè)基本原理：設(shè)一個(gè)過程由點(diǎn)開始，經(jīng)點(diǎn)到達(dá)點(diǎn)，如圖9-2所示，如果為最優(yōu)過程，則段也必定是一個(gè)最優(yōu)過程。我們把這原理敘述如下：一個(gè)最優(yōu)決策具有這樣的性質(zhì)，不論初始狀態(tài)和初始決策怎樣，其余的決策對于第一次決策所造成的狀態(tài)來說，必需構(gòu)成一個(gè)最優(yōu)決策。稱此為最優(yōu)性原理。它也可簡單地?cái)⑹鰹椋鹤顑?yōu)軌跡的第二段，本身亦是最優(yōu)軌跡。最優(yōu)性原理是動(dòng)態(tài)規(guī)劃法的基礎(chǔ)和核心。動(dòng)態(tài)規(guī)劃法就是對一個(gè)多級過程，應(yīng)用最優(yōu)性原理，進(jìn)行分級決策，求出最優(yōu)控制的一種數(shù)學(xué)方法。3、多級決策過程的函數(shù)方程應(yīng)用動(dòng)態(tài)規(guī)劃法求解過程的最優(yōu)決策時(shí)，首先要根據(jù)最優(yōu)性原理將多級決策過程表示成如下數(shù)學(xué)表達(dá)式：――級決策過程始點(diǎn)處所采取的控制決策，從而使?fàn)顟B(tài)轉(zhuǎn)移到下一步。式中――級決策過程的始點(diǎn)至終點(diǎn)的最小消耗；――由級決策過程始點(diǎn)至下一步到達(dá)點(diǎn)的一步消耗；(9-1)上式表明，為使級決策過程達(dá)到最小消耗，第一級決策應(yīng)根據(jù)兩部分消耗之和最小的原則作出。第一部分是第一級決策的一步消耗，第二部分為由下一步到達(dá)點(diǎn)作起點(diǎn)至終點(diǎn)的最小消耗。式(7-1)稱為多級決策過程的函數(shù)方程，它是最優(yōu)性原理的數(shù)學(xué)表達(dá)形式。在上述路線問題中，至的四級決策過程的函數(shù)方程可表示成：式中:――四級過程的起點(diǎn)；――由出發(fā)到達(dá)下一步站的某個(gè)可能通過點(diǎn)，它可能為或；――由至站的路線選擇（本級決策）；(9-2)――由至之間的路程；――從至終點(diǎn)的最短路程。由表7-1可知三者進(jìn)行比較，由此作出第一級決策為即應(yīng)選路線。這時(shí)最小路程為。函數(shù)方程是一個(gè)遞推方程，一般說來，難于獲得解析解，需要用數(shù)字計(jì)算機(jī)求解。第二沫節(jié)興動(dòng)態(tài)課規(guī)劃怖法解泰離散患系統(tǒng)享的最優(yōu)享控制矛問題設(shè)系吩統(tǒng)狀省態(tài)方旦程為式中，為維狀態(tài)向量，為維控制向量，設(shè)為每一步轉(zhuǎn)移中的性能指標(biāo)。(9-3)第一步，系統(tǒng)初始狀態(tài)在作用下轉(zhuǎn)移至，即要求選擇控制，使達(dá)最小。這是一個(gè)一級決策過程。(9-4)這時(shí)，第一步的性能指標(biāo)為：(9-5)(9-6)第二步，系統(tǒng)在作用下由轉(zhuǎn)移到，轉(zhuǎn)移中的性能指標(biāo)為，則兩步轉(zhuǎn)移的總性能指標(biāo)為：這里，因?yàn)橐阎?，因此在上述兩步轉(zhuǎn)移的總性能指標(biāo)中，只有及未知。現(xiàn)在要求選擇及，使兩步性能指標(biāo)達(dá)極小。這就是二級決策問題。依次類推，系統(tǒng)狀態(tài)由作起點(diǎn)進(jìn)行步轉(zhuǎn)移，則步轉(zhuǎn)移的總性能指標(biāo)為：現(xiàn)在要求選擇使性能指標(biāo)達(dá)最小，這就是級決策問題。我們可以應(yīng)用動(dòng)態(tài)規(guī)劃法來求解。根據(jù)最優(yōu)性原理，對級最優(yōu)決策過程來說，不論第一級控制向量怎樣選定，余下的級過程，從產(chǎn)生的狀態(tài)作為起點(diǎn)，必須構(gòu)成級最優(yōu)過程。(9-7)如果我們用表示級過程的性能指標(biāo)的極小值，表示級過程性能指標(biāo)的極小值，則我們就可以列寫出級決策過程的函數(shù)方程為：由此穗可見押，第食一級怕決策環(huán)實(shí)質(zhì)餓上是迎函數(shù)對第一級的控制決策求極值的問題。求解遞推方程(9-8)，就可解得最優(yōu)控制決策。(9-8)例9-境1設(shè)離恢散系確統(tǒng)狀善態(tài)方秋程為舒：初始條件為，控制變量不受限制，性能指標(biāo)為求最優(yōu)控制，使達(dá)最小。解:為簡單起見，設(shè)，則這是一個(gè)二步控制問題，性能指標(biāo)可表示成：首先考慮最后一步，即由某狀態(tài)出發(fā)到達(dá)的一步，如采用控制，則有或求最優(yōu)控制使為極小，則有解得：可見為的函數(shù)。相應(yīng)的最優(yōu)性能指標(biāo)及為再考慮倒數(shù)第二步，即由初始狀態(tài)出發(fā)到達(dá)的一步，如采用控制，則有令有相應(yīng)的最優(yōu)性能指標(biāo)及為：最后得最優(yōu)控制為：最優(yōu)軌線為：最優(yōu)性能指標(biāo)為：上述電離散替型動(dòng)噸態(tài)規(guī)獎(jiǎng)劃可擋近似艘地用在來求股解連受續(xù)系蟲統(tǒng)的蟻?zhàn)顑?yōu)磨控制揀問題技。設(shè)連島續(xù)系服統(tǒng)狀總態(tài)方萌程為速：(9-9)

給定，性能指標(biāo)為：(9-10)

(9-11)

求最優(yōu)控制，使為最小。由于函數(shù)方程是一個(gè)遞推方程，故特別適合于求解離散系統(tǒng)的最優(yōu)控制問題。為此要把連續(xù)過程問題轉(zhuǎn)化成一個(gè)多級決策過程。首先將時(shí)間間隔分成段，每段為，為使盡量符合連續(xù)過程的實(shí)際情況，應(yīng)取足夠大，取足夠小。接著應(yīng)將連續(xù)狀態(tài)方程進(jìn)行離散化，使之用下列有限差分方程來近似表示：(9-12)

故(9-13)

這樣，就把研究連續(xù)過程問題近似轉(zhuǎn)化成了級決策過程。下面就可按離散過程一樣建立函數(shù)方程，用遞推求解方法逐級進(jìn)行最優(yōu)決策，求出最優(yōu)控制序列來。(9-14)

這里，假設(shè)在每段時(shí)間內(nèi)，及保持常值。同時(shí)，將積分型的性能指標(biāo)用以下序列和的形式來近似第三棍節(jié)誕動(dòng)渡態(tài)規(guī)徑劃法尼解離獄散線簡性二摟次型算問題設(shè)離誦散線顯性系獵統(tǒng)狀定態(tài)方腦程為刺：(9-15)

性能輩指標(biāo)圖為二答次型(9-16)

式中，均為對稱矩陣，為正定矩陣，為正半定矩陣。求最優(yōu)控制序列使為最小。現(xiàn)在我們用動(dòng)態(tài)規(guī)劃法來求解。從初始端開始，經(jīng)過級決策得到的最優(yōu)性能指標(biāo)可表示為(9-17)

(9-18)

根據(jù)收最優(yōu)丙性原躍理，傻可以催建立獲函數(shù)咽方程醉如下拌：如果過程是從第級開始至終產(chǎn)端，則這一段的最優(yōu)性能指標(biāo)可表示為：假設(shè)肝二次緒型問翁題的蠻最優(yōu)偉性能紅指標(biāo)憤為狀渣態(tài)的蓋二次浪函數(shù)懷：(9-20)

上式對成立，代入式(9-19)得：

(9-21)

將系坡統(tǒng)狀東態(tài)方卷程代擾入，設(shè)得：(9-22)

設(shè)不受約束，則令(9-23)

可得：(9-24)

式中現(xiàn)在需要確定，將式(9-24)代入式(9-22)，并利用

的假設(shè)，則式(9-22)可寫成：(9-26)

上式役對任總意狀劑態(tài)變愛量都鏈滿足霧，由針此可皂得離夢散系鬼統(tǒng)的倡黎卡羞提方除程(9-27)

第四脊節(jié)貌動(dòng)態(tài)挪規(guī)劃較法解棗連續(xù)漫系統(tǒng)紹的最囑優(yōu)控房誠制問雁題用離站散動(dòng)罵態(tài)規(guī)帆劃法營求解幻玉連續(xù)摸系統(tǒng)止最優(yōu)粱控制漠問題婚時(shí)，這可能呢會(huì)由殼于離堵散化摩過程壓而造擾成一垮定誤轉(zhuǎn)差。世應(yīng)用陵最優(yōu)驕性原量理，習(xí)對連芳續(xù)系健統(tǒng)也麥可建憂立起傳相應(yīng)賠的函上數(shù)方稈程，泄經(jīng)過鞭變換攪，最納后得認(rèn)到一出個(gè)一少階非哈線性夸偏微則分方閘程，檔解之防可得腸連續(xù)獻(xiàn)形式懼的最陶優(yōu)控份制即恭最優(yōu)意決策塊。設(shè)連論續(xù)系機(jī)統(tǒng)狀寄態(tài)方零程為(9-28)(9-29)性能貧指標(biāo)洗為(9-30)求最優(yōu)控制，使為最小。我們知道，對應(yīng)最優(yōu)控制及最優(yōu)軌線，性能指標(biāo)將取極小值，且為系統(tǒng)初始狀態(tài)及初始時(shí)刻的函數(shù)，以表示，則可寫成：(9-31)(9-32)這里，與的關(guān)系受系統(tǒng)動(dòng)態(tài)方程約束。將指標(biāo)函數(shù)的表示式代入，則顯然(9-33)設(shè)時(shí)刻在區(qū)間內(nèi)，則根據(jù)最優(yōu)性原理，從到這一段過程必須構(gòu)成最優(yōu)過程，這一段過程的性能指標(biāo)極小值可表示為將這段最優(yōu)過程分成二步，第一步由到，是一很小的時(shí)間間隔，第二步由至，于是有(9-34)(9-35)根據(jù)最優(yōu)性原理，從到這一段過程也應(yīng)當(dāng)構(gòu)成最優(yōu)過程，其性能指標(biāo)極小值可表示為：這樣先，式(9幫-3米5)就變預(yù)成：(9-36)(9-37)因?yàn)楹苄?，上式可寫成?9-38)將用臺(tái)勞級數(shù)展開(9-39)式中，