數(shù)量經(jīng)濟學CH8動態(tài)優(yōu)化：動態(tài)規(guī)劃VIP

1、CH8動態(tài)規(guī)劃當時間和不確定性同時出現(xiàn)時，現(xiàn)實中往往確實如此，動態(tài)規(guī)劃就顯得特別有用。動態(tài)規(guī)劃是通過值函數(shù)把動態(tài)問題轉(zhuǎn)變?yōu)殪o態(tài)問題。連續(xù)時間確定性問題定義值函數(shù): ,從出發(fā)的值函數(shù)為:首先計算控制變量的最優(yōu)選擇，然后得到狀態(tài)變量的最優(yōu)值。若和在整個區(qū)間中是最優(yōu)的，那么在子區(qū)間中也是最優(yōu)的。根據(jù)積分中值定理去掉大括號中第一項的積分號，然后圍繞時刻進行泰勒展開。代入原方程得到:消除方程兩邊相同項,并除以,得到:這就是動態(tài)規(guī)劃的遞歸方程（Recursive Equation,RE）。遞歸方程把動態(tài)問題轉(zhuǎn)為只有時期的靜態(tài)問題。根據(jù)RE右邊項對控制變量求導數(shù)等于零，得到最優(yōu)值：。將其代回到RE中，得到貝

2、爾曼方程（Bellman Equation,BE ）。連續(xù)時間動態(tài)規(guī)劃求解步驟1、定義值函數(shù)，寫出RE。2、根據(jù)控制變量的一階條件得到最優(yōu)控制變量的表達式。3、把其代回到RE，得到BE。4、通過BE求出值函數(shù)，最終得到控制變量的最優(yōu)值。注意：BE是偏微分方程，只有少數(shù)幾種情況可以求解：目標函數(shù)是相當或絕對厭惡風險效用函數(shù)，或二次型；約束條件是線性約束。問題：值函數(shù)的形式事先不知道，需要猜測。經(jīng)濟學中動態(tài)規(guī)劃問題的猜測方式：1、值函數(shù)與目標函數(shù)形式相同。2、控制變量是狀態(tài)變量的線性函數(shù)。例：目標函數(shù)為二次型,定義值函數(shù): 寫出遞歸方程RE:有一階條件得到:得到BE：。猜測：值函數(shù)與目標函數(shù)有相同

3、的形式，即為二次型。 為待定常數(shù)，如果存在，猜測正確。 代回上式即得到控制變量自控問題：時間不獨立出現(xiàn)經(jīng)濟學中常遇到的是自控問題。同樣可以用前面的方法，定義現(xiàn)值值函數(shù)，寫出RE進行求解。但是，用當期值的值函數(shù)，可以簡單些。DP一般用當期值函數(shù)。定義現(xiàn)值值函數(shù)： 貼現(xiàn)到0時刻定義當期值值函數(shù)： 貼現(xiàn)到時刻現(xiàn)值:當期值：例子：Ramsey模型資源約束：封閉經(jīng)濟且不考慮政府的資源約束：投資用于增加資本和彌補折舊：Ramsey模型的含義：在資源約束下，選擇消費使效用的貼現(xiàn)和最大化。消費水平確定后，資本存量也確定了，產(chǎn)出水平也確定了。這就是Ramsey模型關(guān)于經(jīng)濟增長的解釋。Ramsey模型將經(jīng)濟增長建

4、立在微觀最優(yōu)化的基礎(chǔ)上。假設(shè)生產(chǎn)函數(shù)規(guī)模報酬不變：用人均形式表示的資源約束為：例子：Ramsey model求解Ramsey model定義當期值值函數(shù)：必須知道效用函數(shù)和生產(chǎn)函數(shù)的具體形式才能求解。二、不確定性問題理論補充：隨機變量及求解。股票價格、人口增長和技術(shù)進步實際上呈現(xiàn)的是隨機變化。確定性變量： 隨機變量：，服從幾何布朗運動。計算以下兩種函數(shù)的微分。1. 2. 對于確定性變量，可以進行一階泰勒展開，也可以直接使用微分公式：。對于不確定變量，需要進行二階泰勒展開。微小變化的乘積（服從幾何布朗運動）：z tztt 00 0dz dtdzdt dt 0 0 0 得到： 即Ito公式得到：例

5、： 連續(xù)時間形式離散時間形式 二、不確定性問題不確定問題的優(yōu)化：服從幾何布朗運動. ,定義值函數(shù): 存在不確定性時，目標函數(shù)是時刻的期望值。與確定性變量一樣的方法推導遞歸方程。根據(jù),上式等價于:將的表達式代入，取期望后抵消相同項后除以，得到RE：根據(jù)控制變量一階條件得到最優(yōu)值，代回RE，得到BE：例1：目標函數(shù)為二次型,定義值函數(shù): 寫出遞歸方程RE:由一階條件得到，代入RE得到BE。然后猜測值函數(shù)與目標函數(shù)有相同的形式，根據(jù)BE得到值函數(shù)。然后得到最優(yōu)控制變量，帶到轉(zhuǎn)移方程得到狀態(tài)變量。例2：Ramsey model必須知道效用函數(shù)和生產(chǎn)函數(shù)的具體形式才能求解。應用：消費與證券投資組合理論（

6、Merton,1971）假設(shè)消費者初始財富w(0)已知，任意時刻t的財富w(t)取決于消費者的投資收益。消費者將(t)比例的資產(chǎn)投資于風險資產(chǎn)，如股票,（1-(t)）的資產(chǎn)投資于無風險資產(chǎn)，如債券。在Merton的模型中，收益率取這種形式：假設(shè)股票的收益率為dRS，債券的收益率為dRB。此處z與BM之間有個小方框?qū)煞N資產(chǎn)的收益率代入上式得到t時刻消費者資產(chǎn)的變化量：效用函數(shù) 猜測值函數(shù)： 將值函數(shù)和最優(yōu)值代回到RE得到常數(shù)A：得到A，就能得到值函數(shù)、消費和投資組合比例的最優(yōu)選擇。 結(jié)論：1、消費在收入中占的比例不變（如果=1,c*=w），解決了凱恩斯消費函數(shù)的“消費之謎”：平均消費傾向隨收入

7、上升而下降。2、風險資產(chǎn)的投資比例與邊際效用彈性的絕對值和風險資產(chǎn)的方差反相關(guān)，與風險資產(chǎn)的溢價正相關(guān)。3、消費變化等式兩邊除以c*得到：將風險資產(chǎn)所占的比例和A代入得到：對時間求導得到：消費的預期增長率與風險資產(chǎn)的方差反相關(guān)。在開放經(jīng)濟中，通過分散投資可以降低風險資產(chǎn)的方差，消費增長率(經(jīng)濟增長率)將會提高（奧博斯特菲爾德和若戈夫（2002，p445）。離散時間一、確定性情況典型問題控制變量為ut，狀態(tài)變量為xt。定義值函數(shù)：任意時刻s的當期值值函數(shù)：練習：根據(jù)連續(xù)時間動態(tài)規(guī)劃的方法推導貝爾曼方程。求解步驟：定義拉格朗日函數(shù)：聯(lián)立（1）和（2）可以得到歐拉方程。例子：Ramsey模型Rams

8、ey模型的含義：在資源約束下，選擇消費使效用的貼現(xiàn)和最大化。消費確定后，資本存量也確定了，產(chǎn)出水平也確定了。這就是Ramsey模型關(guān)于經(jīng)濟增長的解釋。Ramsey模型將經(jīng)濟增長建立在微觀最優(yōu)化的基礎(chǔ)上。求解Ramsey模型 定義lagrange函數(shù)：等式左邊：當前減少1單位消費使未來效用增加量的貼現(xiàn)值。r=f(k)+等式右邊：當前減少1單位消費使當前效用的減少量。最優(yōu)消費選擇滿足等邊際準則。再結(jié)合約束條件可以得到包含k和c的非線性差分方程組：穩(wěn)態(tài)分析達到穩(wěn)態(tài)時，人均消費水平和資本存量不變，得到：穩(wěn)態(tài)值：結(jié)果與solow模型相同，沒有技術(shù)進步時，經(jīng)濟停止增長。由式（1）可以直接得到人均資本存量的

9、穩(wěn)態(tài)值，式（2）即c=f(k)。這樣就得到了和連續(xù)時間形式相同的相位圖（phase diagram)。離散形式的Ramsey模型仍然是鞍點路徑穩(wěn)定。在穩(wěn)態(tài)處系統(tǒng)的穩(wěn)定性分析將歐拉方程和約束條件看做c和k的函數(shù)，圍繞穩(wěn)態(tài)值進行泰勒展開，形成一個二階差分方程組。根據(jù)系數(shù)矩陣的特征根可以判斷系統(tǒng)的穩(wěn)定性。不確定性問題練習：推導不確定性問題的貝爾曼方程。狀態(tài)變量受到上一期隨機沖擊的影響：定義任意時期s的值函數(shù)：右邊取期望得：得到隨機問題的貝爾曼方程BE（或遞歸方程RE）：求解步驟：定義拉格朗日函數(shù)：選擇了后，就相當于選擇了。根據(jù)上式得到V(xs+1），代入一階條件得到：聯(lián)立（1）和（2）可以得到歐拉方

10、程。例子：Ramsey模型求解Ramsey模型定義lagrange函數(shù)：可使用對數(shù)線性化的方式求解該差分方程組，即實際經(jīng)濟周期理論（RBC）。未來沖擊的影響在t時刻不知道t+1時刻的沖擊貝爾曼方程給定初始存量向量y0和末期存量向量yT+1，最大化 滿足約束 轉(zhuǎn)移方程 由此產(chǎn)生的最大值定義為初始存量的一個函數(shù)，即。導數(shù)向量就是這些初始存量的影子價格向量。假設(shè)不是從時點0開始，而是考慮一個特別的時間，如t=。對始點為的決策，關(guān)于過去惟一重要的事就是以往決策產(chǎn)生的存量向量。將其看作一個參數(shù)，并將整個問題在處重新開始。令為這個問題的最大值函數(shù)。當從處給予初始存量一個小的增量時，導數(shù)向量即為最大化的和的

11、邊際增量，即從開始的最優(yōu)化問題中初始存量的影子價格向量?，F(xiàn)在選擇任意的t，考慮那個時候關(guān)于控制變量的決策，以及由于選擇任意特定的而帶來的結(jié)果。根據(jù)轉(zhuǎn)移方程，將產(chǎn)生下一期的存量，然后需要求解時點為t+1的子問題，得到最大值。在t時刻以開始的總值可以分解成兩項：即刻得到的和稍后得到的。的選擇應使這兩項之和最大：這就是貝爾曼方程。貝爾曼最優(yōu)化原理：不管t時刻的決策是什么，隨后的決策對(t+1)開始的子問題而言應該是最優(yōu)的。貝爾曼原理提供了一條求解原來最優(yōu)化問題的強有力的途徑：從末期開始遞歸地向前面時點進行。時點T沒有將來，只有固定的末期存量，因此：滿足：原則上這是一個簡單的靜態(tài)最優(yōu)化問題，并可以得到