復旦大學經濟學院謝識予計量經濟學第四章多元線性回歸分析.ppt

1,第四章 多元線性回歸分析,2,本章主要內容,第一節(jié) 多元線性回歸模型 第二節(jié) 參數估計 第三節(jié) 回歸擬合度評價和決定系數 第四節(jié) 統(tǒng)計推斷和預測,3,第一節(jié) 多元線性回歸模型,一、模型的建立 二、模型的假設,4,一、模型的建立,多元線性回歸模型就是研究多因素關系，有多個解釋變量的線性回歸模型。一般形式是： 其中Y是被解釋變量， 是K個認為對Y有顯著影響的解釋變量（K 2）， 是K+1個待定參數，是計量經濟分析首先要估計的對象， 是隨機誤差項。,5,多元線性回歸模型的建立也需要有理論和現實的根據。 多元線性回歸模型中包括哪些變量、因素，哪個指標是被解釋變量，有幾個解釋變量或哪幾個指標作為解釋變量，既要考慮理論分析和研究目的的需要，也應該根據所研究問題的具體情況、相關經濟理論，以及以往研究經驗等確定。,6,雖然一個經濟指標受到其他幾個經濟指標線性影響在現實經濟中是存在的，但更多的情況下多變量關系往往是非線性的，需要經過數學變換才能轉化為多元線性回歸模型的標準形式。 例：,7,二、模型的假設,(1)、變量 和 之間存在多元線性隨機函數關系 ； (2)、 對任意 都成立； (3)、 ,與 無關； (4)、誤差項不相關，當 時， (5)、解釋變量都是確定性的而非隨機變量，且解釋變量之間不存在線性關系； (6)、誤差項 服從正態(tài)分布。,8,對假設的進一步分析,上述六條假設中（2）、（3）、（4）和（6）與兩變量模型相同。 第（1）條是關于模型基本變量關系的。 第（5）條不僅針對的解釋變量數目增加了，而且多了一個要求解釋變量之間沒有線性關系的假設，這是多元線性回歸模型的重要特點。,9,多元線性回歸模型的矩陣表示,10,第二節(jié) 參數估計,一、最小二乘估計 二、投資函數模型參數估計 三、參數估計的性質和方差估計,11,一、最小二乘估計,參數估計也是多元線性回歸模型的基本步驟。 最小二乘法也是多元線性回歸的基本方法。 對于多元線性回歸模型,12,得到樣本回歸方程： 回歸殘差平方和 當 對 的一階偏導數都等于0，得到正規(guī)方程組： 其中,13,該正規(guī)方程組有K+1個方程，未知數也是K+1個。只要滿足模型假設（5），解釋變量之間不存在嚴格線性關系，就可以解出 的唯一一組解。 該解就是 的最小二乘估計。,14,特別地，對于兩個解釋變量的線性回歸模型： 樣本回歸方程是： 可推導出參數最小二乘估計的公式如下：,15,最小二乘估計的向量、矩陣形式,向量表示 回歸方程的向量表示 回歸殘差向量 殘差平方和,16,當 對 的一階偏導數都等于0,17,二、投資函數模型參數估計,作為例子，我們估計例4-1的投資函數多元線性回歸模型的參數。 假設已獲得該地區(qū)1968-1983年期間實際投資和實際GNP數據。,18,表4.1 某地區(qū)投資和GNP數據,19,投資函數EViews回歸輸出結果,Dependent Variable: Y Method: Least Squares Date: 07/13/04 Time: 19:44 Sample: 1968 1983 Included observations: 16 Variable Coefficient Std. Error t-Statistic Prob. C -0.486463 0.053836 -9.035936 0.0000 X1 -0.016593 0.001819 -9.122606 0.0000 X2 0.639117 0.052896 12.08262 0.0000 R-squared 0.958362 Mean dependent var 0.203750 Adjusted R-squared 0.951957 S.D. dependent var 0.033061 S.E. of regression 0.007246 Akaike info criterion -6.849241 Sum squared resid 0.000683 Schwarz criterion -6.704381 Log likelihood 57.79393 F-statistic 149.6088 Durbin-Watson stat 1.313453 Prob(F-statistic) 0.000000,20,三、參數估計的性質和方差估計,只要變量關系符合多元回歸模型的假設，多元回歸分析參數的最小二乘估計量也有優(yōu)良的性質，也是BLUE估計和一致估計。 因此在模型假設成立的前提下，最小二乘估計也是多元線性回歸分析基本的參數估計方法，并能為相關統(tǒng)計推斷和預測分析提供基礎。,21,要進一步對多元線性回歸模型進行統(tǒng)計推斷和檢驗，同樣需要先估計參數估計量的方差。 據最小二乘估計公式和模型假設，可以導出兩個解釋變量的多元回歸模型各個參數的最小二乘估計量的方差。,22,23,上述參數估計量方差中的 是模型誤差項 的方差，一般可以用多元線性回歸最小二乘估計的殘差序列： 加以估計，公式是： ,24,第三節(jié) 回歸擬合度評價和決定系數,分析兩變量線性回歸決定系數公式 可以發(fā)現，該決定系數只與被解釋變量的觀測值以及回歸殘差有關，而與解釋變量無直接關系。 多元模型解釋變量的數目有多有少，該決定系數是解釋變量數目的增函數，意味著不管增加的解釋變量是否真是影響被解釋變量的重要因素，都會提高決定系數的數值，解釋變量個數越多，決定系數一定會越大。,25,克服決定系數上述缺陷的方法，是對決定系數進行適當的調整，采用如下“調整的決定系數”： ,26,根據上述公式可以看出，當n 較大和K 較小時， 和R 差別不大，但當n并不是很大而K又較大時，兩者的差別是比較明顯的。 用這個調整的決定系數作為評價多元線性回歸擬合度的評價標準，可以基本消除由于解釋變量數目差異造成的影響。 根據上述公式計算決定系數，需要先根據回歸直線計算 的理論值，然后計算回歸殘差序列，再結合樣本數據進行計算。,27,第四節(jié) 統(tǒng)計推斷和預測,一、參數估計量的標準化 二、統(tǒng)計推斷和檢驗 三、預測,28,一、參數估計量的標準化,在滿足模型假設的情況下，多元線性回歸模型參數的最小二乘估計量是線性無偏估計。 參數估計量服從以參數真實值為中心的正態(tài)分布： 可以通過下列變換轉化為標準正態(tài)分布的統(tǒng)計量： = N0，1,29,用無偏估計 代替誤差項方差 ， 代入 得到的統(tǒng)計量服從自由度為n-K-1的t分布，記為 = t(n-K-1) 這個t分布統(tǒng)計量是對多元線性回歸參數估計量進行統(tǒng)計推斷和檢驗的基礎。,30,二、統(tǒng)計推斷和檢驗,（一）單個參數的置信區(qū)間 （二）參數顯著性檢驗 （三）模型總體顯著性檢驗,31,（一）單個參數的置信區(qū)間,對給定的或要求的置信度，下式應該成立： | |= 因此參數 置信度為 的置信區(qū)間（或稱區(qū)間估計）為： - , + ,32,投資函數模型參數 的區(qū)間估計,首先根據EViews給出的回歸分析結果，知道 的點估計 =0.639117， 的方差 即 =0.052896。 再通過查表得到自由度為 ，顯著性水平=0.05的雙側t分布臨界值 把這些數值及代入區(qū)間估計公式，可得：,33,（二）參數的顯著性檢驗,可以對多元線性回歸模型的各個參數進行顯著性檢驗，或取特定值的假設檢驗。 模型參數顯著性檢驗就是對相應參數檢驗原假設 ： 0。如果 =0成立，那么意味著不能排除模型中第k個假設變量是不重要的。 根據要求的置信度（95%或99%），查t分布表得到自由度為n-K-1的t分布統(tǒng)計量的雙側分布臨界值。,34,如果假設 是真實的，那么95%或99%應該成立： = = (n-K-1) 如果t 統(tǒng)計量數值不滿足上述不等式，意味著可以拒絕原假設，不能認為第k個解釋變量是不重要的，稱模型的第k個解釋變量通過了顯著性檢驗。,35,除了上述參數非0的顯著性檢驗以外，也可以檢驗多元回歸模型各個參數取非0的其他特定值的可能性。 檢驗的原理與顯著性檢驗基本相同，只要把參數的真實值 換成要檢驗是否成立的數值即可。,36,（三）模型總體顯著性檢驗,多元線性回歸模型每個參數的顯著性與模型總體的顯著性并不一定一致。 因此還可以進行模型總體顯著性，也就是全體解釋變量總體對被解釋變量是否存在明顯影響的檢驗，稱為“回歸顯著性檢驗”。 回歸顯著性檢驗的基本方法，是檢驗模型常數項以外所有參數同時為0的假設，即檢驗原假設為 ： 0。,37,為了方便起見，實踐中一般都利用 成立時模型的決定系數應為0的事實，通過檢驗決定系數的顯著性間接檢驗回歸顯著性。 決定系數的顯著性則利用下列F分布統(tǒng)計量進行檢驗： F = F (K,n-K-1) 給定顯著性水平（對應置信度1-），查F 分布臨界值表，得到臨界值F (K,n-K-1)，若F 統(tǒng)計量大于F 回歸是顯著的，否則是不顯著的。,38,三、預測,預測也是多元線性回歸分析的目的和進一步檢驗模型的方法，也包括點預測和區(qū)間預測兩方面。 點預測就是求對應解釋變量觀測值 的被解釋變量值 的估計。 得到回歸直線以后，只要 把代入回歸直線，得到： 就是一個點預測。,39,即使模型代表的經濟規(guī)律在預測時刻是嚴格成立的，預測 與實際發(fā)生的 一般也不會完全一樣，因為預測和實際值之間存在預測誤差。 但在模型假設成立的前提下，上述基于最小二乘參數估計的預測是一個“線性無偏預測”，而且是具有最小方差的線性無偏預測，也稱為“最優(yōu)預測”。 是觀測值 的線性組合，以 為數學期望，且服從正態(tài)分布。,40,利用點預測的上述性質，我們可以構造比點預測更有意義的區(qū)間預測： se( )， + se( ),41,(例)利用投資函數模型進行預測,假設1984年的GNP為1.52萬億元，要求預測該年該地區(qū)的總投資。 由于1984年相當于模型中的 ，1.52萬億相當于 。把這兩個解釋變量的數值代入回歸直線，可得到第1984年實際GNP為1.52萬億時，實際投資水平的點預測： = 0.203,42,用EViews軟件進行預測時，需要先把工作文件的樣本范圍擴大（change workfile range）至包括1984年，然后在數據庫中加以編輯（edit），輸入1984年的解釋變量數值（17，1.52）。 進行回歸以后，在回歸結果窗口直接點擊菜單“forcast”，并在對話框中選擇預測樣本區(qū)間為1968-1984，為了得到預測的標準差序列，在對話框中將其命名為SEYF。 結果可輸