復(fù)旦大學(xué)經(jīng)濟(jì)學(xué)院謝識(shí)予計(jì)量經(jīng)濟(jì)學(xué)第四章多元線(xiàn)性回歸分析.ppt

1,第四章 多元線(xiàn)性回歸分析,2,本章主要內(nèi)容,第一節(jié) 多元線(xiàn)性回歸模型 第二節(jié) 參數(shù)估計(jì) 第三節(jié) 回歸擬合度評(píng)價(jià)和決定系數(shù) 第四節(jié) 統(tǒng)計(jì)推斷和預(yù)測(cè),3,第一節(jié) 多元線(xiàn)性回歸模型,一、模型的建立 二、模型的假設(shè),4,一、模型的建立,多元線(xiàn)性回歸模型就是研究多因素關(guān)系，有多個(gè)解釋變量的線(xiàn)性回歸模型。一般形式是： 其中Y是被解釋變量， 是K個(gè)認(rèn)為對(duì)Y有顯著影響的解釋變量（K 2）， 是K+1個(gè)待定參數(shù)，是計(jì)量經(jīng)濟(jì)分析首先要估計(jì)的對(duì)象， 是隨機(jī)誤差項(xiàng)。,5,多元線(xiàn)性回歸模型的建立也需要有理論和現(xiàn)實(shí)的根據(jù)。 多元線(xiàn)性回歸模型中包括哪些變量、因素，哪個(gè)指標(biāo)是被解釋變量，有幾個(gè)解釋變量或哪幾個(gè)指標(biāo)作為解釋變量，既要考慮理論分析和研究目的的需要，也應(yīng)該根據(jù)所研究問(wèn)題的具體情況、相關(guān)經(jīng)濟(jì)理論，以及以往研究經(jīng)驗(yàn)等確定。,6,雖然一個(gè)經(jīng)濟(jì)指標(biāo)受到其他幾個(gè)經(jīng)濟(jì)指標(biāo)線(xiàn)性影響在現(xiàn)實(shí)經(jīng)濟(jì)中是存在的，但更多的情況下多變量關(guān)系往往是非線(xiàn)性的，需要經(jīng)過(guò)數(shù)學(xué)變換才能轉(zhuǎn)化為多元線(xiàn)性回歸模型的標(biāo)準(zhǔn)形式。 例：,7,二、模型的假設(shè),(1)、變量 和 之間存在多元線(xiàn)性隨機(jī)函數(shù)關(guān)系 ； (2)、 對(duì)任意 都成立； (3)、 ,與 無(wú)關(guān)； (4)、誤差項(xiàng)不相關(guān)，當(dāng) 時(shí)， (5)、解釋變量都是確定性的而非隨機(jī)變量，且解釋變量之間不存在線(xiàn)性關(guān)系； (6)、誤差項(xiàng) 服從正態(tài)分布。,8,對(duì)假設(shè)的進(jìn)一步分析,上述六條假設(shè)中（2）、（3）、（4）和（6）與兩變量模型相同。 第（1）條是關(guān)于模型基本變量關(guān)系的。 第（5）條不僅針對(duì)的解釋變量數(shù)目增加了，而且多了一個(gè)要求解釋變量之間沒(méi)有線(xiàn)性關(guān)系的假設(shè)，這是多元線(xiàn)性回歸模型的重要特點(diǎn)。,9,多元線(xiàn)性回歸模型的矩陣表示,10,第二節(jié) 參數(shù)估計(jì),一、最小二乘估計(jì) 二、投資函數(shù)模型參數(shù)估計(jì) 三、參數(shù)估計(jì)的性質(zhì)和方差估計(jì),11,一、最小二乘估計(jì),參數(shù)估計(jì)也是多元線(xiàn)性回歸模型的基本步驟。 最小二乘法也是多元線(xiàn)性回歸的基本方法。 對(duì)于多元線(xiàn)性回歸模型,12,得到樣本回歸方程： 回歸殘差平方和 當(dāng) 對(duì) 的一階偏導(dǎo)數(shù)都等于0，得到正規(guī)方程組： 其中,13,該正規(guī)方程組有K+1個(gè)方程，未知數(shù)也是K+1個(gè)。只要滿(mǎn)足模型假設(shè)（5），解釋變量之間不存在嚴(yán)格線(xiàn)性關(guān)系，就可以解出 的唯一一組解。 該解就是 的最小二乘估計(jì)。,14,特別地，對(duì)于兩個(gè)解釋變量的線(xiàn)性回歸模型： 樣本回歸方程是： 可推導(dǎo)出參數(shù)最小二乘估計(jì)的公式如下：,15,最小二乘估計(jì)的向量、矩陣形式,向量表示 回歸方程的向量表示 回歸殘差向量 殘差平方和,16,當(dāng) 對(duì) 的一階偏導(dǎo)數(shù)都等于0,17,二、投資函數(shù)模型參數(shù)估計(jì),作為例子，我們估計(jì)例4-1的投資函數(shù)多元線(xiàn)性回歸模型的參數(shù)。 假設(shè)已獲得該地區(qū)1968-1983年期間實(shí)際投資和實(shí)際GNP數(shù)據(jù)。,18,表4.1 某地區(qū)投資和GNP數(shù)據(jù),19,投資函數(shù)EViews回歸輸出結(jié)果,Dependent Variable: Y Method: Least Squares Date: 07/13/04 Time: 19:44 Sample: 1968 1983 Included observations: 16 Variable Coefficient Std. Error t-Statistic Prob. C -0.486463 0.053836 -9.035936 0.0000 X1 -0.016593 0.001819 -9.122606 0.0000 X2 0.639117 0.052896 12.08262 0.0000 R-squared 0.958362 Mean dependent var 0.203750 Adjusted R-squared 0.951957 S.D. dependent var 0.033061 S.E. of regression 0.007246 Akaike info criterion -6.849241 Sum squared resid 0.000683 Schwarz criterion -6.704381 Log likelihood 57.79393 F-statistic 149.6088 Durbin-Watson stat 1.313453 Prob(F-statistic) 0.000000,20,三、參數(shù)估計(jì)的性質(zhì)和方差估計(jì),只要變量關(guān)系符合多元回歸模型的假設(shè)，多元回歸分析參數(shù)的最小二乘估計(jì)量也有優(yōu)良的性質(zhì)，也是BLUE估計(jì)和一致估計(jì)。 因此在模型假設(shè)成立的前提下，最小二乘估計(jì)也是多元線(xiàn)性回歸分析基本的參數(shù)估計(jì)方法，并能為相關(guān)統(tǒng)計(jì)推斷和預(yù)測(cè)分析提供基礎(chǔ)。,21,要進(jìn)一步對(duì)多元線(xiàn)性回歸模型進(jìn)行統(tǒng)計(jì)推斷和檢驗(yàn)，同樣需要先估計(jì)參數(shù)估計(jì)量的方差。 據(jù)最小二乘估計(jì)公式和模型假設(shè)，可以導(dǎo)出兩個(gè)解釋變量的多元回歸模型各個(gè)參數(shù)的最小二乘估計(jì)量的方差。,22,23,上述參數(shù)估計(jì)量方差中的 是模型誤差項(xiàng) 的方差，一般可以用多元線(xiàn)性回歸最小二乘估計(jì)的殘差序列： 加以估計(jì)，公式是： ,24,第三節(jié) 回歸擬合度評(píng)價(jià)和決定系數(shù),分析兩變量線(xiàn)性回歸決定系數(shù)公式 可以發(fā)現(xiàn)，該決定系數(shù)只與被解釋變量的觀測(cè)值以及回歸殘差有關(guān)，而與解釋變量無(wú)直接關(guān)系。 多元模型解釋變量的數(shù)目有多有少，該決定系數(shù)是解釋變量數(shù)目的增函數(shù)，意味著不管增加的解釋變量是否真是影響被解釋變量的重要因素，都會(huì)提高決定系數(shù)的數(shù)值，解釋變量個(gè)數(shù)越多，決定系數(shù)一定會(huì)越大。,25,克服決定系數(shù)上述缺陷的方法，是對(duì)決定系數(shù)進(jìn)行適當(dāng)?shù)恼{(diào)整，采用如下“調(diào)整的決定系數(shù)”： ,26,根據(jù)上述公式可以看出，當(dāng)n 較大和K 較小時(shí)， 和R 差別不大，但當(dāng)n并不是很大而K又較大時(shí)，兩者的差別是比較明顯的。 用這個(gè)調(diào)整的決定系數(shù)作為評(píng)價(jià)多元線(xiàn)性回歸擬合度的評(píng)價(jià)標(biāo)準(zhǔn)，可以基本消除由于解釋變量數(shù)目差異造成的影響。 根據(jù)上述公式計(jì)算決定系數(shù)，需要先根據(jù)回歸直線(xiàn)計(jì)算 的理論值，然后計(jì)算回歸殘差序列，再結(jié)合樣本數(shù)據(jù)進(jìn)行計(jì)算。,27,第四節(jié) 統(tǒng)計(jì)推斷和預(yù)測(cè),一、參數(shù)估計(jì)量的標(biāo)準(zhǔn)化 二、統(tǒng)計(jì)推斷和檢驗(yàn) 三、預(yù)測(cè),28,一、參數(shù)估計(jì)量的標(biāo)準(zhǔn)化,在滿(mǎn)足模型假設(shè)的情況下，多元線(xiàn)性回歸模型參數(shù)的最小二乘估計(jì)量是線(xiàn)性無(wú)偏估計(jì)。 參數(shù)估計(jì)量服從以參數(shù)真實(shí)值為中心的正態(tài)分布： 可以通過(guò)下列變換轉(zhuǎn)化為標(biāo)準(zhǔn)正態(tài)分布的統(tǒng)計(jì)量： = N0，1,29,用無(wú)偏估計(jì) 代替誤差項(xiàng)方差 ， 代入 得到的統(tǒng)計(jì)量服從自由度為n-K-1的t分布，記為 = t(n-K-1) 這個(gè)t分布統(tǒng)計(jì)量是對(duì)多元線(xiàn)性回歸參數(shù)估計(jì)量進(jìn)行統(tǒng)計(jì)推斷和檢驗(yàn)的基礎(chǔ)。,30,二、統(tǒng)計(jì)推斷和檢驗(yàn),（一）單個(gè)參數(shù)的置信區(qū)間 （二）參數(shù)顯著性檢驗(yàn) （三）模型總體顯著性檢驗(yàn),31,（一）單個(gè)參數(shù)的置信區(qū)間,對(duì)給定的或要求的置信度，下式應(yīng)該成立： | |= 因此參數(shù) 置信度為 的置信區(qū)間（或稱(chēng)區(qū)間估計(jì)）為： - , + ,32,投資函數(shù)模型參數(shù) 的區(qū)間估計(jì),首先根據(jù)EViews給出的回歸分析結(jié)果，知道 的點(diǎn)估計(jì) =0.639117， 的方差 即 =0.052896。 再通過(guò)查表得到自由度為 ，顯著性水平=0.05的雙側(cè)t分布臨界值 把這些數(shù)值及代入?yún)^(qū)間估計(jì)公式，可得：,33,（二）參數(shù)的顯著性檢驗(yàn),可以對(duì)多元線(xiàn)性回歸模型的各個(gè)參數(shù)進(jìn)行顯著性檢驗(yàn)，或取特定值的假設(shè)檢驗(yàn)。 模型參數(shù)顯著性檢驗(yàn)就是對(duì)相應(yīng)參數(shù)檢驗(yàn)原假設(shè) ： 0。如果 =0成立，那么意味著不能排除模型中第k個(gè)假設(shè)變量是不重要的。 根據(jù)要求的置信度（95%或99%），查t分布表得到自由度為n-K-1的t分布統(tǒng)計(jì)量的雙側(cè)分布臨界值。,34,如果假設(shè) 是真實(shí)的，那么95%或99%應(yīng)該成立： = = (n-K-1) 如果t 統(tǒng)計(jì)量數(shù)值不滿(mǎn)足上述不等式，意味著可以拒絕原假設(shè)，不能認(rèn)為第k個(gè)解釋變量是不重要的，稱(chēng)模型的第k個(gè)解釋變量通過(guò)了顯著性檢驗(yàn)。,35,除了上述參數(shù)非0的顯著性檢驗(yàn)以外，也可以檢驗(yàn)多元回歸模型各個(gè)參數(shù)取非0的其他特定值的可能性。 檢驗(yàn)的原理與顯著性檢驗(yàn)基本相同，只要把參數(shù)的真實(shí)值 換成要檢驗(yàn)是否成立的數(shù)值即可。,36,（三）模型總體顯著性檢驗(yàn),多元線(xiàn)性回歸模型每個(gè)參數(shù)的顯著性與模型總體的顯著性并不一定一致。 因此還可以進(jìn)行模型總體顯著性，也就是全體解釋變量總體對(duì)被解釋變量是否存在明顯影響的檢驗(yàn)，稱(chēng)為“回歸顯著性檢驗(yàn)”。 回歸顯著性檢驗(yàn)的基本方法，是檢驗(yàn)?zāi)Ｐ统?shù)項(xiàng)以外所有參數(shù)同時(shí)為0的假設(shè)，即檢驗(yàn)原假設(shè)為 ： 0。,37,為了方便起見(jiàn)，實(shí)踐中一般都利用 成立時(shí)模型的決定系數(shù)應(yīng)為0的事實(shí)，通過(guò)檢驗(yàn)決定系數(shù)的顯著性間接檢驗(yàn)回歸顯著性。 決定系數(shù)的顯著性則利用下列F分布統(tǒng)計(jì)量進(jìn)行檢驗(yàn)： F = F (K,n-K-1) 給定顯著性水平（對(duì)應(yīng)置信度1-），查F 分布臨界值表，得到臨界值F (K,n-K-1)，若F 統(tǒng)計(jì)量大于F 回歸是顯著的，否則是不顯著的。,38,三、預(yù)測(cè),預(yù)測(cè)也是多元線(xiàn)性回歸分析的目的和進(jìn)一步檢驗(yàn)?zāi)Ｐ偷姆椒?，也包括點(diǎn)預(yù)測(cè)和區(qū)間預(yù)測(cè)兩方面。 點(diǎn)預(yù)測(cè)就是求對(duì)應(yīng)解釋變量觀測(cè)值 的被解釋變量值 的估計(jì)。 得到回歸直線(xiàn)以后，只要 把代入回歸直線(xiàn)，得到： 就是一個(gè)點(diǎn)預(yù)測(cè)。,39,即使模型代表的經(jīng)濟(jì)規(guī)律在預(yù)測(cè)時(shí)刻是嚴(yán)格成立的，預(yù)測(cè) 與實(shí)際發(fā)生的 一般也不會(huì)完全一樣，因?yàn)轭A(yù)測(cè)和實(shí)際值之間存在預(yù)測(cè)誤差。 但在模型假設(shè)成立的前提下，上述基于最小二乘參數(shù)估計(jì)的預(yù)測(cè)是一個(gè)“線(xiàn)性無(wú)偏預(yù)測(cè)”，而且是具有最小方差的線(xiàn)性無(wú)偏預(yù)測(cè)，也稱(chēng)為“最優(yōu)預(yù)測(cè)”。 是觀測(cè)值 的線(xiàn)性組合，以 為數(shù)學(xué)期望，且服從正態(tài)分布。,40,利用點(diǎn)預(yù)測(cè)的上述性質(zhì)，我們可以構(gòu)造比點(diǎn)預(yù)測(cè)更有意義的區(qū)間預(yù)測(cè)： se( )， + se( ),41,(例)利用投資函數(shù)模型進(jìn)行預(yù)測(cè),假設(shè)1984年的GNP為1.52萬(wàn)億元，要求預(yù)測(cè)該年該地區(qū)的總投資。 由于1984年相當(dāng)于模型中的 ，1.52萬(wàn)億相當(dāng)于 。把這兩個(gè)解釋變量的數(shù)值代入回歸直線(xiàn)，可得到第1984年實(shí)際GNP為1.52萬(wàn)億時(shí)，實(shí)際投資水平的點(diǎn)預(yù)測(cè)： = 0.203,42,用EViews軟件進(jìn)行預(yù)測(cè)時(shí)，需要先把工作文件的樣本范圍擴(kuò)大（change workfile range）至包括1984年，然后在數(shù)據(jù)庫(kù)中加以編輯（edit），輸入1984年的解釋變量數(shù)值（17，1.52）。 進(jìn)行回歸以后，在回歸結(jié)果窗口直接點(diǎn)擊菜單“forcast”，并在對(duì)話(huà)框中選擇預(yù)測(cè)樣本區(qū)間為1968-1984，為了得到預(yù)測(cè)的標(biāo)準(zhǔn)差序列，在對(duì)話(huà)框中將其命名為SEYF。 結(jié)果可輸