最小二乘法和線性回歸及很好的總結(jié)

1、1第二章第二章 最小二乘法（最小二乘法（OLS）和線性回歸模型和線性回歸模型2本章要點 最小二乘法的基本原理和計算方法 經(jīng)典線性回歸模型的基本假定 BLUE統(tǒng)計量的性質(zhì) t檢驗和置信區(qū)間檢驗的原理及步驟 多變量模型的回歸系數(shù)的F檢驗 預(yù)測的類型及評判預(yù)測的標(biāo)準(zhǔn) 好模型具有的特征3第一節(jié)第一節(jié) 最小二乘法的基本屬性最小二乘法的基本屬性 一、有關(guān)回歸的基本介紹 金融、經(jīng)濟變量之間的關(guān)系，大體上可以分為兩種： （1）函數(shù)關(guān)系：Y=f(X1,X2,.,XP)，其中Y的值是由Xi（i=1,2.p）所唯一確定的。 （2）相關(guān)關(guān)系: Y=f(X1,X2,.,XP) ，這里Y的值不能由Xi（i=1,2.p）精

2、確的唯一確定。4圖2-1 貨幣供應(yīng)量和GDP散點圖5 圖2-1表示的是我國貨幣供應(yīng)量M2（y）與經(jīng)過季節(jié)調(diào)整的GDP（x）之間的關(guān)系（數(shù)據(jù)為1995年第一季度到2004年第二季度的季度數(shù)據(jù)）。6 但有時候我們想知道當(dāng)x變化一單位時，y平均變化多少，可以看到，由于圖中所有的點都相對的集中在圖中直線周圍，因此我們可以以這條直線大致代表x與y之間的關(guān)系。如果我們能夠確定這條直線，我們就可以用直線的斜率來表示當(dāng)x變化一單位時y的變化程度，由圖中的點確定線的過程就是回歸。 7 對于變量間的相關(guān)關(guān)系，我們可以根據(jù)大量的統(tǒng)計資料，找出它們在數(shù)量變化方面的規(guī)律（即“平均”的規(guī)律），這種統(tǒng)計規(guī)律所揭示的關(guān)系就是

3、回歸關(guān)系（regressive relationship）,所表示的數(shù)學(xué)方程就是回歸方程（regression equation）或回歸模型（regression model）。8 圖2-1中的直線可表示為 （2.1）y= x 根據(jù)上式，在確定、的情況下，給定一個x值，我們就能夠得到一個確定的y值，然而根據(jù)式（2.1）得到的y值與實際的y值存在一個誤差（即圖2-1中點到直線的距離）。 9 如果我們以表示誤差，則方程（2.1）變?yōu)椋?y= ux 即： tttuxy其中t（=1,2,3,.,T）表示觀測數(shù)。 （2.2）（2.3）式（2.3）即為一個簡單的雙變量回歸模型（因其僅具有兩個變量x, y）

4、的基本形式。 10 其中yt被稱作因變量（dependent variable）、 被解釋變量（explained variable）、 結(jié)果變量（effect variable）； xt被稱作自變量（independent variable）、解釋變量（explanatory variable）、 原因變量（causal variable）11 、為參數(shù)（parameters）,或稱回歸系數(shù)（regression coefficients）； t通常被稱為隨機誤差項（stochastic error term）,或隨機擾動項（random disturbance term）,簡稱誤差項， 在

5、回歸模型中它是不確定的，服從隨機分布（相應(yīng)的，yt也是不確定的，服從隨機分布）。 12 為什么將t 包含在模型中？ （1）有些變量是觀測不到的或者是無法度量的，又或者影響因變量yt的因素太多； （2）在yt的度量過程中會發(fā)生偏誤，這些偏誤在模型中是表示不出來的； （3）外界隨機因素對yt的影響也很難模型化，比如：恐怖事件、自然災(zāi)害、設(shè)備故障等。13 二、參數(shù)的最小二乘估計 (一) 方法介紹 本章所介紹的是普通最小二乘法（ordinary least squares,簡記OLS）; 最小二乘法的基本原則是：最優(yōu)擬合直線應(yīng)該使各點到直線的距離的和最小，也可表述為距離的平方和最小。 假定根據(jù)這一原理

6、得到的、估計值為 、 ，則直線可表示為 。ttyx14 直線上的yt值，記為 ，稱為擬合值（fitted value）,實際值與擬合值的差，記為 ，稱為殘差（residual） ，可以看作是隨機誤差項 的估計值。 根據(jù)OLS的基本原則，使直線與各散點的距離的平方和最小，實際上是使殘差平方和（residual sum of squares, 簡記RSS） 最小，即最小化：tytutuT21ttuT21()tttyyT21()tttyx RSS= = （2.4） 15 根據(jù)最小化的一階條件，將式2.4分別對、求偏導(dǎo)，并令其為零，即可求得結(jié)果如下 :22xTxxyTyxtttyx（2.5） （2.6

7、） 16 （二）一些基本概念 1.總體（the population）和樣本（the sample） 總體是指待研究變量的所有數(shù)據(jù)集合，可以是有限的，也可以是無限的；而樣本是總體的一個子集。 2、總體回歸方程（the population regression function，簡記PRF），樣本回歸方程（the sample regression function，簡記SRF）。17 總體回歸方程（PRF）表示變量之間的真實關(guān)系，有時也被稱為數(shù)據(jù)生成過程（DGP），PRF中的、值是真實值，方程為：ttxy+tu （2. 7） 樣本回歸方程（SRF）是根據(jù)所選樣本估算的變量之間的關(guān)系函數(shù)，方程

8、為： 注意：SRF中沒有誤差項，根據(jù)這一方程得到的是總體因變量的期望值txy（2.8） 18于是方程（2.7）可以寫為： （2.9） 總體y值被分解為兩部分：模型擬合值（ ）和殘差項（ ）。y tutttyxu19 3.線性關(guān)系 對線性的第一種解釋是指：y是x的線性函數(shù)，比如，y= 。 對線性的第二種解釋是指：y是參數(shù)的一個線性函數(shù)，它可以不是變量x的線性函數(shù)。 比如，y= 就是一個線性回歸模型， 但 則不是。 在本課程中，線性回歸一詞總是對指參數(shù)為線性的一種回歸（即參數(shù)只以一次方出現(xiàn)），對解釋變量x則可以是或不是線性的。x2xxy20 有些模型看起來不是線性回歸，但經(jīng)過一些基本代數(shù)變換可以轉(zhuǎn)

9、換成線性回歸模型。例如， tutteAxy （2.10） 可以進行如下變換： tttuxAylnlnln （2.11） 令 、 、 ，則方程（2. 11）變?yōu)椋?ttyYln Aln ttxXlntttuXY（2.12） 可以看到，模型2.12即為一線性模型。 21 4.估計量（estimator）和估計值（estimate） 估計量是指計算系數(shù)的方程；而估計值是指估計出來的系數(shù)的數(shù)值。22 三、最小二乘估計量的性質(zhì)和分布 （一） 經(jīng)典線性回歸模型的基本假設(shè) （1） ，即殘差具有零均值； （2）var ,即殘差具有常數(shù)方差，且對于所有x值是有限的； （3）cov ，即殘差項之間在統(tǒng)計意義上是相

10、互獨立的； （4）cov ，即殘差項與變量x無關(guān)； （5）tN ,即殘差項服從正態(tài)分布0tE u 2tu0,jiuu0,ttxu2, 023 （二）最小二乘估計量的性質(zhì) 如果滿足假設(shè)(1)(4)，由最小二乘法得到的估計量 、 具有一些特性，它們是最優(yōu)線性無偏估計量（Best Linear Unbiased Estimators，簡記BLUE）。24 估計量（estimator）：意味著 、 是包含著真實、值的估計量； 線性（linear）：意味著 、 與隨機變量y之間是線性函數(shù)關(guān)系； 無偏（unbiased）：意味著平均而言，實際得到的 、 值與其真實值是一致的； 最優(yōu)（best）：意味著在所

11、有線性無偏估計量里，OLS估計量 具有最小方差。 25 (三) OLS估計量的方差、標(biāo)準(zhǔn)差和其概率分布 1.OLS估計量的方差、標(biāo)準(zhǔn)差。 給定假設(shè)(1)(4)，估計量的標(biāo)準(zhǔn)差計算方程如下 : 22222xTxTxsxxTxsSEtttt 22211xTxsxxsSEtt22Tust其中， 是殘差的估計標(biāo)準(zhǔn)差。 （2.21） （2.22）26 參數(shù)估計量的標(biāo)準(zhǔn)差具有如下的性質(zhì)： （1）樣本容量T越大，參數(shù)估計值的標(biāo)準(zhǔn)差越??； （2） 和 都取決于s2。 s2是殘差的方差估計量。 s2越大，殘差的分布就越分散，這樣模型的不確定性也就越大。如果s2很大，這意味著估計直線不能很好地擬合散點； SE S

12、E27 （3）參數(shù)估計值的方差與 成反比。 其值越小，散點越集中，這樣就越難準(zhǔn)確地估計擬合直線；相反，如果 越大，散點越分散，這樣就可以容易地估計出擬合直線，并且可信度也大得多。 比較圖22就可以清楚地看到這點。 2 xxt2 xxt28圖22 直線擬合和散點集中度的關(guān)系29 （4） 項只影響截距的標(biāo)準(zhǔn)差，不影響斜率的標(biāo)準(zhǔn)差。理由是： 衡量的是散點與y軸的距離。 越大，散點離y軸越遠，就越難準(zhǔn)確地估計出擬合直線與y軸的交點（即截距）；反之，則相反。2tx2tx2tx30 2OLS估計量的概率分布 給定假設(shè)條件(5)，即 ，則 也服從正態(tài)分布 系數(shù)估計量也是服從正態(tài)分布的：tu2, 0Nty v

13、ar,N（2.30） var,N （2.31）31 需要注意的是：如果殘差不服從正態(tài)分布，即假設(shè)(5)不成立，但只要CLRM的其他假設(shè)條件還成立，且樣本容量足夠大，則通常認為系數(shù)估計量還是服從正態(tài)分布的。 其標(biāo)準(zhǔn)正態(tài)分布為： 1 , 0Nvar 1 , 0varN （2.32） （2.33）32 但是，總體回歸方程中的系數(shù)的真實標(biāo)準(zhǔn)差是得不到的，只能得到樣本的系數(shù)標(biāo)準(zhǔn)差（ 、 ）。用樣本的標(biāo)準(zhǔn)差去替代總體標(biāo)準(zhǔn)差會產(chǎn)生不確定性，并且 SE SE 、 將不再服從正態(tài)分布，而服從自由度為T-2的t分布，其中T為樣本容量 SE SE即： SE (2.34) SE2Tt2Tt (2.35)333.正態(tài)分

14、布和t分布的關(guān)系圖2-3 正態(tài)分布和t分布形狀比較34 從圖形上來看，t分布的尾比較厚，均值處的最大值小于正態(tài)分布。 隨著t分布自由度的增大，其對應(yīng)臨界值顯著減小，當(dāng)自由度趨向于無窮時，t分布就服從標(biāo)準(zhǔn)正態(tài)分布了。 所以正態(tài)分布可以看作是t分布的一個特例。35第二節(jié)第二節(jié) 一元線性回歸模型的統(tǒng)計檢驗一元線性回歸模型的統(tǒng)計檢驗 一、擬合優(yōu)度(goodness of fit statistics)檢驗 擬合優(yōu)度可用R2 表示：模型所要解釋的 是y相對于其均值的波動性，即 （總平方和，the total sum of squares， 簡記TSS），這一平方和可以分成兩部分： 2 yyt36 = +

15、 （2.36） 是被模型所解釋的部分，稱為回歸平方和（the explained sum of squares，簡記ESS）； 是不能被模型所解釋的殘差平方和（RSS）,即 =2 yy2tu2tu2ttyy2 yyt2 yyt2tu37 TSS、ESS、RSS的關(guān)系以下圖來表示更加直觀一些： 圖24 TSS、ESS、RSS的關(guān)系38 擬合優(yōu)度 因為 TSS=ESS+RSS 所以 R2 （2.39）2RTSSESS （2.37） （2.38）TSSRSSTSSRSSTSSTSSESS1 1 , 02R R2越大，說明回歸線擬合程度越好；R2越小，說明回歸線擬合程度越差。由上可知，通過考察R2的大

16、小，我們就能粗略地看出回歸線的優(yōu)劣。39 但是，R2作為擬合優(yōu)度的一個衡量標(biāo)準(zhǔn)也存在一些問題： （1）如果模型被重新組合，被解釋變量發(fā)生了變化，那么R2也將隨之改變，因此具有不同被解釋變量的模型之間是無法來比較R2的大小的。40 （2）增加了一個解釋變量以后， R2只會增大而不會減小，除非增加的那個解釋變量之前的系數(shù)為零，但在通常情況下該系數(shù)是不為零的，因此只要增加解釋變量， R2就會不斷的增大，這樣我們就無法判斷出這些解釋變量是否應(yīng)該包含在模型中。 （3）R2的值經(jīng)常會很高，達到0.9或更高，所以我們無法判斷模型之間到底孰優(yōu)孰劣。41 為了解決上面第二個問題，我們通常用調(diào)整過的R2來代替未調(diào)

17、整過的R2 。對R2進行調(diào)整主要是考慮到在引進一個解釋變量時，會失去相應(yīng)的自由度。調(diào)整過的R2用 來表示，公式為： 其中T為樣本容量 ，K為自變量個數(shù) 2R22111RKTTR（2.40）42 二、假設(shè)檢驗 假設(shè)檢驗的基本任務(wù)是根據(jù)樣本所提供的信息，對未知總體分布某些方面的假設(shè)做出合理解釋 假設(shè)檢驗的程序是，先根據(jù)實際問題的要求提出一個論斷，稱為零假設(shè)（null hypothesis）或原假設(shè)，記為H0（一般并列的有一個備擇假設(shè)（alternative hypothesis）,記為H1 ） 然后根據(jù)樣本的有關(guān)信息，對H0的真?zhèn)芜M行判斷，做出拒絕H0或不能拒絕H0的決策。43 假設(shè)檢驗的基本思想

18、是概率性質(zhì)的反證法。 概率性質(zhì)的反證法的根據(jù)是小概率事件原理。該原理認為“小概率事件在一次實驗中幾乎是不可能發(fā)生的”。在原假設(shè)H0下構(gòu)造一個事件（即檢驗統(tǒng)計量），這個事件在“原假設(shè)H0是正確的”的條件下是一個小概率事件，如果該事件發(fā)生了，說明“原假設(shè)H0是正確的”是錯誤的，因為不應(yīng)該出現(xiàn)的小概率事件出現(xiàn)了，應(yīng)該拒絕原假設(shè)H0 。44 假設(shè)檢驗有兩種方法： 置信區(qū)間檢驗法（confidence interval approach）和顯著性檢驗法（test of significance approach）。 顯著性檢驗法中最常用的是t檢驗和F檢驗，前者是對單個變量系數(shù)的顯著性檢驗，后者是對多個變

19、量系數(shù)的聯(lián)合顯著性檢驗。45 （一）t檢驗 下面我們具體介紹對方程（2.3）的系數(shù)進行t檢驗的主要步驟。 （1）用OLS方法回歸方程（2.3），得到的估計值 及其標(biāo)準(zhǔn)差 。 （2）假定我們建立的零假設(shè)是： ，備則假設(shè)是 （這是一個雙側(cè)檢驗)。 SE*0:H*1:H46 則我們建立的統(tǒng)計量 服從自由度為T-2的t分布。 *stat =SE（3）選擇一個顯著性水平（通常是5%）,我們就可以在t分布中確定拒絕區(qū)域和非拒絕區(qū)域，如圖2-5。如果選擇顯著性水平為5%，則表明有5%的分布將落在拒絕區(qū)域 47 圖2-5 雙側(cè)檢驗拒絕區(qū)域和非拒絕區(qū)域分布48 （4）選定顯著性水平后，我們就可以根據(jù)t分布表求得

20、自由度為T-2的臨界值，當(dāng)檢驗統(tǒng)計值的絕對值大于臨界值時，它就落在拒絕區(qū)域，因此我們拒絕的原假設(shè)，而接受備則假設(shè)。反之則相反。 可以看到，t檢驗的基本原理是如果參數(shù)的假設(shè)值與估計值差別很大，就會導(dǎo)致小概率事件的發(fā)生，從而導(dǎo)致我們拒絕參數(shù)的假設(shè)值。 49(二）置信區(qū)間法 仍以方程2.3的系數(shù)為例，置信區(qū)間法的基本思想是建立圍繞估計值 的一定的限制范圍，推斷總體參數(shù)是否在一定的置信度下落在此區(qū)間范圍內(nèi)。 置信區(qū)間檢驗的主要步驟（所建立的零假設(shè)同 t檢驗）。50 （1）用OLS法回歸方程（2.3），得到的估計值 及其標(biāo)準(zhǔn)差 。 （2）選擇一個顯著性水平（通常為5%），這相當(dāng)于選擇95%的置信度。查t

21、分布表，獲得自由度為T-2的臨界值 。 （3）所建立的置信區(qū)間為（ ， ） （2.41） SEcrittcritt SEcritt SE51 （4）如果零假設(shè)值 落在置信區(qū)間外，我們就拒絕 的原假設(shè)；反之，則不能拒絕。 需要注意的是，置信區(qū)間檢驗都是雙側(cè)檢驗，盡管在理論上建立單側(cè)檢驗也是可行的。*0:H52 （三）t檢驗與置信區(qū)間檢驗的關(guān)系 在顯著性檢驗法下，當(dāng) 的絕對值小于臨界值時，即： （2.42） 時，我們不能拒絕原假設(shè)。 對式（2.41）變形，我們可以得到： （2.43） 可以看到，式（2.43）恰好是置信區(qū)間法的置信區(qū)間式（2.41），因此，實際上t檢驗法與置信區(qū)間法提供的結(jié)果是完全

22、一樣的。stat*c ritc rit-ttS E critt SE*critt SE53 （四）第一類錯誤和第二類錯誤 如果有一個零假設(shè)在5的顯著性水平下被拒絕了，有可能這個拒絕是不正確的，這種錯誤被稱為第一類錯誤，它發(fā)生的概率為5。 另外一種情況是，我們得到95的一個置信區(qū)間，落在這個區(qū)間的零假設(shè)我們都不能拒絕，當(dāng)我們接受一個零假設(shè)的時候也可能犯錯誤，因為回歸系數(shù)的真實值可能是該區(qū)間內(nèi)的另外一個值，這一錯誤被稱為第二類錯誤。 在選擇顯著性水平時人們面臨抉擇：降低犯第一類錯誤的概率就會增加犯第二類錯誤的概率。54 （五）P值 P值是計量經(jīng)濟結(jié)果對應(yīng)的精確的顯著性水平。 P值度量的是犯第一類錯

23、誤的概率，即拒絕正確的零假設(shè)的概率。P值越大，錯誤地拒絕零假設(shè)的可能性就越大；p值越小，拒絕零假設(shè)時就越放心?，F(xiàn)在許多統(tǒng)計軟件都能計算各種統(tǒng)計量的p值，如Eviews、Stata等。55第三節(jié)第三節(jié) 多變量線性回歸模型的統(tǒng)計檢驗多變量線性回歸模型的統(tǒng)計檢驗 一、多變量模型的簡單介紹 考察下面這個方程： t=1,2,3.T (2.44) 對y產(chǎn)生影響的解釋變量共有k-1（x2t,x3t,xkt）個，系數(shù)（12.k）分別衡量了解釋變量對因變量y的邊際影響的程度。tktktttuxxxy.3322156 方程（2.44）的矩陣形式為 這里：y是T1矩陣，X是Tk矩陣，是k1矩陣，u是T1矩陣uXy（

24、2.46）57 在多變量回歸中殘差向量為：Tuuuu21M（2.47） 殘差平方和為： 2222212121tTTTuuuuuuuuuuuuRSSKML（2.48）58 可以得到多變量回歸系數(shù)的估計表達式 yXXXk121M （2.49）同樣我們可以得到多變量回歸模型殘差的樣本方差kTuus2（2.50） 參數(shù)的協(xié)方差矩陣 （2.51） 12varXXs59 二、擬合優(yōu)度檢驗 在多變量模型中，我們想知道解釋變量一起對因變量y變動的解釋程度。我們將度量這個信息的量稱為多元判定系數(shù)R2。 在多變量模型中，下面這個等式也成立： TSS=ESS+RSS （2.52） 其中，TSS為總離差平方和；ESS

25、為回歸平方和；RSS為殘差平方和。60 與雙變量模型類似，定義如下： 即，R2是回歸平方和與總離差平方和的比值；與雙變量模型唯一不同的是，ESS值與多個解釋變量有關(guān)。 R2的值在0與1之間，越接近于1，說明估計的回歸直線擬合得越好。TSSESSR2（2.53）61 可以證明： （2.54） 因此， （2.55）kttkttttxyxyxyESS3322233222tkttkttttyxyxyxyR62三、假設(shè)檢驗 （一）、t檢驗 在多元回歸模型中，t統(tǒng)計量為： *1111tSE*2222tSE*kkkktSE（2.56） 均服從自由度為（n-k）的t分布。下面的檢驗過程跟雙變量線性回歸模型的檢

26、驗過程一樣。 63 （二）、F檢驗 F檢驗的第一個用途是對所有的回歸系數(shù)全為0的零假設(shè)的檢驗。第二個用途是用來檢驗有關(guān)部分回歸系數(shù)的聯(lián)合檢驗，就方法而言，兩種用途是完全沒有差別的，下面我們將以第二個用途為例，對F檢驗進行介紹。 64 為了解聯(lián)合檢驗是如何進行的，考慮如下多元回歸模型： uxxykk221 （2.57）這個模型稱為無約束回歸模型（unrestricted regression），因為關(guān)于回歸系數(shù)沒有任何限制。 65 假設(shè)我們想檢驗其中q個回歸系數(shù)是否同時為零，為此改寫公式（2.57），將所有變量分為兩組，第一組包含k-q個變量（包括常項），第二組包含q個變量： uxxxxykkq

27、kqkqkqk11221（2.58） 66 如果假定所有后q個系數(shù)都為零，即建立零假設(shè)： ，則修正的模型將變?yōu)橛屑s束回歸模型（restricted regression）（零系數(shù)條件）：01kqkuxxyqkqk221 （2.59）67 關(guān)于上述零假設(shè)的檢驗很簡單。若從模型中去掉這q個變量，對有約束回歸方程（2.59）進行估計的話，得到的誤差平方和 肯定會比相應(yīng)的無約束回歸方程的誤差平方和 大。如果零假設(shè)正確，去掉這q個變量對方程的解釋能力影響不大。當(dāng)然，零假設(shè)的檢驗依賴于限制條件的數(shù)目，即被設(shè)定為零的系數(shù)個數(shù)，以及無約束回歸模型的自由度。RRSSURRSS68 檢驗的統(tǒng)計量為： （2.60）

28、RURURRSSRSSqRSSNK在這里，分子是誤差平方和的增加與零假設(shè)所隱含的參數(shù)限制條件的個數(shù)之比；分母是模型的誤差平方和與無條件模型的自由度之比。如果零假設(shè)為真，式（2.60）中的統(tǒng)計量將服從分子自由度為q，分母自由度為N-K的F分布。 69 對回歸系數(shù)的子集的F檢驗與對整個回歸方程的F檢驗做法一樣。選定顯著性水平，比如1或5，然后將檢驗統(tǒng)計量的值與F分布的臨界值進行比較。如果統(tǒng)計量的值大于臨界值，我們拒絕零假設(shè)，認為這組變量在統(tǒng)計上是顯著的。一般的原則是，必須對兩個方程分別進行估計，以便正確地運用這種F檢驗。 70 F檢驗與R2有密切的聯(lián)系?；叵?,則 ， （2.61） 兩個統(tǒng)計量具有

29、相同的因變量，因此 將上面的兩個方程代入（2.60），檢驗的統(tǒng)計量可以寫成： 21RSSRTSS 21URURURRSSRTSS21RRRRSSRTSS RURTSSTSSkNRqRRFURRURkNq222,1（2.62） 71第四節(jié)第四節(jié) 預(yù)測預(yù)測 一、預(yù)測的概念和類型 （一）預(yù)測的概念 金融計量學(xué)中，所謂預(yù)測就是根據(jù)金融經(jīng)濟變量的過去和現(xiàn)在的發(fā)展規(guī)律，借助計量模型對其未來的發(fā)展趨勢和狀況進行描述、分析，形成科學(xué)的假設(shè)和判斷。 72 （二）預(yù)測原理 條件期望（conditional expectations），在t期Y的t+1期的條件期望值記作 ，它表示的是在所有已知的t期的信息的條件下，

30、Y在t+1期的期望值。 假定在t期，我們要對因變量Y的下一期（即t+1期）值進行預(yù)測，則記作 。 t1tE(YI)t,1f73 在t期對Y的下一期的所有預(yù)測值中，Y的條件期望值是最優(yōu)的（即具有最小方差），因此，我們有：t,1t1tf=E(YI) （2.65） 74 （三）預(yù)測的類型： （1）無條件預(yù)測和有條件預(yù)測 所謂無條件預(yù)測，是指預(yù)測模型中所有的解釋變量的值都是已知的，在此條件下所進行的預(yù)測。 所謂有條件預(yù)測，是指預(yù)測模型中某些解釋變量的值是未知的，因此想要對被解釋變量進行預(yù)測，必須首先預(yù)測解釋變量的值。75 （2）樣本內(nèi)（in-sample）預(yù)測和樣本外（out-of-sample）預(yù)測

31、 所謂樣本內(nèi)預(yù)測是指用全部觀測值來估計模型，然后用估計得到的模型對其中的一部分觀測值進行預(yù)測。 樣本外預(yù)測是指將全部觀測值分為兩部分，一部分用來估計模型，然后用估計得到的模型對另一部分數(shù)據(jù)進行預(yù)測。 76 （3）事前預(yù)測和事后模擬 顧名思義，事后模擬就是我們已經(jīng)獲得要預(yù)測的值的實際值，進行預(yù)測是為了評價預(yù)測模型的好壞。 事前預(yù)測是我們在不知道因變量真實值的情況下對其的預(yù)測。 77 （4）一步向前（one-step-ahead）預(yù)測和多步向前（multi-step-ahead）預(yù)測 所謂一步向前預(yù)測，是指僅對下一期的變量值進行預(yù)測，例如在t期對t+1期的值進行預(yù)測，在t+1期對t+2期的值進行的

32、預(yù)測等。 多步向前預(yù)測則不僅是對下一期的值進行預(yù)測，也對更下期值進行預(yù)測，例如在t期對t+1期、t+2期、t+r期的值進行預(yù)測。 78 二、預(yù)測的評價標(biāo)準(zhǔn) 、平均預(yù)測誤差平方和（mean squared error，簡記MSE）平均預(yù)測誤差絕對值（mean absolute error,簡記MAE）。 變量的MSE定義為： MSE= （2.66） 其中 的預(yù)測值， 實際值，T時段數(shù)211TstttyyTstytyty79 變量的MAE定義如下： MAE= ，變量的定義同前 （2.67） 可以看到，MSE和MAE度量的是誤差的絕對大小，只能通過與該變量平均值的比較來判斷誤差的大小，誤差越大，說明

33、模型的預(yù)測效果越不理想。 11TstttyyT80 2、Theil不相等系數(shù) 其定義為： （2.68） 注意，U的分子就是MSE的平方根，而分母使得U總在0與1之間。如果U=0，則對所有的t， 完全擬合；如果U=1，則模型的預(yù)測能力最差。因此，Theil不等系數(shù)度量的是誤差的相對大小。TttTtstTttstyTyTyyTU121212111tstyy 81 Theil不等系數(shù)可以分解成如下有用的形式： 其中 分別是序列 和 的平均值和標(biāo)準(zhǔn)差， 是它們的相關(guān)系數(shù)，即： ssststyyyyT121222 （2.69） ,ssyystytyyyyyTtssts182 定義不相等比例如下： 221

34、tstsMyyTyyU（2.70）221tstsSyyTU （2.71）2112tstsCyyTU （2.72）83 偏誤比例 表示系統(tǒng)誤差，因為它度量的是模擬序列與實際序列之間的偏離程度。 方差比例 表示的是模型中的變量重復(fù)其實際變化程度的能力。 協(xié)方差比例 度量的是非系統(tǒng)誤差，即反映的是考慮了與平均值的離差之后剩下的誤差。 理想的不相等比例的分布是 。MUSUCU1, 0CSMUUU比例 分別稱為U的偏誤比例，方差比例，協(xié)方差比例。它們是將模型誤差按特征來源分解的有效方法（ ）。CSMUUU,1CSMUUU84第五節(jié)：模型選擇第五節(jié)：模型選擇 一、“好”模型具有的特性 1、節(jié)省性（pars

35、imony） 一個好的模型應(yīng)在相對精確反應(yīng)現(xiàn)實的基礎(chǔ)上盡可能的簡單。 2、可識別性（identifiability） 對于給定的一組數(shù)據(jù)，估計的參數(shù)要有唯一確定值。85 3、高擬合性（goodness of fit） 回歸分析的基本思想是用模型中包含的變量來解釋被解釋變量的變化，因此解釋能力的高低就成為衡量模型好壞的重要的標(biāo)準(zhǔn)。 4、理論一致性（theoretical consistency） 即使模型的擬合性很高，但是如果模型中某一變量系數(shù)的估計值符號與經(jīng)濟理論不符，那么這個模型就是失敗的。86 5、預(yù)測能力（predictive power） 著名經(jīng)濟學(xué)家弗里德曼（M.Friedman）認

36、為：“對假設(shè)（模型）的真實性唯一有效的檢驗就是將預(yù)測值與經(jīng)驗值相比較”。因此一個好的模型必須有對未來的較強的預(yù)測能力。87 二、用于預(yù)測的模型的選擇 因為R2將隨著模型解釋變量的增多而不斷增加，按照此標(biāo)準(zhǔn)我們將不會得到最佳的預(yù)測模型。 因此必須對由于解釋變量增多而造成自由度丟失施加一個懲罰項，其中的一個標(biāo)準(zhǔn)就是：22111RKTTR88 對自由度丟失懲罰更為嚴格的標(biāo)準(zhǔn)： Akaike的信息準(zhǔn)則（Akaike information criterion,簡記為AIC）和Schwarz的信息準(zhǔn)則（Schwarz information criterion,簡記為SC） 22kAIC=ln()T2k

37、ln()(lnT)TSC 89 其中 是方程隨機誤差項方差的估計值，k是解釋變量的個數(shù)，T是樣本容量。 可以看到，AIC和SC 的懲罰項 、 比 更為嚴厲，而且相對來說SC標(biāo)準(zhǔn)對自由度的懲罰比AIC更為嚴厲。無論是AIC標(biāo)準(zhǔn)還是SC標(biāo)準(zhǔn)，從預(yù)測的角度來看，度量值越低，模型的預(yù)測會更好。 2 2KTKlnTT（）2R90本章小節(jié)本章小節(jié) 本章內(nèi)容在計量經(jīng)濟學(xué)中是最基礎(chǔ)也是最重要的部分。在這一章中，我們首先介紹了最小二乘法及其估計量的性質(zhì)和分布。在此基礎(chǔ)上我們對一元線性回歸模型的統(tǒng)計檢驗進行了詳細討論，接著將模型擴展，討論了多元線性回歸模型。在用模型進行預(yù)測時，主要有兩種情況：即有條件預(yù)測和無條件

38、預(yù)測。最后一小節(jié)我們簡單介紹了模型的選擇。 91一、方差分析的作用：一、方差分析的作用：1、通過對試驗數(shù)據(jù)的統(tǒng)計分析，推斷造成試驗數(shù)據(jù)間的差異的原因是試驗水平差異、通過對試驗數(shù)據(jù)的統(tǒng)計分析，推斷造成試驗數(shù)據(jù)間的差異的原因是試驗水平差異還是隨機誤差的影響。還是隨機誤差的影響。2、推斷哪些因素的影響是主要的。、推斷哪些因素的影響是主要的。3、分析出、分析出“最佳最佳”的試驗水平（固定模型）；或估計總體變量的參數(shù)（隨機模型）。的試驗水平（固定模型）；或估計總體變量的參數(shù)（隨機模型）。方差分析與假設(shè)檢驗的區(qū)別：方差分析與假設(shè)檢驗的區(qū)別：方差分析能同時檢驗多個總體的某個參數(shù)（如均值是否相等），而假設(shè)檢驗

39、每次只能方差分析能同時檢驗多個總體的某個參數(shù)（如均值是否相等），而假設(shè)檢驗每次只能檢驗兩個總體的某個參數(shù)是否相等。檢驗兩個總體的某個參數(shù)是否相等。方差分析與回歸分析的區(qū)別：方差分析與回歸分析的區(qū)別：1、回歸分析主要是為了得到自變量與因變量的定量關(guān)系、回歸分析主要是為了得到自變量與因變量的定量關(guān)系-回歸方程，回歸系數(shù)顯著回歸方程，回歸系數(shù)顯著性討論的目的，是把影響不顯著的自變量從回歸方程中剔除，以提高回歸方程的穩(wěn)健性討論的目的，是把影響不顯著的自變量從回歸方程中剔除，以提高回歸方程的穩(wěn)健性，是預(yù)測更加精確可靠。性，是預(yù)測更加精確可靠。方差分析則是用于區(qū)分因素對試驗指標(biāo)影響的顯著程度及影響大小，從

40、而找出方差分析則是用于區(qū)分因素對試驗指標(biāo)影響的顯著程度及影響大小，從而找出“最佳最佳”的試驗水平。的試驗水平。2、回歸分析要求因素（輸入）變量是定量的，而方差分析則不要求因素（輸入）變、回歸分析要求因素（輸入）變量是定量的，而方差分析則不要求因素（輸入）變量是定量的。量是定量的。3、回歸分析要求對所有的試驗水平都進行相應(yīng)的試驗，而方差分析則只需要選擇地、回歸分析要求對所有的試驗水平都進行相應(yīng)的試驗，而方差分析則只需要選擇地對某些試驗水平進行試驗（如正交設(shè)計）。對某些試驗水平進行試驗（如正交設(shè)計）。92二、二、t檢驗與方差分析之間的聯(lián)系與區(qū)別：檢驗與方差分析之間的聯(lián)系與區(qū)別：t檢驗只能用于兩樣本均數(shù)及樣本均數(shù)與總體均數(shù)之間的比較；檢驗只能用于兩樣本均數(shù)及樣本均數(shù)與總體均數(shù)之間的比較；方差分析可以用于兩樣本及兩樣本以上的多樣本之間的比較。方差分析可以用于兩樣本及兩樣本以上的多樣本之間的