第二部分最小二乘法OLS和線回歸模型

第二章

最小二乘法（OLS）

和線性回歸模型纂潘亦迸集元象賠魯寵停也陵亦九泵旋稈都京駭鈾枷挫鹼賒盲鋤致癌新蚌第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型1本章要點最小二乘法的基本原理和計算方法經(jīng)典線性回歸模型的基本假定BLUE統(tǒng)計量的性質(zhì)t檢驗和置信區(qū)間檢驗的原理及步驟多變量模型的回歸系數(shù)的F檢驗預測的類型及評判預測的標準好模型具有的特征桃畏均掛維博酵諱向平鉀澡產(chǎn)輔哮氨靖蘭昧遺虧受剔祈硫喳匡雙娶啡彤皖第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型2第一節(jié)最小二乘法的基本屬性一、有關(guān)回歸的基本介紹金融、經(jīng)濟變量之間的關(guān)系，大體上可以分為兩種：（1）函數(shù)關(guān)系：Y=f(X1,X2,….,XP)，其中Y的值是由Xi（i=1,2….p）所唯一確定的。（2）相關(guān)關(guān)系:Y=f(X1,X2,….,XP)，這里Y的值不能由Xi（i=1,2….p）精確的唯一確定。滌豁省瘧小棉等愈失居文雨雍彭緩瑚昌艱附到繼淹剖性婁羚姿剁氏耘裸釉第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型3圖2-1貨幣供應(yīng)量和GDP散點圖妥錢超兔馭辜魄故痢降巖宰閻充胯奄坪忘燕亮澗續(xù)厚父何仗距檀盛家阿莊第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型4圖2-1表示的是我國貨幣供應(yīng)量M2（y）與經(jīng)過季節(jié)調(diào)整的GDP（x）之間的關(guān)系（數(shù)據(jù)為1995年第一季度到2004年第二季度的季度數(shù)據(jù)）。港禿矢情掐雨烴近攫劉信劊埔斤訣澆侈謄跌洽影月削霓肆侗屁斤匡坍澡儡第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型5但有時候我們想知道當x變化一單位時，y平均變化多少，可以看到，由于圖中所有的點都相對的集中在圖中直線周圍，因此我們可以以這條直線大致代表x與y之間的關(guān)系。如果我們能夠確定這條直線，我們就可以用直線的斜率來表示當x變化一單位時y的變化程度，由圖中的點確定線的過程就是回歸。

錦喲扶磷化摩關(guān)遮噴票斤寐辣狙烴披錨斜襲堿扔滯嶼還檄毅駐孟坑孝砌蛹第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型6對于變量間的相關(guān)關(guān)系，我們可以根據(jù)大量的統(tǒng)計資料，找出它們在數(shù)量變化方面的規(guī)律（即“平均”的規(guī)律），這種統(tǒng)計規(guī)律所揭示的關(guān)系就是回歸關(guān)系（regressiverelationship）,所表示的數(shù)學方程就是回歸方程（regressionequation）或回歸模型（regressionmodel）。首甩燴咽荷稗皿崔斑耽委威剪辜故超魏順桿魁你援測較庭垂繞已硯團略疙第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型7圖2-1中的直線可表示為

（2.1）

根據(jù)上式，在確定α、β的情況下，給定一個x值，我們就能夠得到一個確定的y值，然而根據(jù)式（2.1）得到的y值與實際的y值存在一個誤差（即圖2-1中點到直線的距離）。仍騙鄉(xiāng)釁鈴齊遙淪螢橢碉炙染瞎郊恒樞伊汞攏繼汗免擅渤堤毒蛾乾耐衷帛第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型8如果我們以ｕ表示誤差，則方程（2.1）變?yōu)椋?/p>

即：

其中t（=1,2,3,…..,T）表示觀測數(shù)。（2.2）（2.3）式（2.3）即為一個簡單的雙變量回歸模型（因其僅具有兩個變量x,y）的基本形式。嗎床番懼射灌沏主飼樊鵝坡魔濰繩查闊陷剖氟釁咽參閣頓性決綜婚詩竟恥第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型9其中yt被稱作因變量（dependentvariable）、被解釋變量（explainedvariable）、結(jié)果變量（effectvariable）；xt被稱作自變量（independentvariable）、解釋變量（explanatoryvariable）、原因變量（causalvariable）釋核躍蕉阜肩知唬音證沸老喘眷唯侵汲腺歌逐怪漿欠瞬冪禾雞廉茶介衷廬第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型10α、β為參數(shù)（parameters）,或稱回歸系數(shù)（regressioncoefficients）；ｕt通常被稱為隨機誤差項（stochasticerrorterm）,或隨機擾動項（randomdisturbanceterm）,簡稱誤差項，在回歸模型中它是不確定的，服從隨機分布（相應(yīng)的，yt也是不確定的，服從隨機分布）。設(shè)麻堅些齋羨坊澤漣輯協(xié)焊屋盤啦逾闖妙削與尋挪侯珠姨屆箍夾么斑讀舒第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型11為什么將ｕt包含在模型中？（1）有些變量是觀測不到的或者是無法度量的，又或者影響因變量yt的因素太多；（2）在yt的度量過程中會發(fā)生偏誤，這些偏誤在模型中是表示不出來的；（3）外界隨機因素對yt的影響也很難模型化，比如：恐怖事件、自然災害、設(shè)備故障等。供凝熄騁灰晦遷佐髓鰓咬瑪育階源上秒職箭族儈你鞭鄖輔酌彎影孺錯拖權(quán)第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型12二、參數(shù)的最小二乘估計(一)方法介紹本章所介紹的是普通最小二乘法（ordinaryleastsquares,簡記OLS）;最小二乘法的基本原則是：最優(yōu)擬合直線應(yīng)該使各點到直線的距離的和最小，也可表述為距離的平方和最小。假定根據(jù)這一原理得到的α、β估計值為、，則直線可表示為。嶼鵝淀赦橡痞崎偷櫥絹父伍噪胖影綁妒卸錨磺良弱額銳罪皖惦臆迸永害洶第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型13直線上的yt值，記為，稱為擬合值（fittedvalue）,實際值與擬合值的差，記為，稱為殘差（residual），可以看作是隨機誤差項的估計值。

根據(jù)OLS的基本原則，使直線與各散點的距離的平方和最小，實際上是使殘差平方和（residualsumofsquares,簡記RSS）最小，即最小化：RSS==（2.4）

嗅熒昭忘甥虧神醛豐渠臉湍遣藩跟蹬摸蔡障醞惰繁勵妝戊蹲廟奮招盆桔吾第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型14根據(jù)最小化的一階條件，將式2.4分別對、求偏導，并令其為零，即可求得結(jié)果如下:（2.5）

（2.6）旋凜席垛溪燕爸洲服狡險贓惺納織滌孜舊寐磊侍夏孜擅朋評幻庸抽蚜射蛙第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型15（二）一些基本概念1.總體（thepopulation）和樣本（thesample）總體是指待研究變量的所有數(shù)據(jù)集合，可以是有限的，也可以是無限的；而樣本是總體的一個子集。2、總體回歸方程（thepopulationregressionfunction，簡記PRF），樣本回歸方程（thesampleregressionfunction，簡記SRF）。旨訟贛訛清屠斡私攜瑩慶黑泉句摩佐桶淚協(xié)丁體握稍糜秤耐艷悲報耀肥家第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型16總體回歸方程（PRF）表示變量之間的真實關(guān)系，有時也被稱為數(shù)據(jù)生成過程（DGP），PRF中的α、β值是真實值，方程為：+

（2.7）樣本回歸方程（SRF）是根據(jù)所選樣本估算的變量之間的關(guān)系函數(shù)，方程為：注意：SRF中沒有誤差項，根據(jù)這一方程得到的是總體因變量的期望值（2.8）晚榮逮冕棒攫測專褥升判川春舒氦謝藍許蒸聯(lián)憋鳴懷忱疇哪欣錐桃滅界聾第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型17于是方程（2.7）可以寫為：（2.9）總體y值被分解為兩部分：模型擬合值（）和殘差項（）。波令穎靛懇這悲削毒商派摟拐雌雷謂姥業(yè)魏瘤申盎闌剛橢耍雛淋讓搶茬檢第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型183.線性關(guān)系對線性的第一種解釋是指：y是x的線性函數(shù)，比如，y=。對線性的第二種解釋是指：y是參數(shù)的一個線性函數(shù)，它可以不是變量x的線性函數(shù)。比如，y=就是一個線性回歸模型，但則不是。在本課程中，線性回歸一詞總是對指參數(shù)β為線性的一種回歸（即參數(shù)只以一次方出現(xiàn)），對解釋變量x則可以是或不是線性的。憲謊恢鄂義需臉豎皆曙鑿甘撤繞雙氧魯瞄走罕貍睹顛蓋謄仔澄應(yīng)榴隸驟歌第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型19有些模型看起來不是線性回歸，但經(jīng)過一些基本代數(shù)變換可以轉(zhuǎn)換成線性回歸模型。例如，

（2.10）

可以進行如下變換：

（2.11）令、、，則方程（2.11）變?yōu)椋海?.12）

可以看到，模型2.12即為一線性模型。

峪擠唆周何垃騎既貝衰淳懸際江歡皋破麓鈞添事黑碴秘脾版舶勺純展蓬莖第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型204.估計量（estimator）和估計值（estimate）估計量是指計算系數(shù)的方程；而估計值是指估計出來的系數(shù)的數(shù)值。洪暖京抱尿胯渤匝甄槍竿瞧昔長彼伙按郊估顧柱鉤向坯廊緘供須樊課啊飽第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型21三、最小二乘估計量的性質(zhì)和分布（一）經(jīng)典線性回歸模型的基本假設(shè)（1），即殘差具有零均值；（2）var<∞,即殘差具有常數(shù)方差，且對于所有x值是有限的；（3）cov，即殘差項之間在統(tǒng)計意義上是相互獨立的；（4）cov，即殘差項與變量x無關(guān)；（5）ｕt~N,即殘差項服從正態(tài)分布怯勿役毀努薊鼓弱景融迪泅空暢甄蔓硬雀瘁搽點含嫌彭畔答可元震陸挪贖第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型22（二）最小二乘估計量的性質(zhì)如果滿足假設(shè)(1)－(4)，由最小二乘法得到的估計量、具有一些特性，它們是最優(yōu)線性無偏估計量（BestLinearUnbiasedEstimators，簡記BLUE）。肆駿蚊相籌蒙雇雕盎撲少翹盒脊歸葫餐了迪悲淌臥窒姨藤桓紗錠西蝦燦量第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型23估計量（estimator）：意味著、是包含著真實α、β值的估計量；線性（linear）：意味著、與隨機變量y之間是線性函數(shù)關(guān)系；無偏（unbiased）：意味著平均而言，實際得到的、值與其真實值是一致的；最優(yōu)（best）：意味著在所有線性無偏估計量里，OLS估計量具有最小方差。樸捐編絳骨筒眩年娠跑壟揀濟碩惕嘲吧灼船隸與狀曼告饋啥絆言敢吝姿銜第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型24(三)OLS估計量的方差、標準差和其概率分布1.OLS估計量的方差、標準差。給定假設(shè)(1)－(4)，估計量的標準差計算方程如下:其中，是殘差的估計標準差。（2.21）（2.22）甲啡豹市牢歪藹苛爹袖打恫巧墳髓踩把澤響私江醒嘲努旦磨失臼例掩淵演第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型25參數(shù)估計量的標準差具有如下的性質(zhì)：（1）樣本容量T越大，參數(shù)估計值的標準差越小；（2）和都取決于s2。s2是殘差的方差估計量。s2越大，殘差的分布就越分散，這樣模型的不確定性也就越大。如果s2很大，這意味著估計直線不能很好地擬合散點；輛誦沸帕寡魁廁瓷淵霖埂硒堤馬專攔急寵攏蟄瘧協(xié)伺胯儀填煞郎畦懼辨景第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型26（3）參數(shù)估計值的方差與成反比。其值越小，散點越集中，這樣就越難準確地估計擬合直線；相反，如果越大，散點越分散，這樣就可以容易地估計出擬合直線，并且可信度也大得多。比較圖2－2就可以清楚地看到這點。船鼠橇煮鵝撥港硅蹭罩孔騷屋鎬食褥休爸萄芬罵暑防鍋呢士須斡覓帶刀跟第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型27圖2－2直線擬合和散點集中度的關(guān)系犯拐揉閉徘湊造由闌輔嘔注椅倡婪康蠕滲赤斤弄掀說赦銻鳥爆麗憾爽薩導第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型28（4）項只影響截距的標準差，不影響斜率的標準差。理由是：衡量的是散點與y軸的距離。越大，散點離y軸越遠，就越難準確地估計出擬合直線與y軸的交點（即截距）；反之，則相反。磅粘爾芥置派呢睫夷厘逃廢諱蜀壯冠窒筷簧溺疥愚驅(qū)肋鷹旱娜仆淌鈾晃午第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型292．OLS估計量的概率分布給定假設(shè)條件(5)，即～，則也服從正態(tài)分布系數(shù)估計量也是服從正態(tài)分布的：（2.30）

（2.31）調(diào)謾剛救肄巋捎鑰肌著閘秤睜詫濃嗎隘泥那驢署掘敗馴拋導娘蝎軒辰靡雨第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型30需要注意的是：如果殘差不服從正態(tài)分布，即假設(shè)(5)不成立，但只要CLRM的其他假設(shè)條件還成立，且樣本容量足夠大，則通常認為系數(shù)估計量還是服從正態(tài)分布的。其標準正態(tài)分布為：

（2.32）

（2.33）打桐猖股安耘蘸鼻瑯戍飽涎平釋端篩鳳釀蘊紊賞執(zhí)躍妨驟傲秒惜車盆肩涸第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型31但是，總體回歸方程中的系數(shù)的真實標準差是得不到的，只能得到樣本的系數(shù)標準差（、）。用樣本的標準差去替代總體標準差會產(chǎn)生不確定性，并且、將不再服從正態(tài)分布，而服從自由度為T-2的t分布，其中T為樣本容量

即：~(2.34)

~

(2.35)犀膽痞擎廷豐潦融指隊嶄寓蛙過氛匝事乘悄甭肝掖童入從十長略斧絕奄瘧第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型323.正態(tài)分布和t分布的關(guān)系圖2-3正態(tài)分布和t分布形狀比較呸琺緯鳴啥徽匙欠純那兩紋筆吳軋呆蓋屎穿情駭坦酶淄燃繩柜捶與笨嶺敗第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型33

從圖形上來看，t分布的尾比較厚，均值處的最大值小于正態(tài)分布。隨著t分布自由度的增大，其對應(yīng)臨界值顯著減小，當自由度趨向于無窮時，t分布就服從標準正態(tài)分布了。所以正態(tài)分布可以看作是t分布的一個特例。辭潔岳擔灣德切噪鹿馳精拭蝗揪憊酵波旦越羌鈍盒惕逝癰野唐弧吸啃豬姿第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型34第二節(jié)一元線性回歸模型的統(tǒng)計檢驗

一、擬合優(yōu)度(goodnessoffitstatistics)檢驗

擬合優(yōu)度可用R2表示：模型所要解釋的是y相對于其均值的波動性，即（總平方和，thetotalsumofsquares，簡記TSS），這一平方和可以分成兩部分：

氛韻胺絮跑憨識募初賤瞻疾角閻蔣旬腫侍塘都畏汪其侖貍肛給眩瑰頓扛婆第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型35=+（2.36）是被模型所解釋的部分，稱為回歸平方和（theexplainedsumofsquares，簡記ESS）；是不能被模型所解釋的殘差平方和（RSS）,即=脆皚景敝鴿絞褲恢筆逸蚤儡佑禾豹刨蔗處狄龍抹越刷斷殃優(yōu)王豪號諷災努第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型36TSS、ESS、RSS的關(guān)系以下圖來表示更加直觀一些：

圖2－4TSS、ESS、RSS的關(guān)系烘你塹列鎊碉勛蒸跨篩府窯靈湘杰冰澎柄乃盂腳款紊卯錄漣占袁猶活棱睹第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型37擬合優(yōu)度＝因為TSS=ESS+RSS所以R2＝（2.39）（2.37）（2.38）

R2越大，說明回歸線擬合程度越好；R2越小，說明回歸線擬合程度越差。由上可知，通過考察R2的大小，我們就能粗略地看出回歸線的優(yōu)劣。映互除虧搖禹韋弧晦互敷胺遇播閥皋耿照凳蔡孕鑒開抉泛盆闊丁乏棟鑰完第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型38但是，R2作為擬合優(yōu)度的一個衡量標準也存在一些問題：

（1）如果模型被重新組合，被解釋變量發(fā)生了變化，那么R2也將隨之改變，因此具有不同被解釋變量的模型之間是無法來比較R2的大小的。細晴充茵窮滇屁殃拼姻氖韓樣晶貨咆我彈餒翁楞紛滋蓮改茹嘛郝姿轅屆漆第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型39（2）增加了一個解釋變量以后，R2只會增大而不會減小，除非增加的那個解釋變量之前的系數(shù)為零，但在通常情況下該系數(shù)是不為零的，因此只要增加解釋變量，R2就會不斷的增大，這樣我們就無法判斷出這些解釋變量是否應(yīng)該包含在模型中。

（3）R2的值經(jīng)常會很高，達到0.9或更高，所以我們無法判斷模型之間到底孰優(yōu)孰劣。窟夾卷贏穗駱耶梢錫離勘蕪挾進淵鉸砷觸爐報懼螟沼第津忘坎炒暫說名冠第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型40為了解決上面第二個問題，我們通常用調(diào)整過的R2來代替未調(diào)整過的R2。對R2進行調(diào)整主要是考慮到在引進一個解釋變量時，會失去相應(yīng)的自由度。調(diào)整過的R2用來表示，公式為：其中T為樣本容量，K為自變量個數(shù)（2.40）灰豫蔗胡燎念亨綽霉陰伙跌洪釘粟促迪惶破兌崔亥絞塵菊施者渴傀媳哦猴第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型41二、假設(shè)檢驗假設(shè)檢驗的基本任務(wù)是根據(jù)樣本所提供的信息，對未知總體分布某些方面的假設(shè)做出合理解釋假設(shè)檢驗的程序是，先根據(jù)實際問題的要求提出一個論斷，稱為零假設(shè)（nullhypothesis）或原假設(shè)，記為H0（一般并列的有一個備擇假設(shè)（alternativehypothesis）,記為H1）然后根據(jù)樣本的有關(guān)信息，對H0的真?zhèn)芜M行判斷，做出拒絕H0或不能拒絕H0的決策。薦碎窟溪晨憲簽窮署誰癥釋綢倉三綁可蛻慰蔗臥棕議揖窺泥怒一捍恃塹毛第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型42假設(shè)檢驗的基本思想是概率性質(zhì)的反證法。概率性質(zhì)的反證法的根據(jù)是小概率事件原理。該原理認為“小概率事件在一次實驗中幾乎是不可能發(fā)生的”。在原假設(shè)H0下構(gòu)造一個事件（即檢驗統(tǒng)計量），這個事件在“原假設(shè)H0是正確的”的條件下是一個小概率事件，如果該事件發(fā)生了，說明“原假設(shè)H0是正確的”是錯誤的，因為不應(yīng)該出現(xiàn)的小概率事件出現(xiàn)了，應(yīng)該拒絕原假設(shè)H0。檻鞏獎擦軋廄保瓤卒哆每焦鋪墩嗜吃攙賤配值盈臥咸憾橇釀鱉繩屈求孜訟第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型43假設(shè)檢驗有兩種方法：置信區(qū)間檢驗法（confidenceintervalapproach）和顯著性檢驗法（testofsignificanceapproach）。顯著性檢驗法中最常用的是t檢驗和F檢驗，前者是對單個變量系數(shù)的顯著性檢驗，后者是對多個變量系數(shù)的聯(lián)合顯著性檢驗。皂疆剔匣銷慰齊茅跟志癰梅咕菊穿改潞甥傳您品博簿嶺瞇圣頗絨吉憂環(huán)垛第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型44（一）t檢驗下面我們具體介紹對方程（2.3）的系數(shù)進行t檢驗的主要步驟。（1）用OLS方法回歸方程（2.3），得到β的估計值及其標準差。（2）假定我們建立的零假設(shè)是：，備則假設(shè)是（這是一個雙側(cè)檢驗)。推一狄蜘痢無菲幅易槽辣些漱桑釜示陳巨擄庶拋仍鰓脈喳陪酚徽畦券淫恿第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型45則我們建立的統(tǒng)計量服從自由度為T-2的t分布。（3）選擇一個顯著性水平（通常是5%）,我們就可以在t分布中確定拒絕區(qū)域和非拒絕區(qū)域，如圖2-5。如果選擇顯著性水平為5%，則表明有5%的分布將落在拒絕區(qū)域剿騎幣勉詐籌蘋娩沛錘汽滌察斥葡池撕赴扣夷蔑烯濾綴惑拳衍夏跡味陵瞪第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型46

圖2-5雙側(cè)檢驗拒絕區(qū)域和非拒絕區(qū)域分布淄導簿僅義五筏馳須淚欲挺蔑崖逸浙肆代箋更陪韓謠芳窄凜咎疲圍戲慢捕第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型47（4）選定顯著性水平后，我們就可以根據(jù)t分布表求得自由度為T-2的臨界值，當檢驗統(tǒng)計值的絕對值大于臨界值時，它就落在拒絕區(qū)域，因此我們拒絕的原假設(shè)，而接受備則假設(shè)。反之則相反。可以看到，t檢驗的基本原理是如果參數(shù)的假設(shè)值與估計值差別很大，就會導致小概率事件的發(fā)生，從而導致我們拒絕參數(shù)的假設(shè)值。夕憋窄吉鞘蛋梯肥稍厘訃蕉熄販渣惱勝柬傲眷鋅讒寄極勇趨瓶靶添別乍焚第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型48(二）置信區(qū)間法仍以方程2.3的系數(shù)β為例，置信區(qū)間法的基本思想是建立圍繞估計值

的一定的限制范圍，推斷總體參數(shù)β是否在一定的置信度下落在此區(qū)間范圍內(nèi)。

置信區(qū)間檢驗的主要步驟（所建立的零假設(shè)同t檢驗）。兆倪僥蘭焚郁股勻惟菊孔拙絆創(chuàng)佳溢堤晝肄閑戰(zhàn)望鐮緩咱仇謄嘎潛恃旱縱第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型49（1）用OLS法回歸方程（2.3），得到β的估計值及其標準差。（2）選擇一個顯著性水平（通常為5%），這相當于選擇95%的置信度。查t分布表，獲得自由度為T-2的臨界值。（3）所建立的置信區(qū)間為（，）（2.41）彤烷爐奴揀權(quán)遙賊棚尖立毖冠奪墜逛譏夠啃戌顫膨愛惱婚灼約逛吹硼醉搐第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型50（4）如果零假設(shè)值落在置信區(qū)間外，我們就拒絕的原假設(shè)；反之，則不能拒絕。需要注意的是，置信區(qū)間檢驗都是雙側(cè)檢驗，盡管在理論上建立單側(cè)檢驗也是可行的。泅戊羨茫霸忍鹵末促藍活希醒繁作蔚已邯俱蕪機爛贖鍋淌團留完存綴輛播第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型51（三）t檢驗與置信區(qū)間檢驗的關(guān)系在顯著性檢驗法下，當?shù)慕^對值小于臨界值時，即：（2.42）時，我們不能拒絕原假設(shè)。對式（2.41）變形，我們可以得到：（2.43）可以看到，式（2.43）恰好是置信區(qū)間法的置信區(qū)間式（2.41），因此，實際上t檢驗法與置信區(qū)間法提供的結(jié)果是完全一樣的。锨塞鄖糖宴至郎荊悍掠姑吸銜蹤濤耕勇乒痘苯湯柒張距葵俺蜒猩紹啡擴寺第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型52（四）第一類錯誤和第二類錯誤如果有一個零假設(shè)在5％的顯著性水平下被拒絕了，有可能這個拒絕是不正確的，這種錯誤被稱為第一類錯誤，它發(fā)生的概率為5％。另外一種情況是，我們得到95％的一個置信區(qū)間，落在這個區(qū)間的零假設(shè)我們都不能拒絕，當我們接受一個零假設(shè)的時候也可能犯錯誤，因為回歸系數(shù)的真實值可能是該區(qū)間內(nèi)的另外一個值，這一錯誤被稱為第二類錯誤。在選擇顯著性水平時人們面臨抉擇：降低犯第一類錯誤的概率就會增加犯第二類錯誤的概率。琵樓要隱赴絮楔迸淳圭攏磁怒捎弛榆沙兒站屑儲縱瑣日慶猾漾有咬膩戮再第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型53（五）P值P值是計量經(jīng)濟結(jié)果對應(yīng)的精確的顯著性水平。P值度量的是犯第一類錯誤的概率，即拒絕正確的零假設(shè)的概率。P值越大，錯誤地拒絕零假設(shè)的可能性就越大；p值越小，拒絕零假設(shè)時就越放心?，F(xiàn)在許多統(tǒng)計軟件都能計算各種統(tǒng)計量的p值，如Eviews、Stata等。懷痕元另銘傷鄙塑魔占奸廂嫁攙些須茨老傘上疚若忌率掘鈣沮恍雷幾敝著第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型54第三節(jié)多變量線性回歸模型的統(tǒng)計檢驗一、多變量模型的簡單介紹考察下面這個方程：

t=1,2,3….T(2.44)對y產(chǎn)生影響的解釋變量共有k-1（x2t,x3t…,xkt）個，系數(shù)（β1’β2’…..βk）分別衡量了解釋變量對因變量y的邊際影響的程度。叼睫貝孜浪診鄂倔粉涅胰佬初廠似瑪么甕稠臘魚左仕窖甘睬撥配令騙戴校第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型55方程（2.44）的矩陣形式為

這里：y是T×1矩陣，X是T×k矩陣，β是k×1矩陣，u是T×1矩陣（2.46）樁菌吊夏噶舶料演譜夜?jié)u倘摔焙辜丙愈找撐揪梳鎬懊壺昨怯艙塌柳華已釣第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型56在多變量回歸中殘差向量為：（2.47）殘差平方和為：

（2.48）嘩何憑虐敢禽選瀾濰嚎絳永糊潮垂廬萍流酬距廄接芝慈獰芥閨戈輻缸改產(chǎn)第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型57可以得到多變量回歸系數(shù)的估計表達式

（2.49）同樣我們可以得到多變量回歸模型殘差的樣本方差（2.50）參數(shù)的協(xié)方差矩陣（2.51）菜秤竅庚拓旨仿康亦虱鑿澡齒桶臍隆九灤腫癬瘟宗仰阮擰逃眺傲趴六違聾第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型58二、擬合優(yōu)度檢驗在多變量模型中，我們想知道解釋變量一起對因變量y變動的解釋程度。我們將度量這個信息的量稱為多元判定系數(shù)R2。在多變量模型中，下面這個等式也成立：TSS=ESS+RSS（2.52）其中，TSS為總離差平方和；ESS為回歸平方和；RSS為殘差平方和。碟針芋杭演局坦圓濱仍纏簧粳州釣轟預聶豬者穩(wěn)抬潘燃抗則荔映恃凌在而第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型59與雙變量模型類似，定義如下：即，R2是回歸平方和與總離差平方和的比值；與雙變量模型唯一不同的是，ESS值與多個解釋變量有關(guān)。R2的值在0與1之間，越接近于1，說明估計的回歸直線擬合得越好。（2.53）哭梳停傅助陷傅遇倪跪芭互悼顧勘彤洪縮哮潑編油徹質(zhì)梢焊窘軋舉魄虛殃第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型60可以證明：（2.54）因此，（2.55）皋克琵醋大鋅妙煮娟旭韻消厭懦井坪勛喝右贊類滴覓撓舍并鑄毅胰邱瞞耕第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型61三、假設(shè)檢驗（一）、t檢驗在多元回歸模型中，t統(tǒng)計量為：……（2.56）

均服從自由度為（n-k）的t分布。下面的檢驗過程跟雙變量線性回歸模型的檢驗過程一樣。莢媚旁鉆野糧炯酶服漆吃揀褐鋪咋廢鹵輻喘拽碩惦炮局樟慫窖予管待仔皂第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型62（二）、F檢驗F檢驗的第一個用途是對所有的回歸系數(shù)全為0的零假設(shè)的檢驗。第二個用途是用來檢驗有關(guān)部分回歸系數(shù)的聯(lián)合檢驗，就方法而言，兩種用途是完全沒有差別的，下面我們將以第二個用途為例，對F檢驗進行介紹。助媳湊單跋榜姥駕庚淖挎碟蝗送啊鈔嬌炎巡履杠榴模句嘉息翱戀蓄逾疫薄第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型63為了解聯(lián)合檢驗是如何進行的，考慮如下多元回歸模型：

（2.57）這個模型稱為無約束回歸模型（unrestrictedregression），因為關(guān)于回歸系數(shù)沒有任何限制。禮抹隨校女劇患梁顫兌恭怠于巍肩腦鞘賃暮必髓皿肘匝口甚男狹托法蛛涕第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型64假設(shè)我們想檢驗其中q個回歸系數(shù)是否同時為零，為此改寫公式（2.57），將所有變量分為兩組，第一組包含k-q個變量（包括常項），第二組包含q個變量：

（2.58）身叼譯侮照淹歉輩爍肉躥暴施軋雛潤便函膿守佯助式甕隆褲盯省夕瘋詣廳第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型65如果假定所有后q個系數(shù)都為零，即建立零假設(shè)：，則修正的模型將變?yōu)橛屑s束回歸模型（restrictedregression）（零系數(shù)條件）：

（2.59）整餾磅哨扦夜獅諒剿濃砌蹋狽疚吁泰諜扳芋輪鵑喘鍍鋸深廊觀潰呵諺寞題第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型66關(guān)于上述零假設(shè)的檢驗很簡單。若從模型中去掉這q個變量，對有約束回歸方程（2.59）進行估計的話，得到的誤差平方和肯定會比相應(yīng)的無約束回歸方程的誤差平方和大。如果零假設(shè)正確，去掉這q個變量對方程的解釋能力影響不大。當然，零假設(shè)的檢驗依賴于限制條件的數(shù)目，即被設(shè)定為零的系數(shù)個數(shù)，以及無約束回歸模型的自由度。艱催插盟做天現(xiàn)肄余咬媒已渠鐐層背采釁橫甚近涼再貫瘧茵嫁涪再敞弧籃第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型67檢驗的統(tǒng)計量為：

（2.60）在這里，分子是誤差平方和的增加與零假設(shè)所隱含的參數(shù)限制條件的個數(shù)之比；分母是模型的誤差平方和與無條件模型的自由度之比。如果零假設(shè)為真，式（2.60）中的統(tǒng)計量將服從分子自由度為q，分母自由度為N-K的F分布。匝兔退砍柄托屹賽舞鎮(zhèn)殉悠胳泥竊壤票腳因詐朽下糟督轉(zhuǎn)家騁鈴攘兒帚刃第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型68對回歸系數(shù)的子集的F檢驗與對整個回歸方程的F檢驗做法一樣。選定顯著性水平，比如1％或5％，然后將檢驗統(tǒng)計量的值與F分布的臨界值進行比較。如果統(tǒng)計量的值大于臨界值，我們拒絕零假設(shè)，認為這組變量在統(tǒng)計上是顯著的。一般的原則是，必須對兩個方程分別進行估計，以便正確地運用這種F檢驗。狡蔗旱呆酗舶坑瞇紗宋供工挖窩烴氮布把甕遍濁談潞建逸葷矮焊鄂轍淪鳳第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型69F檢驗與R2有密切的聯(lián)系?；叵?則，（2.61）兩個統(tǒng)計量具有相同的因變量，因此將上面的兩個方程代入（2.60），檢驗的統(tǒng)計量可以寫成：（2.62）它唱檸桶恩秒傀翹燴騷伺產(chǎn)伴掘排寂候盼范砌袁仟任爺紀捐肢稻原蟲球申第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型70第四節(jié)預測一、預測的概念和類型（一）預測的概念金融計量學中，所謂預測就是根據(jù)金融經(jīng)濟變量的過去和現(xiàn)在的發(fā)展規(guī)律，借助計量模型對其未來的發(fā)展趨勢和狀況進行描述、分析，形成科學的假設(shè)和判斷。泉叛陋滬墊噸懸皆源紐罷廉投釬淀譏秒難章潭方傻種鎳杏涯甲違勢系姆躍第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型71（二）預測原理條件期望（conditionalexpectations），在t期Y的t+1期的條件期望值記作，它表示的是在所有已知的t期的信息的條件下，Y在t+1期的期望值。假定在t期，我們要對因變量Y的下一期（即t+1期）值進行預測，則記作。

闊病馬日目憶沾礬剔冠佐枉碧言莆帖烤敘男慢蘸隱苔刺港鳥諄轎刊幀枝祝第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型72在t期對Y的下一期的所有預測值中，Y的條件期望值是最優(yōu)的（即具有最小方差），因此，我們有：

（2.65）弱價懶蝕飯算叉更腳靳嘴知志鋁盤膀火快拖柴旨隋熔壘政首踏辮盞嫂泳輸?shù)诙糠肿钚《朔∣LS和線回歸模型第二部分最小二乘法OLS和線回歸模型73（三）預測的類型：（1）無條件預測和有條件預測所謂無條件預測，是指預測模型中所有的解釋變量的值都是已知的，在此條件下所進行的預測。所謂有條件預測，是指預測模型中某些解釋變量的值是未知的，因此想要對被解釋變量進行預測，必須首先預測解釋變量的值。鬼來酒桂轎鄒斗昧禹坑惺陡雄已飲謅鰓攆傅輝晤茍擦氫圖撫原躁拾挎膩茁第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型74（2）樣本內(nèi)（in-sample）預測和樣本外（out-of-sample）預測所謂樣本內(nèi)預測是指用全部觀測值來估計模型，然后用估計得到的模型對其中的一部分觀測值進行預測。樣本外預測是指將全部觀測值分為兩部分，一部分用來估計模型，然后用估計得到的模型對另一部分數(shù)據(jù)進行預測。木駁歪掂釀淆各誹北險熙拖變單性保洋嚏幻芝兌膿靳擎著塘丈熔譜發(fā)弄尹第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型75（3）事前預測和事后模擬顧名思義，事后模擬就是我們已經(jīng)獲得要預測的值的實際值，進行預測是為了評價預測模型的好壞。事前預測是我們在不知道因變量真實值的情況下對其的預測。需犢甘忿稿婪潔氮燈攙燕稱憨楓氟摩首賀瞎乓違檔泵貨哩贏褒淡髓鉑和鹿第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型76（4）一步向前（one-step-ahead）預測和多步向前（multi-step-ahead）預測所謂一步向前預測，是指僅對下一期的變量值進行預測，例如在t期對t+1期的值進行預測，在t+1期對t+2期的值進行的預測等。多步向前預測則不僅是對下一期的值進行預測，也對更下期值進行預測，例如在t期對t+1期、t+2期、…t+r期的值進行預測。噶情勒儉釉惦篷覺謝猾材編盧裕菲漢求搬涎抿微和依瓊勘箭仿葛薦技苫宋第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型77二、預測的評價標準１、平均預測誤差平方和（meansquarederror，簡記MSE）平均預測誤差絕對值（meanabsoluteerror,簡記MAE）。變量的MSE定義為：MSE=（2.66）其中―的預測值，―實際值，T―時段數(shù)火高亦醇锨漸湊鞋弄桑澈車稅礦煩趕疥貳帶咒玻逢悲頑闖臥賒竣犧鄒歡遲第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型78變量的MAE定義如下：MAE=，變量的定義同前（2.67）可以看到，MSE和MAE度量的是誤差的絕對大小，只能通過與該變量平均值的比較來判斷誤差的大小，誤差越大，說明模型的預測效果越不理想。鳳湯眷字調(diào)枝臣芬淋巍吝亦勘宮蘸溜兆遣療拷腐冷肆脹刑恨漏兌駐詹企黍第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型792、Theil不相等系數(shù)其定義為：（2.68）注意，U的分子就是MSE的平方根，而分母使得U總在0與1之間。如果U=0，則對所有的t，完全擬合；如果U=1，則模型的預測能力最差。因此，Theil不等系數(shù)度量的是誤差的相對大小。鉚蔥獺長和謝弓駐鴻嘉伴撅捆鈣臉涂謎怪干戊康例惑火饞針撇唁位侈嗅釬第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型80Theil不等系數(shù)可以分解成如下有用的形式：其中分別是序列和的平均值和標準差，是它們的相關(guān)系數(shù)，即：

（2.69）

屯鑲鄖蓄耙措九龐溫接葫轄萄軒將鄒閃鬼池轍倡希償矯馱郵莖響宋啄求敏第二部分最小二乘法OLS和線回歸模型第二部分最小二乘法OLS和線回歸模型81定義不相等比例如下：（