計(jì)量經(jīng)濟(jì)學(xué)第2章一元線性回歸模型說(shuō)課講解

計(jì)量經(jīng)濟(jì)學(xué)第2章一元線性回歸模型2

Y

0

XYi’=β1+β2Xi表示X與Y之間的線性部分，稱(chēng)作總體回歸直線。樣本值與回歸直線的偏離ui表示對(duì)這種線性關(guān)系的隨機(jī)擾動(dòng)。即ui=Yi-Yi’（i=1,2,…,n）33.隨機(jī)誤差項(xiàng)的假定條件(1)E(ui)=0，i=1,2,…(2)Var(ui)=E[ui-E(ui)]2=E(ui2)=σu2,i=1,2,…(3)Cov(uiuj)=E[ui-E(ui)]E[μj-E(uj)]=E(uiuj)=0，i≠j(4)Cov(ui,Xi)=E[ui-E(ui)]E[Xi-E(Xi)]=E(uiXi)=0，i=1,2,…(5)ui服從正態(tài)分布,即ui～N(0,σu2)前五條稱(chēng)為線性回歸分析的經(jīng)典假設(shè)條件，是古典線性回歸模型的基本假定。4§2.2一元線性回歸模型的參數(shù)估計(jì)1.普通最小二乘法（OLS）總體回歸模型：總體回歸方程：樣本回歸模型：樣本回歸方程：5下面用最小二乘法求總體回歸系數(shù)β1、β2的估計(jì)值。即令根據(jù)微積分多元函數(shù)極值原理，要使上式達(dá)到最小，對(duì)的一階偏導(dǎo)數(shù)都等于零，即6正規(guī)方程組7求解得到：82.幾個(gè)常用的結(jié)果（1）（2）（3）（4）93.截距為零的一元線性回歸模型的參數(shù)估計(jì)一元線性回歸模型的一般形式為當(dāng)ui滿足假定條件時(shí)，β的最小二乘估計(jì)量為10§2.3最小二乘估計(jì)量的統(tǒng)計(jì)性質(zhì)1.線性性最小二乘估計(jì)量均是Yi的線性函數(shù)，即可以表示為Yi的線性組合。證明：其中11前面的式子可記為表明是Yi的線性組合，其中bi不全為零，線性性得證。的線性性可利用的線性性得到?？捎洖檫@表明同樣是Yi的線性組合，其中Wi也不全為零，線性性也得到證明。122.無(wú)偏性無(wú)偏性指的數(shù)學(xué)期望分別等于總體回歸系數(shù)的值β1和β2，即證明：即是參數(shù)真實(shí)值β2的無(wú)偏估計(jì)得到了證明。推導(dǎo)13同樣地，證明的無(wú)偏性。即是β1的無(wú)偏估計(jì)。143.最小方差性最小方差性，即在β1和β2所有可能的線性無(wú)偏估計(jì)中，最小二乘估計(jì)的方差最小。證明思路：假設(shè)是β1和β2的任意其他線性無(wú)偏估計(jì)，設(shè)法證明滿足Var()≤Var()和Var()≤Var()。這兩個(gè)不等式的證明相似，因此只證明其中第二個(gè)不等式。15因?yàn)槭铅?的線性無(wú)偏估計(jì)，因此根據(jù)線性性，可以寫(xiě)成下列形式：其中αi是線性組合的系數(shù)，為確定性的數(shù)值。則有由于是β2的無(wú)偏估計(jì)，因此不管Xi的取值如何，上式都必須等于β2。這就要求必須成立。16因此再計(jì)算方差Var()，得為了比較Var()和Var()的大小，可以對(duì)上述表達(dá)式做一些處理：17前面式子中的第三項(xiàng)因此這樣的最小方差性就得到了證明。18由于最小二乘估計(jì)量具有線性性、無(wú)偏性、最小方差性，因此被稱(chēng)為最佳線性無(wú)偏估計(jì)量（TheBestLinearUnbiasedEstimator），簡(jiǎn)稱(chēng)BLUE性質(zhì)。19§2.4用樣本可決系數(shù)檢驗(yàn)回歸方程的擬合優(yōu)度本節(jié)要檢驗(yàn)的是樣本回歸線對(duì)樣本觀測(cè)值的擬合優(yōu)度。樣本觀測(cè)值距回歸線越近，擬合優(yōu)度越好，X對(duì)Y的解釋能力越強(qiáng)。判斷回歸結(jié)果好壞的基本標(biāo)準(zhǔn)，是回歸直線對(duì)樣本數(shù)據(jù)的擬合程度，稱(chēng)為“擬合優(yōu)度”?；貧w直線的擬合優(yōu)度一方面取決于回歸直線的選擇，這是由參數(shù)估計(jì)方法決定的，另一方面取決于樣本數(shù)據(jù)的分布。當(dāng)參數(shù)估計(jì)方法固定時(shí)，主要取決于樣本數(shù)據(jù)的分布。樣本數(shù)據(jù)的分布在本質(zhì)上是由變量關(guān)系決定的。因此回歸擬合度也是檢驗(yàn)?zāi)Ｐ妥兞筷P(guān)系真實(shí)性，判斷模型假設(shè)是否成立的重要方法。201.總離差平方和的分解YYiOXXi(Xi,Yi)21僅僅考察個(gè)別Yi由回歸直線或解釋變量決定的程度，或者對(duì)Yi逐點(diǎn)進(jìn)行離差分解，仍然難以判斷總體擬合情況。為此進(jìn)一步考察所有Yi離差平方和的分解問(wèn)題。所有Yi離差的平方和記為，稱(chēng)“總離差平方和”。分解可得

22下證明最后一項(xiàng)等于零。即

所以也可寫(xiě)為即總離差平方和可分解為兩部分，一部分為：稱(chēng)為“回歸平方和”,記為ESS；另一部分為：稱(chēng)為“殘差平方和”，記為RSS。23因此有TSS=ESS+RSS即總離差平方和=回歸平方和+殘差平方和前一部分ESS相對(duì)于后一部分RSS越大，說(shuō)明回歸擬合程度越好，Y與X之間的線性決定關(guān)系越明顯。242.樣本可決系數(shù)將TSS=ESS+RSS兩端同除以TSS，得到或式中的正是反映解釋變量對(duì)被解釋變量決定程度的指標(biāo)，稱(chēng)之為“樣本可決系數(shù)”(determinedcoefficient)，也叫決定系數(shù)、判定系數(shù)，通常用R2表示。25這個(gè)指標(biāo)的計(jì)算公式是或R2是樣本回歸線與樣本觀測(cè)值擬合優(yōu)度的度量指標(biāo)，其數(shù)值在0到1之間。R2=0，解釋變量X與Y沒(méi)有線性關(guān)系；R2=1，樣本回歸線與樣本觀測(cè)值重合，X與Y在一條直線上；0<R2<1，R2越接近1，樣本回歸線對(duì)樣本值的擬合優(yōu)度越好，X對(duì)Y的解釋能力越強(qiáng)。263.樣本相關(guān)系數(shù)樣本相關(guān)系數(shù)是變量X與Y之間線性相關(guān)程度的度量指標(biāo)。定義為其取值范圍為|r|≤1，即-1≤r≤1。27當(dāng)r=-1時(shí)，表示X與Y之間完全負(fù)線性相關(guān)；當(dāng)r=1時(shí)，表示X與Y之間完全正線性相關(guān)；當(dāng)r=0時(shí)，表示X與Y之間無(wú)線性相關(guān)關(guān)系，即說(shuō)明X與Y可能無(wú)相關(guān)關(guān)系或X與Y之間存在非線性相關(guān)關(guān)系；當(dāng)0<|r|<1時(shí)，X與Y之間存在一定的線性相關(guān)關(guān)系。28§2.5回歸系數(shù)估計(jì)值的顯著性檢驗(yàn)檢驗(yàn)的統(tǒng)計(jì)可靠性，為此，首先考慮其概率分布。假定μi服從正態(tài)分布，因此Yi也服從正態(tài)分布，也服從正態(tài)分布。即291.隨機(jī)變量u的方差隨機(jī)變量ui的方差σu2是一個(gè)不可能測(cè)量計(jì)算出的量。因此，我們只能用它的估計(jì)值e的方差，作為它的方差估計(jì)值。即并且可證明，它還是σu2的無(wú)偏估計(jì)量，即由此可知，的標(biāo)準(zhǔn)差估計(jì)值分別為302.回歸系數(shù)估計(jì)值的顯著性檢驗(yàn)——t檢驗(yàn)?zāi)Ｐ突貧w系數(shù)估計(jì)值的顯著性檢驗(yàn)，即檢驗(yàn)?zāi)Ｐ突貧w系數(shù)是否顯著異于0，是基本的一種假設(shè)檢驗(yàn)。一元線性回歸模型的基本出發(fā)點(diǎn)就是兩個(gè)變量之間存在因果關(guān)系，認(rèn)為解釋變量是影響被解釋變量變化的主要因素，而這種變量關(guān)系是否確實(shí)存在或者是否明顯，會(huì)在回歸系數(shù)β1的估計(jì)值中反映出來(lái)。若β1的估計(jì)數(shù)值較大，說(shuō)明兩變量的關(guān)系是明顯的，若β1的估計(jì)數(shù)值較小，甚至無(wú)法排除它等于0的可能性，說(shuō)明這兩個(gè)變量之間的關(guān)系不明顯，模型的基本設(shè)定不成立。因此顯著性檢驗(yàn)對(duì)于確定變量關(guān)系和模型的真實(shí)性非常重要。31對(duì)回歸系數(shù)估計(jì)值的顯著性檢驗(yàn)用t檢驗(yàn)。根據(jù)的概率分布，由數(shù)理統(tǒng)計(jì)知，來(lái)自單一樣本的估計(jì)值的t統(tǒng)計(jì)量為對(duì)于可以通過(guò)下列變換轉(zhuǎn)化為服從標(biāo)準(zhǔn)正態(tài)分布的隨機(jī)變量用代上式中未知的σμ2得到的統(tǒng)計(jì)量為

服從的分布是自由度為n-2的t分布。32具體檢驗(yàn)步驟如下：提出原假設(shè)H0：β1=0，備擇假設(shè)H1：β1≠0。計(jì)算t統(tǒng)計(jì)量，給出顯著水平α（一般常用0.05或0.01），查自由度n-2的t分布表，得臨界值tα/2(n-2)。做出判斷。如果|t|<tα/2(n-2)，接受H0：β1=0，表明X對(duì)Y無(wú)顯著影響，一元線性回歸模型無(wú)意義；如果|t|>tα/2(n-2)，拒絕H0，接受H1：β1≠0，表明X對(duì)Y有顯著影響。33補(bǔ)充：F檢驗(yàn)與t檢驗(yàn)相對(duì)比，t檢驗(yàn)屬于回歸系數(shù)估計(jì)值的統(tǒng)計(jì)顯著性檢驗(yàn)，是對(duì)個(gè)別參數(shù)感興趣的檢驗(yàn)。而F檢驗(yàn)屬于回歸方程的顯著性檢驗(yàn)，它是對(duì)所有參數(shù)感興趣的一種顯著性檢驗(yàn)。其檢驗(yàn)步驟如下：第一步：提出假設(shè)。原假設(shè)H0：β0=β1=0，備擇假設(shè)H1：β0β1不同時(shí)為零。第二步：構(gòu)造F統(tǒng)計(jì)量。

即統(tǒng)計(jì)量F服從第一自由度為1，第二自由度為n-2的F分布。34第三步：給定顯著性水平α，查F分布臨界值得到Fα(1,n-2)。第四步：做出統(tǒng)計(jì)決策。若F≥Fα(1,n-2)時(shí)，拒絕原假設(shè)H0，接受備擇假設(shè)，則認(rèn)為X與Y的線性相關(guān)關(guān)系顯著，即回歸方程顯著；若F<Fα(1,n-2)時(shí)，接受原假設(shè)H0，則認(rèn)為X與Y的線性相關(guān)關(guān)系不顯著，即回歸方程不顯著。35補(bǔ)充：四種檢驗(yàn)的關(guān)系前面介紹的擬合優(yōu)度(R2)檢驗(yàn)、相關(guān)系數(shù)(r)檢驗(yàn)、t檢驗(yàn)和F檢驗(yàn)，對(duì)于一元線性回歸方程來(lái)說(shuō)，這四種檢驗(yàn)是等價(jià)的?？梢粤私猓阂虼耍瑢?duì)于一元線性回歸方程，我們只需作其中的一種檢驗(yàn)即可。但對(duì)于多元線性回歸方程這四種檢驗(yàn)有著不同的意義，并不是等價(jià)的，需分別進(jìn)行檢驗(yàn)。36補(bǔ)充：回歸方程的標(biāo)準(zhǔn)記法為了方便，我們往往將回歸方程的參數(shù)估計(jì)和系數(shù)的顯著性檢驗(yàn)統(tǒng)計(jì)量結(jié)果放在一起。例如：注：t統(tǒng)計(jì)量右上角的星號(hào)表示顯著性水平的大小，一個(gè)星號(hào)表示在顯著性水平5%下顯著，兩個(gè)星號(hào)表示在顯著性水平1%下顯著，無(wú)星號(hào)表示5%下不顯著。37§2.6一元線性回歸方程的預(yù)測(cè)1.點(diǎn)預(yù)測(cè)根據(jù)一元線性回歸模型的回歸直線進(jìn)行預(yù)測(cè)，只要把解釋變量X的一個(gè)特定值X0代入回歸方程，就可以得到被解釋變量Y的一個(gè)相應(yīng)的預(yù)測(cè)值我們稱(chēng)為被解釋變量的“點(diǎn)預(yù)測(cè)”。38由于回歸直線與真實(shí)的變量關(guān)系不可能完全相同，而且變量關(guān)系本身是隨機(jī)函數(shù)關(guān)系，因此預(yù)測(cè)與將來(lái)實(shí)際出現(xiàn)的結(jié)果之間必然存在誤差。設(shè)Y將來(lái)實(shí)際出現(xiàn)的對(duì)應(yīng)X0的被解釋變量值為Y0，預(yù)測(cè)值與Y0之間的偏差e0=Y0-=Y0-(+X0),稱(chēng)為“預(yù)測(cè)誤差”。由于在預(yù)測(cè)的當(dāng)時(shí)Y0是未知的，因此預(yù)測(cè)誤差e0也是未知的，是一個(gè)隨機(jī)變量。39無(wú)偏性即是Y0的無(wú)偏預(yù)測(cè)，E()=Y0。證明如下：

因此是Y0的無(wú)偏預(yù)測(cè)性質(zhì)得證。40X0是可任意給定的。如果X0在樣本區(qū)間內(nèi)，即為X1，X2，……，Xn樣本點(diǎn)之一，則點(diǎn)預(yù)測(cè)的過(guò)程稱(chēng)為“內(nèi)插預(yù)測(cè)”。如果X0是樣本區(qū)間之外的點(diǎn)，則預(yù)測(cè)過(guò)程稱(chēng)為“外推預(yù)測(cè)”。412.區(qū)間預(yù)測(cè)（1）單個(gè)值的預(yù)測(cè)區(qū)間令e0=Y0-且可知即可知e0服從均值為零，方差為σ2(e0)的正態(tài)分布。用Se2代σ2(e0)中未知的σu2得到σ2(e0)的估計(jì)值構(gòu)造t統(tǒng)計(jì)量給出置信度1-α,查自由度為n-2的t分布表，得臨界值tα/2(n-2),t值落在(-tα/2,tα/2)的概率是1-α，即P{-tα/2<t<tα/2}=1-α整理得即在置信度1-α下，Y0的置信區(qū)