計量經(jīng)濟學第2章一元線性回歸模型說課講解

計量經(jīng)濟學第2章一元線性回歸模型2

Y

0

XYi’=β1+β2Xi表示X與Y之間的線性部分，稱作總體回歸直線。樣本值與回歸直線的偏離ui表示對這種線性關(guān)系的隨機擾動。即ui=Yi-Yi’（i=1,2,…,n）33.隨機誤差項的假定條件(1)E(ui)=0，i=1,2,…(2)Var(ui)=E[ui-E(ui)]2=E(ui2)=σu2,i=1,2,…(3)Cov(uiuj)=E[ui-E(ui)]E[μj-E(uj)]=E(uiuj)=0，i≠j(4)Cov(ui,Xi)=E[ui-E(ui)]E[Xi-E(Xi)]=E(uiXi)=0，i=1,2,…(5)ui服從正態(tài)分布,即ui～N(0,σu2)前五條稱為線性回歸分析的經(jīng)典假設(shè)條件，是古典線性回歸模型的基本假定。4§2.2一元線性回歸模型的參數(shù)估計1.普通最小二乘法（OLS）總體回歸模型：總體回歸方程：樣本回歸模型：樣本回歸方程：5下面用最小二乘法求總體回歸系數(shù)β1、β2的估計值。即令根據(jù)微積分多元函數(shù)極值原理，要使上式達到最小，對的一階偏導數(shù)都等于零，即6正規(guī)方程組7求解得到：82.幾個常用的結(jié)果（1）（2）（3）（4）93.截距為零的一元線性回歸模型的參數(shù)估計一元線性回歸模型的一般形式為當ui滿足假定條件時，β的最小二乘估計量為10§2.3最小二乘估計量的統(tǒng)計性質(zhì)1.線性性最小二乘估計量均是Yi的線性函數(shù)，即可以表示為Yi的線性組合。證明：其中11前面的式子可記為表明是Yi的線性組合，其中bi不全為零，線性性得證。的線性性可利用的線性性得到?？捎洖檫@表明同樣是Yi的線性組合，其中Wi也不全為零，線性性也得到證明。122.無偏性無偏性指的數(shù)學期望分別等于總體回歸系數(shù)的值β1和β2，即證明：即是參數(shù)真實值β2的無偏估計得到了證明。推導13同樣地，證明的無偏性。即是β1的無偏估計。143.最小方差性最小方差性，即在β1和β2所有可能的線性無偏估計中，最小二乘估計的方差最小。證明思路：假設(shè)是β1和β2的任意其他線性無偏估計，設(shè)法證明滿足Var()≤Var()和Var()≤Var()。這兩個不等式的證明相似，因此只證明其中第二個不等式。15因為是β2的線性無偏估計，因此根據(jù)線性性，可以寫成下列形式：其中αi是線性組合的系數(shù)，為確定性的數(shù)值。則有由于是β2的無偏估計，因此不管Xi的取值如何，上式都必須等于β2。這就要求必須成立。16因此再計算方差Var()，得為了比較Var()和Var()的大小，可以對上述表達式做一些處理：17前面式子中的第三項因此這樣的最小方差性就得到了證明。18由于最小二乘估計量具有線性性、無偏性、最小方差性，因此被稱為最佳線性無偏估計量（TheBestLinearUnbiasedEstimator），簡稱BLUE性質(zhì)。19§2.4用樣本可決系數(shù)檢驗回歸方程的擬合優(yōu)度本節(jié)要檢驗的是樣本回歸線對樣本觀測值的擬合優(yōu)度。樣本觀測值距回歸線越近，擬合優(yōu)度越好，X對Y的解釋能力越強。判斷回歸結(jié)果好壞的基本標準，是回歸直線對樣本數(shù)據(jù)的擬合程度，稱為“擬合優(yōu)度”?；貧w直線的擬合優(yōu)度一方面取決于回歸直線的選擇，這是由參數(shù)估計方法決定的，另一方面取決于樣本數(shù)據(jù)的分布。當參數(shù)估計方法固定時，主要取決于樣本數(shù)據(jù)的分布。樣本數(shù)據(jù)的分布在本質(zhì)上是由變量關(guān)系決定的。因此回歸擬合度也是檢驗?zāi)Ｐ妥兞筷P(guān)系真實性，判斷模型假設(shè)是否成立的重要方法。201.總離差平方和的分解YYiOXXi(Xi,Yi)21僅僅考察個別Yi由回歸直線或解釋變量決定的程度，或者對Yi逐點進行離差分解，仍然難以判斷總體擬合情況。為此進一步考察所有Yi離差平方和的分解問題。所有Yi離差的平方和記為，稱“總離差平方和”。分解可得

22下證明最后一項等于零。即

所以也可寫為即總離差平方和可分解為兩部分，一部分為：稱為“回歸平方和”,記為ESS；另一部分為：稱為“殘差平方和”，記為RSS。23因此有TSS=ESS+RSS即總離差平方和=回歸平方和+殘差平方和前一部分ESS相對于后一部分RSS越大，說明回歸擬合程度越好，Y與X之間的線性決定關(guān)系越明顯。242.樣本可決系數(shù)將TSS=ESS+RSS兩端同除以TSS，得到或式中的正是反映解釋變量對被解釋變量決定程度的指標，稱之為“樣本可決系數(shù)”(determinedcoefficient)，也叫決定系數(shù)、判定系數(shù)，通常用R2表示。25這個指標的計算公式是或R2是樣本回歸線與樣本觀測值擬合優(yōu)度的度量指標，其數(shù)值在0到1之間。R2=0，解釋變量X與Y沒有線性關(guān)系；R2=1，樣本回歸線與樣本觀測值重合，X與Y在一條直線上；0<R2<1，R2越接近1，樣本回歸線對樣本值的擬合優(yōu)度越好，X對Y的解釋能力越強。263.樣本相關(guān)系數(shù)樣本相關(guān)系數(shù)是變量X與Y之間線性相關(guān)程度的度量指標。定義為其取值范圍為|r|≤1，即-1≤r≤1。27當r=-1時，表示X與Y之間完全負線性相關(guān)；當r=1時，表示X與Y之間完全正線性相關(guān)；當r=0時，表示X與Y之間無線性相關(guān)關(guān)系，即說明X與Y可能無相關(guān)關(guān)系或X與Y之間存在非線性相關(guān)關(guān)系；當0<|r|<1時，X與Y之間存在一定的線性相關(guān)關(guān)系。28§2.5回歸系數(shù)估計值的顯著性檢驗檢驗的統(tǒng)計可靠性，為此，首先考慮其概率分布。假定μi服從正態(tài)分布，因此Yi也服從正態(tài)分布，也服從正態(tài)分布。即291.隨機變量u的方差隨機變量ui的方差σu2是一個不可能測量計算出的量。因此，我們只能用它的估計值e的方差，作為它的方差估計值。即并且可證明，它還是σu2的無偏估計量，即由此可知，的標準差估計值分別為302.回歸系數(shù)估計值的顯著性檢驗——t檢驗?zāi)Ｐ突貧w系數(shù)估計值的顯著性檢驗，即檢驗?zāi)Ｐ突貧w系數(shù)是否顯著異于0，是基本的一種假設(shè)檢驗。一元線性回歸模型的基本出發(fā)點就是兩個變量之間存在因果關(guān)系，認為解釋變量是影響被解釋變量變化的主要因素，而這種變量關(guān)系是否確實存在或者是否明顯，會在回歸系數(shù)β1的估計值中反映出來。若β1的估計數(shù)值較大，說明兩變量的關(guān)系是明顯的，若β1的估計數(shù)值較小，甚至無法排除它等于0的可能性，說明這兩個變量之間的關(guān)系不明顯，模型的基本設(shè)定不成立。因此顯著性檢驗對于確定變量關(guān)系和模型的真實性非常重要。31對回歸系數(shù)估計值的顯著性檢驗用t檢驗。根據(jù)的概率分布，由數(shù)理統(tǒng)計知，來自單一樣本的估計值的t統(tǒng)計量為對于可以通過下列變換轉(zhuǎn)化為服從標準正態(tài)分布的隨機變量用代上式中未知的σμ2得到的統(tǒng)計量為

服從的分布是自由度為n-2的t分布。32具體檢驗步驟如下：提出原假設(shè)H0：β1=0，備擇假設(shè)H1：β1≠0。計算t統(tǒng)計量，給出顯著水平α（一般常用0.05或0.01），查自由度n-2的t分布表，得臨界值tα/2(n-2)。做出判斷。如果|t|<tα/2(n-2)，接受H0：β1=0，表明X對Y無顯著影響，一元線性回歸模型無意義；如果|t|>tα/2(n-2)，拒絕H0，接受H1：β1≠0，表明X對Y有顯著影響。33補充：F檢驗與t檢驗相對比，t檢驗屬于回歸系數(shù)估計值的統(tǒng)計顯著性檢驗，是對個別參數(shù)感興趣的檢驗。而F檢驗屬于回歸方程的顯著性檢驗，它是對所有參數(shù)感興趣的一種顯著性檢驗。其檢驗步驟如下：第一步：提出假設(shè)。原假設(shè)H0：β0=β1=0，備擇假設(shè)H1：β0β1不同時為零。第二步：構(gòu)造F統(tǒng)計量。

即統(tǒng)計量F服從第一自由度為1，第二自由度為n-2的F分布。34第三步：給定顯著性水平α，查F分布臨界值得到Fα(1,n-2)。第四步：做出統(tǒng)計決策。若F≥Fα(1,n-2)時，拒絕原假設(shè)H0，接受備擇假設(shè)，則認為X與Y的線性相關(guān)關(guān)系顯著，即回歸方程顯著；若F<Fα(1,n-2)時，接受原假設(shè)H0，則認為X與Y的線性相關(guān)關(guān)系不顯著，即回歸方程不顯著。35補充：四種檢驗的關(guān)系前面介紹的擬合優(yōu)度(R2)檢驗、相關(guān)系數(shù)(r)檢驗、t檢驗和F檢驗，對于一元線性回歸方程來說，這四種檢驗是等價的?？梢粤私猓阂虼?，對于一元線性回歸方程，我們只需作其中的一種檢驗即可。但對于多元線性回歸方程這四種檢驗有著不同的意義，并不是等價的，需分別進行檢驗。36補充：回歸方程的標準記法為了方便，我們往往將回歸方程的參數(shù)估計和系數(shù)的顯著性檢驗統(tǒng)計量結(jié)果放在一起。例如：注：t統(tǒng)計量右上角的星號表示顯著性水平的大小，一個星號表示在顯著性水平5%下顯著，兩個星號表示在顯著性水平1%下顯著，無星號表示5%下不顯著。37§2.6一元線性回歸方程的預測1.點預測根據(jù)一元線性回歸模型的回歸直線進行預測，只要把解釋變量X的一個特定值X0代入回歸方程，就可以得到被解釋變量Y的一個相應(yīng)的預測值我們稱為被解釋變量的“點預測”。38由于回歸直線與真實的變量關(guān)系不可能完全相同，而且變量關(guān)系本身是隨機函數(shù)關(guān)系，因此預測與將來實際出現(xiàn)的結(jié)果之間必然存在誤差。設(shè)Y將來實際出現(xiàn)的對應(yīng)X0的被解釋變量值為Y0，預測值與Y0之間的偏差e0=Y0-=Y0-(+X0),稱為“預測誤差”。由于在預測的當時Y0是未知的，因此預測誤差e0也是未知的，是一個隨機變量。39無偏性即是Y0的無偏預測，E()=Y0。證明如下：

因此是Y0的無偏預測性質(zhì)得證。40X0是可任意給定的。如果X0在樣本區(qū)間內(nèi)，即為X1，X2，……，Xn樣本點之一，則點預測的過程稱為“內(nèi)插預測”。如果X0是樣本區(qū)間之外的點，則預測過程稱為“外推預測”。412.區(qū)間預測（1）單個值的預測區(qū)間令e0=Y0-且可知即可知e0服從均值為零，方差為σ2(e0)的正態(tài)分布。用Se2代σ2(e0)中未知的σu2得到σ2(e0)的估計值構(gòu)造t統(tǒng)計量給出置信度1-α,查自由度為n-2的t分布表，得臨界值tα/2(n-2),t值落在(-tα/2,tα/2)的概率是1-α，即P{-tα/2<t<tα/2}=1-α整理得即在置信度1-α下，Y0的置信區(qū)