雙變量回歸模型：估計問題

1、第三講：雙變量回歸模型：估計問題1主要內(nèi)容：普通最小二乘法高斯-馬爾可夫定理擬合優(yōu)度23.1 普通最小二乘法回歸分析的主要目的：根據(jù)樣本回歸函數(shù)，估計總體回歸函數(shù) 。3兩組隨機(jī)樣本X800110014001700200023002600290032003500Y561638913140814081716196922442552262963884710451144136415511749210121782321 樣本回歸線如何確定4如何去估計樣本回歸線？估計的方法：普通最小二乘法(OLS) 簡單方便 參數(shù)估計量在一定的假設(shè)下具有其他方法所沒有的良好統(tǒng)計性質(zhì) 5給定一組樣本觀測值如何使 盡可能好地

2、擬合這組值.即我們希望樣本回歸模型的估計值 盡可能地靠近觀測值 。6為達(dá)到此目的，我們選擇使殘差平方和 （3-1）盡可能地小，其中 是殘差的平方換句話說，我們期望能確定出 、 ，使得殘差平方和最小7即求出 、 ，使 成立根據(jù)微積分知識， （3-2） （3-3）8 （3-4） （3-5） 解得： （3-6） （3-7）9假定4：解釋變量的樣本有變異 在樣本中，解釋變量 的取值不為相同的常數(shù)。 有意義或有解 10寫成離差形式： （3-8） （3-9） 上面得到的估計量 , 是從最小二乘原理演算而得的。因此，稱其為最小二乘估計量。11估計量的數(shù)值性質(zhì)數(shù)值性質(zhì)：指運用最小二乘估計法而成立的那些性質(zhì)，而

3、不管數(shù)據(jù)如何產(chǎn)生。（1）（2）（3） ，123.2 高斯-馬爾可夫定理最小二乘估計量有何優(yōu)良的統(tǒng)計性質(zhì)呢？假定5：同方差性 13高斯-馬爾可夫定理： 在假定1假定5下，OLS估計量是最優(yōu)線性無偏估計量（BLUE）。 它是線性的 它是無偏的 它是有效估計量14（1）線性性 令 ，則有 15 這說明 是 的一個線性函數(shù)，它是以 為權(quán)的一個加權(quán)平均數(shù)，從而它是一個線性估計量。同理， 也是一個線性估計量。 16（2）無偏性 就是說，雖然由不同的樣本得到的 ， 可能大于或小于它們的真實值 ， ，但平均起來等于它們的真實值 ， 。17因為 ，所以18（3）有效估計量：具有最小方差 估計量的精度（可靠性）：

4、 19（2）證明最小方差性其中， 為不全為零的常數(shù)則容易證明 普通最小二乘估計量（ordinary least Squares Estimators）稱為最佳線性無偏估計量（best linear unbiased estimator, BLUE） 203.3 擬合優(yōu)度？樣本回歸直線對數(shù)據(jù)擬合得有多好呢 樣本在多大程度上能夠解釋被解釋變量的變異程度 判定系數(shù) -擬合優(yōu)度度量 21計算R2的步驟如下?lián)颖净貧w模型可得：（3-10）（3-11）兩式相減，可得（3-12）22總平方和（TSS）解釋平方和（ESS）殘差平方和（RSS）對（3-12）兩邊取平方求和(3-13)23式(3-13)可表示為T

5、SS=ESS+RSS （3-14） 這說明 的觀測值圍繞其均值的總變異可分解為兩部分，一部分來自回歸線，而另一部分則來自擾動項 。24=總離差=來自回歸=來自殘差25用TSS除式（3-14）的兩邊，得（3-15） 26定義R2為：（3-16）27 上述定義的 稱為判定系數(shù)，它是對回歸線擬合優(yōu)度的度量。就是說， 測度了在 的總變異中由回歸模型解釋的那個部分所占的比例或百分比。28 據(jù)判定系數(shù)的定義可知： 。等于1的R2意味著一個完美的擬合，即對每個 都有 。另一方面，等于0的R2意味著被解釋變量與解釋變量之間無任何關(guān)系（即 ），這時， ，就是說，對任一Y值的最優(yōu)預(yù)測值都是它的均值，從而回歸線平行于X 軸。29 與R2關(guān)系緊密但概念上與R2差異較大的一個參數(shù)是相關(guān)系數(shù)，它測度了兩個變量之間的關(guān)聯(lián)度。也可據(jù)R 的定義計算 （3-17） 30 從定義可以看出 。在回歸分析中，R2是一個比R 更有意義的度量，因為R2告訴我們在被解釋變