第5講 (一元線性回歸)

1、將回歸均方(MSR)同殘差均方(MSE)加以比較，應用F 檢驗來分析二者之間的差別是否顯著回歸均方：回歸平方和SSR除以相應的自由度(自變量的個數(shù)) 殘差均方(MSE) ：殘差平方和SSE除以相應的自由度(n-2).線性關系的檢驗的步驟線性關系的檢驗的步驟 提出假設nH0：1=0 線性關系不顯著)2,1 (21nFMSEMSRnSSESSRF(以前面資料以前面資料)提出假設nH0： 1=0 不良貸款與貸款余額之間的線性關系不顯著計算檢驗統(tǒng)計量F753844.56225164421.90148598.22221nSSESSRFExcel 輸出的方差分析表輸出的方差分析表 在一元線性回歸中，等價于

2、線性關系的在一元線性回歸中，等價于線性關系的顯著性檢驗顯著性檢驗 檢驗檢驗 x 與與 y 之間是否具有線性關系，或之間是否具有線性關系，或者說，檢驗自變量者說，檢驗自變量 x 對因變量對因變量 y 的影響的影響是否顯著是否顯著 理論基礎是回歸系數(shù)理論基礎是回歸系數(shù) 的抽樣分布的抽樣分布1樣本統(tǒng)計量樣本統(tǒng)計量 的分布的分布 是根據(jù)最小二乘法求出的樣本統(tǒng)計量，它有自是根據(jù)最小二乘法求出的樣本統(tǒng)計量，它有自己的分布己的分布 的的分布具有如下性質分布具有如下性質( (線性、無偏、最小方差線性、無偏、最小方差) )分布形式：正態(tài)分布分布形式：正態(tài)分布數(shù)學期望：數(shù)學期望：標準差：標準差：由于由于 未知，需

3、用其估計量未知，需用其估計量s sy y來來代替得到代替得到 的估計的標準差的估計的標準差11111)(E21xxi121xxssie11)(E21xxssie回歸系數(shù)的檢驗檢驗步驟回歸系數(shù)的檢驗檢驗步驟 提出假設nH0: 1 = 0 (沒有線性關系) nH1: 1 0 (有線性關系) 計算檢驗的統(tǒng)計量) 2(11ntstw對例題的回歸系數(shù)進行顯著性檢驗(0.05)提出假設nH0：1 = 0 nH1：1 0 計算檢驗的統(tǒng)計量533515. 7005030. 0037895. 0twP 值的應用值的應用在一元線性回歸分析中，回歸系數(shù)顯著在一元線性回歸分析中，回歸系數(shù)顯著性的性的t檢驗、回歸方程顯

4、著性的檢驗、回歸方程顯著性的F檢驗，檢驗，相關系數(shù)顯著性相關系數(shù)顯著性 t檢驗，三者等價的，檢驗，三者等價的，檢驗結果是完全一致的。檢驗結果是完全一致的。對一元線性回歸，只做其中對一元線性回歸，只做其中 的一種檢驗即可。的一種檢驗即可。l建立的模型是否合適？或者說，這個擬合的模型有多建立的模型是否合適？或者說，這個擬合的模型有多“好好”？要回答這些問題，可以從以下幾個方面入手？要回答這些問題，可以從以下幾個方面入手所估計的回歸系數(shù)所估計的回歸系數(shù) 的符號是否與理論或事先預期相的符號是否與理論或事先預期相一致一致n在不良貸款與貸款余額的回歸中，可以預期貸款余額越多在不良貸款與貸款余額的回歸中，可

5、以預期貸款余額越多不良貸款也可能會越多，也就是說，回歸系數(shù)的值應該是不良貸款也可能會越多，也就是說，回歸系數(shù)的值應該是正的，在上面建立的回歸方程中，我們得到的回歸系數(shù)正的，在上面建立的回歸方程中，我們得到的回歸系數(shù) 為正值為正值如果理論上認為如果理論上認為x與與y之間的關系不僅是正的，而且是之間的關系不僅是正的，而且是統(tǒng)計上顯著的，那么所建立的回歸方程也應該如此統(tǒng)計上顯著的，那么所建立的回歸方程也應該如此n在不良貸款與貸款余額的回歸中，二者之間為正的線性關在不良貸款與貸款余額的回歸中，二者之間為正的線性關系，而且，對回歸系數(shù)的系，而且，對回歸系數(shù)的t檢驗結果表明二者之間的線性關檢驗結果表明二者

6、之間的線性關系是統(tǒng)計上顯著的系是統(tǒng)計上顯著的1037895. 01回歸模型在多大程度上解釋了因變量回歸模型在多大程度上解釋了因變量y y取值的差取值的差異？可以用判定系數(shù)異？可以用判定系數(shù)R R2 2來回答這一問題來回答這一問題n在不良貸款與貸款余額的回歸中，得到的在不良貸款與貸款余額的回歸中，得到的R R2 2=71.16%=71.16%，解釋了不良貸款變差的解釋了不良貸款變差的2/32/3以上，以上，說明擬合的效果還算不錯說明擬合的效果還算不錯考察關于誤差項考察關于誤差項 的正態(tài)性假定是否成立。因為的正態(tài)性假定是否成立。因為我們在對線性關系進行我們在對線性關系進行 檢驗和回歸系數(shù)進行檢驗和

7、回歸系數(shù)進行時，都要求誤差項時，都要求誤差項 服從正態(tài)分布，否則，我服從正態(tài)分布，否則，我們所用的檢驗程序將是無效的。們所用的檢驗程序將是無效的。 正態(tài)性的簡單正態(tài)性的簡單方法是畫出殘差的直方圖或正態(tài)概率圖方法是畫出殘差的直方圖或正態(tài)概率圖計量單位的討論，因果模型的特征計量單位的討論，因果模型的特征Excel輸出的部分回歸結果輸出的部分回歸結果R2） 殘差分析殘差分析1 用殘差證實模型的假定用殘差證實模型的假定2 用殘差檢測異常值和有影響的觀測用殘差檢測異常值和有影響的觀測值值殘差圖殘差圖(residual plot)表示殘差的圖形表示殘差的圖形n關于關于x的殘差圖的殘差圖n關于關于y的殘差圖

8、的殘差圖n標準化殘差圖標準化殘差圖用于判斷誤差用于判斷誤差 的假定是否成立的假定是否成立 檢測有影響的觀測值檢測有影響的觀測值殘差圖殘差圖(形態(tài)及判別形態(tài)及判別)殘差圖殘差圖(例題分析例題分析)不良貸款對貸款余額回歸的殘差圖不良貸款對貸款余額回歸的殘差圖-4-2024680100200300400貸款余額(x)殘差標準化殘差標準化殘差(standardized residual)w 殘差除以它的標準差后得到的數(shù)值。計算公式為n sei是第i個殘差的標準差，其計算公式為 iiieiieiesyysez22)()(111xxxxnshssiiyiyei標準化殘差圖標準化殘差圖w 用以直觀地判斷誤差

9、項服從正態(tài)分布用以直觀地判斷誤差項服從正態(tài)分布這一假定是否成立這一假定是否成立 n若假定成立，標準化殘差的分布也應服從若假定成立，標準化殘差的分布也應服從正態(tài)分布正態(tài)分布n在標準化殘差圖中，大約有在標準化殘差圖中，大約有95%的標準的標準化殘差在化殘差在-2到到+2之間之間 標準化殘差圖標準化殘差圖(例題分析例題分析)不良貸款對貸款余額回歸的不良貸款對貸款余額回歸的標準化殘差圖標準化殘差圖-2-1012340100200300400貸款余額標準化殘差異常值異常值如果某一個點與其他點所呈現(xiàn)的趨勢不相吻合，這個點就有可能是異常點，或稱為野點.n如果異常值是一個錯誤的數(shù)據(jù)，比如記錄錯誤造成如果異常值

10、是一個錯誤的數(shù)據(jù)，比如記錄錯誤造成的，應該修正該數(shù)據(jù)，以便改善回歸的效果的，應該修正該數(shù)據(jù)，以便改善回歸的效果n如果是由于模型的假定不合理，使得標準化殘差偏如果是由于模型的假定不合理，使得標準化殘差偏大，應該考慮采用其他形式的模型，比如非線性模大，應該考慮采用其他形式的模型，比如非線性模型型n如果完全是由于隨機因素而造成的異常值，則應該如果完全是由于隨機因素而造成的異常值，則應該保留該數(shù)據(jù)保留該數(shù)據(jù)在處理異常值時，若一個異常值是一個有效的觀測值，不應輕易地將其從數(shù)據(jù)集中予以剔除. 異常值異常值識別識別異常值也可以通過標準化殘差來識別如果某一個觀測值所對應的標準化殘差較大，就可以識別為異常值一般

11、情況下，當一個觀測值所對應的標準化殘差小于-2或大于+2時，就可以將其視為異常值有影響的觀測值有影響的觀測值如果某一個或某一些觀測值對回歸的結果有強烈的影響，那么該觀測值或這些觀測值就是有影響的觀測值 一個有影響的觀測值可能是n一個異常值，即有一個值遠遠偏離了散點一個異常值，即有一個值遠遠偏離了散點圖中的趨勢線圖中的趨勢線n對應一個遠離自變量平均值的觀測值對應一個遠離自變量平均值的觀測值n或者是這二者組合而形成的觀測值或者是這二者組合而形成的觀測值 有影響的觀測值圖示有影響的觀測值圖示存在一個有影響觀測值的散點圖存在一個有影響觀測值的散點圖024681012010203040 xy不存在影響值

12、的趨勢有影響的觀測值存在影響值的趨勢一、變量間關系的種類一、變量間關系的種類二、相關系數(shù)的計算、評價及檢驗二、相關系數(shù)的計算、評價及檢驗三、回歸模型、回歸方程、估計回歸方程的概三、回歸模型、回歸方程、估計回歸方程的概念，回歸方程參數(shù)的最小二乘估計念，回歸方程參數(shù)的最小二乘估計四、判定系數(shù)、估計標準誤差的四、判定系數(shù)、估計標準誤差的 計算，及線性關系檢驗及計算，及線性關系檢驗及 回歸系數(shù)的檢驗回歸系數(shù)的檢驗五、回歸分析結果的評價五、回歸分析結果的評價26利用回歸方程進行估計和預測根據(jù)自變量 x 的取值估計或預測因變量 y的取值估計或預測的類型n點估計wy 的平均值的點估計wy 的個別值的點估計n

13、區(qū)間估計wy 的平均值的置信區(qū)間估計wy 的個別值的預測區(qū)間估計27利用回歸方程進行估計和預測（點估計）0 y28 y 的平均值的點估計的平均值的點估計n利用估計的回歸方程，對于自變量 x 的一個給定值 x0 ，求出因變量 y 的平均值的一個估計值E(y0) ，就是平均值的點估計n在前面的例子中，假如我們要估計人均國民收入為2000元時，所有年份人均消費金額的的平均值，就是平均值的點估計。根據(jù)估計的回歸方程得)(98.1160200052638. 022286.540元y29 y 的個別值的點估計的個別值的點估計0 y)(57.7127 .125052638. 022286.540元y30點估

14、計不能給出估計的精度，點估計值與實際值之間是有誤差的，因此需要進行區(qū)間估計對于自變量 x 的一個給定值 x0，根據(jù)回歸方程得到因變量 y 的一個估計區(qū)間區(qū)間估計有兩種類型n置信區(qū)間估計n預測區(qū)間估計31參數(shù)最小二乘估計量的協(xié)方差分析均是無偏估計均是正態(tài)分布協(xié)方差32 y 的平均值的置信區(qū)間估計的平均值的置信區(qū)間估計 n利用估計的回歸方程，對于自變量 x 的一個給定值 x0 ，求出因變量 y 的平均值E(y0)的估計區(qū)間 ，這一估計區(qū)間稱為置信區(qū)間置信區(qū)間1. E(y0) 在1-置信水平下的置信區(qū)間為niiyxxxxnSnty1220201)2(33827.341603473077.9867 .

15、125013195.14201. 257.7122【例】【例】根據(jù)前例，求出人均國民收入為1250.7元時，人均消費金額95%的置信區(qū)間 解：根據(jù)前面的計算結果 712.57，Sy=14.95， t(13-2)2.201，n=13置信區(qū)間為:0 y0 y34 y 的個別值的預測區(qū)間估計的個別值的預測區(qū)間估計 n利用估計的回歸方程，對于自變量 x 的一個給定值 x0 ，求出因變量 y 的一個個別值的估計區(qū)間，這一區(qū)間稱為預測區(qū)間預測區(qū)間 1. y0在1-置信水平下的預測區(qū)間為niiyxxxxnSnty12202011)2(35827.341603473077.9867 .1250131195.1

16、4201. 257.7122 【例】【例】根據(jù)前例，求出1990年人均國民收入為1250.7元時，人均消費金額的95%的預測區(qū)間 解：根據(jù)前面的計算結果有 712.57，Sy=14.95，t(13-2)2.201，n=13 置信區(qū)間為0 y0 y36影響區(qū)間寬度的因素1. 置信水平 (1 - )n區(qū)間寬度隨置信水平的增大而增大2. 數(shù)據(jù)的離散程度 (s)n區(qū)間寬度隨離散程度的增大而增大3. 樣本容量n區(qū)間寬度隨樣本容量的增大而減小4. 用于預測的 xp與x的差異程度n區(qū)間寬度隨 xp與x 的差異程度的增大而增大37置信區(qū)間、預測區(qū)間、回歸方程xy1038多元線性回歸1 多元線性回歸模型多元線性

17、回歸模型 2 回歸方程的擬合優(yōu)度回歸方程的擬合優(yōu)度3 顯著性檢驗顯著性檢驗39學習目標1.回歸模型、回歸方程、估計的回歸方程回歸模型、回歸方程、估計的回歸方程2.回歸方程的擬合優(yōu)度回歸方程的擬合優(yōu)度3.回歸方程的顯著性檢驗回歸方程的顯著性檢驗 4.用用 Excel 進行回歸分析進行回歸分析40 目的要求 :1.掌握多元線性回歸模型的概念掌握多元線性回歸模型的概念 2. 掌握多元線性回歸模型的最小二乘估計掌握多元線性回歸模型的最小二乘估計 3.掌握多元線性回歸模型的最小二乘估計量掌握多元線性回歸模型的最小二乘估計量的統(tǒng)計性質的統(tǒng)計性質 4.掌握多元線性回歸模型的統(tǒng)計檢驗掌握多元線性回歸模型的統(tǒng)計

18、檢驗 5.會用多元線性回歸模型分析簡單經濟問題會用多元線性回歸模型分析簡單經濟問題41多元回歸分析模型多元回歸分析模型y = 0 + 1x1 + 2x2 + . . . kxk + u01 12211110111,1iiik ikiknnnkknyxxxyxxyxyxxy x 42與簡單回歸的相似點與簡單回歸的相似點 0 仍然是截距 1 到 k 都成為斜率參數(shù) u 仍然是誤差項（或稱擾動項）仍然需要做一個條件期望為0的假設，現(xiàn)在假設：E(u|x1，x2， ，xk) = 0 仍然最小化殘差的平方和43 現(xiàn)實經濟問題是復雜的，用一個解釋變量去說明往往是不夠的。隨著解釋變量數(shù)目的增多，由一元線性回歸

19、模型可以引申出多元線性回歸模型。我們可以將多元線性回歸模型用如下方式表述： 假定因變量Y與解釋變量X1，X2 ，Xk具有線性關系，它們之間的線性模型可表示為：Yi= 0+ 1X1+ 2X2+k Xk +uiX X經濟學看：44例：例：商品的需求量商品的需求量Q Q，不僅取決價格，不僅取決價格P P，還取決收入，還取決收入Y Y、其它商品的價格其它商品的價格P P1 1等因素。如果用線性回歸模型表示等因素。如果用線性回歸模型表示：uYPQP13210這就是一個多元（三元）線性回歸模型為了簡化起見，以下將考察多元線性回歸模型的特例，即二元線性回歸模型。451 多元線性回歸模型多元回歸模型與回歸方程

20、多元回歸模型與回歸方程估計的多元回歸方程估計的多元回歸方程參數(shù)的最小二乘估計參數(shù)的最小二乘估計46多元回歸模型與回歸方程47多元回歸模型 (multiple regression model)一個因變量與兩個及兩個以上自變量的回歸描述因變量 y 如何依賴于自變量 x1 ， x2 ， xp 和誤差項 的方程，稱為多元回歸模型涉及 p 個自變量的多元回歸模型可表示為ipipiixxxy2211048多元回歸模型(基本假定) 誤差項是一個期望值為0的隨機變量，即E()=0對于自變量x1，x2，xp的所有值，的方差2都相同誤差項是一個服從正態(tài)分布的隨機變量，即N(0, 2)，且相互獨立49多元回歸方程

21、 (multiple regression equation)描述因變量 y 的平均值或期望值如何依賴于自變量 x1， x2 ，xp的方程多元線性回歸方程的形式為 E( y ) = 0+ 1 x1 + 2 x2 + p xp50二元回歸方程的直觀解釋22110 xxy22110)(xxyE51估計的多元回歸方程52估計的多元回歸的方程(estimated multiple regression equation)p,210p,210ppxxxy22110p,210p,210y 用樣本統(tǒng)計量 估計回歸方程中的 參數(shù) 時得到的方程由最小二乘法求得一般形式為53參數(shù)的最小二乘估計54參數(shù)的最小二乘法最小niiniipeyyQ1212210) (),(), 2 , 1(00000piQQiiip,21055參數(shù)的最小二乘法(例題分析)56 二元線性回歸模型 一、 模型的估計 Y= 0+ 1X1+ 2X2+u 1.四種關系式: (1) Yi= 0+ 1X1i+ 2X2i+ui (真實或總體關系式) (2) E(Yi)