統(tǒng)計(jì)學(xué)第11章一元線(xiàn)性回歸

1、第11章 一元線(xiàn)性回歸11.1 變量間關(guān)系的度量11.1.1 變量間的關(guān)系函數(shù)關(guān)系:確定關(guān)系相關(guān)關(guān)系: 一個(gè)變量的取值不能由另一個(gè)變量唯一確定 大量數(shù)據(jù):確實(shí)存在一定的客觀規(guī)律 -分析方法:相關(guān)與回歸11.1.2 相關(guān)關(guān)系的描述與測(cè)度1 散點(diǎn)圖完全線(xiàn)性正相關(guān) 完全線(xiàn)性負(fù)相關(guān)線(xiàn)性正相關(guān) 線(xiàn)性負(fù)相關(guān) 非線(xiàn)性相關(guān) 不相關(guān)2 相關(guān)系數(shù)(1)皮爾遜相關(guān)系數(shù)的公式 常用的變形公式 (2)例：一家大型商業(yè)銀行在多個(gè)地區(qū)設(shè)有分行，其主要業(yè)務(wù)主要是進(jìn)行基礎(chǔ)設(shè)施建設(shè)、國(guó)家重點(diǎn)項(xiàng)目建設(shè)、固定資產(chǎn)投資等項(xiàng)目的貸款。近年來(lái)，該銀行的貸款額平穩(wěn)增長(zhǎng)，但不良貸款也有較大比例的提高，這給銀行業(yè)務(wù)的發(fā)展帶來(lái)較大壓力。為弄清楚不

2、良貸款形成的原因，管理者希望利用銀行業(yè)務(wù)的有關(guān)數(shù)據(jù)進(jìn)行定量分析，以便找出控制不良貸款的方法。下表為該銀行所屬的25家分行2002年的有關(guān)業(yè)務(wù)數(shù)據(jù)。分行編號(hào)不良貸款各項(xiàng)貸款余額本年累計(jì)應(yīng)收貸款貸款項(xiàng)目個(gè)數(shù)本年固定資產(chǎn)投資額10.967.36.8551.921.1111.319.81690.934.81737.71773.743.280.87.21014.557.8199.716.51963.262.716.22.212.271.6107.410.71720.2812.5185.427.11843.89196.11.71055.9102.672.89.11464.3110.364.22.11142

3、.7124132.211.22376.7130.858.661422.8143.5174.612.726117.11510.2263.515.634146.716379.38.91529.9170.214.80.6242.1180.473.55.91125.319124.75413.4206.8139.47.22864.32111.6368.216.832163.9221.695.73.81044.5231.2109.610.31467.9247.2196.215.81639.7散點(diǎn)圖計(jì)算相關(guān)系數(shù)的過(guò)程不良貸款y各項(xiàng)貸款余額xy2x2xy0.967.30.814529.2960.571.111

4、1.31.2112387.69122.434.817323.0429929830.43.280.810.246528.64258.567.8199.760.8439880.091557.662.716.27.29262.4443.741.6107.42.5611534.76171.8412.5185.4156.2534373.162317.5196.119235.2196.12.672.86.765299.84189.280.364.20.094121.6419.264132.21617476.84528.80.858.60.643433.9646.883.5174.612.2530485.1

5、6611.110.2263.5104.0469432.252687.7379.396288.49237.90.214.80.04219.042.960.473.50.165402.2529.4124.71610.0924.76.8139.446.2419432.36947.9211.6368.2134.56135571.24271.121.695.72.569158.49153.121.2109.61.4412012.16131.527.2196.251.8438494.441412.643.2102.210.2410444.84327.04合計(jì)660.1516543.417080.14不良貸

6、款各項(xiàng)貸款余額本年累計(jì)應(yīng)收貸款貸款項(xiàng)目個(gè)數(shù)本年固定資產(chǎn)投資額不良貸款1各項(xiàng)貸款余額0.84361本年累計(jì)應(yīng)收貸款0.73150.67881貸款項(xiàng)目個(gè)數(shù)0.70030.84840.58581本年固定資產(chǎn)投資額0.51850.77970.47240.7466111.1.3相關(guān)系數(shù)的性質(zhì)1 的取值范圍： 將 代入上式 完全正相關(guān) 的取值完全依賴(lài)于 線(xiàn)性正相關(guān) 不相關(guān) 線(xiàn)性負(fù)相關(guān) 完全負(fù)相關(guān) 的取值完全依賴(lài)于經(jīng)驗(yàn)： 高度相關(guān) 中度相關(guān) 低度相關(guān) 極弱2 具有對(duì)稱(chēng)性 3 的大小與、的的原點(diǎn)及尺度無(wú)關(guān)4 僅僅是與之間線(xiàn)性關(guān)系的度量，不能用于描述非線(xiàn)性關(guān)系。5 僅僅是與之間線(xiàn)性關(guān)系的度量，不一定意味著與之間

7、存在因果關(guān)系。11.1.4 相關(guān)系數(shù)的顯著性檢驗(yàn)（總體相關(guān)系數(shù)）1 的抽樣分布影響的抽樣分布的因素：總體相關(guān)系數(shù)樣本容量的大小正態(tài)總體 為較大的正值 左偏 為較大的負(fù)值 右偏 很大很小0 的抽樣分布正態(tài)分布提示：對(duì)的抽樣分布的正態(tài)假設(shè)有很大的風(fēng)險(xiǎn)2 的顯著性檢驗(yàn)檢驗(yàn)統(tǒng)計(jì)量：拒絕域：例：檢驗(yàn)不良貸款與貸款余額之間的相關(guān)系數(shù)是否顯著解：查表得： 因?yàn)?.5344>2.0687，所以拒絕原假設(shè)，即認(rèn)為不良貸款與貸款余額之間存在顯著的線(xiàn)性相關(guān)關(guān)系。11.2 一元線(xiàn)性回歸回歸主要解決以下幾個(gè)問(wèn)題：（1）從一組樣本數(shù)據(jù)出發(fā)，確定出變量之間的數(shù)學(xué)關(guān)系式（2）對(duì)這些關(guān)系式的可信程度進(jìn)行各種統(tǒng)計(jì)檢驗(yàn)，并從

8、影響某一特定變量的諸多變量中找出哪些變量的影響是顯著的，哪些是不顯著的。（3）利用所求的關(guān)系式，根據(jù)一個(gè)或幾個(gè)變量的取值來(lái)估計(jì)或預(yù)測(cè)另一個(gè)特定變量的取值，并給出這種估計(jì)或預(yù)測(cè)的可靠程度。11.2.1 一元線(xiàn)性回歸模型1 回歸模型因變量（dependent variable）：在回歸分析中，被預(yù)測(cè)或被解釋的變量，用表示自變量（independent variable）：用來(lái)預(yù)測(cè)或用來(lái)解釋因變量的一個(gè)或多個(gè)變量，用表示。在回歸中，假定自變量是可控制的，而因變量是隨機(jī)的。描述因變量是如何依賴(lài)于自變量與誤差項(xiàng)的方程稱(chēng)為回歸模型（regression model）一元線(xiàn)性回歸模型：反映由于的變化引起的的

9、線(xiàn)性變化：反映出了和之間的線(xiàn)性關(guān)系外的隨機(jī)因素對(duì)的影響，是不能由和之間的線(xiàn)性關(guān)系解釋的變異性。2 假設(shè)：（1）因變量與自變量之間具有線(xiàn)性關(guān)系（2）在重復(fù)抽樣中，自變量的取值是固定的，即假設(shè)是非隨機(jī)的。在上述兩個(gè)假定下：對(duì)于任何一個(gè)給定的的值，的取值都對(duì)應(yīng)著一個(gè)分布；代表一條直線(xiàn)，單個(gè)的數(shù)據(jù)是從的分布中抽取出來(lái)的，可能不在這條直線(xiàn)上；需要一個(gè)誤差項(xiàng)來(lái)描述數(shù)據(jù)的這種偏離（3），且相互獨(dú)立期望為0，所以的方差是相同的， 的方差也是，即獨(dú)立：對(duì)于一個(gè)特定的值，它所對(duì)應(yīng)的與其他所對(duì)應(yīng)的是不相關(guān)的對(duì)于一個(gè)特定的值，它所對(duì)應(yīng)的與其他所對(duì)應(yīng)的是不相關(guān)的即的值隨的不同而變化，但無(wú)論如何變化，和的概率分布都是正態(tài)

10、分布且具有相同的方差。3回歸方程：估計(jì)的回歸方程：表示每變動(dòng)一個(gè)單位，的平均變動(dòng)值11.2.2 參數(shù)的最小二乘法求使得最小的的值根據(jù)微積分的極值定理解得：例：求不良貸款對(duì)貸款余額的估計(jì)方程即不良貸款對(duì)貸款余額的估計(jì)方程為表明貸款余額每增加1億元，不良貸款平均增加0.037895億元。對(duì)通常不做實(shí)際意義上的解釋。11.2.3 回歸直線(xiàn)的擬合優(yōu)度擬合優(yōu)度：回歸直線(xiàn)與各觀測(cè)點(diǎn)的接近程度1 判定系數(shù)變差：的取值的波動(dòng)變差的原因：自變量的不同取值造成的 除外的其他因素造成的對(duì)總變差的度量：總的離差平方和總平方和：對(duì)總平方和的分解： ?？梢钥醋鍪亲宰兞康淖兓鸬牡淖兓?，則反映了的總變差中由與之間的線(xiàn)性關(guān)

11、系引起的的變化部分，即是可以由回歸直線(xiàn)解釋的的變差部分。，是剔除了對(duì)的影響外，其他因素對(duì)y的變差作用越接近于1，回歸直線(xiàn)對(duì)數(shù)據(jù)的擬合越好。例：計(jì)算不良貸款對(duì)貸款余額回歸方程的判定系數(shù)，并解釋其意義解：即，在不良貸款取值的變差中，有71.16%可以由不良貸款與貸款余額之間的線(xiàn)性關(guān)系解釋?；蛘哒f(shuō)，在不良貸款取值的變差中，有71.16%是由不良貸款與貸款余額決定的。可見(jiàn)，一元線(xiàn)性回歸中，判定系數(shù)是相關(guān)系數(shù)的平方。2 估計(jì)標(biāo)準(zhǔn)誤差是對(duì)誤差項(xiàng)的標(biāo)準(zhǔn)差的估計(jì)。度量各實(shí)際觀測(cè)點(diǎn)在回歸直線(xiàn)周?chē)纳⒉紶顩r反映了用估計(jì)的回歸方程預(yù)測(cè)因變量時(shí)預(yù)測(cè)誤差的大小。可以證明，是的無(wú)偏估計(jì)。例：計(jì)算不良貸款對(duì)貸款余額回歸方程

12、的估計(jì)標(biāo)準(zhǔn)誤差，并解釋其意義解：代入公式得：（億元）即，根據(jù)貸款余額對(duì)不良貸款進(jìn)行估計(jì)時(shí)，平均的估計(jì)誤差為1.9799億元。11.2.4 顯著性檢驗(yàn)1 線(xiàn)性關(guān)系的檢驗(yàn) 兩個(gè)變量之間的線(xiàn)性關(guān)系不顯著 兩個(gè)變量之間的線(xiàn)性關(guān)系顯著定理 與相互獨(dú)立，且當(dāng)成立時(shí)， （SSR的自由度為自變量x的個(gè)數(shù)kSSE的自由度為n-k-1）檢驗(yàn)統(tǒng)計(jì)量：決策：時(shí)，拒絕原假設(shè)，認(rèn)為變量之間的線(xiàn)性關(guān)系顯著。例：檢驗(yàn)不良貸款與貸款余額之間線(xiàn)性關(guān)系的顯著性。解： 不良貸款與貸款余額之間的線(xiàn)性關(guān)系不顯著 不良貸款與貸款余額之間的線(xiàn)性關(guān)系顯著查表得：因?yàn)?6.7539>4.28，所以拒絕原假設(shè)，即認(rèn)為不良貸款與貸款余額之間的

13、線(xiàn)性關(guān)系顯著。2 回歸系數(shù)的檢驗(yàn)可以證明，服從正態(tài)分布， 可見(jiàn)，是的無(wú)偏估計(jì)未知，用的估計(jì)量代替，得正態(tài)總體方差未知的對(duì)均值的檢驗(yàn) 檢驗(yàn)統(tǒng)計(jì)量簡(jiǎn)化為進(jìn)一步整理：一元線(xiàn)性回歸中，檢驗(yàn)與檢驗(yàn)是等價(jià)的。11.3 利用回歸方程進(jìn)行估計(jì)和預(yù)測(cè)11.3.1 點(diǎn)估計(jì)（1）平均值的點(diǎn)估計(jì)對(duì)于的一個(gè)特定值，求出的平均值的一個(gè)估計(jì)值例：請(qǐng)估計(jì)貸款余額為100億元時(shí)，所有分行不良貸款的平均值為多少？解：已知不良貸款與貸款余額的估計(jì)方程為：所以（億元）（2）個(gè)別值的點(diǎn)估計(jì)對(duì)于的一個(gè)特定值，求出的一個(gè)個(gè)別值的估計(jì)值例：請(qǐng)估計(jì)貸款余額為72.8億元的那個(gè)分行的不良貸款為多少？解：已知已知不良貸款與貸款余額的估計(jì)方程為：所

14、以（億元）注:在點(diǎn)估計(jì)情況下，對(duì)于同一個(gè)，平均值的點(diǎn)估計(jì)與個(gè)別值的點(diǎn)估計(jì)在數(shù)值上是一樣的。11.3.2 區(qū)間估計(jì)1 的平均值的置信區(qū)間估計(jì)對(duì)于的一個(gè)特定值，求出的平均值的區(qū)間估計(jì)。當(dāng)，的標(biāo)準(zhǔn)差的估計(jì)量為：所以，對(duì)于給定的，的的置信水平下的置信區(qū)間為例：請(qǐng)求解時(shí)，不良貸款95%的置信區(qū)間。解：根據(jù)前面的計(jì)算結(jié)果：查表得：所以，的置信區(qū)間為：即，說(shuō)明當(dāng)貸款余額為100億元時(shí)，不良貸款的平均值在2.11413.8059億元之間。當(dāng)時(shí)，達(dá)到最小，此時(shí)的估計(jì)最準(zhǔn)確；偏離越遠(yuǎn)，的平均值的置信區(qū)間越寬，估計(jì)的效果越不好。2 的個(gè)別值的預(yù)測(cè)區(qū)間估計(jì)對(duì)于的一個(gè)特定值，求出的一個(gè)個(gè)別值的區(qū)間估計(jì)。的一個(gè)個(gè)別值的標(biāo)

15、準(zhǔn)差的估計(jì)量對(duì)于的一個(gè)特定值，求出的一個(gè)個(gè)別值的的置信水平下的預(yù)測(cè)區(qū)間為注：對(duì)于同一個(gè)，預(yù)測(cè)區(qū)間要比置信區(qū)間寬一些。例：請(qǐng)建立貸款余額為72.8億元的那個(gè)分行不良貸款的95%的預(yù)測(cè)區(qū)間。解：根據(jù)前面的計(jì)算結(jié)果：查表得：不良貸款的95%的預(yù)測(cè)區(qū)間為：即，說(shuō)明當(dāng)貸款余額為72.8億元的那個(gè)分行，其不良貸款的預(yù)測(cè)區(qū)間在-2.27666.1366億元之間。注：在利用回歸方程進(jìn)行估計(jì)與預(yù)測(cè)時(shí)，一般不要用樣本數(shù)據(jù)之外的值去預(yù)測(cè)相對(duì)應(yīng)的值。否則，得到的估計(jì)值與預(yù)測(cè)值的誤差會(huì)非常大。11.4 殘差分析11.4.1用殘差證實(shí)模型的假定1 殘差與殘差圖殘差(residual)是因變量的觀測(cè)值與根據(jù)估計(jì)的回歸方程求

16、出的預(yù)測(cè)值之差不同形態(tài)的殘差圖 滿(mǎn)意的模式 非常數(shù) 方差模型不合適例：請(qǐng)根據(jù)前面的估計(jì)方程，計(jì)算殘差解：計(jì)算過(guò)程分行編號(hào)不良貸款各項(xiàng)貸款余額預(yù)測(cè)值殘差標(biāo)準(zhǔn)殘差10.967.31.7208-0.8208-0.414621.1111.33.3882-2.2882-1.155734.81735.7263-0.9263-0.467943.280.82.23240.96760.488757.8199.76.73811.06190.536362.716.2-0.21562.91561.472671.6107.43.2404-1.6404-0.8285812.5185.46.19626.30383.1839

17、9196.12.8122-1.8122-0.9153102.672.81.92930.67070.3388110.364.21.6034-1.3034-0.6583124132.24.1802-0.1802-0.0910130.858.61.3911-0.5911-0.2986143.5174.65.7870-2.2870-1.15511510.2263.59.15581.04420.527416379.32.17560.82440.4164170.214.8-0.26870.46870.2367180.473.51.9558-1.5558-0.785819124.70.10650.89350.4513206.8139.44.45312.34691.18542111.6368.213.1234-1.5234-0.7695221.695.72.7971-1.1971-0.6046231.2109.63.3238-2.1238-1.0727247.2196.26.6