《統(tǒng)計學(xué)》研究生課件12回歸分析

1、回歸分析任課教師：禤宇明中國科學(xué)院心理研究所2本章基本內(nèi)容相關(guān)和回歸一元回歸分析最小二乘估計、回歸系數(shù)、回歸估計的標(biāo)準(zhǔn)誤、決定系數(shù)回歸方程的有效性檢驗(yàn)多元回歸分析多元決定系數(shù)31.相關(guān)和回歸1.1 散點(diǎn)圖 scatter diagram451.2 平方和、積矩和、協(xié)方差sum of squares sum of products covariance61.3 回歸分析 regression analysis p364回歸分析：確定變量之間數(shù)量關(guān)系的可能形式，并用一個數(shù)學(xué)模型來表示這種關(guān)系形式它可以從一個變量的變化來預(yù)測或估計另一個變量的變化只有一個自變量的線性回歸叫一元線性回歸或簡單線性回歸尋

2、找一條最佳擬合直線best-fitting line，使得預(yù)測值predicted value和觀測值observed value之間的誤差最小72.一元回歸分析2.1 回歸線 the regression line8最佳擬合直線 best-fitting line92.2 回歸線的求解正規(guī)方程組 normal equationsQ10p36911122.3 對回歸系數(shù)的解釋132.4 從給定的X來估計對應(yīng)的Y無窮大的樣本取給定X對應(yīng)的所有Y的均值作為估計值對應(yīng)于某個X的所有Y稱為Y的條件分布conditional distribution有限樣本 142.5 預(yù)測的準(zhǔn)確性如果需要你去猜測某個

3、班的每個學(xué)生的某次考試的成績，而只告訴你該班的平均分，怎樣猜才能誤差最小？標(biāo)準(zhǔn)差作為誤差的度量15估計的標(biāo)準(zhǔn)誤 P375standard error of estimate162.6 回歸的有效性檢驗(yàn)2.6.1 誤差平方和（公式推導(dǎo)參考P373）相關(guān)越高，誤差越小相關(guān)越高，從X預(yù)測Y就越準(zhǔn)確，誤差就越小172.6.2 因變量變異的分解18研究吸煙量X和壽命Y之間的關(guān)系人的壽命總是有差異SSY吸煙的多少有差異SSX從X來預(yù)測Y，預(yù)測值為的變異SS可從X的變異來解釋吸煙量X變化，預(yù)測壽命才變化吸煙量X不變，預(yù)測壽命不變Y的部分變異X是無法解釋的 SSe吸煙量一樣的人也會有不同的壽命19極端所有不抽

4、煙的人壽命為72歲，所有抽煙的人抽一樣多的煙且壽命都是68歲此時，壽命的變異可完全從抽煙的變異來預(yù)測實(shí)際壽命的變異有的可以從抽煙的變異來預(yù)測，其余部分不能從抽煙的變異來解釋202.6.3 決定系數(shù)（測定系數(shù)）r2 coefficient of determination p377衡量回歸方程有效性高低的指標(biāo)回歸平方和在總離差平方和中所占的比例因變量的變異中可以從自變量的變異來解釋的比例212.6.4 回歸有效性檢驗(yàn) 對r的顯著性的檢驗(yàn)（復(fù)習(xí)）22對回歸的有效性檢驗(yàn) p37223對回歸的有效性檢驗(yàn)對r的顯著性檢驗(yàn)P160242.7 樣本回歸線和總體回歸線根據(jù)樣本數(shù)據(jù)的回歸分析結(jié)果為樣本回歸線 =

5、 a + bX不同的樣本對應(yīng)于不同的樣本回歸線所有樣本回歸線都是總體回歸線 = a + bX 的一個估計所有樣本回歸線會在總體回歸線附近波動對給定X，對應(yīng)的總體回歸線的也稱為主值，而某條樣本回歸線對應(yīng)的i只是的一個點(diǎn)估計所有i的平均值將為25iX262.8 回歸分析的應(yīng)用預(yù)測已知X0，預(yù)測總體回歸線對應(yīng)的0（主值）已知X0，預(yù)測新的觀測值Y0控制已知Y的范圍，控制X的范圍272.8.1 從X0預(yù)測總體回歸線對應(yīng)的0282.8.2 從X0預(yù)測新的觀測值Y029離樣本平均數(shù)越近，估計越準(zhǔn)確3031例32例332.8.3 從X預(yù)測Y和從Y預(yù)測X342.9 一元線性回歸的數(shù)學(xué)模型 p370從X預(yù)測YY

6、=0+1X+Y=a+bX+eY與X的關(guān)系分為兩部分0+1X是由于X的變化引起線性變化的部分;是全體一切隨機(jī)因素造成的部分 N(0, s2)352.10 一元線性回歸的基本假設(shè)X與Y在總體上具有線性關(guān)系變量X沒有測量誤差（看成精確變量）(Xi,Yi) 和 (Xj,Yj) 彼此獨(dú)立；與某一個Xi值對應(yīng)的Y值構(gòu)成變量Y上一個子總體，這樣的子總體服從正態(tài)分布，且它們的方差相等i 是Xi對應(yīng)Y的子總體的平均數(shù)的無偏估計36小結(jié)尋找一條最佳擬合直線用方差分析檢驗(yàn)回歸方程有效性有效性高低指標(biāo)：決定系數(shù)r2回歸估計的標(biāo)準(zhǔn)誤SYX373 多元線性回歸 p3963.1多元線性回歸的數(shù)學(xué)模型從X1, X2, , X

7、k（憑經(jīng)驗(yàn)選取）預(yù)測YY=0+1X1+ 2X2 + + kXk+ N(0, s2)根據(jù)樣本數(shù)據(jù)建立的回歸方程 =b0+b1X1+ b2X2 + + bkXkbi稱為（偏）回歸系數(shù)偏回歸系數(shù)表示其它自變量假設(shè)不變時，某一個自變量變化而引起因變量變化的比率383.2 標(biāo)準(zhǔn)回歸方程、標(biāo)準(zhǔn)偏回歸系數(shù)把所有原始數(shù)據(jù)轉(zhuǎn)換成標(biāo)準(zhǔn)分?jǐn)?shù)，以標(biāo)準(zhǔn)分?jǐn)?shù)建立的回歸方程為標(biāo)準(zhǔn)回歸方程Y = 1Z1+ 2Z2 + + kZk標(biāo)準(zhǔn)回歸方程的回歸系數(shù)稱為標(biāo)準(zhǔn)(偏)回歸系數(shù)，其大小可直接反映對應(yīng)的變量在預(yù)測時做的貢獻(xiàn)bi=iSY/SXi393.3 偏回歸系數(shù)的計算基本原理最小二乘法：預(yù)測值和觀測值的誤差平方和最小一般借助于計算

8、機(jī)ExcelSPSSSASMinitab403.4 多元測(決)定系數(shù)r2其中 r 稱為復(fù)相關(guān)系數(shù) multiple correlation coefficientr 實(shí)際上就是預(yù)測值和觀測值Y之間的相關(guān)系數(shù)413.5 多元線性回歸方程的檢驗(yàn)方差分析423.6 偏回歸系數(shù)的顯著性檢驗(yàn)回歸方程顯著并不意味著所有的回歸系數(shù)都顯著某個偏回歸系數(shù)不顯著意味著對應(yīng)的自變量在回歸方程中沒什么貢獻(xiàn)可以去掉該變量，重新建立回歸方程檢驗(yàn)方法433.7 選擇有效自變量的方法逐步回歸 stepwise regression對不顯著變量，只剔除對回歸貢獻(xiàn)最小的那個變量；然后重新建立新的回歸方程，如仍有不顯著變量，仍僅

9、剔除對回歸貢獻(xiàn)最小的那個變量，重新建立新的回歸方程，直至所有變量都顯著前進(jìn)法 forward regression逐步加入自變量，檢驗(yàn)顯著就保留后退法 backward regression將所有自變量引入回歸方程，逐漸剔除那些對回歸方程作用不大的自變量443.8 Excel：工具-數(shù)據(jù)分析-回歸45Excel的多元回歸結(jié)果463.9 應(yīng)用多元回歸的注意事項多重共線性 Multi-collinearityX1, X2, , Xk之間存在密切的線性關(guān)系，稱它們之間存在著多重共線性。此時對回歸系數(shù)的估計不穩(wěn)定因果關(guān)系回歸分析能表現(xiàn)出變量彼此關(guān)聯(lián)或有聯(lián)系，但不能證明其因果關(guān)系回歸系數(shù)的大小計量單位相同或數(shù)據(jù)標(biāo)準(zhǔn)化時才能直接比較樣本容量r2 受 n 對于自變量個數(shù) k 的影響。一般觀測數(shù)n至少等于自變量個數(shù) k 的1015倍。474. 回歸分析與相關(guān)分析的區(qū)別回歸分析中，變量Y稱為因變量，處于被解釋的地位。而在相關(guān)分析中