第六章相關(guān)和回歸分析 - 幻燈片1ppt課件

1、第六章第六章 相關(guān)與回歸分析相關(guān)與回歸分析 第一節(jié) 相關(guān)與回歸分析的基本概念 (1學時)第二節(jié) 一元線性回歸分析 (4學時)第三節(jié) 多元線性回歸分析 (2學時)第四節(jié) 非線性回歸分析 (1學時)第五節(jié) 相關(guān)分析 (1學時)第一節(jié) 相關(guān)與回歸分析的基本概念n一、 函數(shù)關(guān)系與相關(guān)關(guān)系n二、相關(guān)關(guān)系的種類 n三、相關(guān)分析與回歸分析n四、相關(guān)表和相關(guān)圖 1、函數(shù)關(guān)系。當一個或幾個變量取一定的值時，另一個變量有確定值與之相對應。 2、相關(guān)關(guān)系。當一個或幾個相互聯(lián)系的變量取一定數(shù)值時，與之相對應的另一變量的值雖然不確定，但它仍按某種規(guī)律在一定的范圍內(nèi)變化。 客觀現(xiàn)象的函數(shù)關(guān)系可以用數(shù)學分析的方法去研究，而

2、研究客觀現(xiàn)象的相關(guān)關(guān)系必須借助于統(tǒng)計學中的相關(guān)與回歸分析方法。n按相關(guān)的程度可分為完全相關(guān)、不完全相關(guān)和不相關(guān)。一般的相按相關(guān)的程度可分為完全相關(guān)、不完全相關(guān)和不相關(guān)。一般的相關(guān)現(xiàn)象是不完全相關(guān)。關(guān)現(xiàn)象是不完全相關(guān)。n按相關(guān)的方向可分為：正相關(guān)和負相關(guān)。按相關(guān)的方向可分為：正相關(guān)和負相關(guān)。n按相關(guān)的形式可分為：線性相關(guān)和非線性相關(guān)。按相關(guān)的形式可分為：線性相關(guān)和非線性相關(guān)。n按變量多少可分為：單相關(guān)、復相關(guān)和偏相關(guān)。一個變量對另一按變量多少可分為：單相關(guān)、復相關(guān)和偏相關(guān)。一個變量對另一變量的相關(guān)關(guān)系，稱為單相關(guān)；一個變量對兩個以上變量的相關(guān)變量的相關(guān)關(guān)系，稱為單相關(guān)；一個變量對兩個以上變量的相

3、關(guān)關(guān)系時，稱為復相關(guān)；在某一現(xiàn)象與多種現(xiàn)象相關(guān)的場合，當假關(guān)系時，稱為復相關(guān)；在某一現(xiàn)象與多種現(xiàn)象相關(guān)的場合，當假定其他變量不變時，其中兩個變量的相關(guān)關(guān)系稱為偏相關(guān)。定其他變量不變時，其中兩個變量的相關(guān)關(guān)系稱為偏相關(guān)。 相關(guān)分析是用一個指標來表明現(xiàn)象間依存關(guān)系的密切程度。 回歸分析是用數(shù)學模型近似表達變量間的平均變化關(guān)系。 相關(guān)分析可以不必確定變量中哪個是自變量，哪個是因變量，其所涉及的變量都是隨機變量。 回歸分析必須事先確定具有相關(guān)關(guān)系的變量中哪個為自變量，哪個為因變量。一般地說，回歸分析中因變量是隨機的，而把自變量作為研究時給定的非隨機變量。 相關(guān)分析和回歸分析有著密切的聯(lián)系，它們有共同的

4、研究對象，常常必須互相補充。相關(guān)分析需要依靠回歸分析來表明現(xiàn)象數(shù)量相關(guān)的具體形式，而回歸分析則需要依靠相關(guān)分析來表明現(xiàn)象數(shù)量變化的密切程度。只有當變量之間存在著高度相關(guān)時，進行回歸分析才有意義。 第二節(jié) 一元線性回歸分析n一、標準的一元線性回歸模型n二、一元線性回歸模型的估計n三、一元線性回歸模型的檢驗 n四 、一元線性回歸模型預測 n (一)總體回歸函數(shù)n t12tut（6.1）n u t是隨機誤差項，又稱隨機干擾項，它是一個特殊的隨機變量，反映未列入方程式的其他各種因素對的影響。n (二)樣本回歸函數(shù):n ，. nn t稱為殘差，在概念上，t與總體誤差項ut相互對應；是樣本的容量。tteX

5、Y21總體回歸線與隨機誤差項總體回歸線與隨機誤差項 t）12tXYtY 。 。 。ut t21和2tu2n（一回歸系數(shù)的估計 最小二乘法n 設n 將對求偏導數(shù)，并令其等于零，可得:n n n 加以整理后有：n 22)(tttYYeQ221)(ttXY0)(221ttXY0)(221tttXYX ttYXn21 ttttYXXX221222)(ttttttXXnYXYXnXYnXnYtt221 上式中，分母是自由度，其中是樣本觀測值的個數(shù)，是一元線性回歸方程中回歸系數(shù)的個數(shù)。在一元線性回歸模型中，殘差t必須滿足 因而失去了兩個自由度，所以其自由度為。 2的正平方根又叫做回歸估計的標準誤差。 S2

6、22net te ；ttXe )-(YY )-(t21tt21tt21t2XeX-e-eYeXYettttttttttYXYY212tttttYXYYe2122（三最小二乘估計量的性質(zhì)n最小二乘估計量是隨機變量。n在標準假定能夠得到滿足的條件下，回歸系數(shù)的最小二乘估計量的期望值等于其真值，即有：n （ ）1 （ ）2 n其方差為：n （ ）n （ ） 2122)(XXt 22)(1XXXnt21估計量性質(zhì)的數(shù)學證明n (一)線性估計量n 將12u代入估計量，得：n = = = n最小二乘估計量可表現(xiàn)為所要估計的參數(shù)的真值與隨機誤差項的線性組合 22)()(XXYYXXttt2)()(XXYXX

7、ttt22)()(XXuXXttt推導用的恒等式n n n n令)(XXt2)( XXt)(XXt)( )(YYXXttttYXX)(2)()(XXXXwttt 最小二乘估計量期望值和方差的推導n （ ）2（u）n 2u）（根據(jù)標準假定）n 2（根據(jù)標準假定） n 2 n （ ）2u）n （u2n （根據(jù)標準假定、）n （根據(jù)標準假定） n 2)(22ttUEw22tw22)(XXt2有效性證明：有效性證明：n設 為任意無偏線性估計量，則有約束條件：n按照與上面同樣的方法，可推導出Var( )=n比較（ ）與Var( )的大小，有：2ttYk 1ttXk0tk222kt22n Var( )Va

8、r（ ） n ）n n以上第二步到第三步之所以成立，是因為：n 而利用前面關(guān)于線性無偏估計量的約束條件，可有：n 2222tw22tk-kt22(2tw0)-(2t2wkt)wk-w(k)-w(ktttttt222222221222-tttttttw-)X-(X-)X-(X)X-(Xk-wk三、一元線性回歸模型的檢驗三、一元線性回歸模型的檢驗 n（一） 回歸模型檢驗的種類n 回歸模型的檢驗包括理論意義檢驗、一級檢驗和二級檢驗。n（二擬合程度的評價n 總離差平方和的分解n （8.28）n 是總離差平方和；是回歸平方和；是殘差平方和。n 可決系數(shù)：n2 =1 （8.30）n 可決系數(shù)的特性 SST

9、SSRSSTSSE（三顯著性檢驗 n1提出假設。n2.確定顯著水平。n3.計算回歸系數(shù)的值。n n = （8.36） n4.確定臨界值。n雙側(cè)檢驗查分布表所確定的臨界值是（-2和2）；單側(cè)檢驗所確定的臨界值是）。n5.做出判斷。 2tiS*22四四 、一元線性回歸模型預測、一元線性回歸模型預測 n（一） 簡單回歸預測的基本公式：n （8.38）n回歸預測是一種有條件的預測，在進行回歸預測時，必須先給出f的具體數(shù)值。內(nèi)插檢驗或事后預測。外推預測或事前預測。n（二預測誤差n發(fā)生預測誤差的原因。n 預測誤差arf）2 （8.42）n（三區(qū)間預測 n f的的置信區(qū)間為：f2(n-2)f n回歸預測的置

10、信區(qū)間的特點。 ffXY2122)()(11XXXXntf回歸預測的置信區(qū)間回歸預測的置信區(qū)間YYXffXY21第三節(jié)第三節(jié) 多元線性回歸分析多元線性回歸分析 n一、標準的多元線性回歸模型 n二、多元線性回歸模型的估計 n三、多元線性回歸模型的檢驗和預測 n 四、多元線性回歸預測 一、標準的多元線性回歸模型一、標準的多元線性回歸模型 n多元線性回歸模型總體回歸函數(shù)的一般形式n (8.48)n多元線性回歸模型的樣本回歸函數(shù) n (8.49)n 多元線性回歸分析的標準假定除了包括上一節(jié)中已經(jīng)提出的的假定外，還要追加一條假定。這就是回歸模型所包含的自變量之間不能具有較強的線性關(guān)系。 tktkttuX

11、XY221tktktteXXY221二、多元線性回歸模型的估計二、多元線性回歸模型的估計 n（一回歸系數(shù)的估計 n (XX)1XY (8.55)n（二總體方差的估計nn2 (8.56) n（三最小二乘估計量的性質(zhì)n 標準的多元線性回歸模型中，高斯.馬爾可夫定理同樣成立。 knet2三、多元線性回歸模型的檢驗和預測三、多元線性回歸模型的檢驗和預測 n（一擬合程度的評價（一擬合程度的評價n修正自由度的可決系數(shù)理由）。修正自由度的可決系數(shù)理由）。 n (8.61)n （2） (8.62)n式中，是樣本容量；是模型中回歸式中，是樣本容量；是模型中回歸系數(shù)的個數(shù)。系數(shù)的個數(shù)。n修正自由度的可決系數(shù)修正自

12、由度的可決系數(shù) 的特點。的特點。 2R)/()()/(122nYYknett)()(knn12R(二)顯著性檢驗n1回歸系數(shù)的顯著性檢驗n j=1,2,k (8.63)n 式中， S 是的標準差的估計值。 按下式計算：n (8.64)n 式中， 是(XX)-1的第個對角線元素，2是隨機誤差項方差的估計值。(8.63)式的統(tǒng)計量的原假設是0：j，因此的絕對值越大表明j為的可能性越小，即表明相應的自變量對因變量的影響是顯著的。 jSjjjS2jjjjj2回歸方程的顯著性檢驗n具體的方法步驟 n回歸模型方差分析表n（3統(tǒng)計量n 離差名稱平方和自由度方差回歸平方和SSR=k-1SSR/(k-1)殘差平

13、方和SSE= n-kSSE/(n-k)總離差平方和SST=2)YYt（2)YYt（2tek)/(n-ESS 1)/(k-RSS 四、多元線性回歸預測 n基本公式：n (8.66)n 式中，Xjf(j=2,3,k)是給定的Xj在預測期的具體數(shù)值； 是已估計出的樣本回歸系數(shù)； 是Xj給定時的預測值。 kfkffXXY221jfY第四節(jié)非線性回歸分析第四節(jié)非線性回歸分析 n一、非線性回歸分析的意義一、非線性回歸分析的意義n二、非線性函數(shù)形式的確定二、非線性函數(shù)形式的確定n確定函數(shù)形式的原則確定函數(shù)形式的原則n實際分析中較常用的幾種非線性函數(shù)的實際分析中較常用的幾種非線性函數(shù)的特點特點 三、非線性回歸

14、模型的估計三、非線性回歸模型的估計 n幾種線性變換方法n實際應用時要注意： n 第一、比較復雜的非線性函數(shù)，需綜合利用上述的幾種方法。n 第二、變換得到的方程式中的變量不允許包含未知的參數(shù)。n 第三、當變換后的新模型中包含的誤差項能夠滿足標準假定時，新模型中回歸系數(shù)最小二乘估計量的理想性質(zhì)才能成立。n第四、嚴格地說，線性變換方法只是適用于變量為非線性的函數(shù)。n 第五、 并不是所有的非線性函數(shù)都可以通過變換得到與原方程完全等價的線性方程。第五節(jié)第五節(jié) 相關(guān)分析相關(guān)分析 n一、單相關(guān)系數(shù)及其檢驗 n 二、等級相關(guān)系數(shù)及其檢驗 n四、復相關(guān)系數(shù)和偏相關(guān)系數(shù) n 六、相關(guān)指數(shù)一、單相關(guān)系數(shù)及其檢驗一、

15、單相關(guān)系數(shù)及其檢驗 n（一相關(guān)系數(shù)的定義 n （8.86）n樣本相關(guān)系數(shù)的定義還可從另一個角度給出。設倚和倚的樣本回歸方程為：n （8.87）n （8.88）22)()()(YYXXYYXXttttttXY21ttYX21樣本相關(guān)系數(shù)可定義為樣本回歸系數(shù)的乘積的開方，即: （8.89） 上式中的符號應與回歸系數(shù)的符號一致。（二相關(guān)系數(shù)與可決系數(shù) 簡單線性回歸模型中相關(guān)系數(shù)的平方等于可決系數(shù)2。 樣本相關(guān)系數(shù)的特點：（三單相關(guān)系數(shù)的檢驗 22 二、等級相關(guān)系數(shù)及其檢驗 n（一等級相關(guān)系數(shù)的定義和計算n s = (8.92)n式中， ， 和 分別是兩個變量按大小或優(yōu)劣排位的等級，n是樣本的容量。n

16、推導n通常的單相關(guān)系數(shù)為：n s i=1,2,n (9.121) ) 1(6122nndi)(iiiyxdixiy22)()()(yyxxyyxxiiii注意到 和 是等級變量，其可能的取值范圍均為：1，2，3，n。利用有關(guān)數(shù)列求和的公式可得： (9.122) (9.123) (9.124) (9.125) ixiy2/ ) 1(/ )2/ ) 1(/nnnnnxxi2/ ) 1(/ )2/ ) 1(/nnnnnyyiyx 222)(xnxxxii22) 1(6) 12)(1(nnnnn12) 1(2nn12) 1()(22nnyyi = = 整理后，可得: (9.126) 將(9.124)、

17、（9.125和(9.126)式代入9.121式，便可導出等級相關(guān)系數(shù)的計算公式(9.120)式。（二等級相關(guān)系數(shù)檢驗 222)()( ()(yyxxyxdiiiiiyx )(2)()(22yyxxyyxxiiii)(212) 1(12) 1(22yyxxnnnnii26) 1()(22iiidnnyyxx四、復相關(guān)系數(shù)和偏相關(guān)系數(shù)四、復相關(guān)系數(shù)和偏相關(guān)系數(shù) n（一復相關(guān)系數(shù)n (8.94)n 實際計算復相關(guān)系數(shù)時，一般是先計算出可決系數(shù)，然后再求可決系數(shù)的平方根。復相關(guān)系數(shù)只取正值。n（二偏相關(guān)系數(shù)n 計算偏相關(guān)系數(shù)時，需要掌握多個變量的數(shù)據(jù)，一方面考慮多個變量之間可能產(chǎn)生的影響，一方面又用一定的方法控制其他變量，專門考察兩個特定變量的凈相關(guān)關(guān)系。偏相關(guān)系數(shù)與單相關(guān)系數(shù)數(shù)值上可能相差很大，甚至符號都可能相反。22)()()(YYYYYYYYtttt(三)樣本偏相關(guān)系數(shù)的定義n偏相關(guān)