相關(guān)分析和線性回歸分析

1、第七章相關(guān)分析和線性回歸分析第1頁，共72頁。一、相關(guān)分析和回歸分析概述一、相關(guān)分析和回歸分析概述v相關(guān)分析和回歸分析都是分析客觀事物之間關(guān)相關(guān)分析和回歸分析都是分析客觀事物之間關(guān)系的數(shù)量分析方法。系的數(shù)量分析方法。v客觀事物之間的關(guān)系大致可以歸納為客觀事物之間的關(guān)系大致可以歸納為2 2類：類：函數(shù)關(guān)系：兩事物之間一一對應(yīng)的關(guān)系。函數(shù)關(guān)系：兩事物之間一一對應(yīng)的關(guān)系。統(tǒng)計(jì)關(guān)系：兩事物之間的一種非一一對應(yīng)的關(guān)系。統(tǒng)計(jì)關(guān)系：兩事物之間的一種非一一對應(yīng)的關(guān)系。統(tǒng)計(jì)關(guān)系可再進(jìn)一步分為線性相關(guān)和非線性相統(tǒng)計(jì)關(guān)系可再進(jìn)一步分為線性相關(guān)和非線性相關(guān)關(guān)正相關(guān)：兩個(gè)變量線性的相隨變動(dòng)方向相同。正相關(guān)：兩個(gè)變量線性

2、的相隨變動(dòng)方向相同。負(fù)相關(guān)：兩個(gè)變量線性的相隨變動(dòng)方向相反。負(fù)相關(guān)：兩個(gè)變量線性的相隨變動(dòng)方向相反。第2頁，共72頁。v事物之間的函數(shù)關(guān)系比較容易分析事物之間的函數(shù)關(guān)系比較容易分析和測度，而統(tǒng)計(jì)關(guān)系卻不像函數(shù)關(guān)和測度，而統(tǒng)計(jì)關(guān)系卻不像函數(shù)關(guān)系那樣直接，但確實(shí)普遍存在，并系那樣直接，但確實(shí)普遍存在，并且有的關(guān)系強(qiáng)，有的關(guān)系弱，程度且有的關(guān)系強(qiáng)，有的關(guān)系弱，程度各異。相關(guān)分析和回歸分析正是以各異。相關(guān)分析和回歸分析正是以不同的方式測度事物間統(tǒng)計(jì)關(guān)系的不同的方式測度事物間統(tǒng)計(jì)關(guān)系的非常有效的工具。非常有效的工具。第3頁，共72頁。二、相關(guān)分析二、相關(guān)分析v通過圖形和數(shù)值兩種方式，能夠有通過圖形和數(shù)值

3、兩種方式，能夠有效地揭示事物之間統(tǒng)計(jì)關(guān)系的強(qiáng)弱效地揭示事物之間統(tǒng)計(jì)關(guān)系的強(qiáng)弱程度。程度。v散點(diǎn)圖：將數(shù)據(jù)以點(diǎn)的形式畫在直散點(diǎn)圖：將數(shù)據(jù)以點(diǎn)的形式畫在直角平面上。（直觀）角平面上。（直觀）v相關(guān)系數(shù)相關(guān)系數(shù)第4頁，共72頁。第5頁，共72頁。（二）散點(diǎn)圖（二）散點(diǎn)圖v含義含義v簡單散點(diǎn)圖：生成一對相關(guān)變量的散點(diǎn)簡單散點(diǎn)圖：生成一對相關(guān)變量的散點(diǎn)圖圖v重疊散點(diǎn)圖：生成多對相關(guān)變量的散點(diǎn)圖重疊散點(diǎn)圖：生成多對相關(guān)變量的散點(diǎn)圖v矩陣散點(diǎn)圖：同時(shí)生成多對相關(guān)變量的矩陣散點(diǎn)圖：同時(shí)生成多對相關(guān)變量的矩陣散點(diǎn)圖矩陣散點(diǎn)圖v三維散點(diǎn)圖：生產(chǎn)成三個(gè)變量之間的三三維散點(diǎn)圖：生產(chǎn)成三個(gè)變量之間的三維散點(diǎn)圖維散點(diǎn)圖第

4、6頁，共72頁。散點(diǎn)圖的基本操作散點(diǎn)圖的基本操作v簡單散點(diǎn)圖簡單散點(diǎn)圖v重疊散點(diǎn)圖重疊散點(diǎn)圖v矩陣散點(diǎn)圖矩陣散點(diǎn)圖v三維散點(diǎn)圖三維散點(diǎn)圖第7頁，共72頁。練習(xí)練習(xí)v高校科研研究高?？蒲醒芯?sav:.sav:v繪制課題總數(shù)與論文數(shù)的簡單散點(diǎn)圖，繪制課題總數(shù)與論文數(shù)的簡單散點(diǎn)圖，并分析它們之間的線性關(guān)系。并分析它們之間的線性關(guān)系。v繪制課題總數(shù)、投入科研經(jīng)費(fèi)以及論繪制課題總數(shù)、投入科研經(jīng)費(fèi)以及論文數(shù)的矩陣散點(diǎn)圖，并分析它們之間文數(shù)的矩陣散點(diǎn)圖，并分析它們之間的線性關(guān)系。的線性關(guān)系。第8頁，共72頁。相關(guān)系數(shù)相關(guān)系數(shù)v雖然散點(diǎn)圖能夠直觀的展現(xiàn)變量之間的統(tǒng)計(jì)雖然散點(diǎn)圖能夠直觀的展現(xiàn)變量之間的統(tǒng)計(jì)關(guān)系

5、，但并不精確。相關(guān)系數(shù)以數(shù)值的方式關(guān)系，但并不精確。相關(guān)系數(shù)以數(shù)值的方式精確的反映了兩個(gè)變量間線性相關(guān)的強(qiáng)弱程精確的反映了兩個(gè)變量間線性相關(guān)的強(qiáng)弱程度，利用相關(guān)系數(shù)進(jìn)行變量間線性關(guān)系的分度，利用相關(guān)系數(shù)進(jìn)行變量間線性關(guān)系的分析通常需要完成以下兩大步驟。析通常需要完成以下兩大步驟。v計(jì)算樣本相關(guān)系數(shù)計(jì)算樣本相關(guān)系數(shù)r。（不同類型的變量應(yīng)采。（不同類型的變量應(yīng)采用不同的相關(guān)系數(shù)指標(biāo)，但他們的取值范圍和用不同的相關(guān)系數(shù)指標(biāo)，但他們的取值范圍和含義都是相同的。）含義都是相同的。）v對樣本來自的兩總體是否存在顯著的線性關(guān)系對樣本來自的兩總體是否存在顯著的線性關(guān)系進(jìn)行推斷。進(jìn)行推斷。第9頁，共72頁。相關(guān)

6、系數(shù)相關(guān)系數(shù)r rv相關(guān)系數(shù)相關(guān)系數(shù)r r的取值在的取值在-1-1+1+1之間。之間。vr0r0表示兩變量存在正的線性相關(guān)關(guān)系表示兩變量存在正的線性相關(guān)關(guān)系;r0;r0.80.8表示兩變量之間具有較強(qiáng)的線性關(guān)表示兩變量之間具有較強(qiáng)的線性關(guān)系系; ; r r0.34040）v6 6、必須是連續(xù)變量、必須是連續(xù)變量第36頁，共72頁。多元回歸方程中的自變量選擇多元回歸方程中的自變量選擇v1 1、強(qiáng)行進(jìn)入法（、強(qiáng)行進(jìn)入法（enterenter），即一般所），即一般所稱的復(fù)回歸分析法。強(qiáng)迫所有變量有稱的復(fù)回歸分析法。強(qiáng)迫所有變量有順序地進(jìn)入回歸方程。在研究設(shè)計(jì)中，順序地進(jìn)入回歸方程。在研究設(shè)計(jì)中，如果

7、研究者事先建立假設(shè)，決定變量如果研究者事先建立假設(shè)，決定變量的重要性層次，則應(yīng)使用的重要性層次，則應(yīng)使用enterenter法比較法比較合適。此法又稱合適。此法又稱“層次式進(jìn)入法層次式進(jìn)入法”（hierarchical enterhierarchical enter）。）。第37頁，共72頁。v2 2、后退法（、后退法（BackwardBackward），將已納入方程的變量），將已納入方程的變量按對因變量的貢獻(xiàn)大小由小到大依次剔除，每按對因變量的貢獻(xiàn)大小由小到大依次剔除，每剔除一個(gè)自變量，即重新檢驗(yàn)每一自變量對因剔除一個(gè)自變量，即重新檢驗(yàn)每一自變量對因變量的貢獻(xiàn)。變量的貢獻(xiàn)。v3 3、前進(jìn)法（

8、、前進(jìn)法（ForwardForward），對已納入方程的變量），對已納入方程的變量不考察其顯著性，直到方程外變量均達(dá)不到入不考察其顯著性，直到方程外變量均達(dá)不到入選標(biāo)準(zhǔn)。選標(biāo)準(zhǔn)。v4 4、強(qiáng)制剔除法（、強(qiáng)制剔除法（RemoveRemove）與后退法相同，只）與后退法相同，只是篩選的是是篩選的是BlockBlock第38頁，共72頁。v5 5、逐步回歸法（、逐步回歸法（ Stepwise Stepwise ），運(yùn)用很廣，報(bào)），運(yùn)用很廣，報(bào)告中出現(xiàn)的幾率最高。結(jié)合了前進(jìn)法和后退法的告中出現(xiàn)的幾率最高。結(jié)合了前進(jìn)法和后退法的優(yōu)點(diǎn)。第一，模型中先不包含任何預(yù)測變量，與優(yōu)點(diǎn)。第一，模型中先不包含任何預(yù)測

9、變量，與因變量相關(guān)最高者首先進(jìn)入回歸方程；第二，控因變量相關(guān)最高者首先進(jìn)入回歸方程；第二，控制回歸方程中的變量后，根據(jù)每個(gè)預(yù)測變量與因制回歸方程中的變量后，根據(jù)每個(gè)預(yù)測變量與因變量的偏相關(guān)的高低來決定進(jìn)入方程的順序；第變量的偏相關(guān)的高低來決定進(jìn)入方程的順序；第三，已進(jìn)入方程的自變量，每引入一個(gè)自變量，三，已進(jìn)入方程的自變量，每引入一個(gè)自變量，就對方程中的每一自變量進(jìn)行顯著性檢驗(yàn)，若發(fā)就對方程中的每一自變量進(jìn)行顯著性檢驗(yàn)，若發(fā)現(xiàn)不顯著，就剔除；每剔除一個(gè)自變量有也對留現(xiàn)不顯著，就剔除；每剔除一個(gè)自變量有也對留在方程中的自變量再進(jìn)行顯著性檢驗(yàn)，再不顯著，在方程中的自變量再進(jìn)行顯著性檢驗(yàn)，再不顯著，

10、又剔除，直至沒有自變量引入，也沒有自變量剔又剔除，直至沒有自變量引入，也沒有自變量剔除為止。除為止。第39頁，共72頁。v在選擇回歸的方法時(shí)，注意專業(yè)上的要在選擇回歸的方法時(shí)，注意專業(yè)上的要求要先于統(tǒng)計(jì)學(xué)檢驗(yàn)的準(zhǔn)則。求要先于統(tǒng)計(jì)學(xué)檢驗(yàn)的準(zhǔn)則。vHowerHower（19871987）建議：（）建議：（1 1）應(yīng)優(yōu)先使用）應(yīng)優(yōu)先使用enterenter或或stepwisestepwise。（。（2 2）使用）使用enterenter時(shí)，時(shí)，可根據(jù)研究計(jì)劃時(shí)的相關(guān)理論，決定變可根據(jù)研究計(jì)劃時(shí)的相關(guān)理論，決定變量投入的順序。量投入的順序。第40頁，共72頁?；貧w方程的統(tǒng)計(jì)檢驗(yàn)回歸方程的統(tǒng)計(jì)檢驗(yàn)v通過

11、樣本數(shù)據(jù)建立回歸方程后一般不能立通過樣本數(shù)據(jù)建立回歸方程后一般不能立即用于對實(shí)際問題的分析和預(yù)測，通常要即用于對實(shí)際問題的分析和預(yù)測，通常要進(jìn)行各種統(tǒng)計(jì)檢驗(yàn)，包括回歸方程的擬合進(jìn)行各種統(tǒng)計(jì)檢驗(yàn)，包括回歸方程的擬合優(yōu)度檢驗(yàn)、回歸方程的顯著性檢驗(yàn)、回歸優(yōu)度檢驗(yàn)、回歸方程的顯著性檢驗(yàn)、回歸系數(shù)的顯著性檢驗(yàn)、殘差分析等。系數(shù)的顯著性檢驗(yàn)、殘差分析等。第41頁，共72頁?；貧w方程的擬合優(yōu)度檢驗(yàn)回歸方程的擬合優(yōu)度檢驗(yàn)v檢驗(yàn)樣本數(shù)據(jù)點(diǎn)聚集在回歸線周圍的密集程度，檢驗(yàn)樣本數(shù)據(jù)點(diǎn)聚集在回歸線周圍的密集程度，從而評價(jià)回歸方程對樣本數(shù)據(jù)的代表程度。從而評價(jià)回歸方程對樣本數(shù)據(jù)的代表程度。v認(rèn)為認(rèn)為y y各觀測值的之間

12、的差異主要由兩個(gè)方面各觀測值的之間的差異主要由兩個(gè)方面的原因造成：一是解釋變量的原因造成：一是解釋變量x x取值的不同造成取值的不同造成的；二是由于其他隨機(jī)因素造成的。的；二是由于其他隨機(jī)因素造成的。vSST=SSA+SSESST=SSA+SSE（回歸平方和剩余平方和）（回歸平方和剩余平方和）v若若SSASSA所占的比例遠(yuǎn)大于所占的比例遠(yuǎn)大于SSESSE所占的比例，那所占的比例，那么回歸方程的擬合優(yōu)度會(huì)比較高。么回歸方程的擬合優(yōu)度會(huì)比較高。第42頁，共72頁。v擬合優(yōu)度檢驗(yàn)采用擬合優(yōu)度檢驗(yàn)采用R R2 2統(tǒng)計(jì)量，該統(tǒng)計(jì)量稱統(tǒng)計(jì)量，該統(tǒng)計(jì)量稱為判定系數(shù)或決定系數(shù)，它是為判定系數(shù)或決定系數(shù)，它是S

13、SA/SSTSSA/SSTv反映因變量的全部變異中能夠通過回歸關(guān)系反映因變量的全部變異中能夠通過回歸關(guān)系被自變量解釋的比例，即檢驗(yàn)回歸的效果如被自變量解釋的比例，即檢驗(yàn)回歸的效果如何。何。v如果自變量的個(gè)數(shù)很多，有時(shí)要以調(diào)整后如果自變量的個(gè)數(shù)很多，有時(shí)要以調(diào)整后的決定系數(shù)代替原先的決定系數(shù)。因?yàn)樵龅臎Q定系數(shù)代替原先的決定系數(shù)。因?yàn)樵黾有碌淖宰兞繒?huì)使決定系數(shù)增大，這種決加新的自變量會(huì)使決定系數(shù)增大，這種決定系數(shù)會(huì)有高人為控制的機(jī)制在內(nèi)，此時(shí)定系數(shù)會(huì)有高人為控制的機(jī)制在內(nèi)，此時(shí)用調(diào)整后的決定系數(shù)更好。用調(diào)整后的決定系數(shù)更好。第43頁，共72頁?；貧w方程的顯著性檢驗(yàn)回歸方程的顯著性檢驗(yàn)v線性回歸方程

14、能夠較好地反映被解釋變量和線性回歸方程能夠較好地反映被解釋變量和解釋變量之間統(tǒng)計(jì)關(guān)系的前提應(yīng)是，被解釋解釋變量之間統(tǒng)計(jì)關(guān)系的前提應(yīng)是，被解釋變量和解釋變量之間確實(shí)存在顯著的線性關(guān)變量和解釋變量之間確實(shí)存在顯著的線性關(guān)系?；貧w方程的顯著性檢驗(yàn)正是要檢驗(yàn)被解系?；貧w方程的顯著性檢驗(yàn)正是要檢驗(yàn)被解釋變量與所有解釋變量之間的線性關(guān)系是否釋變量與所有解釋變量之間的線性關(guān)系是否顯著，用線性模型來描述它們之間的關(guān)系是顯著，用線性模型來描述它們之間的關(guān)系是否恰當(dāng)。否恰當(dāng)。v基本出發(fā)點(diǎn)與擬合優(yōu)度檢驗(yàn)非常相似?；境霭l(fā)點(diǎn)與擬合優(yōu)度檢驗(yàn)非常相似。v檢驗(yàn)采用檢驗(yàn)采用F統(tǒng)計(jì)量。統(tǒng)計(jì)量。第44頁，共72頁?；貧w系數(shù)的顯著

15、性檢驗(yàn)回歸系數(shù)的顯著性檢驗(yàn)v主要目的是研究回歸方程中的每個(gè)解釋變量主要目的是研究回歸方程中的每個(gè)解釋變量與被解釋變量之間是否存在顯著的線性關(guān)系，與被解釋變量之間是否存在顯著的線性關(guān)系，也就是研究解釋變量能夠有效地解釋被解釋也就是研究解釋變量能夠有效地解釋被解釋變量的線性變化，他們能夠保留在線性回歸變量的線性變化，他們能夠保留在線性回歸方程中。方程中。v是圍繞回歸系數(shù)估計(jì)值的抽樣分布展開的，是圍繞回歸系數(shù)估計(jì)值的抽樣分布展開的，由此構(gòu)造服從某種理論分布的檢驗(yàn)統(tǒng)計(jì)量，由此構(gòu)造服從某種理論分布的檢驗(yàn)統(tǒng)計(jì)量，并進(jìn)行檢驗(yàn)。并進(jìn)行檢驗(yàn)。第45頁，共72頁。vt t統(tǒng)計(jì)量：在一元線性回歸分析中，統(tǒng)計(jì)量：在一

16、元線性回歸分析中，回歸方程顯著性檢驗(yàn)和回歸系數(shù)顯著回歸方程顯著性檢驗(yàn)和回歸系數(shù)顯著性檢驗(yàn)的作用是相同的，兩者可以相性檢驗(yàn)的作用是相同的，兩者可以相互代替，同時(shí)回歸方程顯著性檢驗(yàn)中互代替，同時(shí)回歸方程顯著性檢驗(yàn)中F Ft t2 2。v但在多元線性回歸中的這兩種檢驗(yàn)通常但在多元線性回歸中的這兩種檢驗(yàn)通常不能互相替代。不能互相替代。第46頁，共72頁。殘差分析殘差分析v所謂殘差是指由回歸方程計(jì)算所得的預(yù)測值與所謂殘差是指由回歸方程計(jì)算所得的預(yù)測值與實(shí)際樣本值之間的差距。實(shí)際樣本值之間的差距。v殘差分析是回歸方程檢驗(yàn)中的重要組成部分，殘差分析是回歸方程檢驗(yàn)中的重要組成部分，其出發(fā)點(diǎn)是，如果回歸方程能較

17、好地反映被解其出發(fā)點(diǎn)是，如果回歸方程能較好地反映被解釋變量的特征和變化規(guī)律，那么殘差序列中應(yīng)釋變量的特征和變化規(guī)律，那么殘差序列中應(yīng)不包含明顯的規(guī)律行和趨勢性。不包含明顯的規(guī)律行和趨勢性。v殘差分析的主要任務(wù)可大致歸納為，分析殘差殘差分析的主要任務(wù)可大致歸納為，分析殘差是否服從均值為是否服從均值為0 0的正態(tài)分布、分析殘差是否的正態(tài)分布、分析殘差是否為等方差的正態(tài)分布、分析殘差序列是否獨(dú)立、為等方差的正態(tài)分布、分析殘差序列是否獨(dú)立、借助殘差探測樣本中的異常值等。借助殘差探測樣本中的異常值等。v圖形分析和數(shù)值分析是殘差分析的有效工具。圖形分析和數(shù)值分析是殘差分析的有效工具。第47頁，共72頁。如

18、何看回歸結(jié)果？如何看回歸結(jié)果？v哪些自變量（我們選定）進(jìn)入了回歸方哪些自變量（我們選定）進(jìn)入了回歸方程程v對回歸方程進(jìn)行檢驗(yàn)，看方程是否有意對回歸方程進(jìn)行檢驗(yàn)，看方程是否有意義義v看回歸效果，看回歸效果， R R2 2第48頁，共72頁?；貧w分析的三個(gè)重要指標(biāo)回歸分析的三個(gè)重要指標(biāo)v方差分析：方差分析：F F檢驗(yàn)用于檢驗(yàn)回歸模型與數(shù)據(jù)的檢驗(yàn)用于檢驗(yàn)回歸模型與數(shù)據(jù)的擬合程度。若擬合程度。若F F值顯著，表明預(yù)測變量與指標(biāo)值顯著，表明預(yù)測變量與指標(biāo)變量之間存在很強(qiáng)的線性關(guān)系，也可以說回變量之間存在很強(qiáng)的線性關(guān)系，也可以說回歸方程顯著。歸方程顯著。 v回歸系數(shù)的顯著性檢驗(yàn)：若回歸系數(shù)的顯著性檢驗(yàn)：若

19、b b顯著，則表明顯著，則表明預(yù)測變量與指標(biāo)變量之間存在強(qiáng)線性相關(guān)。預(yù)測變量與指標(biāo)變量之間存在強(qiáng)線性相關(guān)。 vR R2 2：解釋回歸平方和在總平方和中所占的比：解釋回歸平方和在總平方和中所占的比率，即解釋回歸的效果。率，即解釋回歸的效果。第49頁，共72頁。練習(xí)練習(xí)v利用線性回歸分析研究高等院校人文社利用線性回歸分析研究高等院校人文社會(huì)科學(xué)研究中立項(xiàng)課題數(shù)是否受高級職會(huì)科學(xué)研究中立項(xiàng)課題數(shù)是否受高級職稱投入人年數(shù)、投入科研事業(yè)經(jīng)費(fèi)、專稱投入人年數(shù)、投入科研事業(yè)經(jīng)費(fèi)、專著數(shù)的影響。著數(shù)的影響。v分析母親對情感溫暖的理解是否受到分析母親對情感溫暖的理解是否受到過度干涉、拒絕否認(rèn)和懲罰嚴(yán)厲的影過度干

20、涉、拒絕否認(rèn)和懲罰嚴(yán)厲的影響。響。第50頁，共72頁。虛擬變量虛擬變量v若某個(gè)自變量是分類變量，則須將分類變量若某個(gè)自變量是分類變量，則須將分類變量轉(zhuǎn)化為二進(jìn)制虛擬變量（轉(zhuǎn)化為二進(jìn)制虛擬變量（dummy variabledummy variable），），每個(gè)虛擬變量只代表每個(gè)虛擬變量只代表2 2級（級（0 0，1 1），即某一屬），即某一屬性出現(xiàn)時(shí)，虛擬變量取值為性出現(xiàn)時(shí)，虛擬變量取值為1 1，否則為，否則為0 0。設(shè)。設(shè)虛擬變量時(shí)，以一種取值作為對比水平（基虛擬變量時(shí)，以一種取值作為對比水平（基礎(chǔ)水平），若原自變量有幾個(gè)水平，就應(yīng)使礎(chǔ)水平），若原自變量有幾個(gè)水平，就應(yīng)使用用n-1n-1個(gè)虛

21、擬變量，實(shí)則虛擬變量代表的是同個(gè)虛擬變量，實(shí)則虛擬變量代表的是同一變量的不同取值。一變量的不同取值。第51頁，共72頁。v如性別變量有男或女兩類如性別變量有男或女兩類, ,可將兩個(gè)類別分別可將兩個(gè)類別分別以兩個(gè)以兩個(gè)0/10/1二值變量的形式重新編碼。設(shè)置變二值變量的形式重新編碼。設(shè)置變量量X X1 1表示是否男，取表示是否男，取1 1表示男，取表示男，取0 0表示不是表示不是男。再設(shè)置變量男。再設(shè)置變量X X2 2表示是否女，取表示是否女，取1 1表示是表示是女，取女，取0 0表示不是女。表示不是女。v產(chǎn)生的回歸方程中各虛擬變量回歸系數(shù)的含產(chǎn)生的回歸方程中各虛擬變量回歸系數(shù)的含義是，相對參照

22、類，各個(gè)類對解釋變量平均義是，相對參照類，各個(gè)類對解釋變量平均貢獻(xiàn)的差，進(jìn)而可進(jìn)一步研究各類別間對被貢獻(xiàn)的差，進(jìn)而可進(jìn)一步研究各類別間對被解釋變量的平均貢獻(xiàn)差異。解釋變量的平均貢獻(xiàn)差異。第52頁，共72頁。Collinearity diagnostics Collinearity diagnostics （共線性診斷）（共線性診斷）v復(fù)共線問題（共線性，復(fù)共線問題（共線性，collinearitycollinearity問題）：問題）：由于自變量間的相關(guān)太高，造成回歸分析之由于自變量間的相關(guān)太高，造成回歸分析之情境困擾。如果自變量間有共線性問題，表情境困擾。如果自變量間有共線性問題，表示一個(gè)預(yù)

23、測變量是其他自變量的線性組合。示一個(gè)預(yù)測變量是其他自變量的線性組合。若有嚴(yán)重的共線性存在，則模型的參數(shù)就不若有嚴(yán)重的共線性存在，則模型的參數(shù)就不能完全被估計(jì)出來。能完全被估計(jì)出來。第53頁，共72頁。自變量間是否有共線性問題，可自變量間是否有共線性問題，可以由以下數(shù)據(jù)判斷：以由以下數(shù)據(jù)判斷：（1 1）VIF=5VIF=5，存在復(fù)共線。所以在回歸分析中，存在復(fù)共線。所以在回歸分析中，最好先做個(gè)相關(guān)分析，最好先做個(gè)相關(guān)分析，以探討變量間的相關(guān)情形，以探討變量間的相關(guān)情形，如果某些變量間的相關(guān)系數(shù)太高，可考慮挑選一如果某些變量間的相關(guān)系數(shù)太高，可考慮挑選一個(gè)較重要的變量投入回歸分析個(gè)較重要的變量投入

24、回歸分析。（2 2）容忍度）容忍度tolerance=1-Rtolerance=1-R2 2 ，其中，其中R R2 2是此自變量是此自變量與其他自變量間的多元相關(guān)系數(shù)的平方。容忍度與其他自變量間的多元相關(guān)系數(shù)的平方。容忍度界于界于0 0和和1 1之間，如果一個(gè)自變量的容忍度太小，之間，如果一個(gè)自變量的容忍度太小，表示此變量與其他自變量間有共線性問題；其值表示此變量與其他自變量間有共線性問題；其值若接近若接近0 0，表示此變量幾乎就是其他變量的線性，表示此變量幾乎就是其他變量的線性組合。組合。第54頁，共72頁。（3 3）條件指針（）條件指針（condition indexcondition i

25、ndex，CICI），），CI CI 越大，越有共線性問題。越大，越有共線性問題。Eigenvalue Eigenvalue condition indexcondition index（k k）若）若k k2 2=100=100表示存表示存在復(fù)共線，若在復(fù)共線，若k k2 2=1000=1000，表示存在嚴(yán)重的，表示存在嚴(yán)重的復(fù)共線。復(fù)共線。v關(guān)于復(fù)共線問題，也有說法，即認(rèn)為若關(guān)于復(fù)共線問題，也有說法，即認(rèn)為若torrencetorrence降至降至0.50.5以下，而以下，而VIF VIF 上升到上升到2.02.0以上，就應(yīng)檢查自變量是否為自相關(guān)。以上，就應(yīng)檢查自變量是否為自相關(guān)。第55頁

26、，共72頁。上機(jī)練習(xí)上機(jī)練習(xí)v母親的受教育程度和職業(yè)狀況與母親的母親的受教育程度和職業(yè)狀況與母親的情感溫暖的理解有什么關(guān)系？請根據(jù)相情感溫暖的理解有什么關(guān)系？請根據(jù)相關(guān)分析的進(jìn)行分析。關(guān)分析的進(jìn)行分析。v年均可支配收入和年人均消費(fèi)支出是否年均可支配收入和年人均消費(fèi)支出是否對教育支出有影響？請用回歸分析的結(jié)對教育支出有影響？請用回歸分析的結(jié)果建立關(guān)于教育支出的回歸模型。果建立關(guān)于教育支出的回歸模型。第56頁，共72頁。五、路徑分析五、路徑分析v路徑分析又稱路徑分析又稱“結(jié)構(gòu)方程模型結(jié)構(gòu)方程模型”（structural equation modelsstructural equation mode

27、ls，SEMSEM）或或“同時(shí)方程檢驗(yàn)?zāi)Ｐ屯瑫r(shí)方程檢驗(yàn)?zāi)Ｐ汀保╯imultaneous equation modelssimultaneous equation models），），因?yàn)樗瑫r(shí)讓所有預(yù)測變量進(jìn)入回歸模因?yàn)樗瑫r(shí)讓所有預(yù)測變量進(jìn)入回歸模型型 。第57頁，共72頁。路徑分析的基本步驟路徑分析的基本步驟v1 1、根據(jù)相關(guān)理論與文獻(xiàn)資料，建立一個(gè)可以檢驗(yàn)的初、根據(jù)相關(guān)理論與文獻(xiàn)資料，建立一個(gè)可以檢驗(yàn)的初始模型，并繪出一個(gè)沒有路徑系數(shù)的路徑圖（始模型，并繪出一個(gè)沒有路徑系數(shù)的路徑圖（path path diagramdiagram）。）。路徑圖中的因果關(guān)系用箭頭表示，箭頭指向的是路徑圖中

28、的因果關(guān)系用箭頭表示，箭頭指向的是“果果”（因變量），箭頭（因變量），箭頭起始處是起始處是“因因”（自變量）。對多重回歸分析來說，箭頭所指的變量為回（自變量）。對多重回歸分析來說，箭頭所指的變量為回歸方程的因變量，箭頭起始處為回歸方程的預(yù)測變量。歸方程的因變量，箭頭起始處為回歸方程的預(yù)測變量。在設(shè)計(jì)因果關(guān)系時(shí)，要有相應(yīng)的理論背景。因果模型結(jié)構(gòu)的初始圖中通在設(shè)計(jì)因果關(guān)系時(shí)，要有相應(yīng)的理論背景。因果模型結(jié)構(gòu)的初始圖中通常包括直接效果和間接效果。在直接效果中如果路徑系數(shù)達(dá)到顯著，表常包括直接效果和間接效果。在直接效果中如果路徑系數(shù)達(dá)到顯著，表示兩個(gè)變量間有直接因果關(guān)系存在；在間接效果中如果路徑系數(shù)達(dá)

29、到顯示兩個(gè)變量間有直接因果關(guān)系存在；在間接效果中如果路徑系數(shù)達(dá)到顯著，表示兩個(gè)變量間有間接的因果關(guān)系存在。間接效果的影響路徑是多著，表示兩個(gè)變量間有間接的因果關(guān)系存在。間接效果的影響路徑是多元的，并不是每個(gè)中間變量的影響都會(huì)達(dá)到顯著。元的，并不是每個(gè)中間變量的影響都會(huì)達(dá)到顯著。第58頁，共72頁。v2 2、選用適當(dāng)?shù)幕貧w模型（通常用、選用適當(dāng)?shù)幕貧w模型（通常用enterenter法），法），來估計(jì)路徑系數(shù)并檢驗(yàn)其是否顯著。在路徑來估計(jì)路徑系數(shù)并檢驗(yàn)其是否顯著。在路徑分析中，選用的分析方法是多重回歸分析，分析中，選用的分析方法是多重回歸分析，而而“路徑系數(shù)路徑系數(shù)”就是回歸方程中的就是回歸方程中

30、的“標(biāo)準(zhǔn)化標(biāo)準(zhǔn)化偏回歸系數(shù)偏回歸系數(shù)”。復(fù)回歸中讓所有預(yù)測變量同。復(fù)回歸中讓所有預(yù)測變量同時(shí)進(jìn)入回歸方程，再由每個(gè)變量的時(shí)進(jìn)入回歸方程，再由每個(gè)變量的t t值的大小值的大小與機(jī)率值檢驗(yàn)與機(jī)率值檢驗(yàn)betabeta值的影響是否顯著。值的影響是否顯著。第59頁，共72頁。v3 3、評估理論模型，可刪除不顯著的路徑系、評估理論模型，可刪除不顯著的路徑系數(shù)，重新計(jì)算新模型的路徑系數(shù)。在刪除數(shù)，重新計(jì)算新模型的路徑系數(shù)。在刪除部分影響路徑后，會(huì)成為一種部分影響路徑后，會(huì)成為一種“約束模型約束模型”（restrict modelrestrict model），由于預(yù)測變量數(shù)的），由于預(yù)測變量數(shù)的改變，路徑

31、系數(shù)也會(huì)跟著改變，因而要重改變，路徑系數(shù)也會(huì)跟著改變，因而要重新進(jìn)行復(fù)回歸分析。新進(jìn)行復(fù)回歸分析。第60頁，共72頁。驗(yàn)證研究路徑圖驗(yàn)證研究路徑圖數(shù)學(xué)焦慮數(shù)學(xué)焦慮數(shù)學(xué)態(tài)度數(shù)學(xué)態(tài)度數(shù)學(xué)成績數(shù)學(xué)成績數(shù)學(xué)投入數(shù)學(xué)投入動(dòng)機(jī)動(dòng)機(jī)第61頁，共72頁。v此研究圖，要進(jìn)行三個(gè)復(fù)回歸，此研究圖，要進(jìn)行三個(gè)復(fù)回歸，（1 1）因變量為數(shù)學(xué)成績，預(yù)測變量為數(shù)學(xué)焦）因變量為數(shù)學(xué)成績，預(yù)測變量為數(shù)學(xué)焦慮、數(shù)學(xué)態(tài)度、數(shù)學(xué)投入動(dòng)慮、數(shù)學(xué)態(tài)度、數(shù)學(xué)投入動(dòng)（2 2）目標(biāo)變量為數(shù)學(xué)學(xué)習(xí)態(tài)度，預(yù)測變量為）目標(biāo)變量為數(shù)學(xué)學(xué)習(xí)態(tài)度，預(yù)測變量為數(shù)學(xué)焦慮、數(shù)學(xué)學(xué)習(xí)投入動(dòng)機(jī)數(shù)學(xué)焦慮、數(shù)學(xué)學(xué)習(xí)投入動(dòng)機(jī)（3 3）目標(biāo)變量為數(shù)學(xué)學(xué)習(xí)投入動(dòng)機(jī)，預(yù)測變

32、）目標(biāo)變量為數(shù)學(xué)學(xué)習(xí)投入動(dòng)機(jī)，預(yù)測變量為數(shù)學(xué)焦慮。量為數(shù)學(xué)焦慮。第62頁，共72頁。練習(xí)練習(xí)母親情感溫母親情感溫暖的理解暖的理解過度干涉過度干涉心理健康心理健康拒絕否拒絕否認(rèn)認(rèn)第63頁，共72頁。曲線估計(jì)曲線估計(jì)v變量間相關(guān)關(guān)系的分析中，變量之間的變量間相關(guān)關(guān)系的分析中，變量之間的關(guān)系并不總是表現(xiàn)出線性關(guān)系關(guān)系并不總是表現(xiàn)出線性關(guān)系, ,非線性關(guān)非線性關(guān)系也是極為常見的，通過繪制散點(diǎn)圖的系也是極為常見的，通過繪制散點(diǎn)圖的方式可粗略考察這種非線性關(guān)系。對于方式可粗略考察這種非線性關(guān)系。對于非線性關(guān)系通常無法直接通過線性回歸非線性關(guān)系通常無法直接通過線性回歸來分析，無法直接建立線性模型，來分析，無

33、法直接建立線性模型，v變量之間的非線性可以劃分為本質(zhì)線性變量之間的非線性可以劃分為本質(zhì)線性關(guān)系和本質(zhì)非線性關(guān)系。關(guān)系和本質(zhì)非線性關(guān)系。第64頁，共72頁。v所謂本質(zhì)線性關(guān)系是指變量關(guān)系形式上雖然所謂本質(zhì)線性關(guān)系是指變量關(guān)系形式上雖然是呈非線性關(guān)系（如，二次曲線），但可通是呈非線性關(guān)系（如，二次曲線），但可通過變換化為線性關(guān)系，并可最終通過線性回過變換化為線性關(guān)系，并可最終通過線性回歸分析建立線性模型。歸分析建立線性模型。v本質(zhì)非線性關(guān)系是指變量關(guān)系不僅形式上呈本質(zhì)非線性關(guān)系是指變量關(guān)系不僅形式上呈非線性關(guān)系，而且也無法通過變量變換化為非線性關(guān)系，而且也無法通過變量變換化為線性關(guān)系，最終無法通過

34、線性回歸分析建立線性關(guān)系，最終無法通過線性回歸分析建立線性模型，曲線估計(jì)要解決的就是本質(zhì)線性線性模型，曲線估計(jì)要解決的就是本質(zhì)線性關(guān)系問題。關(guān)系問題。第65頁，共72頁。步驟步驟v選擇模型選擇模型vSPSS自動(dòng)生成參數(shù)估計(jì)，并輸出回歸自動(dòng)生成參數(shù)估計(jì)，并輸出回歸方程顯著性檢驗(yàn)的方程顯著性檢驗(yàn)的F值、值、p值、判定系值、判定系數(shù)等統(tǒng)計(jì)量數(shù)等統(tǒng)計(jì)量v以判定系數(shù)為主要依據(jù)選擇最優(yōu)模以判定系數(shù)為主要依據(jù)選擇最優(yōu)模型，并進(jìn)行預(yù)測分析。型，并進(jìn)行預(yù)測分析。第66頁，共72頁。曲線估計(jì)(Curve Estimation)v對于對于一元回歸一元回歸，若，若散點(diǎn)圖的趨勢不呈散點(diǎn)圖的趨勢不呈線性分布，可以利線性分

35、布，可以利用曲線估計(jì)方便地用曲線估計(jì)方便地進(jìn)行線性擬合進(jìn)行線性擬合(liner)(liner)、二次擬、二次擬合合(Quadratic)(Quadratic)、三次擬合三次擬合(Cubic)(Cubic)等。采用哪種擬合等。采用哪種擬合方式主要取決于各方式主要取決于各種擬合模型對數(shù)據(jù)種擬合模型對數(shù)據(jù)的充分描述的充分描述( (看修看修正正Adjusted RAdjusted R2 2 -1)1)不同模型的表示不同模型的表示模型名稱模型名稱回歸方程回歸方程相應(yīng)的線性回歸方程相應(yīng)的線性回歸方程Linear(Linear(線性線性) )Y=bY=b0 0+b+b1 1t tQuadratic(Quad

36、ratic(二次二次) ) Y=bY=b0 0+b+b1 1t+bt+b2 2t t2 2Compound(Compound(復(fù)合復(fù)合) )Y=bY=b0 0(b(b1 1t t) )Ln(Y)=ln(bLn(Y)=ln(b0 0)+ln(b)+ln(b1 1)t)tGrowth(Growth(生長生長) )Y=eY=eb0+b1tb0+b1tLn(Y)=bLn(Y)=b0 0+b+b1 1t tLogarithmic(Logarithmic(對對數(shù)數(shù)) )Y=bY=b0 0+b+b1 1ln(t)ln(t)Cubic(Cubic(三次三次) )Y=bY=b0 0+b+b1 1t+bt+b2

37、2t t2 2+b+b3 3t t3 3S SY=eY=eb0+b1/tb0+b1/tLn(Y)=bLn(Y)=b0 0+b+b1 1 / / t tExponential(Exponential(指指數(shù)數(shù)) )Y=bY=b0 0 * * e eb1b1* *t tLn(Y)=ln(bLn(Y)=ln(b0 0)+b)+b1 1t tInverse(Inverse(逆逆) )Y=bY=b0 0+b+b1 1/t/tPower(Power(冪冪) )Y=bY=b0 0(t(tb1 b1 ) )Ln(Y)=ln(bLn(Y)=ln(b0 0)+b)+b1 1ln(t)ln(t)Logistic(Logistic(邏輯邏輯) )Y=1/(1/u+bY=1/(1/u+b0 0b b1 1t t) )Ln(1/Y-Ln(1/Y-1/u)=