第10章事物間因果關(guān)系回歸分析

1、第10章10.1回歸分析概述10.2 一元線性回歸10.3 多元線性回歸10.4 引入虛擬變量進行回歸3u為確定變量之間的聯(lián)系，用一些變量的變化說明另一個變量的變化，并進一步對另一個變量的取值進行預(yù)測，這就是回歸分析。u回歸分析研究的是變量之間的相互關(guān)系，但這種關(guān)系不僅是相關(guān)關(guān)系，而且是因果關(guān)系。因此回歸分析要明確區(qū)分因變量與自變量。如年齡對收入的影響。u因變量（因變量（dependent variable)：要說明其變化的、對其進行：要說明其變化的、對其進行預(yù)測的變量。預(yù)測的變量。u自變量自變量 (independent variable)：用以說明或預(yù)測因變量的：用以說明或預(yù)測因變量的變量

2、變量01122kkybb xb xb xe回歸模型一元回歸非線性線性多元回歸非線性線性6u兩個定距變量的回歸是用函數(shù)y= f(x)來分析的。我們最常用的是一元回歸方程y=a+bx。u其中x為自變量，y為因變量，a為截距，b為回歸系數(shù)。u常量：a為x等于零時，y的平均估計量。u回歸部分：它刻畫因變量y的取值中，由因變量y與自變量x的線性關(guān)系所決定的部分，即可以直接由x估計的部分。b為回歸系數(shù)，也是回歸線的斜率。u殘差：估計值和每一個實測值之間的差稱為殘差。殘差表示因變量y除了自變量x以外的其他所有未進入模型或未知但可能與y有關(guān)的隨機和非隨機因素共同引起的變異，即不能由x估計的部分。n最小二乘原理

3、即殘差的平方和最小。最小二乘原理即殘差的平方和最小。u第一步：考察因變量的正態(tài)性。例：根據(jù)數(shù)據(jù)“兒童.sav”，建立回歸模型，考察兒童對電視的接觸時間與兒童的知識量之間是否有因果關(guān)系。u第二步：考察因變量與自變量的線性關(guān)系。添加回歸趨勢添加回歸趨勢線的方法：線的方法：雙擊圖形，進雙擊圖形，進入圖表編輯入圖表編輯窗口下的窗口下的ElementsFit Line at Total選中選中Linearu第三步：進行回歸分析。因變量因變量自變量自變量Pearson相相關(guān)系數(shù)關(guān)系數(shù)回歸方程的確定系回歸方程的確定系數(shù)數(shù)R2 ：表示自變量：表示自變量能解釋因變量變化能解釋因變量變化的的46.8%。進入模型的

4、自變量進入模型的自變量u確定系數(shù)確定系數(shù)R2是測定回歸是測定回歸直線擬合優(yōu)度的重要指標。直線擬合優(yōu)度的重要指標。u總變差（總變差（TSS）是）是估估計計 時所產(chǎn)生的誤差平時所產(chǎn)生的誤差平方和方和u回歸變差（回歸變差（RSS）是）是 和之間產(chǎn)生的變差平方和之間產(chǎn)生的變差平方和。和。u剩余變差是和之剩余變差是和之間產(chǎn)生的變差平方和。間產(chǎn)生的變差平方和。 yy2()TSSyyyy2()RSSyyyy2()ESSyyTSS=RSS+ESS21RSSESSRTSSTSS對回歸模型的顯著性檢驗回歸平方和回歸平方和RSS殘差平方和殘差平方和ESS如果如果p值小于值小于0.05，說，說明明R2在統(tǒng)計上是顯著的

5、，在統(tǒng)計上是顯著的，即有足夠的把握認為總即有足夠的把握認為總體的回歸斜率不為體的回歸斜率不為0。通常只關(guān)心回歸方程的斜率在統(tǒng)計上是不是顯著的，而不關(guān)心截距的值以及它的顯通常只關(guān)心回歸方程的斜率在統(tǒng)計上是不是顯著的，而不關(guān)心截距的值以及它的顯著性水平。主要因為：著性水平。主要因為：u斜率斜率b不僅表達了線性關(guān)系的方向，也表達了線性關(guān)系的強度，這也是對解釋因不僅表達了線性關(guān)系的方向，也表達了線性關(guān)系的強度，這也是對解釋因變量最有用的信息。截距變量最有用的信息。截距a對解釋因變量對解釋因變量y的變化起不到任何作用。的變化起不到任何作用。u從實際應(yīng)用的角度來說，截距是在從實際應(yīng)用的角度來說，截距是在x

6、0時時y的取值，這是一種特殊的情況，一般的取值，這是一種特殊的情況，一般不加以考慮。不加以考慮。u截距截距a只表示直線在坐標平面中的起點，如果把所有回歸系數(shù)都進行標準化，這只表示直線在坐標平面中的起點，如果把所有回歸系數(shù)都進行標準化，這時直線是過原點的，即截距為時直線是過原點的，即截距為0。所以，通常不關(guān)心截距所以，通常不關(guān)心截距a的值是否顯著。即使不顯著，也保留在方程中。的值是否顯著。即使不顯著，也保留在方程中?；貧w系數(shù)如果如果p值小于值小于0.05，說明該自變，說明該自變量的回歸系數(shù)在統(tǒng)計上是顯著的，量的回歸系數(shù)在統(tǒng)計上是顯著的，即有足夠的把握認為即有足夠的把握認為b不為不為0。常數(shù)項即常

7、數(shù)項即a自變量的回自變量的回歸系數(shù)即歸系數(shù)即b建立回歸方程：建立回歸方程：y=1.935+0.021x其中其中y表示兒童的知識量評分表示兒童的知識量評分x表示兒童接觸電視的時間。表示兒童接觸電視的時間。15u將一元線性回歸進行推廣，引入多個自變量，以利用更多的信息來解釋因變量的變化，即可得多元線性回歸方程01122kkybb xb xb xeub0 ，b1，b2 ，bk是參數(shù),稱為偏回歸系數(shù)ubi 表示假定其他變量不變，當 xi 每變動一個單位時，y 的平均平均變動值ue是被稱為誤差項的隨機變量，說明了包含在y里面但不能被k個自變量的線性關(guān)系所解釋的變異性u y 是x1,，x2 ， ，xk 的

8、線性函數(shù)加上誤差項e 例：某面向年輕人制作肖像的公司計劃在國內(nèi)開設(shè)幾家分店，收集了目前已設(shè)分店的銷售數(shù)據(jù)（y,萬元）以及分店所在城市的16歲以下人數(shù)（X1，萬人）、人均可支配收入（X2，萬元）數(shù)據(jù)見“銷售收入.sav”，試建立多元線性回歸模型。u第一步：考察因變量與自變量的線性關(guān)系從散點圖矩陣可從散點圖矩陣可以看出，銷售收以看出，銷售收入與年輕人人數(shù)、入與年輕人人數(shù)、人均可支配收入人均可支配收入呈線性關(guān)系。呈線性關(guān)系。u第二步：考察因變量的正態(tài)性在因變量的正態(tài)在因變量的正態(tài)性不理想的情況性不理想的情況下，回歸方程可下，回歸方程可以體現(xiàn)因變量與以體現(xiàn)因變量與自變量的因果關(guān)自變量的因果關(guān)系，不能用

9、于預(yù)系，不能用于預(yù)測因變量。測因變量。u第三步：根據(jù)設(shè)想建立回歸方程： y=b0+b1x1+b2x2u進行多元回歸，回歸線性選入回歸方程選入回歸方程中的自變量中的自變量選入回歸方程選入回歸方程中的因變量中的因變量本例采用強制納本例采用強制納入回歸模型的方入回歸模型的方法。法。多元回歸常使用調(diào)整的確定多元回歸常使用調(diào)整的確定系數(shù)系數(shù)R2 ：此時：此時說明說明x1和和x2兩兩個自變量能共同個自變量能共同解釋解釋90.7%的因變量的變化。的因變量的變化。對回歸模型的顯著性檢驗如果如果p值小于值小于0.05，說明說明至少至少一個自變量的回歸系數(shù)不為一個自變量的回歸系數(shù)不為0，所建立的回歸模型有統(tǒng)計意所

10、建立的回歸模型有統(tǒng)計意義。義。回歸系數(shù)如果如果p值小于值小于0.05，說明，說明該自變量的回歸系數(shù)在統(tǒng)該自變量的回歸系數(shù)在統(tǒng)計上是顯著的，即有足夠計上是顯著的，即有足夠的把握認為的把握認為b不為不為0。自變量自變量的回歸的回歸系數(shù)系數(shù)建立回歸方程：建立回歸方程：y=-6.886+1.455x1+0.009x2標準化回歸系數(shù)標準化回歸系數(shù)表明年輕人人數(shù)表明年輕人人數(shù)對銷售收入的影對銷售收入的影響更大。響更大。u強制回歸法：所有自變量強制納入回歸模型u向前回歸法：將自變量按順序選入回歸模型。首先選入的是與因變量有最大相關(guān)性的自變量，同時必須滿足選入條件，然后再考慮下一個自變量。u向后回歸法：與向前

11、法相反。首先將所有變量納入模型，然后按順序移除，最先移除的是與因變量相關(guān)性最小的自變量，直至方程中沒有滿足移除條件的變量。u逐步回歸法：將向前回歸與向后回歸結(jié)合起來。每向模型引入一個新變量，均要考察原來在模型中的自變量是否還有統(tǒng)計意義，是否可以被剔除。較合理。u移除法：建立回歸模型前設(shè)立條件，根據(jù)條件刪除自變量。25u以上所列回歸分析，其因變量和自變量都為定距變量或定比變量，即數(shù)量型的變量；u而在社會科學的研究中，會大量地涉及到名義型的變量即定類變量。如性別、職業(yè)、學歷等；u對于定類變量，可以引入虛擬變量來進行回歸分析。n虛擬變量都是虛擬變量都是0、1變量，變量，1代表屬于該類別，即代表屬于該

12、類別，即“是是”；0代代表不屬于該類別，即表不屬于該類別，即“否否”。n0、1變量的均值含義為屬于該類別的樣本占總樣本的比例，變量的均值含義為屬于該類別的樣本占總樣本的比例，因此可以進行回歸。因此可以進行回歸。u當定類變量有k個類型時，需設(shè)置k-1個虛擬變量。u剩下的1個為參照類。u當k-1個虛擬變量都取值為0時，該樣本就屬于參照類。例：將數(shù)據(jù)“社團.sav”中的sex、grade轉(zhuǎn)換為虛擬變量。原變量編碼值代表的類別虛擬變量的賦值sex=1男（參照類）sex=2女xusex=1,else=0grade=1本科新生（參照類）grade=2其他高年級本科生xugrade1=1,else=0gra

13、de=3碩士研究生xugrade2=1,else=0grade=4博士研究生xugrade3=1,else=0u用recode命令建立新的虛擬變量。轉(zhuǎn)換后，增加了轉(zhuǎn)換后，增加了4個虛擬變量個虛擬變量以參加社團活動的時間為因變量，以新建的四個虛擬變量為自變量，進行回歸分析。設(shè)想的回歸方程為：time=b0+b1 xusex+b2 xugrade1+b3 xugrade2+b4 xugrade3四個虛擬變四個虛擬變量全部納入量全部納入回歸方程回歸方程調(diào)整的確定系數(shù)調(diào)整的確定系數(shù)R2：四個虛擬變量共同四個虛擬變量共同解釋了解釋了93.9%的因的因變量變化。變量變化。對回歸模型的顯著性檢驗說明：對回歸

14、模型的顯著性檢驗說明：回歸方程的參數(shù)在總總體水平上回歸方程的參數(shù)在總總體水平上是顯著的，即有足夠的把握認為是顯著的，即有足夠的把握認為總體的回歸斜率不為總體的回歸斜率不為0。建立回歸方程：建立回歸方程：Time=23.87-1.63xusex-1.96xugrade1-17.35xugrade2-18.77xugrade3自變量的回歸系數(shù)自變量的回歸系數(shù)p值小于值小于0.05，說明該自變量的，說明該自變量的回歸系數(shù)在統(tǒng)計上是顯著的，回歸系數(shù)在統(tǒng)計上是顯著的，即有足夠的把握認為即有足夠的把握認為b不為不為0。E Ex xc cl lu ud de ed d V Va ar ri ia ab bl

15、 le es sd d-.387a-6.780.000-.476.980.326a5.193.000.383.894-.814a-35.731.000-.944.869-.086b-3.790.000-.290.814-.084b-3.392.001-.262.683-.088c-3.686.000-.284.682是否為女生是否為高年級本科生是否為碩士研究生是否為女生是否為高年級本科生是否為高年級本科生Model123Beta IntSig.PartialCorrelationToleranceCollinearityStatisticsPredictors in the Model: (C

16、onstant), 是否為博士研究生a. Predictors in the Model: (Constant), 是否為博士研究生, 是否為碩士研究生b. Predictors in the Model: (Constant), 是否為博士研究生, 是否為碩士研究生, 是否為女生c. Dependent Variable: 參與社團活動的時間d. 所有自變量的所有自變量的p值均小于值均小于0.05，因此沒有剔除自變，因此沒有剔除自變量，全部納入回歸方程。量，全部納入回歸方程?；貧w方程的含義：回歸方程的含義：Time=23.87-1.63xusex-1.96xugrade1-17.35xugrade2-18.77xugrade3u就性別而言，男生是參照類就性別而言，男生是參照類女生比男生每周參加社團活動的時間少女生比男生每周參加社團活動的時間少1.63小時；小時；u就年級而言，大一新生是參照類就年級而言