《spss回歸分析》ppt課件

1、第10章 回歸分析引見：引見： 1、回歸分析的概念和模型、回歸分析的概念和模型 2、回歸分析的過程、回歸分析的過程回歸分析的概念尋求有關(guān)聯(lián)相關(guān)的變量之間的關(guān)系尋求有關(guān)聯(lián)相關(guān)的變量之間的關(guān)系主要內(nèi)容：主要內(nèi)容：從一組樣本數(shù)據(jù)出發(fā)，確定這些變量間從一組樣本數(shù)據(jù)出發(fā)，確定這些變量間的定量關(guān)系式的定量關(guān)系式對(duì)這些關(guān)系式的可信度進(jìn)展各種統(tǒng)計(jì)檢對(duì)這些關(guān)系式的可信度進(jìn)展各種統(tǒng)計(jì)檢驗(yàn)驗(yàn)從影響某一變量的諸多變量中，判別哪從影響某一變量的諸多變量中，判別哪些變量的影響顯著，哪些不顯著些變量的影響顯著，哪些不顯著利用求得的關(guān)系式進(jìn)展預(yù)測(cè)和控制利用求得的關(guān)系式進(jìn)展預(yù)測(cè)和控制回歸分析的模型按能否線性分：線性回歸模型和非

2、線性回歸模型按能否線性分：線性回歸模型和非線性回歸模型按自變量個(gè)數(shù)分：簡(jiǎn)單的一元回歸，多元回歸按自變量個(gè)數(shù)分：簡(jiǎn)單的一元回歸，多元回歸根本的步驟：利用根本的步驟：利用SPSS得到模型關(guān)系式，能否得到模型關(guān)系式，能否是我們所要的，要看回歸方程的顯著性檢驗(yàn)是我們所要的，要看回歸方程的顯著性檢驗(yàn)F檢驗(yàn)和回歸系數(shù)檢驗(yàn)和回歸系數(shù)b的顯著性檢驗(yàn)的顯著性檢驗(yàn)(T檢驗(yàn)檢驗(yàn))，還要，還要看擬合程度看擬合程度R2 (相關(guān)系數(shù)的平方相關(guān)系數(shù)的平方,一元回歸用一元回歸用R Square，多元回歸用，多元回歸用Adjusted R Square)回歸分析的過程在回歸過程中包括：在回歸過程中包括：Liner：線性回歸：線

3、性回歸Curve Estimation：曲線估計(jì)：曲線估計(jì)Binary Logistic： 二分變量邏輯回歸二分變量邏輯回歸Multinomial Logistic：多分變量邏輯回歸：多分變量邏輯回歸Ordinal 序回歸序回歸Probit：概率單位回歸：概率單位回歸Nonlinear：非線性回歸：非線性回歸Weight Estimation：加權(quán)估計(jì)：加權(quán)估計(jì)2-Stage Least squares：二段最小平方法：二段最小平方法Optimal Scaling 最優(yōu)編碼回歸最優(yōu)編碼回歸我們只講前面我們只講前面3個(gè)簡(jiǎn)單的普通教科書的講法個(gè)簡(jiǎn)單的普通教科書的講法10.1 線性回歸(Liner)

4、w一元線性回歸方程一元線性回歸方程: y=a+bxwa稱為截距稱為截距wb為回歸直線的斜率為回歸直線的斜率w用用R2斷定系數(shù)斷定一個(gè)線性回歸直線的擬合程度：用來(lái)闡明用自斷定系數(shù)斷定一個(gè)線性回歸直線的擬合程度：用來(lái)闡明用自變量解釋因變量變異的程度所占比例變量解釋因變量變異的程度所占比例w多元線性回歸方程多元線性回歸方程: y=b0+b1x1+b2x2+bnxnwb0為常數(shù)項(xiàng)為常數(shù)項(xiàng)wb1、b2、bn稱為稱為y對(duì)應(yīng)于對(duì)應(yīng)于x1、x2、xn的偏回歸系數(shù)的偏回歸系數(shù)w用用Adjusted R2調(diào)整斷定系數(shù)斷定一個(gè)多元線性回歸方程的擬合調(diào)整斷定系數(shù)斷定一個(gè)多元線性回歸方程的擬合程度：用來(lái)闡明用自變量解釋

5、因變量變異的程度所占比例程度：用來(lái)闡明用自變量解釋因變量變異的程度所占比例w一元線性回歸模型確實(shí)定一元線性回歸模型確實(shí)定:普通先做散點(diǎn)圖普通先做散點(diǎn)圖(Graphs -Scatter-Simple),以便進(jìn)展簡(jiǎn)單地觀測(cè)如：以便進(jìn)展簡(jiǎn)單地觀測(cè)如：Salary與與Salbegin的關(guān)系的關(guān)系)w假設(shè)散點(diǎn)圖的趨勢(shì)大約呈線性關(guān)系，可以建立線性方程，假設(shè)不假設(shè)散點(diǎn)圖的趨勢(shì)大約呈線性關(guān)系，可以建立線性方程，假設(shè)不呈線性分布，可建立其它方程模型，并比較呈線性分布，可建立其它方程模型，并比較R2 (-1)來(lái)確定一來(lái)確定一種最正確方程式曲線估計(jì)種最正確方程式曲線估計(jì)w多元線性回歸普通采用逐漸回歸方法多元線性回歸

6、普通采用逐漸回歸方法-Stepwise 逐漸回歸方法的根本思想對(duì)全部的自變量對(duì)全部的自變量x1,x2,.,xp,按它們對(duì)按它們對(duì)Y奉獻(xiàn)的大小進(jìn)奉獻(xiàn)的大小進(jìn)展比較，并經(jīng)過展比較，并經(jīng)過F檢驗(yàn)法，選擇偏回歸平方和顯著的變檢驗(yàn)法，選擇偏回歸平方和顯著的變量進(jìn)入回歸方程，每一步只引入一個(gè)變量，同時(shí)建立量進(jìn)入回歸方程，每一步只引入一個(gè)變量，同時(shí)建立一個(gè)偏回歸方程。當(dāng)一個(gè)變量被引入后，對(duì)原已引入一個(gè)偏回歸方程。當(dāng)一個(gè)變量被引入后，對(duì)原已引入回歸方程的變量，逐個(gè)檢驗(yàn)他們的偏回歸平方和。假回歸方程的變量，逐個(gè)檢驗(yàn)他們的偏回歸平方和。假設(shè)由于引入新的變量而使得已進(jìn)入方程的變量變?yōu)椴辉O(shè)由于引入新的變量而使得已進(jìn)入

7、方程的變量變?yōu)椴伙@著時(shí)，那么及時(shí)從偏回歸方程中剔除。在引入了兩顯著時(shí)，那么及時(shí)從偏回歸方程中剔除。在引入了兩個(gè)自變量以后，便開場(chǎng)思索能否有需求剔除的變量。個(gè)自變量以后，便開場(chǎng)思索能否有需求剔除的變量。只需當(dāng)回歸方程中的一切自變量對(duì)只需當(dāng)回歸方程中的一切自變量對(duì)Y都有顯著影響而不都有顯著影響而不需求剔除時(shí)，在思索從未選入方程的自變量中，挑選需求剔除時(shí)，在思索從未選入方程的自變量中，挑選對(duì)對(duì)Y有顯著影響的新的變量進(jìn)入方程。不論引入還是剔有顯著影響的新的變量進(jìn)入方程。不論引入還是剔除一個(gè)變量都稱為一步。不斷反復(fù)這一過程，直至無(wú)除一個(gè)變量都稱為一步。不斷反復(fù)這一過程，直至無(wú)法剔除已引入的變量，也無(wú)法再

8、引入新的自變量時(shí)，法剔除已引入的變量，也無(wú)法再引入新的自變量時(shí)，逐漸回歸過程終了。逐漸回歸過程終了。10.1.6 線性回歸分析實(shí)例p240實(shí)例：實(shí)例：P240Data07-03 建立一個(gè)以初始工資建立一個(gè)以初始工資Salbegin 、任務(wù)、任務(wù)閱歷閱歷prevexp 、任務(wù)時(shí)間、任務(wù)時(shí)間jobtime 、任務(wù)種類、任務(wù)種類jobcat 、受教育、受教育年限年限edcu等為自變量，當(dāng)前工資等為自變量，當(dāng)前工資Salary為因變量的回歸模型。為因變量的回歸模型。先做數(shù)據(jù)散點(diǎn)圖先做數(shù)據(jù)散點(diǎn)圖,觀測(cè)因變量觀測(cè)因變量Salary與自變量與自變量Salbegin之間關(guān)系之間關(guān)系能否有線性特點(diǎn)能否有線性特點(diǎn)

9、Graphs -Scatter-SimpleX Axis： SalbeginY Axis： Salary假設(shè)散點(diǎn)圖的趨勢(shì)大約呈線性關(guān)系，可以建立線性回歸模型假設(shè)散點(diǎn)圖的趨勢(shì)大約呈線性關(guān)系，可以建立線性回歸模型Analyze-Regression-LinearDependent: SalaryIndependents: Salbegin,prevexp,jobtime,jobcat,edcu等等變量變量Method: Stepwise比較有用的結(jié)果：比較有用的結(jié)果：擬合程度擬合程度Adjusted R2： 越接近越接近1擬合程度越好擬合程度越好回歸方程的顯著性檢驗(yàn)回歸方程的顯著性檢驗(yàn)Sig回歸系

10、數(shù)表回歸系數(shù)表Coefficients的的Model最后一個(gè)中的回歸系數(shù)最后一個(gè)中的回歸系數(shù)B和顯和顯著性檢驗(yàn)著性檢驗(yàn)Sig得模型：得模型： Salary=-15038.6+1.37Salbegin+5859.59jobcat- 19.55prevexp+154.698jobtime+539.64edcu10.2 曲線估計(jì)(Curve Estimation)對(duì)于一元回歸，對(duì)于一元回歸，假設(shè)散點(diǎn)圖的假設(shè)散點(diǎn)圖的趨勢(shì)不呈線性趨勢(shì)不呈線性分布，可以利分布，可以利用曲線估計(jì)方用曲線估計(jì)方便地進(jìn)展線性便地進(jìn)展線性擬合擬合(liner)、二次擬合二次擬合(Quadratic)、三次擬合三次擬合(Cubic

11、)等。等。采用哪種擬合采用哪種擬合方式主要取決方式主要取決于各種擬合模于各種擬合模型對(duì)數(shù)據(jù)的充型對(duì)數(shù)據(jù)的充分描畫分描畫(看修看修正正Adjusted R2 -1)不同模型的表示不同模型的表示模型稱號(hào)模型稱號(hào)回歸方程回歸方程相應(yīng)的線性回歸方程相應(yīng)的線性回歸方程Linear(線性線性)Y=b0+b1tQuadratic(二次二次)Y=b0+b1t+b2t2Compound(復(fù)合復(fù)合)Y=b0(b1t)Ln(Y)=ln(b0)+ln(b1)tGrowth(生長(zhǎng)生長(zhǎng))Y=eb0+b1tLn(Y)=b0+b1tLogarithmic(對(duì)數(shù)對(duì)數(shù))Y=b0+b1ln(t)Cubic(三次三次)Y=b0+b1

12、t+b2t2+b3t3SY=eb0+b1/tLn(Y)=b0+b1 / tExponential(指數(shù)指數(shù))Y=b0 * eb1*tLn(Y)=ln(b0)+b1tInverse(逆逆)Y=b0+b1/tPower(冪冪)Y=b0(tb1 )Ln(Y)=ln(b0)+b1ln(t)Logistic(邏輯邏輯)Y=1/(1/u+b0b1t)Ln(1/Y-1/u)=ln(b0+ln(b1)t)10.2.3 曲線估計(jì)(Curve Estimation)分析實(shí)例實(shí)例實(shí)例P247 Data11-01 ：有關(guān)汽車數(shù)據(jù)，看：有關(guān)汽車數(shù)據(jù)，看mpg(每加每加侖汽油行駛里程侖汽油行駛里程)與與weight(車重

13、車重)的關(guān)系的關(guān)系先做散點(diǎn)圖先做散點(diǎn)圖(Graphs -Scatter-Simple)：weight(X)、mpg(Y)，看每加侖汽油行駛里程數(shù)，看每加侖汽油行駛里程數(shù)mpg(Y)隨著汽車自重隨著汽車自重weight(X)的添加而減少的關(guān)系，的添加而減少的關(guān)系，也發(fā)現(xiàn)是曲線關(guān)系也發(fā)現(xiàn)是曲線關(guān)系建立假設(shè)干曲線模型可試著選用一切模型建立假設(shè)干曲線模型可試著選用一切模型Models)Analyze-Regression- Curve EstimationDependent: mpgIndependent: weightModels: 全選全選(除了最后一個(gè)邏輯回歸除了最后一個(gè)邏輯回歸)選選Plot

14、models：輸出模型圖形：輸出模型圖形比較有用的結(jié)果：各種模型的比較有用的結(jié)果：各種模型的Adjusted R2，并比較哪，并比較哪個(gè)大，結(jié)果是指數(shù)模型個(gè)大，結(jié)果是指數(shù)模型Compound的的Adjusted R2=0.70678最好擬合情況可見圖形窗口最好擬合情況可見圖形窗口, 結(jié)果方程結(jié)果方程為：為：mpg=60.15*0.999664weight闡明：闡明：Growth和和Exponential的結(jié)果也一樣，也一樣。的結(jié)果也一樣，也一樣。10.3二項(xiàng)邏輯回歸(Binary Logistic)w在現(xiàn)實(shí)中，經(jīng)常需求判別一些事情能否將要發(fā)生，候選人能否會(huì)中選？在現(xiàn)實(shí)中，經(jīng)常需求判別一些事情能

15、否將要發(fā)生，候選人能否會(huì)中選？為什么一些人易患冠心?。繛槭裁匆恍┤说纳鈺?huì)獲得勝利？此問題為什么一些人易患冠心?。繛槭裁匆恍┤说纳鈺?huì)獲得勝利？此問題的特點(diǎn)是因變量只需兩個(gè)值，不發(fā)生的特點(diǎn)是因變量只需兩個(gè)值，不發(fā)生(0)和發(fā)生和發(fā)生(1)。這就要求建立的。這就要求建立的模型必需因變量的取值范圍在模型必需因變量的取值范圍在01之間。之間。wLogistic回歸模型回歸模型wLogistic模型：在邏輯回歸中，可以直接預(yù)測(cè)觀丈量相對(duì)于某一事件模型：在邏輯回歸中，可以直接預(yù)測(cè)觀丈量相對(duì)于某一事件的發(fā)生概率。包含一個(gè)自變量的回歸模型和多個(gè)自變量的回歸模型公的發(fā)生概率。包含一個(gè)自變量的回歸模型和多個(gè)自變

16、量的回歸模型公式：式：w 其中：其中： z=B0+B1X1+BpXp(P為自變量個(gè)數(shù)。某一事件不發(fā)為自變量個(gè)數(shù)。某一事件不發(fā)生的概率為生的概率為Prob(no event)1-Prob(event) 。因此最主要的是求。因此最主要的是求B0,B1,Bp(常數(shù)和系數(shù)常數(shù)和系數(shù))w數(shù)據(jù)要求：因變量應(yīng)具有二分特點(diǎn)。自變量可以是分類變量和定距變數(shù)據(jù)要求：因變量應(yīng)具有二分特點(diǎn)。自變量可以是分類變量和定距變量。假設(shè)自變量是分類變量應(yīng)為二分變量或被重新編碼為指示變量。量。假設(shè)自變量是分類變量應(yīng)為二分變量或被重新編碼為指示變量。指示變量有兩種編碼方式。指示變量有兩種編碼方式。w回歸系數(shù)：幾率和概率的區(qū)別。幾率

17、回歸系數(shù)：幾率和概率的區(qū)別。幾率=發(fā)生的概率發(fā)生的概率/不發(fā)生的概率。如不發(fā)生的概率。如從從52張橋牌中抽出一張張橋牌中抽出一張A的幾率為的幾率為(4/52)/(48/52)=1/12，而其概，而其概率值為率值為4/52=1/13w 根據(jù)回歸系數(shù)表，可以寫出回歸模型公式中的根據(jù)回歸系數(shù)表，可以寫出回歸模型公式中的z。然后根據(jù)回歸模。然后根據(jù)回歸模型公式型公式Prob(event) 進(jìn)展預(yù)測(cè)。進(jìn)展預(yù)測(cè)。zeeventprob11)(10.3.3二項(xiàng)邏輯回歸(Binary Logistic)實(shí)例w實(shí)例實(shí)例P255 Data11-02 ：乳腺癌患者的數(shù)據(jù)進(jìn)展分析，：乳腺癌患者的數(shù)據(jù)進(jìn)展分析，變量為：

18、年齡變量為：年齡age,患病時(shí)間患病時(shí)間time,腫瘤分散等級(jí)腫瘤分散等級(jí)pathscat3種種, 腫瘤大小腫瘤大小pathsize, 腫瘤史腫瘤史histgrad3種和癌變部位的淋巴結(jié)能否含有癌細(xì)胞種和癌變部位的淋巴結(jié)能否含有癌細(xì)胞ln_yesno，建立一個(gè)模型，對(duì)癌變部位的淋巴結(jié)能否含有癌細(xì)胞建立一個(gè)模型，對(duì)癌變部位的淋巴結(jié)能否含有癌細(xì)胞ln_yesno的情況進(jìn)展預(yù)測(cè)。的情況進(jìn)展預(yù)測(cè)。wAnalyze-Regression- Binary LogisticwDependent: ln_yesnowCovariates: age, time,pathscat,pathsize, histgr

19、adw比較有用的結(jié)果：在比較有用的結(jié)果：在Variables in Equation表中的各變表中的各變量的系數(shù)量的系數(shù)B，可以寫出，可以寫出z=-0.86-0.331pathscat+0.415pathsize 0.023age+0.311histgrad。w 根據(jù)回歸模型公式根據(jù)回歸模型公式Prob(event)=1/(1+e-z)，就可，就可以計(jì)算一名年齡為以計(jì)算一名年齡為60歲、歲、pathsize為為1、histgrad為為1、pathscat為為1的患者，其淋巴結(jié)中發(fā)現(xiàn)癌細(xì)胞的概率為的患者，其淋巴結(jié)中發(fā)現(xiàn)癌細(xì)胞的概率為1/(1+e-(-1.845)=0.w(Prob(event)

20、0.5 預(yù)測(cè)預(yù)測(cè)事件將會(huì)發(fā)生事件將會(huì)發(fā)生補(bǔ)充：回歸分析補(bǔ)充：回歸分析以下的講義是吳喜之教授有關(guān)回歸分析的講義，很簡(jiǎn)單，但很適用定量變量的線性回歸分析定量變量的線性回歸分析 對(duì)例1(highschoo.sav)的兩個(gè)變量的數(shù)據(jù)進(jìn)展線性回歸，就是要找到一條直線來(lái)最好地代表散點(diǎn)圖中的那些點(diǎn)。 405060708090100405060708090100J3S101yx26.440.65yx檢驗(yàn)問題等檢驗(yàn)問題等對(duì)于系數(shù)b1=0的檢驗(yàn)對(duì)于擬合的F檢驗(yàn)R2(決議系數(shù))及修正的R2.多個(gè)自變量的回歸多個(gè)自變量的回歸01 122kkyxxx如何解釋擬合直線如何解釋擬合直線? ?什么是逐漸回歸方法? 自變量中有

21、定性變量的回歸自變量中有定性變量的回歸 w例1(highschoo.sav)的數(shù)據(jù)中,還有一個(gè)自變量是定性變量“收入,以虛擬變量或啞元(dummy variable)的方式出現(xiàn);這里收入的“低,“中,“高，用1,2,3來(lái)代表.所以,假設(shè)要用這種啞元進(jìn)展前面回歸就沒有道理了. w以例1數(shù)據(jù)為例,可以用下面的模型來(lái)描畫:011012013,1,2,3yxxx代表家庭收入的啞元 時(shí)，代表家庭收入的啞元 時(shí)，代表家庭收入的啞元 時(shí)。自變量中有定性變量的回歸自變量中有定性變量的回歸 如今只需估計(jì)b0, b1,和a1, a2, a3即可。啞元的各個(gè)參數(shù)a1, a2, a3本身只需相對(duì)意義，無(wú)法三個(gè)都估計(jì)，

22、只可以在有約束條件下才可以得到估計(jì)。約束條件可以有很多項(xiàng)選擇擇，一種默許的條件是把一個(gè)參數(shù)設(shè)為0，比如a3=0，這樣和它有相對(duì)意義的a1和a2就可以估計(jì)出來(lái)了。對(duì)于例1，對(duì)b0, b1, a1, a2, a3的估計(jì)分別為28.708, 0.688, -11.066, -4.679, 0。這時(shí)的擬合直線有三條，對(duì)三種家庭收入各有一條: 28.7080.68811.066,28.7080.6884 679,28.7080.688 ,yxyxyx（低收入家庭），.（中等收入家庭），（高收入家庭）。SPSS實(shí)現(xiàn)實(shí)現(xiàn)(hischool.sav)AnalizeGeneral linear modelUnivariate，在Options中選擇Parameter Estimates，再在主對(duì)話框中把因變量s1選入Dependent Variable，把定量自變量(j3)選入Covariate，把定量因變量income選入Factor中。然后再點(diǎn)擊Model，在Specify Model中選Custom，再把兩個(gè)有關(guān)的自變量選入右邊，再在下面Bu