統(tǒng)計(jì)學(xué)教案習(xí)題11多元線(xiàn)性回歸與logistic回歸

〔一〕把握內(nèi)容

第十一章多元線(xiàn)性回歸與logistic一、教學(xué)大綱要求多元線(xiàn)性回歸分析的概念：多元線(xiàn)性回歸、偏回歸系數(shù)、殘差。多元線(xiàn)性回歸的分析步驟：多元線(xiàn)性回歸中偏回歸系數(shù)及常數(shù)項(xiàng)的求法、多元線(xiàn)性回歸的應(yīng)用。P值下結(jié)論。logistic回歸模型構(gòu)造：模型構(gòu)造、發(fā)病概率比數(shù)、比數(shù)比。5．logistic回歸參數(shù)估量方法。6．logistic回歸篩選自變量：似然比檢驗(yàn)統(tǒng)計(jì)量的計(jì)算公式；篩選自變量的方法?！捕成鑳?nèi)容常用統(tǒng)計(jì)軟件〔SPSS及SAS〕多元線(xiàn)性回歸分析方法：數(shù)據(jù)預(yù)備、操作步驟與結(jié)果輸出?！踩沉私鈨?nèi)容標(biāo)準(zhǔn)化偏回歸系數(shù)的解釋意義。二、教學(xué)內(nèi)容精要(一)多元線(xiàn)性回歸分析的概念將直線(xiàn)回歸分析方法加以推廣，用回歸方程定量地刻畫(huà)一個(gè)應(yīng)變Y與多個(gè)自變量X間的線(xiàn)形依存關(guān)系，稱(chēng)為多元線(xiàn)形回歸multiplelinearregressio，簡(jiǎn)稱(chēng)多元回歸multiple regressio〕bX0 1 1 2 2 k k式中Y?為各自變量取某定值條件下應(yīng)變量均數(shù)的估量值，X，X ，…，X 為自變量，k為自變量個(gè)數(shù)，b為回歸方1 2 k 0程常數(shù)項(xiàng)，也稱(chēng)為截距，其意義同直線(xiàn)回歸，bb1 2

，…,bk

稱(chēng)為偏回歸系數(shù)partialregressioncoefficien，b 表示j

以外的自變量固定條件下，Xj

每轉(zhuǎn)變一個(gè)單位后Y的平均轉(zhuǎn)變量。j(二)多元線(xiàn)性回歸的分析步驟Y?是與一組自變量X，X ，…，X 相對(duì)應(yīng)的變量Y的平均估量值。1 2 k多元回歸方程中的回歸系數(shù)bb1 2

，…,bk

可用最小二乘法求得，也就是求出能使估量值Y?和實(shí)際觀看值Y的殘差平方和e2i

(YY?2為最小值的一組回歸系數(shù)bb1 2

，…,bk

值。依據(jù)以上要求，用數(shù)學(xué)方法可以得出求回歸系數(shù)bb1

，…,bk

的以下正規(guī)方程組normalequatio：bl

bl

bl l111

212

k1k 1ybl121

bl222

bl lk2k 2ybl1k1

bl

bl lkkk ky式中l(wèi)

(X

X)(X X)XX

(X)(X)i jij

i i j

i j nl (Xiy

X)(YY)XY(i i

X)( Y)in常數(shù)項(xiàng)b0

可用下式求出：

b YbX0 1

bX2

bXk k〔三〕多元線(xiàn)性回歸分析中的假設(shè)檢驗(yàn)在算得各回歸系數(shù)并建立回歸方程后，還應(yīng)對(duì)此多元回歸方程作假設(shè)檢驗(yàn)，推斷自變XX1 2

，…，Xk

是否與Y真有線(xiàn)性依存關(guān)系，也就是檢驗(yàn)無(wú)效假設(shè)H0。檢驗(yàn)時(shí)常用統(tǒng)計(jì)量F

〔0 1

3

0〕,備選假設(shè)H1

為各

0j式中nk為自變量的個(gè)數(shù)。

MSF 回歸MS誤差

l (nk1)l k回歸誤差l k回歸式中 l回歸

bl1y

bl

blkkyl l誤差

l回歸l 總

2lyy(四)logistic回歸模型構(gòu)造設(shè)X,X, ,X 為一組自變量，Y為應(yīng)變量。當(dāng)Y是陽(yáng)性反響時(shí)，記為Y=1；當(dāng)Y是陰性反響時(shí)，記為Y=0。1 2 kP表示發(fā)生陽(yáng)性反響的概率；用Q表示發(fā)生陰性反響的概率，明顯PQ=1。Logistic回歸模型為：1P e0X12X2kXk1同時(shí)可以寫(xiě)成：

1e0X12X11Q11

kXk11e01

XX1 2

kXk式中

(jk)是與爭(zhēng)論因素X

有關(guān)的參數(shù)，稱(chēng)為偏回歸系數(shù)。0 j

大事發(fā)生的概率P與x之間呈曲線(xiàn)關(guān)系，當(dāng)x在

之間變化時(shí)，P或Q在〔0，1〕之間變化。假設(shè)有n例觀看對(duì)象第i名觀看對(duì)象在自變量X ,Xi1

, ,Xi2

作用下的應(yīng)變量為Yi

Yi

=Yi

相應(yīng)地用P表示其發(fā)生陽(yáng)性反響的概率；用Q表示其發(fā)生陰性反響的概率，仍舊有PQ

=1P和Q

的計(jì)算如下：i i1 e01

Xi12

Xi2

kXik

i i i i0Pi 1e0Q

X 1 i1 1

Xi2

kXik1i 1e01

Xi12

Xi2

kXik這樣，第i個(gè)觀看對(duì)象的發(fā)病概率比數(shù)〔odds〕為PQi i

，第l個(gè)觀看對(duì)象的發(fā)病概率比數(shù)為PQl l

，而這兩個(gè)觀ORoddsrati。比照數(shù)比取自然對(duì)數(shù)得到關(guān)系式：ln

(X

X )(X

X )(X

X )PQi iPQPQi iPQ

2 i2

k ik lkl l 等式左邊是比數(shù)比的自然對(duì)數(shù)，等式右邊的X Xij lj

j

Xi

的不同暴露水平Xij

與X 之差。lj 的流行病學(xué)意義是在其它自變量固定不變的狀況下Xj

的暴露水平每轉(zhuǎn)變一個(gè)測(cè)量單位時(shí)所引起的比數(shù)比的j自然對(duì)數(shù)轉(zhuǎn)變量。或者說(shuō)，在其他自變量固定不變的狀況下，當(dāng)自變量X

的水平每增加一個(gè)測(cè)量單位時(shí)所引起的比數(shù)j比為增加前的ej倍。同多元線(xiàn)性回歸一樣，在比較暴露因素對(duì)反響變量相對(duì)奉獻(xiàn)的大小時(shí)，由于各自變量的取值單位不同，也不能用偏回歸系數(shù)的大小作比較，而須用標(biāo)準(zhǔn)化偏回歸系數(shù)來(lái)做比較。標(biāo)準(zhǔn)化偏回歸系數(shù)值的大小，直接反映了其相應(yīng)的暴露因素對(duì)應(yīng)變量的相對(duì)奉獻(xiàn)的大小。標(biāo)準(zhǔn)化偏回歸系數(shù)的計(jì)算，可利用有關(guān)統(tǒng)計(jì)軟件在計(jì)算機(jī)上解決。〔五〕logistic回歸參數(shù)估量由于logistic回歸是一種概率模型，通常用最大似然估量法〔maximumlikelihoodestimate〕求解模型中參數(shù) 的j估量值bj

(jk)。YXX1

, ,X2

作用下的陽(yáng)性大事〔或疾病〕發(fā)生的指示變量。其賦值為：1，第iY i 0，第i第i個(gè)觀看對(duì)象對(duì)似然函數(shù)的奉獻(xiàn)量為：li

PYiii

Q1Yii當(dāng)各大事是獨(dú)立發(fā)生時(shí)，則n個(gè)觀看對(duì)象所構(gòu)成的似然函數(shù)L是每個(gè)觀看對(duì)象的似然函數(shù)奉獻(xiàn)量的乘積，即Lnl

PYQ1Y式中∏為i1到n的連乘積。

i ii i ii1 i1依最大似然估量法的原理，使得L到達(dá)最大時(shí)的參數(shù)值即為所求的參數(shù)估量值，計(jì)算時(shí)通常是將該似然函數(shù)取自然對(duì)數(shù)〔稱(chēng)為對(duì)數(shù)似然函數(shù)〕后，用Newton—Raphson迭代算法求解參數(shù)估量值b〔六〕logistic回歸篩選自變量

(j2，，k)。j在logistic回歸中篩選自變量的方法有似然比檢〔likelihoodratiotes計(jì)分檢(score testWald檢test)三種。其中似然比檢驗(yàn)較為常用， 用Λ 2lnL”L2(lnL”lnL)式中l(wèi)nL為方程中包含m(mk)L”為在方程中包含原m個(gè)自變量的基礎(chǔ)上再參加1X

后的似然函數(shù)值Hj

Λ聽(tīng)從自由度為12

2(1)時(shí)，則在水平上拒絕無(wú)效假設(shè)，即認(rèn)為X應(yīng)參加。逆向進(jìn)展即可剔除自變量?！惨弧硢雾?xiàng)選擇題

Xj三、典型試題分析

j多元線(xiàn)性回歸分析中，反映回歸平方和在應(yīng)變Y的總離均差平方和中所占比重的統(tǒng)計(jì)量是〔 。復(fù)相關(guān)系數(shù)偏相關(guān)系數(shù)偏回歸系數(shù)確定系數(shù)答案：D[評(píng)析] 此題考點(diǎn)：多元線(xiàn)性回歸中的幾個(gè)概念的理解。多元線(xiàn)性回歸中的偏回歸系數(shù)〔multiplelinearregression〕表示在其它自變量固定不變的狀況下自變量X 每轉(zhuǎn)變j一個(gè)單位時(shí)，單獨(dú)引起應(yīng)變量Y的平均轉(zhuǎn)變量。確定系數(shù)〔coefficientofdetermination〕表示回歸平方和SS

占總離均差平方和SS

R2。即R2總

SS SS回歸

回歸R〔multiplecorrelationcoefficient〕,p0R≤1。Logistic回歸分析適用于應(yīng)變量為〔 。A．分類(lèi)值的資料 B．連續(xù)型的計(jì)量資料C．正態(tài)分布資料 D．一般資料答案：A[評(píng)析]此題考點(diǎn)：logistic回歸的概念。logistic料，特別適用于應(yīng)變量為二項(xiàng)分類(lèi)的情形。模型中的自變量可以是定性離散值，也可以是計(jì)量觀測(cè)值?！捕秤?jì)算題依據(jù)表11-2數(shù)據(jù)，分別用SPSS統(tǒng)計(jì)軟件、SAS統(tǒng)計(jì)軟件寫(xiě)出多元線(xiàn)性回歸的統(tǒng)計(jì)分析步驟及其簡(jiǎn)要結(jié)果。表11-1 某學(xué)校20名一年級(jí)女大學(xué)生肺活量及有關(guān)變量測(cè)量結(jié)果編號(hào) 體重X/kg 胸圍X /cm 肩寬X/cm 肺活量Y/L1 2 3150.873.236.32.96249.084.134.53.13342.878.331.01.91455.077.131.02.63545.381.730.02.86645.374.832.01.91751.473.736.52.98853.879.437.03.28949.072.630.12.521053.979.537.13.271148.883.833.93.101252.688.438.03.281342.778.230.91.921452.588.338.13.271555.177.231.12.641645.281.630.22.851751.478.336.53.161848.772.530.02.511951.378.236.43.152045.875.032.51.94答案：SPSEXAP1sa4列20StatisticRegressionLinear...Dependent：YIndependent(s)：X，X，X1 2 3Method：Enter結(jié)果：ModelVariablesEntered ModelVariablesEntered VariablesRemovedMethod1XXX.Enter3〔肩寬〕,2〔胸圍〕,1〔體重〕Allrequestedvariablesentered.DependentVariable:Y〔肺活量〕ModelRRModelRRSquareAdjustedRSquare.662Std.ErroroftheEstimate1.846.715.2893a Predictors:(Constant),X3,X2,X1ANOVAModelSumofSquaresdfMeanSquareFSig.1 Regression3.36731.12213.413.000Residual1.339168.368E-02Total4.70619a Predictors:(Constant),b DependentVariable:Y

X ,X ,X3 2 1ModelUnstandardizedModelUnstandardizedCoefficientsStandardizedCoefficientstSig.BStd.ErrorBeta1(Constant)XXX321-4.6761.321-3.541.0036.036E-02.021.4742.899.0103.508E-02.015.3332.272.0375.010E-02.029.3071.735.102a DependentVariable:YSAS：

數(shù)據(jù)步 過(guò)程步DATA EXAP11—2；INPUTx1x2x3y@@； PROCREG；CARDS； MODELy=x1x2x3；50.873.236.32.96?45.875.032.51.94； RUN；結(jié)果：

AnalysisofVarianceSourceDFSumofSquaresMeanSquareFValuePr>FModel33.367321.1224413.410.0001Error161.338930.08368CorrectedTotal194.70626ParameterEstimatesParameterStandardVariableDFEstimateErrortValuePr>|t|Intercept1-4.675531.32051-3.540.0027X110.060360.020822.900.0105X210.035080.015442.270.0372X310.050100.028881.730.1020[評(píng)析] 此題考點(diǎn)：統(tǒng)計(jì)軟件關(guān)于多元線(xiàn)性回歸的分析方法及主要輸出結(jié)果。依據(jù)SPSS或SAS的輸出結(jié)果，可進(jìn)展以下分析：檢驗(yàn)H： 0的方差分析表。F=13.413，P=0.0001，拒絕H，肺活量至少與一個(gè)自變量存在線(xiàn)0 1 2 3 0性關(guān)系。估量偏回歸系數(shù)b，b，bY

4.680.06X0.04X 0.05X，R2=0.715，R2=0.662。1 2 3

1 2 3 a偏回歸系數(shù)檢驗(yàn)，見(jiàn)表11-2。表11-2 偏回歸系數(shù)估量值及其檢驗(yàn)偏回歸系數(shù)估量值偏回歸系數(shù)估量值SEtPb-4.6751.321-3.540.00b0.0600.0212.900.01b0.0350.0152.270.04b0.0500.0291.730.10123〔一〕單項(xiàng)選擇題

四、習(xí)題可用來(lái)進(jìn)展多元線(xiàn)性回歸方程的協(xié)作適度檢驗(yàn)是：2檢驗(yàn) B．F檢驗(yàn) C．U檢驗(yàn) D．Ridit檢驗(yàn)在多元回歸中，假設(shè)對(duì)某個(gè)自變量的值都增加一個(gè)常數(shù)，則相應(yīng)的偏回歸系數(shù)：不變 B．增加一樣的常數(shù) C．削減一樣的常數(shù) D．增加但數(shù)值不定在多元回歸中，假設(shè)對(duì)某個(gè)自變量的值都乘以一個(gè)一樣的常數(shù)k，則：該偏回歸系數(shù)不變?cè)撈貧w系數(shù)變?yōu)樵瓉?lái)的1/k倍全部偏回歸系數(shù)均發(fā)生轉(zhuǎn)變?cè)撈貧w系數(shù)轉(zhuǎn)變，但數(shù)值不定作多元回歸分析時(shí)，假設(shè)降低進(jìn)入的F界值，則進(jìn)入方程的變量一般會(huì)：增多 B．削減 C．不變 D．可增多也可削減〔二〕名詞解釋1.多元線(xiàn)性回歸 2.偏回歸系數(shù) 3.復(fù)相關(guān)系數(shù) 4.確定系數(shù)5.比數(shù) 6.比數(shù)比〔三〕logistic回歸模型中，偏回歸系數(shù)的解釋意義是什么？i〔四〕某學(xué)者爭(zhēng)論在某種養(yǎng)分缺乏狀態(tài)下兒童的體重〔Y，k〕與身高〔X，c、年齡〔X ，歲〕的關(guān)系獲得了1 212名觀看對(duì)象的觀測(cè)資料，計(jì)算得到如下根本數(shù)據(jù)：XYX 1611，X2219631，X ，X2976，Y341，Y29883，XXY1XY46439，

1 2 2 1 23079。1 2請(qǐng)寫(xiě)出求解Y

b bX bX二元線(xiàn)性回歸方程的正規(guī)方程組。0 1 1 2 2設(shè)方程組的解為b0

2.114，b1

0.135，b2

0.923，請(qǐng)寫(xiě)出回歸方程。完成以下方差分析表。 表11-3 12名兒童體重與身高、年齡回歸分析方差分析表變異來(lái)源 v SS MS F回歸殘差總和〔一〕 單項(xiàng)選擇題

五、習(xí)題答案要點(diǎn)1．B 2．A 3．B 4．A〔二〕名詞解釋用回歸方程定量地刻畫(huà)一個(gè)應(yīng)變量Y與多個(gè)自變量X間的線(xiàn)性依存關(guān)系，稱(chēng)為多元線(xiàn)性回歸〔multiplelinearregressio，簡(jiǎn)稱(chēng)多元回歸multiple regressio。多元線(xiàn)性回歸的根本形式為：bbXbX bX b，b0 1 1 2 2 k k 1 2

，…,bk

稱(chēng)為偏回歸系數(shù)〔partialregressioncoefficien，bj

X

以外的自變量固定條件下，Xj

每轉(zhuǎn)變一個(gè)單位后Y的平均轉(zhuǎn)變量。j復(fù)相關(guān)系