多元線性回歸分析xin

多元線性回歸分析xin第一頁，共四十三頁，2022年，8月28日（一）對多變量資料進(jìn)行多元分析的優(yōu)點(diǎn)：1、減少假陽性錯(cuò)誤；2、可以得到一個(gè)綜合結(jié)論；3、考慮了變量間的相互關(guān)系?？偠灾菍Χ鄠€(gè)相關(guān)變量同時(shí)進(jìn)行分析。第二頁，共四十三頁，2022年，8月28日(二)多元線性回歸分析的應(yīng)用條件1.應(yīng)變量與自變量之間的關(guān)系是線性的(linear)2.各自變量之間相互獨(dú)立(indedpendent)3.各變量滿足正態(tài)性（此條件可以放寬）(normality)4.方差齊性(homogeneityorequalvariance)

簡稱為LINE第三頁，共四十三頁，2022年，8月28日

多元線性回歸多元線性回歸是用線性方程表達(dá)一個(gè)因變量與多個(gè)自變量之間數(shù)量關(guān)系的統(tǒng)計(jì)分析方法。如：兒童的心象面積，除與年齡有關(guān)外，還與性別、身高、體重、胸圍等因素有關(guān)。第四頁，共四十三頁，2022年，8月28日復(fù)習(xí)直線回歸（一）直線回歸是研究一個(gè)因變量與一個(gè)自變量之間線性趨勢數(shù)量關(guān)系的回歸分析方法。1、直線回歸方程為?=a+b*x，反映的是x和y之間數(shù)量依存變化關(guān)系；2、a是截距，b是回歸系數(shù)，a和b是利用最小二乘法原理計(jì)算而來；3、用決定系數(shù)R2來說明回歸模型的好壞，R2=SS回/SS總。第五頁，共四十三頁，2022年，8月28日復(fù)習(xí)直線回歸（二）PAN.sav數(shù)據(jù)庫是某地29名13歲男童的體重x

(kg)和肺活量y(L)資料，試建立體重與肺活量的直線回歸方程。SPSS程序：AnalyzeRegressionLinear，打開對話框，把肺活量y放入應(yīng)變量欄中，體重x放入自變量欄中。建立的直線回歸方程為：?=-0.009+0.060xa=-0.009；b=0.060，表示體重每增加1kg，肺活量平均增加0.060L。R2=0.542。經(jīng)t檢驗(yàn)，體重對肺活量有影響，P=0.000<0.05。第六頁，共四十三頁，2022年，8月28日多元線性回歸模型（一）舉例（見PAN.sav）：根據(jù)某地29名13歲男童的身高x1(kg)、體重x2(cm)和肺活量y(L)建立的二元線性回歸方程為：?=-0.577+0.005x1+0.054x2

a=-0.577；

b1=0.005，表示在體重不變的情況下，身高每增加1cm，肺活量平均增加0.005L；

b2=0.054，表示在身高不變的情況下，體重每增加1kg，肺活量平均增加0.054L。第七頁，共四十三頁，2022年，8月28日多元線性回歸模型（二）

設(shè)因變量為y，自變量為xi（i=1,….,m），m元線性回歸方程為：?=a+b1*x1+b2*x2+….+bm*xm，或y=?+e

。

?

是y的估計(jì)值或預(yù)測值；

e是殘差，不能由現(xiàn)有的自變量決定的部分；

a為常數(shù)項(xiàng)或截距；

bi為樣本偏回歸系數(shù)，即在其它自變量固定不變情況下，xi改變一個(gè)單位，因變量平均改變bi個(gè)單位。對應(yīng)的總體偏回歸系數(shù)為βi，若βi=0，則該自變量xi與因變量y之間無線性關(guān)系，即xi對因變量y無影響。第八頁，共四十三頁，2022年，8月28日回歸分析的步驟1、建立線性回歸方程；2、回歸方程的假設(shè)檢驗(yàn)；3、偏回歸系數(shù)的假設(shè)檢驗(yàn)與區(qū)間估計(jì)；4、比較自變量對因變量的作用大小；5、因變量的區(qū)間估計(jì)；6、殘差分析。Analyze→Regression→Linear

第九頁，共四十三頁，2022年，8月28日建立線性回歸方程（一）即計(jì)算截距a和回歸系數(shù)bi，應(yīng)用最小二乘法原理，即要求殘差平方和達(dá)到最小。以PAN.sav為例，作身高、體重對肺活量影響的多元線性回歸分析。選擇變量的方法有強(qiáng)迫引入法(系統(tǒng)默認(rèn))、強(qiáng)迫剔除法、向前引入法、向后剔除法、逐步回歸法。第十頁，共四十三頁，2022年，8月28日建立線性回歸方程（二）

前進(jìn)法：事先給一個(gè)挑選自變量進(jìn)入方程的標(biāo)準(zhǔn),開始時(shí)方程中除常數(shù)項(xiàng)外沒有自變量,然后按自變量對Y的貢獻(xiàn)大小依次挑選進(jìn)入方程,一直到方程外沒有變量進(jìn)入為止,進(jìn)入變量不再刪除;

后退法：事先給一個(gè)剔除自變量的標(biāo)準(zhǔn),開始時(shí)自變量全部在方程中,然后按自變量對Y的貢獻(xiàn)從小到大依次刪除,一直到方程內(nèi)沒有變量刪除入為止；刪除變量不再進(jìn)入方程;

逐步向前法：每進(jìn)入一個(gè)變量都要對已經(jīng)在模型中的變量進(jìn)行檢驗(yàn),對低于剔除標(biāo)準(zhǔn)的變量要逐一剔除,直到方程內(nèi)沒有變量被剔除,方程外沒有變量被引入為止；

逐步向后法：是每剔除一個(gè)變量,都要對方程外的變量進(jìn)行檢驗(yàn),對符合入選標(biāo)準(zhǔn)的變量都要重新考慮引入。直到方程內(nèi)沒有變量被剔除,方程外沒有變量被引入為止；建議用各種方法、多種引入或剔除水準(zhǔn)處理同一問題，若一些變量常被選中，它們就值得重視。第十一頁，共四十三頁，2022年，8月28日建立線性回歸方程（三）SPSS中常用的對話框有：“Statistics”對話框中的“Estimates”

和“Confidenceintervals”

、“Model”

選項(xiàng)。自變量只有兩個(gè)，應(yīng)用系統(tǒng)默認(rèn)的強(qiáng)迫引入法進(jìn)行分析，得出二元線性回歸方程為：

?=-0.577+0.005x1+0.054x2

對應(yīng)SPSS的結(jié)果中標(biāo)題為“Coefficients”的表格。第十二頁，共四十三頁，2022年，8月28日“Coefficients”的表格第十三頁，共四十三頁，2022年，8月28日回歸方程的假設(shè)檢驗(yàn)（一）與直線回歸類似，根據(jù)y總變異的分解對回歸方程進(jìn)行方差分析。在回歸分析中，y方面的總變異lyy分解為回歸貢獻(xiàn)U和剩余變異Q：lyy=U+QQ是總變異中不能由自變量解釋的殘差平方和，U是總變異中由自變量所引起的一部分變異。自變量的作用是否顯著，或整個(gè)方程是否有意義，就看回歸所能解釋的變異U比剩余變異Q大多少而定，即進(jìn)行方差分析。第十四頁，共四十三頁，2022年，8月28日回歸方程的假設(shè)檢驗(yàn)（二）方差分析的步驟如下：H0：總體中所有偏回歸系數(shù)均為0；H1：總體中偏回歸系數(shù)不為0或不全為0。α=0.05。F=MS回歸/MS剩余，得P值大??；若P≤0.05，則拒絕H0，接受H1，說明回歸方程成立，因變量與自變量之間有線性關(guān)系；若P＞0.05，則不拒絕H0，說明回歸方程不成立，因變量與自變量之間無線性關(guān)系。對應(yīng)SPSS的結(jié)果中標(biāo)題為“ANOVA”的表格，p=0.000。第十五頁，共四十三頁，2022年，8月28日SPSS的結(jié)果中標(biāo)題為“ANOVA”的表格第十六頁，共四十三頁，2022年，8月28日衡量回歸方程的標(biāo)準(zhǔn)

建立回歸方程時(shí)要求：既要盡可能提高擬合的精度，又要盡可能使模型簡單。常用的衡量方程“優(yōu)劣”的標(biāo)準(zhǔn)有：

1、決定系數(shù)（R2）；

2、復(fù)相關(guān)系數(shù)R3、調(diào)整決定系數(shù)（R2adj）；

4、剩余標(biāo)準(zhǔn)差（sy.x1x2…xp）。

5、赤池信息準(zhǔn)則（AIC）

6、Cp統(tǒng)計(jì)量第十七頁，共四十三頁，2022年，8月28日衡量回歸方程的標(biāo)準(zhǔn)根據(jù)R2大小判斷方程優(yōu)劣時(shí)的缺點(diǎn)是：變量最多的方程最好，即使所增加的變量無統(tǒng)計(jì)學(xué)意義。根據(jù)R2adj大小判斷方程優(yōu)劣時(shí)的優(yōu)點(diǎn)：當(dāng)有統(tǒng)計(jì)學(xué)意義的變量進(jìn)入方程，R2adj增加；當(dāng)無統(tǒng)計(jì)學(xué)意義的變量進(jìn)入方程，R2adj反而減少。根據(jù)sy.x1x2…xp大小判斷方程優(yōu)劣時(shí)的優(yōu)點(diǎn)：一般隨著自變量的增加而減少，但當(dāng)增加一些無統(tǒng)計(jì)學(xué)意義的自變量后，剩余標(biāo)準(zhǔn)差反而增大。根據(jù)復(fù)相關(guān)系數(shù)R來判斷，但只反映密切程度，不反應(yīng)方向第十八頁，共四十三頁，2022年，8月28日根據(jù)sy.x1x2…xp大小判斷方程優(yōu)劣時(shí)的優(yōu)點(diǎn)：一般隨著自變量的增加而減少，但當(dāng)增加一些無統(tǒng)計(jì)學(xué)意義的自變量后，剩余標(biāo)準(zhǔn)差反而增大。根據(jù)復(fù)相關(guān)系數(shù)R來判斷，但只反映密切程度，不反應(yīng)方向

AIC準(zhǔn)則：日本學(xué)者提出的（越小越好）

Cp統(tǒng)計(jì)量：選擇Cp最接近P（變量個(gè)數(shù)）的那個(gè)模型第十九頁，共四十三頁，2022年，8月28日偏回歸系數(shù)的假設(shè)檢驗(yàn)

回歸方程有統(tǒng)計(jì)學(xué)意義，并不等于方程中每個(gè)變量都有統(tǒng)計(jì)學(xué)意義，因此要分別檢驗(yàn)每個(gè)偏回歸系數(shù)是否均為0，用t檢驗(yàn)：

H0：βi=0，H1：βi≠0；α=0.05。

ti=bi/sbi

，得P值大小，若P≤0.05，則拒絕H0，接受H1，說明該變量有統(tǒng)計(jì)學(xué)意義；若P＞0.05，則不拒絕H0，說明該變量無統(tǒng)計(jì)學(xué)意義。對應(yīng)SPSS的結(jié)果中標(biāo)題為“Coefficients”的表格，經(jīng)t檢驗(yàn)，身高變量無統(tǒng)計(jì)學(xué)意義，而體重變量有統(tǒng)計(jì)學(xué)意義。第二十頁，共四十三頁，2022年，8月28日偏回歸系數(shù)的區(qū)間估計(jì)sbi為樣本偏回歸系數(shù)bi的標(biāo)準(zhǔn)誤，總體偏回歸系數(shù)βi的可信區(qū)間（即按照一定的概率，由bi估計(jì)βi所在的可能范圍）為：

bi±tα,（n-m-1）*sbi，樣本含量為n，自變量數(shù)為m。

bi的可信區(qū)間若包含了0，則該變量無統(tǒng)計(jì)學(xué)意義；若不包含0，則該變量有統(tǒng)計(jì)學(xué)意義，與假設(shè)檢驗(yàn)的結(jié)果一致。對應(yīng)SPSS的結(jié)果中標(biāo)題為“Coefficients”的表格里。第二十一頁，共四十三頁，2022年，8月28日自變量的貢獻(xiàn)（一）偏回歸系數(shù)反映了自變量對應(yīng)變量的作用大小；但在多元回歸方程中，偏回歸系數(shù)是隨自變量所帶單位的不同而改變。所以，要比較不同自變量對應(yīng)變量的作用大小，不能直接比較它們的偏回歸系數(shù)大小，必須將其標(biāo)準(zhǔn)化，使之成為無量綱的標(biāo)準(zhǔn)偏回歸系數(shù)，直接比較大小。

bi’：標(biāo)準(zhǔn)化偏回歸系數(shù)，比較度量衡單位不同的自變量對因變量的貢獻(xiàn)大小。

bi’

=bi*(ιii1/2

/ιyy1/2)。

標(biāo)準(zhǔn)偏回歸系數(shù)反映的是自變量對因變量y的直接作用。第二十二頁，共四十三頁，2022年，8月28日自變量的貢獻(xiàn)（二）一個(gè)自變量對因變量y的作用除了直接作用外，還有該變量通過其它自變量對y的間接作用。如：x1、x2是自變量，y為應(yīng)變量，x1與y之間的相關(guān)系數(shù)為r1y，x1與x2的相關(guān)系數(shù)為r12X1b1’x1的標(biāo)準(zhǔn)偏回歸系數(shù)為b1’

r12Yx2的標(biāo)準(zhǔn)偏回歸系數(shù)為b2’

X2b2’則：x1對y的直接作用=b1’x1對y的間接作用=b2’*r12x1對y的總作用

r1y=b1’+b2’*r12。第二十三頁，共四十三頁，2022年，8月28日因變量的區(qū)間估計(jì)由回歸方程計(jì)算的?值，是在自變量取值一定的條件下y的均數(shù)的一個(gè)點(diǎn)估計(jì)，但自變量取值一定時(shí)，y一般不會正好等于?，因此需估計(jì)y的可信區(qū)間和容許區(qū)間，（1-α）%可信區(qū)間為：?±tα,（n-m-1）*s?（1-α）%容許區(qū)間為：?±tα,（n-m-1）*syα一般取0.05。

SPSS軟件中，選中“Save”對話框中的“Mean”

、“Individual”選項(xiàng)，結(jié)果（兩個(gè)區(qū)間的上、下限值）已保存到數(shù)據(jù)文件中，分別對應(yīng)（lmci

1，umci

1）和（lici

1，uici

1）。第二十四頁，共四十三頁，2022年，8月28日殘差分析計(jì)算應(yīng)變量的預(yù)測值以及殘差e=（yi－?i)、標(biāo)準(zhǔn)化殘差，對應(yīng)SPSS結(jié)果中的“Residual”表格里“StdResidual”值大小，觀察標(biāo)準(zhǔn)化殘差的最大值是否大于系統(tǒng)默認(rèn)的“3”，若大于3，則資料中有可疑的異常點(diǎn)；否則無。第二十五頁，共四十三頁，2022年，8月28日標(biāo)準(zhǔn)化殘差，對應(yīng)SPSS結(jié)果中的“Residual”第二十六頁，共四十三頁，2022年，8月28日逐步回歸（一）

Stepwise（逐步回歸法）是一種從眾多的回歸模型中快速選擇“最優(yōu)”模型的統(tǒng)計(jì)思維方法或建模策略，保證“最優(yōu)”模型中的自變量少而精。它的作用主要是篩選回歸自變量。方法有：逐步向前法和逐步向后法。第二十七頁，共四十三頁，2022年，8月28日逐步回歸（二）步驟（介紹逐步向前法）：1、事先給定一個(gè)剔除變量的標(biāo)準(zhǔn)；2、按自變量對因變量的貢獻(xiàn)大小，由大到小依次進(jìn)入方程；3、每當(dāng)一個(gè)自變量進(jìn)入方程，重新對方程內(nèi)的自變量進(jìn)行假設(shè)檢驗(yàn)，有統(tǒng)計(jì)學(xué)意義的自變量繼續(xù)留在方程中，無統(tǒng)計(jì)學(xué)意義的自變量則被剔除；4、如此邊引入邊剔除，直到既沒有新的有統(tǒng)計(jì)學(xué)意義的自變量可引入方程內(nèi)，也沒有無統(tǒng)計(jì)學(xué)意義的自變量被剔除方程外為止。第二十八頁，共四十三頁，2022年，8月28日逐步回歸（三）一、引入和剔除變量的標(biāo)準(zhǔn)：1、假設(shè)檢驗(yàn)的P值：對偏回歸系數(shù)進(jìn)行假設(shè)檢驗(yàn)，P值越小，說明對因變量的貢獻(xiàn)越大；2、偏回歸平方和的檢驗(yàn)統(tǒng)計(jì)量F值：對偏回歸系數(shù)進(jìn)行假設(shè)檢驗(yàn)，F(xiàn)值越大，說明對因變量的貢獻(xiàn)越大。二、偏回歸平方和的概念：所有自變量都在方程內(nèi)算出回歸平方和SS回，把xi除去再算出回歸平方和SS回-i，兩者之差即為xi的偏回歸平方和。三、檢驗(yàn)水準(zhǔn)剔除變量的水準(zhǔn)P剔和引入變量的水準(zhǔn)P選，為了防止計(jì)算機(jī)進(jìn)入“死循環(huán)”，要求前者略大于后者。第二十九頁，共四十三頁，2022年，8月28日指標(biāo)的量化（一）應(yīng)用線性回歸時(shí)要求因變量是定量指標(biāo)，自變量與因變量的關(guān)系為線性的。1、對定量指標(biāo)：符合線性要求的，直接以原變量形式進(jìn)入分析；若不符合線性要求的，作適當(dāng)變量變換，直到符合線性關(guān)系時(shí)，方可作回歸分析。2、對定性指標(biāo)：（1）二分類指標(biāo)：若變量x為性別，則女性為x=0，男性為x=1，作出的回歸方程中x的系數(shù)b表示男性的因變量y比女性平均多b個(gè)單位。第三十頁，共四十三頁，2022年，8月28日指標(biāo)的量化（二）（2）多分類指標(biāo)：若變量x為血型（A、B、AB、O型四種），則需用3個(gè)啞變量（或指示變量）表示四種血型：x1=0、x2=0、x3=0，表示O型；

x1=1、x2=0、x3=0，表示A型；

x1=0、x2=1、x3=0，表示B型；

x1=0、x2=0、x3=1，表示AB型。

O型為對比的基礎(chǔ)，方程中x1的系數(shù)b1表示A型血者的因變量y比O型血者平均多b1個(gè)單位；x2的系數(shù)b2表示B型血者的y比O型血者平均多b2個(gè)單位；x3的系數(shù)b3表示AB型血者的y比O型血者平均多b3個(gè)單位。第三十一頁，共四十三頁，2022年，8月28日指標(biāo)的量化（三）

3、對等級資料（1）若變量x為文化程度，而且因變量y的改變在每個(gè)等級上是近似相等的，則將等級數(shù)量化后直接進(jìn)入分析。如：x=0表示文盲，x=1表示小學(xué)，x=2表示中學(xué)，

x=3表示中學(xué)，x=4表示大學(xué)本科，x=5表示碩士、博士。結(jié)果中x的系數(shù)b表示：文化程度每上升一個(gè)等級，則因變量增加b個(gè)單位；（2）若因變量y的改變在每個(gè)等級上是不相等的，則與多分類指標(biāo)一樣要設(shè)啞變量，結(jié)果解釋也與其一樣。第三十二頁，共四十三頁，2022年，8月28日回歸系數(shù)反常的原因回歸方程建立后，可能發(fā)現(xiàn)回歸系數(shù)從專業(yè)知識上解釋不通；或整個(gè)方程顯著，但每個(gè)變量均沒有顯著性；或有些變量從專業(yè)上看很重要，卻選不進(jìn)方程。原因主要有：1、數(shù)據(jù)中有離群值或異常值；2、樣本含量不夠，或自變量數(shù)太多；3、自變量的觀察范圍太窄，或方差太小；4、自變量之間存在共線性。第三十三頁，共四十三頁，2022年，8月28日多元共線性會導(dǎo)致的現(xiàn)象：1.符號與實(shí)際不符合2.回歸系數(shù)的估計(jì)值與實(shí)際相差太大3.回歸系數(shù)的標(biāo)準(zhǔn)誤太大，重要變量選不進(jìn)方程4.整個(gè)方程有顯著性，而每一個(gè)自變量均無顯著性第三十四頁，共四十三頁，2022年，8月28日多重共線性（一）例如試建立由外形指標(biāo)（x1、x2、x3分別為身長、頭圍、體重）推測胎兒周齡y的回歸方程：

y對x1、x2、x3的一般多元線性回歸分析，建立方程為?=11.0117+1.6927x1-2.1589x2+0.0075x3，出現(xiàn)頭圍的回歸系數(shù)為負(fù)的不合理現(xiàn)象。懷疑3個(gè)自變量之間存在共線性。共線性的主要解決方法：嶺回歸或主成分回歸。第三十五頁，共四十三頁，2022年，8月28日多重共線性（二）多重共線性一詞最早由R.弗里希于1934年提出，它指的是回歸模型中某些或所有自變量間存在完全或近似完全的線性關(guān)系。目前常用的多重共線性診斷方法有：

1.自變量的相關(guān)系數(shù)矩陣診斷法：研究變量的兩兩相關(guān)分析，如果自變量間的相關(guān)系數(shù)很大，則認(rèn)為存在多重共線性。

2.方差膨脹因子（thevarianceinflationfactor，VIF)診斷法：方差膨脹因子表達(dá)式為：VIFi=1/（1-R2i)。其中Ri為自變量xi對其余自變量作回歸分析的復(fù)相關(guān)系數(shù)。當(dāng)VIFi很大時(shí)，表明自變量間存在多重共線性。

第三十六頁，共四十三頁，2022年，8月28日多重共線性（三）

3.容忍值（Tolerance，簡記為Tol）法：容忍值實(shí)際上是VIF的倒數(shù)，即Tol＝1/VIF。其取值在0～1之間，Tol越接近1，說明自變量間的共線性越弱；Tol越接近0，說明自變量間的共線性越強(qiáng)。在應(yīng)用時(shí)一般先預(yù)先指定一個(gè)Tol值，容忍值小于指定值的變量不能進(jìn)入方程，計(jì)算結(jié)果具有穩(wěn)定性。

4.條件數(shù)：某些維度該指標(biāo)的數(shù)值大于30，則說明存在共線性

5.特征根分析法：如果相當(dāng)多維度的特征根約等于0SPSS過程：在打開按鈕“Statistics”后的對話框中，選中“CollinearityDiagnostics”和“PartandPartialCorrelations”即可；結(jié)果中有相關(guān)系數(shù)矩陣、VIF、Tol、條件數(shù)。第三十七頁，共四十三頁，2022年，8月28日嶺回歸簡介關(guān)鍵：確定嶺參數(shù)k。步驟：1、選擇不同的嶺參數(shù)k，估計(jì)相應(yīng)的回歸系數(shù)；2、將不同k值時(shí)的回歸系數(shù)連成一條曲線，即嶺跡；3、觀察嶺跡穩(wěn)定（或各回歸系數(shù)穩(wěn)定）時(shí)所對應(yīng)的k值即為嶺參數(shù)k；4、建立嶺參數(shù)k下的回歸方程。優(yōu)點(diǎn)：嶺回歸分析所得的回歸方程符合實(shí)際情況。第三十八頁，共四十三頁，2022年，8月28日第三十九頁，共四十三頁，2022年，8月28日不同嶺參數(shù)時(shí)各自變量的回歸系數(shù)

KRSQX1X2