多元線性回歸分析

關(guān)于多元線性回歸分析主要內(nèi)容第一節(jié)：多元線性回歸概念及統(tǒng)計描述第二節(jié)：多元線性回歸假設(shè)檢驗第三節(jié)、多元線性回歸自變量的篩選第四節(jié)：多元線性回歸應(yīng)用第五節(jié)：多元線性回歸應(yīng)注意問題第六節(jié)：實例分析(SAS)第2頁,共28頁，2024年2月25日，星期天第一節(jié)：多元線性回歸概念及統(tǒng)計描述概念：用于分析一個連續(xù)型因變量與多個自變量之間的線性關(guān)系的統(tǒng)計學(xué)分析方法。

例：血壓值與年齡、性別、勞動強(qiáng)度、飲食習(xí)慣、吸煙狀況、家族史糖尿病人的血糖與胰島素、糖化血紅蛋白、血清總膽固醇、甘油三脂第3頁,共28頁，2024年2月25日，星期天多元線性回歸數(shù)據(jù)結(jié)構(gòu)假定對n例觀察對象逐一測定了因變量Y與m個自變量X1，X2,…Xm的數(shù)值。

━━━━━━━━━━━━━━━━━━━━━━例號X1X2…XmY─────────────────────1

X11X12…X1mY12

X21X22…X2mY23┆

┆…┆

┆n

Xn1

Xn2…XnmYn━━━━━━━━━━━━━━━━━━━━━━第4頁,共28頁，2024年2月25日，星期天第5頁,共28頁，2024年2月25日，星期天多元線性回歸模型多元線性回歸數(shù)學(xué)模型：相應(yīng)的由樣本估計而得到的回歸模型：

其中?表示Y的總體平均值的估計值，b0為常數(shù)項，也稱為截距,bi為Xi的偏回歸系數(shù)，表示當(dāng)方程中其他自變量不變時，自變量Xi變化一個計量單位，反應(yīng)變量Y的總體平均值的估計值變化的單位數(shù).第6頁,共28頁，2024年2月25日，星期天標(biāo)準(zhǔn)化偏回歸系數(shù)因為各自變量都有各自的計量單位以及不同的變異度，所以不能直接用普通偏回歸系數(shù)的大小來比較方程中各個自變量對反應(yīng)變量Y的影響大小。需要求出標(biāo)準(zhǔn)化偏回歸系數(shù)。設(shè)：與一般回歸系數(shù)bi對應(yīng)的標(biāo)準(zhǔn)化偏回歸系數(shù)為Bi，則SXi、SY分別為Xi和Y的標(biāo)準(zhǔn)差。第7頁,共28頁，2024年2月25日，星期天偏回歸系數(shù)的估計--最小二乘法基本思想：利用收集到的因變量和自變量建立線性函數(shù)，使得每一個實際測量的Yi與估計的Yi之間的離差的平方和盡可能的小。只有一個自變量時，回歸結(jié)果為二維平面的一條直線，而有兩個自變量時，結(jié)果為三維空間的一個平面，有更多的自變量時，回歸的結(jié)果則是在三維以上空間的“超平面”，無法直觀圖形表達(dá)，只能想象。第8頁,共28頁，2024年2月25日，星期天多元線性回歸分析前體條件——LINE（1）linear:

Y與X1，X2，…,Xm之間具有線性關(guān)系。（2）independent:各個體觀測值間相互獨(dú)立。（3）normaldistribution:在一定范圍內(nèi)，對任意一組自變量X1，X2，…,Xm值，Y都服從正態(tài)分布。（4）equalvariance:在一定范圍內(nèi)，不同組自變量對應(yīng)的Y具有相同方差。第9頁,共28頁，2024年2月25日，星期天殘差分析通過殘差分析可以深入了解實際資料是否符合回歸模型假設(shè)（如正態(tài)、方差齊）第10頁,共28頁，2024年2月25日，星期天多元線性回歸決定系數(shù)決定系數(shù)：回歸平方和（SS回）在總平方和（SS總）中比例。R2=SS回/SS總0≤R2≤1，R2接近1，

表示樣本數(shù)據(jù)很好的擬合了所用的線性回歸模型。R2反映了線性回歸模型能多大程度上解釋Y的變異。第11頁,共28頁，2024年2月25日，星期天第二節(jié)：多元線性回歸假設(shè)檢驗在多元線性回歸模型中，由于變量眾多，需要對模型的合理性以及參數(shù)的顯著性進(jìn)行檢驗。一、回歸方程的假設(shè)檢驗（F檢驗）H0：β1=β2=…=βp=0H1:β1,β2…βp不全為0如果H0成立，認(rèn)為回歸方程不顯著，如果拒絕H0，認(rèn)為回歸方程顯著。

第12頁,共28頁，2024年2月25日，星期天二、回歸系數(shù)的假設(shè)檢驗（t檢驗）在F檢驗中，如果拒絕H0假設(shè)，只能說β1,β2…βp不全為0，還需要進(jìn)一步檢查每個自變量的總體偏回歸系數(shù)。H0:

βi=0,H1:

βi≠0(i=1,2…p)如果H0成立，認(rèn)為偏回歸系數(shù)βi不顯著，如果拒絕H0，認(rèn)為偏回歸系數(shù)βi顯著。第13頁,共28頁，2024年2月25日，星期天第三節(jié)、自變量的篩選多元回歸分析時收集的某些自變量對因變量無影影響或影響甚微；也不敢保證自變量之間是相互獨(dú)立的，因而在建立多元線性回歸方程時，需要使回歸方程盡可能包含對解釋因變量有較大貢獻(xiàn)的自變量，而把貢獻(xiàn)不大的或無貢獻(xiàn)以及與其他自變量有密切關(guān)系的自變量排除。第14頁,共28頁，2024年2月25日，星期天自變量篩選的標(biāo)準(zhǔn)和原則1、殘差平方和（SS殘）縮小或決定系數(shù)（R2）增大R2=1-SS殘/SS總2、殘差均方（MS殘）縮小或調(diào)整決定系數(shù)（R2ad）增大MS殘=SS殘/（n-p-1）3、Cp統(tǒng)計量減小第15頁,共28頁，2024年2月25日，星期天自變量篩選的方法向前選擇法建模時沒有自變量，逐個加入自變量。并通過F檢驗加入自變量對模型的影響是否顯著。顯著則保留此變量。向后刪除法建模時加入所有自變量，通過F檢驗，逐個剔除在當(dāng)前模型中最不顯著的自變量，直到模型的變量都顯著為止。逐步篩選法為上述兩種方法的綜合，即每次首先加入一個變量，如果其對模型影響顯著，則保留，然后對當(dāng)前模型中的所有變量進(jìn)行檢查，剔除不顯著的變量。直到?jīng)]有顯著變量加入且沒有不顯著變量剔除為止。最大R2改進(jìn)法最小R2改進(jìn)法R2選擇法修正R2選擇法Cp選擇法第16頁,共28頁，2024年2月25日，星期天定量的建立一個反應(yīng)變量和多個自變量之間的線性關(guān)系篩選危險因素通過較易測算的變量估計不易測量的變量通過反應(yīng)變量控制自變量第四節(jié)：多元線性回歸應(yīng)用第17頁,共28頁，2024年2月25日，星期天第五節(jié)：多元線性回歸應(yīng)注意問題多重共線性除了LINE前提條件外，多元線性回歸還需要注意自變量之間的關(guān)系。當(dāng)自變量之間高度相關(guān)，則稱自變量存在多重共線性。共線性可使回歸系數(shù)極不穩(wěn)定，表現(xiàn)為回歸系數(shù)標(biāo)準(zhǔn)誤很大，以至于本來非常重要的自變量無統(tǒng)計意義而不能進(jìn)入方程，甚至使樣本回歸系數(shù)可大可小，可正可負(fù)，專業(yè)知識無法進(jìn)行解釋。

最簡單的處理辦法就是刪除變量：在相關(guān)性較強(qiáng)的變量中刪除測量誤差較大的、缺失數(shù)據(jù)多的，專業(yè)角度看不是很重要的，也可采用主成分回歸法。第18頁,共28頁，2024年2月25日，星期天交互效應(yīng)當(dāng)回歸模型中有多于2個的自變量，變量之間可能存在交互作用（一自變量對應(yīng)變量的作用大小與另一個自變量的取值有關(guān)），此時可建立包含各自變量及其某些有交互作用的自變量的乘積（X1X2）的回歸模型。

例如：A、B兩種藥物對帕金森綜合癥都有作用，而且相信聯(lián)合用藥效果更好，為探討聯(lián)合用藥可行性，進(jìn)行了隨機(jī)對照臨床試驗。最終的得到的回歸方程為：

?=49-2.5X1+1.9X2+0.2X1X2第19頁,共28頁，2024年2月25日，星期天非同質(zhì)性資料合并第20頁,共28頁，2024年2月25日，星期天啞變量設(shè)置多元線性回歸分析中自變量可以是連續(xù)的（年齡、血壓），也可以是二分類的（性別），不能把有序變量（高、中、低）和無序多分類變量直接納入分析。必須先將有序變量或多分類無序變量轉(zhuǎn)換成多個二分類變量，再進(jìn)行回歸分析。

第21頁,共28頁，2024年2月25日，星期天通徑分析

當(dāng)多元回歸自變量較多時，相互間的關(guān)系十分復(fù)雜，有的自變量并不是直接對反應(yīng)變量產(chǎn)生影響，而是通過對其他自變量的作用間接地影響反應(yīng)變量。通徑分析是一種在回歸基礎(chǔ)上的拓展，用以處理這種具有復(fù)雜變量關(guān)系的方法。

例如：回歸模型后，自變量X1、X2對Y貢獻(xiàn)甚微，但從專業(yè)知識考慮X1、X2是通過X3、X4影響Y的,這時就需要通徑分析。

步驟：1、根據(jù)專業(yè)知識繪制變量間的通徑圖。2、按照通徑圖建立線性方程。3、將各系數(shù)添加到通徑圖上。4、根據(jù)通徑圖計算各變量對Y的直接、間接效應(yīng)。第22頁,共28頁，2024年2月25日，星期天第六節(jié)：實例分析(SAS)為分析各大學(xué)附近房屋價格及其相關(guān)因素，統(tǒng)計了近期成交房屋售價和基本情況。試用回歸分析方法確定哪些因素對價格有明顯影響，并建立模型。占地面積稅率教師學(xué)生比臥室間數(shù)總間數(shù)居住面積價格0.857230.76471850152900……………………………………第23頁,共28頁，2024年2月25日，星期天SAS分析過程采用REG過程對數(shù)據(jù)進(jìn)行多元線性回歸分析，編程如下：datahouse;/*建立數(shù)據(jù)集house*/inputlandtaxratiobedroomsroomsareaprice;/*要輸入的變量*/cards; 。。。。 ;procregdata=house;/*采用reg過程進(jìn)行多元回歸分析*/modelprice=landtaxratiobedroomsroomsarea;run;第24頁,共28頁，2024年2月25日，星期天procregdata=house;/*采用reg過程進(jìn)行多元回歸分析*/modelprice=landtaxratiobedroomsroomsarea/selection=stepwise;/*采用逐步篩選法*/

run;第25頁,共28頁，2024年2月25日，星期天Price=36942+6967.58365*land+71.36620*area-63