多元線性回歸分析

關(guān)于多元線性回歸分析第一頁，共二十八頁，編輯于2023年，星期日主要內(nèi)容第一節(jié)：多元線性回歸概念及統(tǒng)計描述第二節(jié)：多元線性回歸假設檢驗第三節(jié)、多元線性回歸自變量的篩選第四節(jié)：多元線性回歸應用第五節(jié)：多元線性回歸應注意問題第六節(jié)：實例分析(SAS)第二頁，共二十八頁，編輯于2023年，星期日第一節(jié)：多元線性回歸概念及統(tǒng)計描述概念：用于分析一個連續(xù)型因變量與多個自變量之間的線性關(guān)系的統(tǒng)計學分析方法。

例：血壓值與年齡、性別、勞動強度、飲食習慣、吸煙狀況、家族史糖尿病人的血糖與胰島素、糖化血紅蛋白、血清總膽固醇、甘油三脂第三頁，共二十八頁，編輯于2023年，星期日多元線性回歸數(shù)據(jù)結(jié)構(gòu)假定對n例觀察對象逐一測定了因變量Y與m個自變量X1，X2,…Xm的數(shù)值。

━━━━━━━━━━━━━━━━━━━━━━例號X1X2…XmY─────────────────────1

X11X12…X1mY12

X21X22…X2mY23┆

┆…┆

┆n

Xn1

Xn2…XnmYn━━━━━━━━━━━━━━━━━━━━━━第四頁，共二十八頁，編輯于2023年，星期日第五頁，共二十八頁，編輯于2023年，星期日多元線性回歸模型多元線性回歸數(shù)學模型：相應的由樣本估計而得到的回歸模型：

其中?表示Y的總體平均值的估計值，b0為常數(shù)項，也稱為截距,bi為Xi的偏回歸系數(shù)，表示當方程中其他自變量不變時，自變量Xi變化一個計量單位，反應變量Y的總體平均值的估計值變化的單位數(shù).第六頁，共二十八頁，編輯于2023年，星期日標準化偏回歸系數(shù)因為各自變量都有各自的計量單位以及不同的變異度，所以不能直接用普通偏回歸系數(shù)的大小來比較方程中各個自變量對反應變量Y的影響大小。需要求出標準化偏回歸系數(shù)。設：與一般回歸系數(shù)bi對應的標準化偏回歸系數(shù)為Bi，則SXi、SY分別為Xi和Y的標準差。第七頁，共二十八頁，編輯于2023年，星期日偏回歸系數(shù)的估計--最小二乘法基本思想：利用收集到的因變量和自變量建立線性函數(shù)，使得每一個實際測量的Yi與估計的Yi之間的離差的平方和盡可能的小。只有一個自變量時，回歸結(jié)果為二維平面的一條直線，而有兩個自變量時，結(jié)果為三維空間的一個平面，有更多的自變量時，回歸的結(jié)果則是在三維以上空間的“超平面”，無法直觀圖形表達，只能想象。第八頁，共二十八頁，編輯于2023年，星期日多元線性回歸分析前體條件——LINE（1）linear:

Y與X1，X2，…,Xm之間具有線性關(guān)系。（2）independent:各個體觀測值間相互獨立。（3）normaldistribution:在一定范圍內(nèi)，對任意一組自變量X1，X2，…,Xm值，Y都服從正態(tài)分布。（4）equalvariance:在一定范圍內(nèi)，不同組自變量對應的Y具有相同方差。第九頁，共二十八頁，編輯于2023年，星期日殘差分析通過殘差分析可以深入了解實際資料是否符合回歸模型假設（如正態(tài)、方差齊）第十頁，共二十八頁，編輯于2023年，星期日多元線性回歸決定系數(shù)決定系數(shù)：回歸平方和（SS回）在總平方和（SS總）中比例。R2=SS回/SS總0≤R2≤1，R2接近1，

表示樣本數(shù)據(jù)很好的擬合了所用的線性回歸模型。R2反映了線性回歸模型能多大程度上解釋Y的變異。第十一頁，共二十八頁，編輯于2023年，星期日第二節(jié)：多元線性回歸假設檢驗在多元線性回歸模型中，由于變量眾多，需要對模型的合理性以及參數(shù)的顯著性進行檢驗。一、回歸方程的假設檢驗（F檢驗）H0：β1=β2=…=βp=0H1:β1,β2…βp不全為0如果H0成立，認為回歸方程不顯著，如果拒絕H0，認為回歸方程顯著。

第十二頁，共二十八頁，編輯于2023年，星期日二、回歸系數(shù)的假設檢驗（t檢驗）在F檢驗中，如果拒絕H0假設，只能說β1,β2…βp不全為0，還需要進一步檢查每個自變量的總體偏回歸系數(shù)。H0:

βi=0,H1:

βi≠0(i=1,2…p)如果H0成立，認為偏回歸系數(shù)βi不顯著，如果拒絕H0，認為偏回歸系數(shù)βi顯著。第十三頁，共二十八頁，編輯于2023年，星期日第三節(jié)、自變量的篩選多元回歸分析時收集的某些自變量對因變量無影影響或影響甚微；也不敢保證自變量之間是相互獨立的，因而在建立多元線性回歸方程時，需要使回歸方程盡可能包含對解釋因變量有較大貢獻的自變量，而把貢獻不大的或無貢獻以及與其他自變量有密切關(guān)系的自變量排除。第十四頁，共二十八頁，編輯于2023年，星期日自變量篩選的標準和原則1、殘差平方和（SS殘）縮小或決定系數(shù)（R2）增大R2=1-SS殘/SS總2、殘差均方（MS殘）縮小或調(diào)整決定系數(shù)（R2ad）增大MS殘=SS殘/（n-p-1）3、Cp統(tǒng)計量減小第十五頁，共二十八頁，編輯于2023年，星期日自變量篩選的方法向前選擇法建模時沒有自變量，逐個加入自變量。并通過F檢驗加入自變量對模型的影響是否顯著。顯著則保留此變量。向后刪除法建模時加入所有自變量，通過F檢驗，逐個剔除在當前模型中最不顯著的自變量，直到模型的變量都顯著為止。逐步篩選法為上述兩種方法的綜合，即每次首先加入一個變量，如果其對模型影響顯著，則保留，然后對當前模型中的所有變量進行檢查，剔除不顯著的變量。直到?jīng)]有顯著變量加入且沒有不顯著變量剔除為止。最大R2改進法最小R2改進法R2選擇法修正R2選擇法Cp選擇法第十六頁，共二十八頁，編輯于2023年，星期日定量的建立一個反應變量和多個自變量之間的線性關(guān)系篩選危險因素通過較易測算的變量估計不易測量的變量通過反應變量控制自變量第四節(jié)：多元線性回歸應用第十七頁，共二十八頁，編輯于2023年，星期日第五節(jié)：多元線性回歸應注意問題多重共線性除了LINE前提條件外，多元線性回歸還需要注意自變量之間的關(guān)系。當自變量之間高度相關(guān)，則稱自變量存在多重共線性。共線性可使回歸系數(shù)極不穩(wěn)定，表現(xiàn)為回歸系數(shù)標準誤很大，以至于本來非常重要的自變量無統(tǒng)計意義而不能進入方程，甚至使樣本回歸系數(shù)可大可小，可正可負，專業(yè)知識無法進行解釋。

最簡單的處理辦法就是刪除變量：在相關(guān)性較強的變量中刪除測量誤差較大的、缺失數(shù)據(jù)多的，專業(yè)角度看不是很重要的，也可采用主成分回歸法。第十八頁，共二十八頁，編輯于2023年，星期日交互效應當回歸模型中有多于2個的自變量，變量之間可能存在交互作用（一自變量對應變量的作用大小與另一個自變量的取值有關(guān)），此時可建立包含各自變量及其某些有交互作用的自變量的乘積（X1X2）的回歸模型。

例如：A、B兩種藥物對帕金森綜合癥都有作用，而且相信聯(lián)合用藥效果更好，為探討聯(lián)合用藥可行性，進行了隨機對照臨床試驗。最終的得到的回歸方程為：

?=49-2.5X1+1.9X2+0.2X1X2第十九頁，共二十八頁，編輯于2023年，星期日非同質(zhì)性資料合并第二十頁，共二十八頁，編輯于2023年，星期日啞變量設置多元線性回歸分析中自變量可以是連續(xù)的（年齡、血壓），也可以是二分類的（性別），不能把有序變量（高、中、低）和無序多分類變量直接納入分析。必須先將有序變量或多分類無序變量轉(zhuǎn)換成多個二分類變量，再進行回歸分析。

第二十一頁，共二十八頁，編輯于2023年，星期日通徑分析

當多元回歸自變量較多時，相互間的關(guān)系十分復雜，有的自變量并不是直接對反應變量產(chǎn)生影響，而是通過對其他自變量的作用間接地影響反應變量。通徑分析是一種在回歸基礎上的拓展，用以處理這種具有復雜變量關(guān)系的方法。

例如：回歸模型后，自變量X1、X2對Y貢獻甚微，但從專業(yè)知識考慮X1、X2是通過X3、X4影響Y的,這時就需要通徑分析。

步驟：1、根據(jù)專業(yè)知識繪制變量間的通徑圖。2、按照通徑圖建立線性方程。3、將各系數(shù)添加到通徑圖上。4、根據(jù)通徑圖計算各變量對Y的直接、間接效應。第二十二頁，共二十八頁，編輯于2023年，星期日第六節(jié)：實例分析(SAS)為分析各大學附近房屋價格及其相關(guān)因素，統(tǒng)計了近期成交房屋售價和基本情況。試用回歸分析方法確定哪些因素對價格有明顯影響，并建立模型。占地面積稅率教師學生比臥室間數(shù)總間數(shù)居住面積價格0.857230.76471850152900……………………………………第二十三頁，共二十八頁，編輯于2023年，星期日SAS分析過程采用REG過程對數(shù)據(jù)進行多元線性回歸分析，編程如下：datahouse;/*建立數(shù)據(jù)集house*/inputlandtaxratiobedroomsroomsareaprice;/*要輸入的變量*/cards; 。。。。 ;procregdata=house;/*采用reg過程進行多元回歸分析*/modelprice=landtaxratiobedroomsroomsarea;run;第二十四頁，共二十八頁，編輯于2023年，星期日procregdata=house;/*采用reg過程進行多元回歸分析*/modelprice=landtaxratiobedroomsroomsarea/selection=stepwise;/*采用逐步篩選法*/

run;第二十五頁，共二十八頁，編輯于2023年，星期日Price=36942+6967.58365*l