多元線性回歸分析

1、關(guān)于多元線性回歸分析第1頁(yè)，共28頁(yè)，2022年，5月20日，19點(diǎn)37分，星期三主要內(nèi)容第一節(jié)：多元線性回歸概念及統(tǒng)計(jì)描述第二節(jié)：多元線性回歸假設(shè)檢驗(yàn)第三節(jié)、多元線性回歸自變量的篩選第四節(jié)：多元線性回歸應(yīng)用第五節(jié)：多元線性回歸應(yīng)注意問(wèn)題第六節(jié)：實(shí)例分析(SAS)第2頁(yè)，共28頁(yè)，2022年，5月20日，19點(diǎn)37分，星期三第一節(jié)：多元線性回歸概念及統(tǒng)計(jì)描述 概念：用于分析一個(gè)連續(xù)型因變量與多個(gè)自變量之間的線性關(guān)系的統(tǒng)計(jì)學(xué)分析方法。 例：血壓值與年齡、性別、勞動(dòng)強(qiáng)度、飲食習(xí)慣、吸煙狀況、家族史 糖尿病人的血糖與胰島素、糖化血紅蛋白、血清總膽固醇、甘油三脂第3頁(yè)，共28頁(yè)，2022年，5月20日

2、，19點(diǎn)37分，星期三多元線性回歸數(shù)據(jù)結(jié)構(gòu)假定對(duì)n例觀察對(duì)象逐一測(cè)定了因變量Y與m個(gè)自變量X1，X2,Xm的數(shù)值。 例號(hào) X1 X2 Xm Y 1 X11 X12 X1m Y1 2 X21 X22 X2m Y2 3 n Xn1 Xn2 Xnm Yn 第4頁(yè)，共28頁(yè)，2022年，5月20日，19點(diǎn)37分，星期三第5頁(yè)，共28頁(yè)，2022年，5月20日，19點(diǎn)37分，星期三多元線性回歸模型 多元線性回歸數(shù)學(xué)模型： 相應(yīng)的由樣本估計(jì)而得到的回歸模型： 其中表示Y的總體平均值的估計(jì)值， b0為常數(shù)項(xiàng)，也稱為截距,bi為Xi的偏回歸系數(shù)，表示當(dāng)方程中其他自變量不變時(shí)，自變量Xi變化一個(gè)計(jì)量單位，反應(yīng)變

3、量Y的總體平均值的估計(jì)值變化的單位數(shù).第6頁(yè)，共28頁(yè)，2022年，5月20日，19點(diǎn)37分，星期三標(biāo)準(zhǔn)化偏回歸系數(shù)因?yàn)楦髯宰兞慷加懈髯缘挠?jì)量單位以及不同的變異度，所以不能直接用普通偏回歸系數(shù)的大小來(lái)比較方程中各個(gè)自變量對(duì)反應(yīng)變量Y的影響大小。需要求出標(biāo)準(zhǔn)化偏回歸系數(shù)。設(shè)：與一般回歸系數(shù)bi對(duì)應(yīng)的標(biāo)準(zhǔn)化偏回歸系數(shù)為Bi，則 SXi、SY分別為Xi和Y的標(biāo)準(zhǔn)差。第7頁(yè)，共28頁(yè)，2022年，5月20日，19點(diǎn)37分，星期三偏回歸系數(shù)的估計(jì)-最小二乘法 基本思想：利用收集到的因變量和自變量建立線性函數(shù)，使得每一個(gè)實(shí)際測(cè)量的Yi與估計(jì)的Yi之間的離差的平方和盡可能的小。 只有一個(gè)自變量時(shí)，回歸結(jié)果為

4、二維平面的一條直線，而有兩個(gè)自變量時(shí)，結(jié)果為三維空間的一個(gè)平面，有更多的自變量時(shí)，回歸的結(jié)果則是在三維以上空間的“超平面”，無(wú)法直觀圖形表達(dá)，只能想象。第8頁(yè)，共28頁(yè)，2022年，5月20日，19點(diǎn)37分，星期三多元線性回歸分析前體條件LINE（1）linear : Y與X1， X2，, Xm之間具有線性關(guān)系。（2）independent :各個(gè)體觀測(cè)值間相互獨(dú)立。（3）normal distribution :在一定范圍內(nèi)，對(duì)任意一組自變量X1， X2，, Xm值，Y都服從正態(tài)分布。（4）equal variance :在一定范圍內(nèi)，不同組自變量對(duì)應(yīng)的Y具有相同方差。第9頁(yè)，共28頁(yè)，20

5、22年，5月20日，19點(diǎn)37分，星期三殘差分析通過(guò)殘差分析可以深入了解實(shí)際資料是否符合回歸模型假設(shè)（如正態(tài)、方差齊）第10頁(yè)，共28頁(yè)，2022年，5月20日，19點(diǎn)37分，星期三多元線性回歸決定系數(shù)決定系數(shù)：回歸平方和（SS回）在總平方和（ SS總）中比例。R2=SS回/SS總0R21，R2接近1， 表示樣本數(shù)據(jù)很好的擬合了所用的線性回歸模型。 R2反映了線性回歸模型能多大程度上解釋Y的變異。第11頁(yè)，共28頁(yè)，2022年，5月20日，19點(diǎn)37分，星期三第二節(jié)：多元線性回歸假設(shè)檢驗(yàn) 在多元線性回歸模型中，由于變量眾多，需要對(duì)模型的合理性以及參數(shù)的顯著性進(jìn)行檢驗(yàn)。一、回歸方程的假設(shè)檢驗(yàn)（F

6、檢驗(yàn)）H0 ：1=2=p=0 H1: 1,2p不全為0如果H0成立，認(rèn)為回歸方程不顯著，如果拒絕H0 ，認(rèn)為回歸方程顯著。 第12頁(yè)，共28頁(yè)，2022年，5月20日，19點(diǎn)37分，星期三二、回歸系數(shù)的假設(shè)檢驗(yàn)（t檢驗(yàn)） 在F檢驗(yàn)中，如果拒絕H0假設(shè)，只能說(shuō)1,2p不全為0，還需要進(jìn)一步檢查每個(gè)自變量的總體偏回歸系數(shù)。H0 : i=0, H1 : i0 (i=1,2p)如果H0成立，認(rèn)為偏回歸系數(shù)i不顯著，如果拒絕H0 ，認(rèn)為偏回歸系數(shù)i顯著。第13頁(yè)，共28頁(yè)，2022年，5月20日，19點(diǎn)37分，星期三第三節(jié)、自變量的篩選多元回歸分析時(shí)收集的某些自變量對(duì)因變量無(wú)影影響或影響甚微；也不敢保證

7、自變量之間是相互獨(dú)立的，因而在建立多元線性回歸方程時(shí)，需要使回歸方程盡可能包含對(duì)解釋因變量有較大貢獻(xiàn)的自變量，而把貢獻(xiàn)不大的或無(wú)貢獻(xiàn)以及與其他自變量有密切關(guān)系的自變量排除。第14頁(yè)，共28頁(yè)，2022年，5月20日，19點(diǎn)37分，星期三自變量篩選的標(biāo)準(zhǔn)和原則1、殘差平方和（SS殘）縮小或決定系數(shù)（R2）增大R2=1- SS殘/ SS總2、殘差均方（MS殘）縮小或調(diào)整決定系數(shù)（R2ad）增大 MS殘= SS殘/（n-p-1）3、Cp統(tǒng)計(jì)量減小第15頁(yè)，共28頁(yè)，2022年，5月20日，19點(diǎn)37分，星期三自變量篩選的方法向前選擇法建模時(shí)沒(méi)有自變量，逐個(gè)加入自變量。并通過(guò)F檢驗(yàn)加入自變量對(duì)模型的影

8、響是否顯著。顯著則保留此變量。向后刪除法建模時(shí)加入所有自變量，通過(guò)F檢驗(yàn)，逐個(gè)剔除在當(dāng)前模型中最不顯著的自變量，直到模型的變量都顯著為止。逐步篩選法為上述兩種方法的綜合，即每次首先加入一個(gè)變量，如果其對(duì)模型影響顯著，則保留，然后對(duì)當(dāng)前模型中的所有變量進(jìn)行檢查，剔除不顯著的變量。直到?jīng)]有顯著變量加入且沒(méi)有不顯著變量剔除為止。最大R2改進(jìn)法最小R2改進(jìn)法R2選擇法修正R2選擇法Cp選擇法第16頁(yè)，共28頁(yè)，2022年，5月20日，19點(diǎn)37分，星期三定量的建立一個(gè)反應(yīng)變量和多個(gè)自變量之間的線性關(guān)系篩選危險(xiǎn)因素通過(guò)較易測(cè)算的變量估計(jì)不易測(cè)量的變量通過(guò)反應(yīng)變量控制自變量第四節(jié)：多元線性回歸應(yīng)用第17頁(yè)

9、，共28頁(yè)，2022年，5月20日，19點(diǎn)37分，星期三第五節(jié)：多元線性回歸應(yīng)注意問(wèn)題多重共線性 除了LINE前提條件外，多元線性回歸還需要注意自變量之間的關(guān)系。當(dāng)自變量之間高度相關(guān)，則稱自變量存在多重共線性。共線性可使回歸系數(shù)極不穩(wěn)定，表現(xiàn)為回歸系數(shù)標(biāo)準(zhǔn)誤很大，以至于本來(lái)非常重要的自變量無(wú)統(tǒng)計(jì)意義而不能進(jìn)入方程，甚至使樣本回歸系數(shù)可大可小，可正可負(fù)，專業(yè)知識(shí)無(wú)法進(jìn)行解釋。 最簡(jiǎn)單的處理辦法就是刪除變量：在相關(guān)性較強(qiáng)的變量中刪除測(cè)量誤差較大的、缺失數(shù)據(jù)多的，專業(yè)角度看不是很重要的，也可采用主成分回歸法。第18頁(yè)，共28頁(yè)，2022年，5月20日，19點(diǎn)37分，星期三交互效應(yīng) 當(dāng)回歸模型中有多于

10、2個(gè)的自變量，變量之間可能存在交互作用（一自變量對(duì)應(yīng)變量的作用大小與另一個(gè)自變量的取值有關(guān)），此時(shí)可建立包含各自變量及其某些有交互作用的自變量的乘積（ X1X2）的回歸模型。 例如：A、B兩種藥物對(duì)帕金森綜合癥都有作用，而且相信聯(lián)合用藥效果更好，為探討聯(lián)合用藥可行性，進(jìn)行了隨機(jī)對(duì)照臨床試驗(yàn)。最終的得到的回歸方程為： =49-2.5X1+1.9X2+0.2X1X2第19頁(yè)，共28頁(yè)，2022年，5月20日，19點(diǎn)37分，星期三非同質(zhì)性資料合并第20頁(yè)，共28頁(yè)，2022年，5月20日，19點(diǎn)37分，星期三啞變量設(shè)置 多元線性回歸分析中自變量可以是連續(xù)的（年齡、血壓），也可以是二分類的（性別），不

11、能把有序變量（高、中、低）和無(wú)序多分類變量直接納入分析。必須先將有序變量或多分類無(wú)序變量轉(zhuǎn)換成多個(gè)二分類變量，再進(jìn)行回歸分析。 第21頁(yè)，共28頁(yè)，2022年，5月20日，19點(diǎn)37分，星期三通徑分析 當(dāng)多元回歸自變量較多時(shí)，相互間的關(guān)系十分復(fù)雜，有的自變量并不是直接對(duì)反應(yīng)變量產(chǎn)生影響，而是通過(guò)對(duì)其他自變量的作用間接地影響反應(yīng)變量。通徑分析是一種在回歸基礎(chǔ)上的拓展，用以處理這種具有復(fù)雜變量關(guān)系的方法。 例如：回歸模型后，自變量X1 、 X2對(duì)Y貢獻(xiàn)甚微，但從專業(yè)知識(shí)考慮X1 、 X2是通過(guò)X3 、 X4影響Y的,這時(shí)就需要通徑分析。 步驟：1、根據(jù)專業(yè)知識(shí)繪制變量間的通徑圖。2、按照通徑圖建立

12、線性方程。3、將各系數(shù)添加到通徑圖上。4、根據(jù)通徑圖計(jì)算各變量對(duì)Y的直接、間接效應(yīng)。第22頁(yè)，共28頁(yè)，2022年，5月20日，19點(diǎn)37分，星期三第六節(jié)：實(shí)例分析(SAS)為分析各大學(xué)附近房屋價(jià)格及其相關(guān)因素，統(tǒng)計(jì)了近期成交房屋售價(jià)和基本情況。試用回歸分析方法確定哪些因素對(duì)價(jià)格有明顯影響，并建立模型。占地面積稅率教師學(xué)生比臥室間數(shù)總間數(shù)居住面積價(jià)格0.857230.76471850152900第23頁(yè)，共28頁(yè)，2022年，5月20日，19點(diǎn)37分，星期三SAS分析過(guò)程采用REG過(guò)程對(duì)數(shù)據(jù)進(jìn)行多元線性回歸分析，編程如下：data house; /*建立數(shù)據(jù)集house*/ input lan

13、d tax ratio bedrooms rooms area price; /*要輸入的變量*/ cards;。 ;proc reg data=house; /*采用reg過(guò)程進(jìn)行多元回歸分析*/ model price=land tax ratio bedrooms rooms area;run;第24頁(yè)，共28頁(yè)，2022年，5月20日，19點(diǎn)37分，星期三proc reg data=house; /*采用reg過(guò)程進(jìn)行多元回歸分析*/ model price=land tax ratio bedrooms rooms area /selection=stepwise; /* 采用逐步篩選法*/ run;第25頁(yè)，共28頁(yè)，2022年，5月20日，19點(diǎn)37分，星期三Price=36942+6967.58365*land+71.36620*area-63.0