利用MATLAB進(jìn)行多元線性回歸

1、2.2.線性回歸線性回歸 b=regress(y,X) b,bint,r,rint,s=regress(y,X,alpha)輸入輸入: y因變量因變量(列向量列向量), X1與自變量組成的矩陣，與自變量組成的矩陣，Alpha顯著性水平顯著性水平 （缺省時(shí)設(shè)定為（缺省時(shí)設(shè)定為0.05）s: 3個(gè)統(tǒng)計(jì)量：個(gè)統(tǒng)計(jì)量：決定系數(shù)決定系數(shù)R2，F(xiàn)值值, F(1,n-2)分布大于分布大于F值的概率值的概率p，p 時(shí)時(shí)回歸回歸模型有效模型有效輸出輸出:b=（），），bint: b的的置信區(qū)間置信區(qū)間，r:殘差殘差(列向量列向量)，rint: r的的置信區(qū)間置信區(qū)間,10rcoplot(r,rint)殘差殘差及

2、其及其置信區(qū)間作圖置信區(qū)間作圖回歸回歸模型模型 例例3: 血壓與年齡、體重指數(shù)、吸煙習(xí)慣血壓與年齡、體重指數(shù)、吸煙習(xí)慣 序序號(hào)號(hào) 血血壓壓年年齡齡體重體重指數(shù)指數(shù)吸煙吸煙習(xí)慣習(xí)慣 序序號(hào)號(hào) 血血壓壓年年齡齡體重體重指數(shù)指數(shù)吸煙吸煙習(xí)慣習(xí)慣11443924.20211363625.0022154731.11221425026.2131384522.60231203923.50101545619.30301756927.41體重指數(shù)體重指數(shù) = 體重（體重（kg）/身高（身高（m）的平方）的平方 吸煙習(xí)慣吸煙習(xí)慣: 0表示不吸煙，表示不吸煙，1表示吸煙表示吸煙 建立血壓與年齡、體重指數(shù)、吸煙習(xí)慣之

3、間的回歸模型建立血壓與年齡、體重指數(shù)、吸煙習(xí)慣之間的回歸模型模型建立模型建立血壓血壓y，年齡，年齡x1，體重指數(shù)，體重指數(shù)x2，吸煙習(xí)慣，吸煙習(xí)慣x3 3322110 xxxyy與與x1的散點(diǎn)圖的散點(diǎn)圖y與與x2的散點(diǎn)圖的散點(diǎn)圖線性回歸模型線性回歸模型回歸系數(shù)回歸系數(shù) 0, 1, 2, 3 由數(shù)據(jù)估計(jì)由數(shù)據(jù)估計(jì), 是隨機(jī)誤差是隨機(jī)誤差 n=30;m=3;y=144 215138145162142170124158154 162 150140110128130135114116124 136 142120120160158144130125175;x1=39 474547654667426756

4、 64565934424845182019 36503921445363292569;x2=24.2 31.1 22.6 24.0 25.9 25.1 29.5 19.7 27.2 19.3 28.0 25.8 27.3 20.1 21.7 22.2 27.4 18.8 22.6 21.5 25.0 26.2 23.5 20.3 27.1 28.6 28.3 22.0 25.3 27.4; x3=0 1 0 1 1 0 1 0 1 0 1 0 0 0 0 1 0 0 0 .0 0 1 0 0 1 1 0 1 0 1;X=ones(n,1), x1,x2,x3;b,bint,r,rint,s=r

5、egress(y,X);s2=sum(r.2)/(n-m-1);b,bint,s,s2rcoplot(r,rint)回歸系數(shù)回歸系數(shù)回歸系數(shù)回歸系數(shù)估計(jì)值估計(jì)值回歸系數(shù)回歸系數(shù)置信區(qū)間置信區(qū)間 045.36363.5537 87.1736 10.3604-0.0758 0.7965 23.09061.0530 5.1281 311.8246-0.1482 23.7973R2= 0.6855 F= 18.8906 p0.0001 s2 =169.7917模型模型求解求解回歸系數(shù)回歸系數(shù)回歸系數(shù)回歸系數(shù)估計(jì)值估計(jì)值 回歸系數(shù)回歸系數(shù)置信區(qū)間置信區(qū)間 058.510129.9064 87.1138

6、10.43030.1273 0.7332 22.34490.8509 3.8389 310.30653.3878 17.2253R2= 0.8462 F= 44.0087 p0.0001 s2 =53.6604剔除異常點(diǎn)剔除異常點(diǎn)(第第2點(diǎn)和第點(diǎn)和第10點(diǎn)點(diǎn))后后xueya01.m3213065.103449. 24303. 05101.58xxxy 此時(shí)可見第二與第十二個(gè)點(diǎn)是異常點(diǎn)，于是刪除此時(shí)可見第二與第十二個(gè)點(diǎn)是異常點(diǎn)，于是刪除上述兩點(diǎn)，再次進(jìn)行回歸得到改進(jìn)后的回歸模型的系上述兩點(diǎn)，再次進(jìn)行回歸得到改進(jìn)后的回歸模型的系數(shù)、數(shù)、系數(shù)系數(shù)置信區(qū)間與統(tǒng)計(jì)量置信區(qū)間與統(tǒng)計(jì)量回歸系數(shù)回歸系數(shù)回歸系

7、數(shù)回歸系數(shù)估計(jì)值估計(jì)值回歸系數(shù)回歸系數(shù)置信區(qū)間置信區(qū)間 058.510129.9064 87.1138 10.43030.1273 0.7332 22.34490.8509 3.8389 310.30653.3878 17.2253R2= 0.8462 F= 44.0087 p0.0001 s2 =53.6604這時(shí)置信區(qū)間不包含零點(diǎn)，這時(shí)置信區(qū)間不包含零點(diǎn)，F(xiàn)統(tǒng)計(jì)量增大，可決系統(tǒng)計(jì)量增大，可決系數(shù)從數(shù)從0.6855增大到增大到0.8462 ，我們得到回歸模型為：，我們得到回歸模型為：3213065.103449. 24303. 05101.58xxxy 通常，進(jìn)行多元線性回歸的步驟如下：通常

8、，進(jìn)行多元線性回歸的步驟如下：（1）做自變量與因變量的散點(diǎn)圖，根據(jù)散點(diǎn)圖的形）做自變量與因變量的散點(diǎn)圖，根據(jù)散點(diǎn)圖的形狀決定是否可以進(jìn)行線性回歸；狀決定是否可以進(jìn)行線性回歸；（2）輸入自變量與因變量；）輸入自變量與因變量；（3）利用命令：）利用命令：b,bint,r,rint,s=regress(y,X,alpha)，rcoplot(r,rint)得到回歸模型的系數(shù)以及異常點(diǎn)的情況；得到回歸模型的系數(shù)以及異常點(diǎn)的情況；（4）對(duì)回歸模型進(jìn)行檢驗(yàn)）對(duì)回歸模型進(jìn)行檢驗(yàn)首先進(jìn)行殘差的正態(tài)性檢驗(yàn)：首先進(jìn)行殘差的正態(tài)性檢驗(yàn)：jbtest，ttest其次進(jìn)行殘差的異方差檢驗(yàn)其次進(jìn)行殘差的異方差檢驗(yàn): 戈德菲

9、爾德一匡特戈德菲爾德一匡特(GoldfeldQuandt)檢驗(yàn)檢驗(yàn)戈德菲爾德檢驗(yàn)，簡稱為戈德菲爾德檢驗(yàn)，簡稱為GQ檢驗(yàn)檢驗(yàn).為了檢驗(yàn)異方差為了檢驗(yàn)異方差性，將樣本按解釋變量排序后分成兩部分，再利用樣性，將樣本按解釋變量排序后分成兩部分，再利用樣本本1和樣本和樣本2分別建立回歸模型，并求出各自的殘差平分別建立回歸模型，并求出各自的殘差平方和方和RSSl和和RSS2。如果誤差項(xiàng)的離散程度相同。如果誤差項(xiàng)的離散程度相同(即為即為同方差的同方差的)，則，則RSSl和和RSS2的值應(yīng)該大致相同；若兩的值應(yīng)該大致相同；若兩者之間存在顯著差異，則表明存在異方差者之間存在顯著差異，則表明存在異方差. 檢驗(yàn)過程

10、檢驗(yàn)過程中為了中為了“夸大夸大”殘差的差異性，一般先在樣本中部去殘差的差異性，一般先在樣本中部去掉掉C個(gè)數(shù)據(jù)個(gè)數(shù)據(jù)(通常取通常取cn4)，再利用，再利用F統(tǒng)計(jì)量判斷差統(tǒng)計(jì)量判斷差異的顯著性：異的顯著性：) 12/ )( , 12/ )() 12/ )/() 12/ )/(1212kcnkcnFRSSRSSkcnRSSkcnRSSF其中，其中，n為樣本容量，為樣本容量，k為自變量個(gè)數(shù)為自變量個(gè)數(shù).然后對(duì)殘差進(jìn)行自相關(guān)性的檢驗(yàn)，通常我們利用然后對(duì)殘差進(jìn)行自相關(guān)性的檢驗(yàn)，通常我們利用DW檢檢驗(yàn)進(jìn)行殘差序列自相關(guān)性的檢驗(yàn)。該檢驗(yàn)的統(tǒng)計(jì)量為：驗(yàn)進(jìn)行殘差序列自相關(guān)性的檢驗(yàn)。該檢驗(yàn)的統(tǒng)計(jì)量為：nttnttt

11、eeeDW12221/)(其中其中 為殘差序列，對(duì)于計(jì)算出的結(jié)果通過查為殘差序列，對(duì)于計(jì)算出的結(jié)果通過查表決定是否存在自相關(guān)性。表決定是否存在自相關(guān)性。te若若 duDW4-du,則不存在自相關(guān)性；則不存在自相關(guān)性；若若 DW4-dl，則存在一階負(fù)相關(guān)；，則存在一階負(fù)相關(guān)；若若 dlDWdu 或或4-duDW4-dl ，則無法判斷，則無法判斷下面我們對(duì)模型進(jìn)行檢驗(yàn)：下面我們對(duì)模型進(jìn)行檢驗(yàn)：（1）殘差的正態(tài)檢驗(yàn)：）殘差的正態(tài)檢驗(yàn)：由由jbtest檢驗(yàn)，檢驗(yàn)，h=0表明殘差服從正態(tài)分布，進(jìn)而由表明殘差服從正態(tài)分布，進(jìn)而由t檢檢驗(yàn)可知驗(yàn)可知h=0，p=1，故殘差服從均值為零的正態(tài)分布；，故殘差服從均值為零的正態(tài)分布；（2）殘差的異方差檢驗(yàn)：）殘差的異方差檢驗(yàn)：我們將我們將28個(gè)數(shù)據(jù)從小到大排列，去掉中間的個(gè)數(shù)據(jù)從小到大排列，去掉中間的6個(gè)數(shù)據(jù)，個(gè)數(shù)據(jù)，得到得到F統(tǒng)計(jì)量的觀測值為：統(tǒng)計(jì)量的觀測值為：f =1.909