10.3 多元線性回歸

概率論

與數(shù)理統(tǒng)計(jì)理學(xué)院數(shù)學(xué)系“悟道詩(shī)---嚴(yán)加安”隨機(jī)非隨意，概率破玄機(jī)；無(wú)序隱有序，統(tǒng)計(jì)解迷離．第十章回歸分析第三節(jié)多元線性回歸二、參數(shù)的最小二乘估計(jì)四、回歸系數(shù)的顯著性檢驗(yàn)一、多元線性回歸模型三、回歸方程的顯著性檢驗(yàn)五、小結(jié)一、多元線性回歸模型隨機(jī)變量

Y可控變量X1,X2,…,

Xm線性相關(guān)Y

關(guān)于X1,X2,…,

Xm

的m

元線性回歸模型：

n

組獨(dú)立觀測(cè)數(shù)據(jù)b0,b1,…,

bm為待估計(jì)的模型參數(shù).εi為隨機(jī)誤差項(xiàng).一、多元線性回歸模型Y

關(guān)于X1,X2,…,

Xm

的m

元線性回歸模型：Y

關(guān)于X1,X2,…,

Xm

的理論回歸方程：二、參數(shù)的最小二乘估計(jì)假設(shè)b0,b1,…,

bm的估計(jì)量為回歸平面擬合誤差（殘差）一個(gè)比較好的回歸方程應(yīng)該使所有觀測(cè)點(diǎn)的殘差平方和盡可能小二、參數(shù)的最小二乘估計(jì)殘差平方和：求m+1元函數(shù)的最小值點(diǎn)，即得未知參數(shù)b0,b1,…,

bm的最小二乘估計(jì)二、參數(shù)的最小二乘估計(jì)求關(guān)于的偏導(dǎo)數(shù)，并令其等于0，列方程組如下：稱為正規(guī)方程組二、參數(shù)的最小二乘估計(jì)1.第一種解法求解方程組其中二、參數(shù)的最小二乘估計(jì)1.第一種解法由后m個(gè)方程解得，代入第一個(gè)方程得Y

關(guān)于X1,X2,…,

Xm

的經(jīng)驗(yàn)回歸方程：二、參數(shù)的最小二乘估計(jì)2.第二種解法（矩陣解法）令可得正規(guī)方程組的矩陣形式X

稱為設(shè)計(jì)矩陣二、參數(shù)的最小二乘估計(jì)2.第二種解法（矩陣解法）由解得將代入理論回歸方程式同樣可得經(jīng)驗(yàn)回歸方程三、回歸方程的顯著性檢驗(yàn)1.離差平方和分解殘差平方和回歸平方和三、回歸方程的顯著性檢驗(yàn)2.F檢驗(yàn)法定理10.3.1對(duì)于m

元線性回歸，有并且和相互獨(dú)立H0成立時(shí)，三、回歸方程的顯著性檢驗(yàn)2.F檢驗(yàn)法檢驗(yàn)統(tǒng)計(jì)量拒絕域aF

(m,n-m-1)0拒絕H0不能拒絕H0FF分布三、回歸方程的顯著性檢驗(yàn)3.方差分析表當(dāng)時(shí)拒絕原假設(shè)H0，認(rèn)為回歸方程整體上是顯著的.方差來(lái)源平方和自由度均方F值回歸SSRmMSR=SSR/mMSR/MSE

剩余SSEn–m–1MSE=SSE

/(n–m–1)總和SSTn–1四、回歸系數(shù)的顯著性檢驗(yàn)1.的分布并且和相互獨(dú)立.定理10.3.2記，對(duì)于m元線性回歸模型，有四、回歸系數(shù)的顯著性檢驗(yàn)2.t

檢驗(yàn)法對(duì)于給定的顯著性水平α，檢驗(yàn)的拒絕域?yàn)楫?dāng)原假設(shè)H0成立時(shí)，檢驗(yàn)統(tǒng)計(jì)量檢驗(yàn)的p

值：例10.3.1

考察15名不同程度的煙民的每日抽煙量X1（支）、飲酒（啤酒）量X2（L）與其心電圖指標(biāo)Y的對(duì)應(yīng)數(shù)據(jù)，如下表所列：（1）求變量的相關(guān)系數(shù)矩陣；（2）求Y

關(guān)于的二元線性回歸方程；（3）對(duì)回歸方程進(jìn)行顯著性檢驗(yàn)（?。?解（1）由式(10.25)~式(10.27)計(jì)算得于是可得X1和X2的相關(guān)系數(shù)為解（1）X1

和Y的相關(guān)系數(shù)為X2

和Y的相關(guān)系數(shù)為X1

,X2,Y的相關(guān)系數(shù)矩陣為解（2）假設(shè)Y關(guān)于X1

,X2

的理論回歸方程為根據(jù)式(10.28)寫(xiě)出如下方程組解得可得Y關(guān)于X1

,X2

的經(jīng)驗(yàn)回歸方程為解（3）顯著性檢驗(yàn)的原假設(shè)和備擇假設(shè)為顯著性檢驗(yàn)的方差分析表如下：由上表可知，

所以Y關(guān)于X1

,X2

的回歸方程是顯著的.方差來(lái)源平方和自由度均方F值臨界值p值回歸110638.83255319.4273.893.890.0000殘差8984.512748.71

總計(jì)119623.3314

小結(jié)1.