10.2 一元線性回歸

概率論

與數(shù)理統(tǒng)計理學院數(shù)學系“悟道詩---嚴加安”隨機非隨意，概率破玄機；無序隱有序，統(tǒng)計解迷離．第十章回歸分析第二節(jié)一元線性回歸二、參數(shù)的最小二乘估計四、利用回歸方程進行預測一、一元線性回歸模型三、回歸方程的顯著性檢驗五、小結一、一元線性回歸模型隨機變量

Y可控變量X線性相關Y

關于X的一

元線性回歸模型：

n

次獨立觀測數(shù)據(jù)a,b

為待估計的模型參數(shù).εi為隨機誤差項.一、一元線性回歸模型當時，，可得對每個，相應的因變量的觀測值來自于正態(tài)總體，回歸直線將穿過點,即回歸直線從Y的均值位置穿過.理論回歸方程：二、參數(shù)的最小二乘估計假設a,b

的估計量為擬合誤差（殘差）一個比較好的回歸方程應該使所有觀測點的殘差平方和盡可能小二、參數(shù)的最小二乘估計殘差平方和：二元函數(shù)的最小值點稱為a,b

的最小二乘估計.求關于的偏導數(shù)，并令其等于0，列方程組如下：二、參數(shù)的最小二乘估計進一步整理得：其中當不全相等時，方程組的系數(shù)矩陣的行列式二、參數(shù)的最小二乘估計解得唯一解：經驗回歸方程：其中注：經驗回歸直線一定過觀測數(shù)據(jù)散點圖的幾何中心例10.2.1

由專業(yè)知識可知，合金鋼的強度Y(107

Pa)與合金鋼中碳的含量X

(%)有關．為了研究它們之間的關系，從生產中收集了一批數(shù)據(jù)，如下表所列．試根據(jù)這些數(shù)據(jù)求Y關于X的經驗回歸方程．序號xy序號xy10.1042.070.1649.020.1143.580.1753.030.1245.090.1850.040.1345.5100.2055.050.1445.0110.2155.060.1547.5120.2360.0解先根據(jù)已知數(shù)據(jù)繪制X

和Y

的散點圖解由散點圖可知，12個觀測數(shù)據(jù)點分布在一條直線附近，Y與X是線性相關的．假定Y

關于X

的理論回歸方程為經計算得從而可得故Y

關于X

的經驗回歸方程為三、回歸方程的顯著性檢驗對于變量Y和X的任意n對觀測值，只要不全相等，則無論變量Y和X之間是否存在線性相關關系，都可根據(jù)上面介紹的方法求得一個線性回歸方程。顯然，只有當變量Y和X之間存在線性相關關系時，這樣的線性回歸方程才是有意義的.為了使求得的線性回歸方程真正有意義，就需要檢驗變量Y

和X

之間是否存在顯著的線性相關關系．三、回歸方程的顯著性檢驗1.F

檢驗離差分解：三、回歸方程的顯著性檢驗1.F

檢驗殘差平方和回歸平方和三、回歸方程的顯著性檢驗1.F檢驗定理10.2.1對于一

元線性回歸，有并且和相互獨立H0成立時，三、回歸方程的顯著性檢驗1.F檢驗檢驗統(tǒng)計量拒絕域aF

(1,n-2)0拒絕H0不能拒絕H0FF分布三、回歸方程的顯著性檢驗1.F

檢驗當時拒絕原假設H0，認為Y

和X之間的線性相關關系是顯著的.方差來源平方和自由度均方F值臨界值回歸SSR1MSR=SSR/1MSR/MSE

Fα(1,n–2)殘差SSEn–2MSE=SSE

/(n–2)總和SSTn–1一元線性回歸的方差分析表：例10.2.2

在研究合金鋼的強度(Y)與碳含量(X)關系的例10.2.1中，我們已經求出了Y關于X的經驗回歸方程，接下來取顯著性水平α

=0.01，對回歸方程進行顯著性檢驗．解經計算得從而可得解SST,SSR,SSE

的自由度分別為11,1和10，從而可得各均方分別為檢驗統(tǒng)計量的觀測值由于檢驗統(tǒng)計量可得檢驗的p

值為解由上表可知兩不等式均可說明在顯著性水平0.01下，Y和X之間的線性相關關系是顯著的，或者說Y關于X的回歸方程是顯著的.又F(1,10)分布的上側0.01分位數(shù)，于是可得方差分析表如下：方差來源平方和自由度均方F值臨界值p值回歸317.25871317.2587176.539310.040.0000殘差17.9705101.7971

總計335.229211

三、回歸方程的顯著性檢驗2.t檢驗定理10.2.2對于一

元線性回歸，有并且和相互獨立(1)的分布并且和相互獨立2.t檢驗當原假設成立時，檢驗統(tǒng)計量(2)檢驗統(tǒng)計量和拒絕域拒絕域檢驗的p

值其中稱為剩余標準差(或均方根誤差)故在顯著性水平0.01下拒絕原假設H0，認為Y關于X

的回歸方程是顯著的以例10.2.1中數(shù)據(jù)為例，經計算得注：對于一元線性回歸分析，t檢驗和F檢驗是等同的四、利用回歸方程進行預測1.點預測稱為

y0的點預測.對于給定的X=x0，由于因變量Y是隨機變量，Y

的相應取值y0是無法準確預測的．將x0代入經驗回歸方程，只能得到y(tǒng)0的均值的估計四、回歸系數(shù)的顯著性檢驗2.區(qū)間預測對于給定的X=x0，相應的y0

的均值a+bx0

的點估計為由可得y0

的置信水平為1-α

的預測區(qū)間為其中四、回歸系數(shù)的顯著性檢驗2.區(qū)間預測當時，y0的預測區(qū)間的長度達到最短當x0逐漸遠離時，預測區(qū)間的長度逐漸增大例10.2.3

在例10.2.1中，若碳含量為0.19，求相應的合金鋼強度的預測值和置信水平為95%的預測區(qū)間.解令，可得合金鋼強度y0

的預測值為取，則，又可得從而可