一元線性回歸參數(shù)估計(jì)

1、第五章回歸分析“回歸”一詞的由來1889年，英國著名統(tǒng)計(jì)學(xué)家FrancilsGalton在研究父代與子代身高之間的關(guān)系時(shí)發(fā)現(xiàn)：身材較高的父母，他們的孩子也較高，但這些孩子的平均身高并沒有他們父母的平均身高高；身材較矮的父母，他們的孩子也較矮，但這些孩子的平均身高卻比他們父母的平均身高高。Galton把這種后代的身高向中間值靠近的趨勢(shì)稱為“回歸現(xiàn)象”。后來，人們把由一個(gè)變量的變化去推測(cè)另一個(gè)變量的變化的方法稱為“回歸方法”。回歸分析的基本概念函數(shù)關(guān)系和統(tǒng)計(jì)相關(guān)關(guān)系在一個(gè)實(shí)際問題中會(huì)遇到多個(gè)變量，可將其區(qū)分為自變量和因變量.自變量和因變量之間的關(guān)系又可分為兩類：函數(shù)關(guān)系和統(tǒng)計(jì)相關(guān)關(guān)系.函數(shù)關(guān)系：自

2、變量的取值確定后，因變量的值就完全確定.如圓的半徑與圓的面積就構(gòu)成函數(shù)關(guān)系.統(tǒng)計(jì)相關(guān)關(guān)系：自變量的取值確定后，因變量的值并不完全確定；通過大量的統(tǒng)計(jì)數(shù)據(jù)又可發(fā)現(xiàn)它們之間確實(shí)存在著某種關(guān)系，這時(shí)稱自變量與因變量之間構(gòu)成統(tǒng)計(jì)相關(guān)關(guān)系.如商品定價(jià)x與該商品的銷售量Y；日期x與某地的日平均氣溫Y；(1) 父母身高(x,y)與兒子成年后的身高Z；上述自變量與相應(yīng)因變量之間都構(gòu)成統(tǒng)計(jì)相關(guān)關(guān)系.1. 回歸分析回歸分析(RegressionAnalysis),就是一種研究自變量(是可控變量時(shí))與因變量(隨機(jī)變量)之間的統(tǒng)計(jì)相關(guān)關(guān)系的統(tǒng)計(jì)方法.從自變量和因變量的一組觀測(cè)數(shù)據(jù)出發(fā)，尋找一個(gè)函數(shù)式，將變量之間的統(tǒng)計(jì)

3、相關(guān)關(guān)系近似表達(dá)出來，這個(gè)能近似表達(dá)自變量與因變量之間關(guān)系的函數(shù)，稱為回歸函數(shù).2. 回歸的分類依照回歸函數(shù)是線性的還是非線性的，分為線性回歸(LinearRegression)和非線性回歸(NonlinearRegression)；依照回歸函數(shù)是一元函數(shù)還是多元函數(shù)，又可分為一元回歸(SimpleRegression)和多元回歸(MultipleRegression).§5.1一元線性回歸中的參數(shù)估計(jì) 一元線性回歸的數(shù)學(xué)模型與主要問題I(1)一元回歸的數(shù)學(xué)模型一元回歸模型：設(shè)x是一元可控變量，Y是依賴于x的隨機(jī)變量，二者具有相關(guān)關(guān)系，通常稱x為自變量或預(yù)報(bào)變量；Y為因變量或響應(yīng)變量

4、.設(shè)想Y的值由兩部分組成：一部分是由X能夠決定的，記為f(x);另一部分是由其它未加考慮的因素(包括隨機(jī)因素)所產(chǎn)生的影響，看作隨機(jī)誤差，記為，且有理由要求E(，)=0.故有富菖(5.1-1)稱(5.1-1)式為Y對(duì)x的一元回歸模型，f(x)為回歸函數(shù)；其中E(Y)=f(x),稱y=f(x)為回歸方程. 一元線性回歸模型：若進(jìn)一步假定回歸函數(shù)為f(x)=如§x,且存在D(')=。2,則有(5.Y=尸§x*£IE(g=0,D(廣a1-2)稱(5.1-2)式為Y對(duì)x的一元線性回歸模型，其中腐點(diǎn)，*均為未知參數(shù)，%?i稱為回歸系數(shù)，而E(Y)=$+以，此時(shí)回歸方

5、程y=r3x是線性方程，稱為回歸直線. 一元正態(tài)線性回歸模型：應(yīng)用中，為對(duì)回歸方程的合理性進(jìn)行檢驗(yàn)，還假定5-N(0,02),于是模型(5.1-2)化為：Y=傷+&x+&I8N(0,/)(5.1-3)稱(5.1-3)式為Y對(duì)x的一元正態(tài)線性回歸模型，此時(shí)YN(缸§x,U).為研究x與Y之間的內(nèi)在關(guān)系，在x=xi,x2，為的點(diǎn)上，做n次獨(dú)立試驗(yàn)，得至。y=yi,V、,yn,于是有點(diǎn)(xi,yi),(x2,y2),(xn,yn).畫出散點(diǎn)圖，如果這n個(gè)點(diǎn)(n很大時(shí))分布在一條直線附近，直觀上就可認(rèn)為x與Y的關(guān)系具有(5.1-3)式的模型。將yi視為Yi的子樣值，模型(5.

6、1-3)又化為Yi=店*5Xi*?,(i=1,2,n)3N(0,a),且相互獨(dú)立(5.1-4)顯然此時(shí)有YN(甬+阪.，o2),且當(dāng)i=1,2，n時(shí)相互獨(dú)立.由(xi,yi),(X2,y2),(Xn,yn)求出回歸系數(shù)京&的估計(jì)值$,上后得到直線方AA程y=有+牧，稱為經(jīng)驗(yàn)回歸直線.經(jīng)驗(yàn)回圖1,圖2yYi的試驗(yàn)值yY白修驗(yàn)回歸值E(Y)=C+#iXjI (2)一元線性回歸的主要問題對(duì)未知參數(shù)岳，g,C2的估計(jì)；對(duì)參數(shù)及回歸模型的假設(shè)檢驗(yàn); 對(duì)因變量Y的預(yù)測(cè)。對(duì)未知參數(shù)%?i/2的估計(jì) 島，國的最小二乘估計(jì)已知x與Y試驗(yàn)值(Xi,yi),(X2,y2),(Xn，Yn)，構(gòu)造Y的試驗(yàn)值Yi

7、與理論回歸值E(Y)=尸洶的離差平方和nn2,、2QM,&)二=£(Yi一傳一洶)2i=1i=1(5.1-5)以使Q(尚，國)取得最小值的p0?i為島"i的估計(jì)值，稱之為最小二乘估計(jì).為此，令Q于是有關(guān)于n-2成宙目Xi)=0i=1n2、3、-仿-目為以=0i=160,&的線性方程組nnn仿('X、)&='y、ji=1i=1廠Xi)仿廠Xi2)&='Xiyii=1i=1i=1(5.1-6)(5.1-6)式的解0,1是由容量為n的子樣值得到的，只在這n個(gè)點(diǎn)處Y的試驗(yàn)值yi與理論回歸值尸&為的離差平方和最小，因此，

8、解p0?1不是如&的真值,只是估計(jì)值。故有A.A.rx=yAAXAX2卜xy(5.1-7)其中X='nXjy=lznyini=i,n商,ni=i,1xy=一'、ni=iXiyi(5.1-7)式稱為正規(guī)方程組.解得fAxy-xy1p1-T221x-xAA.6o=y-x61(5.1-8)(5.1-8)式中的岳，&稱為未知參數(shù)如3i的最小二乘估計(jì)。于是經(jīng)驗(yàn)回歸直線A.A.A.A.A.y=端+'x'y-x')+%x='(x-x)+y,即：經(jīng)驗(yàn)回歸直線恒過點(diǎn)(X,y). 。2的矩估計(jì)v8N(0,a)，-。2=D(')=EC2),則可

9、用廣的子樣均值1*%2去估計(jì)其母nin體均值=E。2）,即有/但氣2=（丫-際）2,其中如6i未知,以其最小二乘估計(jì)代替，于是"2的矩估計(jì)為21n212=_£(Y傳一§Xi)2=_Qminni=in(5.1-9)其中Qmin稱為殘差平方和。將(5.1-8)式中的，0=y-x&i代入,得nQmin=£Yi一(Y一X&)-&xi之i=1n-='(丫-丫)-&(Xi-x)2i=1n_2n=-(丫-Y)2-01'(Xi-x)2i=1i=1(5.1-10)于是211n-22Qmin"(Y-Y)2nn舊21n

10、_2§(%-x)?=sY-§sxn=1估計(jì)度的另一組表達(dá)式nLyy八(yi-y)2=ns2i=1n-n禮貝u(5.1-8)記Lxx='(x-x)2=nS；i=1Lxy='M-x)(yi-y)='Wi=1i=1(5.1-10)(5.1-11)式分別化為Lxy1Lxx0y一3ix(5.1-8)2Q.=LRL=L-RL*minyyMxyyyMxx(5.1-10)2。2Qmin(Lyy-§Lxy)(Lyy-&Lxx)nnn(5.1-11)未知參數(shù)估計(jì)量的分布對(duì)于一元正態(tài)線性回歸模型（5.1-4）有定理5.1.1:E（冬廣仿，£（3

11、1廣$.AA即（5.1-8'）式中的估計(jì)量%i分別是S§的無偏估計(jì).22八1X）八（T仿小（知（一+=）/）,&N（&,）JnLxxLxx-、一1-2，一定理5.1.2：Qmin（2），且Qmin分別與&，&相互獨(dú)立。（說明：二次型nQmin=£（Yi-尚-中的冬，&滿足正規(guī)方i-1程組（5.1-7）,即有2個(gè)獨(dú)立的線性約束條件，故自由度是n-2）。-QE（罰廣n-2,從而E（。2）=E（Q皿廣E（Qmjn工三2即矩nn7n,、，一21估計(jì)°-nQmin只是°的一個(gè)漸近無偏估計(jì).為糾偏，令°*2=

12、72°2=尚2，則E（b5=。2,即=圭Qmin是。2的一個(gè)無偏估計(jì).定理5.1.3：國.、*國加-2）.（由（T定理5.1.1、定理5.1.2®及t分布定義可以證得）定理5.14cov（Y,&）=0.子樣相關(guān)系數(shù)及意義占八、為刻畫（Xi，yi）,（x2，y2），（Xn，yn）之間線性關(guān)聯(lián)程度，（1）定義：1丁,一、,一、一（Xi-x）（yi-y）ni=i2Lnni=i1n91n9'（為-x）'（乂-y）ni=i可以證得卜5L（2）意義:xyLyy&LxyQminLxxyyLyyLyyLyy故r越接近1時(shí)，Qmin越接近0,說明線性回歸分析的

13、效果越好；特別，當(dāng)|=1時(shí)，Qmin=0,說明觀測(cè)點(diǎn)(xi，yi),(x2，y2),，(xn，yn)全部落在經(jīng)驗(yàn)回歸直線y=稅&x上例5.1.1測(cè)量上海市13歲男孩的平均體重Y,得到如下數(shù)據(jù)：年齡xi(歲)1.01.52.02.53.0平均體重Vi(kg)9.7510.8112.0712.8813.74(1) 又設(shè)Yi=iV"i+§,廣N(0,b2),且相互獨(dú)立，i=1,2,5.AA求仿，&的最小二乘估計(jì)S3,;(2) 求殘差平方和Qmin，標(biāo)準(zhǔn)差°的估計(jì)'*，子樣相關(guān)系數(shù)r.解：先畫散點(diǎn)圖>>X=1.01.52.02.53.0

14、;>>Y=9.7510.8112.0712.8813.74;>>plot(X,Y,'ro')141312A111011.522.53X(1)由于n=5,x=2,Lxx=nS2=2.5y=11.85,Lyy=nS2=10.173,Lxy='XiYi-nxy=5.025故Lxyxx5.0252.5=2.01y-1x=11.85-2.012=7.83于是經(jīng)驗(yàn)回歸直線為y=7.832.01x.可以將經(jīng)驗(yàn)回歸直線與散點(diǎn)圖畫在一起.>>holdon>>y=7.83+2.01*X;>>plot(X,y,'b'

15、)9L“,11.522.53x(2),'0.07275、'5-2r=Lxy=0.15575.025Qmin=Lyy-1Lxy=10.173-2.015.025=0.072750.9964vLxxLw、2.510.173xxyy可見這組數(shù)據(jù)下的年齡與平均體重的線性關(guān)聯(lián)程度很高。例5.1.2（P222Ex5.1）過原點(diǎn)的一元回歸的線性模型為Yi=。X+'i,（i=1,2，n）,其中si之間獨(dú)立，且%N（0,。2）.試由（xw）用最小二乘法估計(jì)°；用矩法估計(jì)。2.解：回歸模型為丫=%«,故（xi,yi）滿足yi=小，（i=1'2，n）,離差平方和n

16、nQ（廣'i2='（V"為）2inin為求使Q(6)=minQ(E)成立的，令Q(6)疽,段、-=-2(yi-0町為i=inn2、2('Xi)"'皿=0i=1i=1nLi=1n'Xi2i=1Xiyixy2X其中:1nXy=ni=i。2的矩估計(jì):1-N(0,o2)Lni=in2Xi-b2=D(e)=E(?)-E2(e)=E(£2),則。2的矩估計(jì)為nn21212/=7/=£(y：3為)22L21n2V、-2Xyj一、'Xini=1ni=1ni=12=yxx(xy)22x例5.1.3(P224Ex5.7)具有重

17、復(fù)試驗(yàn)一元線性回歸表述如下：對(duì)x，丫做n次試驗(yàn)，x=xi,x2，x，在每一個(gè)x=xi上對(duì)Y作mi次試驗(yàn)，其觀察值為ryii,乂2",y",而mn.一元回歸的線i=1性模型為Yj=以以、,N(0,建)且相互獨(dú)立，(i=1,2,r;j=1,2,m)試求%/i的最小二乘估計(jì)。解：E(Yj)=曠&為,(i=1,2，r;j=1,2",m),離差平方和rmirmiQ(仿，&)='£用之=*£(yj-&-際)2i=1j=1i=1j=1為求國使Q（仿，國）=minQ（仿，國）,令rmi-2-仿-i=1j=1rmi-2、m-國-i

18、=1j=1Pi%)=0&用為=0rmirmin店+GzXi)$=zzYiji=1j=1i=1j=1rmirmirmi2、-r'、Xi)店(wXi)&=''XiyijIi=1j=1i=1j=1i=1j=1亦即r(:i=1rn尚Ci=1miXi)尚rmimiXi)61='vyji=1j=1rrmi('miXi2)&'Xiyji=1i=1j=1簡(jiǎn)記為rAA"X&=y1一AA-2-XX61=Xy解此正規(guī)方程組得A3ixy-xyLxy亍F一Vx-xLxxAy一3ix由下表易求M線y=&+&x.&am

19、p;的值，得到經(jīng)驗(yàn)回歸直xi*2xx=&mixini=i一ir21=2x=nni=imim2-myii,y2",yimiy2i,y22,y2m2yri,yr2,yrmr-i«v=一££%ni=ij=imixyijaxy2jmx£yrjj=i_irmiirxy=苔£w=(例5.1.4(P224Ex5.8)對(duì)自變量和因變量都分組的情形，經(jīng)驗(yàn)回歸直線的配置方法如下：對(duì)x和Y作n次試驗(yàn)，得n對(duì)試驗(yàn)值，把自變量的試驗(yàn)值分成r組，組中值記為x，x2",x，各組以組中值為代表；把因變量是的試驗(yàn)值分成s組，組中值記為山必"

20、必，同樣各組以組中值為代表。若Eyj）有m.對(duì),rs(i=1,2,r;j=1,2",s)，乏£mj=n.試求i=1j=1&，&的最小二乘估計(jì)。解：設(shè)Yj=a"Xi+，ij,qN(0,b2),則E(Yj)=10+所，(i=1,2,“，r;j=1,2，"，s),離差平方和rs2Q(知，目)八'、mij(yj-份-aXi)i=1j=1八八AA為求用，&使Q（ft,&廣minQ（知&）,令rs=-2'"mij(yj-仿-秋)=0i=1j=irs-2、'mij(yj-由-刷為)為=0i=1jBki=1j=1rs(''mjXi)&i=1j=1rs'mijsmijXi)仿('i=1j=