一元線性回歸

12．9一元線性回歸以前我們所研究的函數(shù)關(guān)系是完全確定的，但在實(shí)際問(wèn)題中，常常會(huì)遇到兩個(gè)變量之間具有密切關(guān)系卻又不能用一個(gè)確定的數(shù)學(xué)式子表達(dá)，這種非確定性的關(guān)系稱(chēng)為相關(guān)關(guān)系。通過(guò)大量的試驗(yàn)和觀察，用統(tǒng)計(jì)的方法找到試驗(yàn)結(jié)果的統(tǒng)計(jì)規(guī)律，這種方法稱(chēng)為回歸分析。一元回歸分析是研究?jī)蓚€(gè)變量之間的相關(guān)關(guān)系的方法。如果兩個(gè)變量之間的關(guān)系是線性的，這就是一元線性回歸問(wèn)題。一元線性回歸問(wèn)題主要分以下三個(gè)方面：（1）通過(guò)對(duì)大量試驗(yàn)數(shù)據(jù)的分析、處理，得到兩個(gè)變量之間的經(jīng)驗(yàn)公式即一元線性回歸方程。（2）對(duì)經(jīng)驗(yàn)公式的可信程度進(jìn)行檢驗(yàn)，判斷經(jīng)驗(yàn)公式是否可信。（3）利用已建立的經(jīng)驗(yàn)公式，進(jìn)行預(yù)測(cè)和控制。12．9．1一元線性回歸方程1．散點(diǎn)圖與回歸直線在一元線性回歸分析里，主要是考察隨機(jī)變量y與普通變量x之間的關(guān)系。通過(guò)試驗(yàn)，可得到x、y的若干對(duì)實(shí)測(cè)數(shù)據(jù)，將這些數(shù)據(jù)在坐標(biāo)系中描繪出來(lái)，所得到的圖叫做散點(diǎn)圖。例1在硝酸鈉（NaNO3）的溶解度試驗(yàn)中，測(cè)得在不同溫度x（°C）下，溶解于100份水中的硝酸鈉份數(shù)y的數(shù)據(jù)如下：X.0410152129366168y.66.771.076.380.685.792.999.4113.6125.1——±4 1 1 1 1 給出散點(diǎn)圖并試建X與y的經(jīng)驗(yàn)公式。解將每對(duì)觀察值（x.,y.）在直角坐標(biāo)系中描出，得散點(diǎn)圖如圖12.11所示。從圖12.11可看出，這些點(diǎn)雖不在一條直線上，但都在一條直線附近。于是，很自然會(huì)想到用一條直線來(lái)近似地表示x與y之間的關(guān)系，這條直線的方程就叫做y對(duì)x的一元線性回歸方程。設(shè)這條直線的方程為y=a+bx其中a、b叫做回歸系數(shù)（$表示直線上y的值與實(shí)際值y.不同）。圖12.11下面是怎樣確定a和b，使直線總的看來(lái)最靠近這幾個(gè)點(diǎn)。2．最小二乘法與回歸方程在一次試驗(yàn)中，取得n對(duì)數(shù)據(jù)（x.，y.），其中y.是隨機(jī)變量y對(duì)應(yīng)于x.的觀察值。我們所要求的直線應(yīng)該是使所有丨y—$丨之和最小的一條直線，其中$.=a+bx.o由于絕對(duì).i.值在處理上比較麻煩，所以用平方和來(lái)代替，即要求a、b的值使Q=￡（$-$）2最小。ii利用多元函數(shù)求極值的方法求回歸系數(shù)a、b， 八一利用多元函數(shù)求極值的方法求回歸系數(shù)a、b， 八一a=y-bx入Lb=Lxx其中x=1工xnii=1—y)=工xy—nxyi iii=1b稱(chēng)為參數(shù)a、b的最小二乘估計(jì)，上這里n=9,g,”)由例1給出，計(jì)算出x=26,y=90.1444,L=工x2—9x2=10144xxii=1=工（X一X）2==工（X一X）2=￡x2一nx2iii=1 i=1nixxi=1L=￡(y—y)2=工y2—ny2，l=工(x—x)(yyy i i xy ii=1 i=1 i=1從而得到一元線性回歸方程y=a+bx。其中a,述方法叫做最小二乘估計(jì)法。下面計(jì)算例1中y對(duì)x的一元線性回歸方程。—9X262=4060L=￡y2—9y2=76218.17—9X90.14442=3083.9822TOC\o"1-5"\h\zyy ii=1L=為xy—9Xy=24628.6—9X26X90.1444=3534.8xy iii=1fL 3534.8 .-；-b=—= =0.8706a=y—bx=90.1444—0.8706X26=67.5078L4046xy故所求回歸方程為 y=67.5078+0.8706x12．9．2一元線性回歸的相關(guān)性檢驗(yàn)上面介紹了由試驗(yàn)數(shù)據(jù)求出回歸方程的最小二乘法，但是在使用這種方法之前，并沒(méi)有判定兩個(gè)變量之間是否具有線性的相關(guān)關(guān)系。因此，即使在平面上一些并不呈現(xiàn)線性關(guān)系的點(diǎn)之間，也照樣可以求出一條回歸直線，這顯然毫無(wú)意義。因此，我們要用假設(shè)檢驗(yàn)的方法進(jìn)行相關(guān)關(guān)系的檢驗(yàn)，其方法如下：假設(shè)H°：y與x存在密切的線性相關(guān)關(guān)系。0L計(jì)算相關(guān)系數(shù)r=xy=:LLxxyy給定a，根據(jù)自由度n—2,查項(xiàng)關(guān)系數(shù)表，求出臨界值入。作出判斷：如果丨r丨三入時(shí)，接受假設(shè)H。，即認(rèn)為在顯著性水平a下，y與x的線性相關(guān)關(guān)系較顯著；如果|r|V入時(shí)，則可認(rèn)為在顯著性水平a下，y與x的線性相關(guān)關(guān)系不顯著，即拒絕假設(shè)H。。例2檢驗(yàn)例1中的y與x的線性關(guān)系是否顯著？取水平a=0.05。解假設(shè)H°：y與x存在密切的線性相關(guān)關(guān)系。L 3534.8r=xy= =0.9990■LL ＜4060x3083.9822*xxyya=0.05，n—2=7，查表得入=0.6666 IrI=0.9990＞入=0.6666所以接受假設(shè)H°,即在水平a=0.05下認(rèn)為y與x間的線性相關(guān)關(guān)系較顯著。12．9．03預(yù)測(cè)與控制在求出隨機(jī)變量y與變量x的一元線性回歸方程，并通過(guò)相關(guān)性檢驗(yàn)后，便能用回歸方程進(jìn)行預(yù)測(cè)和控制。1．預(yù)測(cè)（1） 點(diǎn)預(yù)測(cè)：對(duì)給定的x=x0，根據(jù)回歸方程求得yo=a+bx0，作為y0的預(yù)測(cè)值，這種方法叫做點(diǎn)預(yù)測(cè)。（2） 區(qū)間預(yù)測(cè)：區(qū)間預(yù)測(cè)就是對(duì)給定的x=xo，利用區(qū)間估計(jì)的方法求出y0的置信區(qū)間。對(duì)給定的x=x0，由回歸方程可計(jì)算一個(gè)回歸值y=a+bx0000設(shè)在x=xo的一次觀察值為『0，記￡0=y0—yo ￡i=yi—y, （i=l,2,…,n）其中y.為對(duì)應(yīng)x.的觀察值，亍為對(duì)應(yīng)x.的回歸值。iiii一般地（特別當(dāng)n很大時(shí)）￡0與￡1，￡2，…，￡相互獨(dú)立，而且服從同一正態(tài)分布0 1 2 nN（0，O2）?？梢宰C明，統(tǒng)計(jì)量&2=S2 是O2的無(wú)偏估計(jì)量，其中yn—2Q=￡￡2=￡（y—y）2=L—bL。從而可近似地認(rèn)為y0y0?N（0,1）TOC\o"1-5"\h\zi iiyyxy Si=1 i=1 y于是，我們得到y(tǒng)0的95%預(yù)測(cè)區(qū)間為 （亍0—1.96Sy,y°+1.96Sy）,y0的99%預(yù)測(cè)區(qū)間為（y—2.58S，y+2.58S）0 y0 y上述預(yù)測(cè)區(qū)間在n較大且（x0—X）較小時(shí)適用。例3某種合金鋼的抗拉強(qiáng)度y與鋼中含碳量x（質(zhì)量份數(shù)）有關(guān)，測(cè)得數(shù)據(jù)如下：X：(%)y：(kg/mm^)x：(%)y：(kg/mm^)0.0540.80.1345.60.0741.70.1445.10.0841.90.1648.90.0942.80.1850.00.1042.00.2055.00.1143.60.2154.80.1244.80.2360.0（1）檢驗(yàn)抗拉強(qiáng)度y與含碳量x之間是否存在顯著的線性相關(guān)關(guān)系。如果存在，求y與x的線性回歸方程。(2)預(yù)測(cè)當(dāng)含碳量為0.15%時(shí)，抗拉強(qiáng)度的變化區(qū)間(取置信水平為0.95)。解由數(shù)據(jù)計(jì)算得X=0.134,y=46.929；L=0.2899—14X0.1342=0.0401，xxL=91.909—14X0.134X46.929=4.1526，L=31295.60—14X46.9292=463.5286。xy yy4.1526(1)現(xiàn)在計(jì)算相關(guān)系數(shù) r= =0.9630.0401x463.5286查相關(guān)系數(shù)表，當(dāng)a=0.05，n—2=14—2=12時(shí)，臨界值入=0.532因?yàn)樨璻丨＞入，所以抗拉強(qiáng)度y與含碳量x之間線性相關(guān)關(guān)系較顯著。‘L 4.1526下面求a及b的估計(jì)值：b=牡= =103.56L 0.0401Xya=y—bx=46.929—103.56X0.134=33.05

(2)當(dāng) x0=0.15 (2)當(dāng) x0=0.15 時(shí)，「 '463.5286-103.56x4.1526S—y 14-2=1.670=33.05103.56X0.15=48.584所以,y的95%預(yù)測(cè)區(qū)間為 (48.524—1.96X1.670,48.524+1.96X1.670)即(45.31,51.86)2．控制控制是預(yù)測(cè)的反問(wèn)題，就是如何控制x值使y落在指定范圍內(nèi)，也就是給定y的變化范圍求x的變化范圍。如果希望y在區(qū)間(y],y2)內(nèi)取值(『]與y2已知)，則x的控制區(qū)間的兩個(gè)端點(diǎn)x1>x2可由下述方程解出2y=a+bx一3S<1 八 八1 yy=a+bx+3S2 2 y當(dāng)回歸系數(shù)b>0時(shí)，控制區(qū)間為(X],x2)；當(dāng)b<0時(shí)，控制區(qū)間為(x2，X])。應(yīng)當(dāng)指出下面兩點(diǎn)：y的取值范圍一般僅限于在已試驗(yàn)過(guò)的y的變化范圍之內(nèi)，不能任意外推；對(duì)y的指定區(qū)間(y],y2)不能任意小，按上面的方程組計(jì)算時(shí)，『]、y2必須滿足y2—y1>6S時(shí)，所求的x的控制區(qū)間才有意義。例4在例3中,如果要求抗拉強(qiáng)度y在41.5?54之間，問(wèn)含碳量x(%)應(yīng)如何控制？解依題意y]=41.5,y2=54，由方程組y=a+bx—3S 「41.5=33.05+103.56x—3x1.670y=a