補充：線性回歸與方差分析

1、第第5 5章章 線性回歸分析與方差分析線性回歸分析與方差分析5.1 5.1 一元線性回歸分析一元線性回歸分析 5.2 5.2 可線性化的非線性回歸可線性化的非線性回歸5.3 5.3 多元線性回歸簡介多元線性回歸簡介5.4 5.4 方差分析方差分析5.1 5.1 一元線性回歸分析一元線性回歸分析 在許多實際問題中，我們常常需要研究多個變量之間的相互關(guān)系。一般來說，變量之間的關(guān)系可分為兩類：一類是確定性關(guān)系，確定性關(guān)系是指變量之間的關(guān)系可以用函數(shù)關(guān)系來表達，例如電流I電壓V電阻R之間有關(guān)系式V=IR。 另一類是非確定性關(guān)系，有些變量之間的關(guān)系是非確定性的關(guān)系，這種關(guān)系無法用一個精確的函數(shù)式來表示。

2、 例如，農(nóng)作物的單位面積產(chǎn)量與施肥量之間有密切的關(guān)系，但是不能由施肥量精確知道單位面積產(chǎn)量，這是因為單位面積產(chǎn)量還受到許多其他因素及一些無法控制的隨機因素的影響。 又如，人的身高與體重之間存在一種關(guān)系，一般來說，人身高越高，體重越大， 但同樣高度的人，體重卻往往不同。這種變量之間的不確定性關(guān)系稱之為相關(guān)關(guān)系。對于具有相關(guān)關(guān)系的變量，雖然不能找到他們之間的確定表達式，但是通過大量的觀測數(shù)據(jù)，可以發(fā)現(xiàn)他們之間存在一定的統(tǒng)計規(guī)律，數(shù)理統(tǒng)計中研究變量之間相關(guān)關(guān)系的一種有效方法就是回歸分析。一、 一元線性回歸模型 其中yi是x=xi時隨機變量Y的觀測結(jié)果.將n對觀測結(jié)果（xi，yi）（i=1,n）在直角

3、坐標系中進行描點，這種描點圖稱為散點圖散點圖.散點圖可以幫助我們精略地看出Y與x之間的某種關(guān)系. 假定我們要考慮自變量x與因變量Y之間的相關(guān)關(guān)系假設(shè)x為可以控制或可以精確觀察的變量，即x為普通的變量。由于自變量x給定后，因變量Y并不能確定，從而Y是一個與x有關(guān)的隨機變量我們對于可控制變量x取定一組不完全相同的值x1，xn，作n次獨立試驗，得到n對觀測結(jié)果：（x1,y1） ，（x2,y2），（xn, yn）例例1 對某廣告公司為了研究某一類產(chǎn)品的廣告費x用與其銷售額Y之間的關(guān)系，對多個廠家進行調(diào)查，獲得如下數(shù)據(jù) 廠 家123456789廣告費6102140626290100120銷售額31581

4、24220299190320406380 廣告費與銷售額之間不可能存在一個明確的函數(shù)關(guān)系，事實上，即使不同的廠家投入了相同的廣告費，其銷售額也不會是完全相同的。影響銷售額的因素是多種多樣的，除了廣告投入的影響，還與廠家產(chǎn)品的特色、定價、銷售渠道、售后服務以及其他一些偶然因素有關(guān)。 畫出散點圖如圖5-1所示.從圖中可以看出，隨著廣告投入費x的增加，銷售額Y基本上也呈上升趨勢，圖中的點大致分布在一條向右上方延伸的直線附近.但各點不完全在一條直線上，這是由于Y還受到其他一些隨機因素的影響.這樣，Y可以看成是由兩部分疊加而成，一部分是x的線性函數(shù)a+bx，另一部分是隨機因素引起的誤差 ，即Y=a+bx

5、+oxy10020030040050020406080100120L*這就是所謂的這就是所謂的一元線性回歸模型一元線性回歸模型 圖5-1 相互獨立niiiiNnibxay,), 0(, 112一般地，假設(shè)x與Y之間的相關(guān)關(guān)系可表示為bxaY(1)其中：a, b為未知常數(shù)2),0(2N為隨機誤差且未知，x與Y的這種關(guān)系稱為一元線性回歸模型y=a+bx稱為回歸直線 b稱為回歸系數(shù)),(2bxaNY此時對于（x, Y）的樣本（x1，y1），（xn，yn）有：一元線性回歸主要解決下列一些問題： （1）利用樣本對未知參數(shù)a、b、 進行估計； （2）對回歸模型作顯著性檢驗； （3）當x=x0時對Y的取值作

6、預測，即對Y作區(qū)間估計. 2ba, xbay如果由樣本得到式（1）中，a, b的估計值 ，則稱 為擬合直線或經(jīng)驗回歸直線，它可作為回歸直線的估計二、 參數(shù)a、b、 的估計最小二乘法就是選擇a，b的估計 ，使得Q(a, b)為最?。▓D5-2） ba, 2現(xiàn)在我們用最小二乘法來估計模型（1）中的未知參數(shù)a,b.niniiiibxaybaQQ1122)(),(記稱Q(a, b)為偏差平方和圖5-20)2( )(),(0)2( )(),(11iniiiniiixbxaybaQbbxaybaQa為了求Q（a, b）的最小值，分別求Q關(guān)于a，b的偏導數(shù)，并令它們等于零：經(jīng)整理后得到式（2）稱為正規(guī)方程組.

7、 niiiniiniiniiniiyxbxaxbbxna112111（2）niiiniixxyyxxb121)()()(xbyaniniiiynyxnx111,1由正規(guī)方程組解得其中用最小二乘法求出的估計 、 分別稱為a、b的最小二乘估計a b由矩估計法，可用 估計2Eniin121)(xxbyxbay此時，擬合直線為2下面再用矩法求 的估計22ED 由于，a、b分別由 、 代入iiiya bx a b而2niiixbayn122)(1故 可用作估計對于估計量 、 、 的分布，有：a b2定理定理1niinixxnxaNa121212)(,（1）niixxbNb122)(,（2）) 2(222

8、nn（3）2a b（4）分別與 、 獨立。323. 0b37. 4 a064. 422例2 在例1中可分別求出a、b、 的估計值為：故經(jīng)驗回歸直線為：Y=4.37+0.323x三、線性回歸的顯著性檢驗 在實際問題中，事先我們并不能斷定Y與x確有線性關(guān)系，Y=a+bx+ 只是一種假設(shè).下面說明這一檢驗的方法.當然，這個假設(shè)不是沒有根據(jù)的，我們可以通過專業(yè)知識和散點圖來作出粗略判斷.但在求出經(jīng)驗回歸方程后，還需對這種線性回歸方程同實際觀測數(shù)據(jù)擬合的效果進行檢驗.若假設(shè)Y=a+bx+ 符合實際，則b不應為零因為如果b=0，則Y=a+意味著Y與x無關(guān)所以Y=a+bx是否合理，歸結(jié)為對假設(shè)：0:1bHH

9、0: b=0進行檢驗下面介紹檢驗假設(shè)H0的二種常用方法.)1 ,0()(12Nxxbnii)2(222nn且 與 獨立b21t檢驗法若H0成立，即b=0，由定理7.1知，)2(|2ntT)2(2/)(2212ntnnxxbTnii因而)2(|2ntTP故為顯著性水平即得H0的拒絕域為niiniiniiiYYxxYYxxR12121)()()(2相關(guān)系數(shù)檢驗法取檢驗統(tǒng)計量通常稱R為樣本相關(guān)系數(shù).類似于隨機變量間的相關(guān)系數(shù)，R的取值r反映了自變量x與因變量Y之間的線性相關(guān)關(guān)系.可以推出:在顯著性水平 下,當|rr時拒絕H0r其中臨界值 在附表中給出相關(guān)系數(shù)檢驗法相關(guān)系數(shù)檢驗法是工程技術(shù)中廣是工程技

10、術(shù)中廣泛應用的一種檢泛應用的一種檢驗方法驗方法（1）x對Y沒有顯著影響；（2）x對Y有顯著影響，但這種影響不能用線性相關(guān)關(guān)系來描述；（3）影響Y取值的，除x外，另有其他不可忽略的因素. 當假設(shè) 被拒絕時，就認為Y與x存在線性關(guān)系，從而認為回歸效果顯著；0:0bH若接受H0，則認為Y與x的關(guān)系不能用一元線性回歸模型來描述，即回歸效果不顯著.此時，可能有如下幾種情形：因此，在接受H0的同時，需要進一步查明原因分別處理，此時，專業(yè)知識往往起著重要作用. 四、預測000bxay), 0(20N00 xbay當經(jīng)過檢驗發(fā)現(xiàn)回歸效果顯著時，通過回歸模型可對Y的取值進行預測. 即當x=x0時，對Y作區(qū)間估計

11、.設(shè)當x=x0時Y的取值為y0，有可以取經(jīng)驗回歸值) 2()()(112122000ntxxxxnnnyyTnii1)2(|2ntTP作為y0的預測值.可以證明從而可得)(),(0000 xyxyniixxxxnnnntx122020)()(112) 2()(1所以，給定置信概率 ，Y0的置信區(qū)間為其中)(20 x可以看出在x0處y的置信區(qū)間的長度為xx0當 時置信區(qū)間的長度最短，估計最精確，置信區(qū)間愈長，估計的精度愈差。22) 2(untxx012nn) , (2020uyuyx當n很大且x0位于 附近時，有1于是y0的置信概率為 的預測區(qū)間近似為)05. 0(例3 檢驗例2中的回歸效果是否

12、顯著，當x0=80時，求出Y0的預測區(qū)間。解解 經(jīng)計算 T=16.9 r=0.98查表，得t0.025（9）=2.26 r0.05=0.602易見，t檢驗法、相關(guān)系數(shù)檢驗法都拒絕H0，即回歸效果顯著。21.310y于是，當x0=80時，y0的預測值為y0的95%的預測區(qū)間為（24.73，35.69）5.2 5.2 可線性化的非線性回歸可線性化的非線性回歸 在實際問題中，常常會遇到這樣的情形：散點圖上的幾個樣本數(shù)據(jù)點明顯地不在一條直線附近，而在某曲線周圍： 或者，用線性回歸方程描述變量間的關(guān)系計算的結(jié)果與樣本值誤差較大，這表明變量之間不存在線性相關(guān)關(guān)系，而是一種非線性的相關(guān)關(guān)系.下面舉例說明對這

13、類問題用線性化處理的方法。例例1 在彩色顯像技術(shù)中，考慮析出銀的光學密度x與形成染料光學密度Y之間的相關(guān)關(guān)系，其中11個樣本數(shù)據(jù)如下所示：xi0.050.060.070.100.140.200.250.310.380.430.47yi0.100.140.230.370.590.791.001.121.191.251.29解解 根據(jù)這11個樣本數(shù)據(jù)點（xi,yi）作出散點圖（圖5-3）.圖5-3從散點圖上看出，這些數(shù)據(jù)點在一條曲線L周圍.xy1lnln根據(jù)有關(guān)的專業(yè)知識，結(jié)合散點圖，可以認為曲線L大致為：xey)0,(對上式兩邊取對數(shù)：yylnxx1lnab令xbay即有：0.250.220.1

14、70.110.00-0.24-0.53-0.99-1.47-1.97-2.302.132.332.633.234.005.007.1410.0014.2916.6720.00 xx1yyln于是數(shù)據(jù)（ ）相應地變換成（ ）iiyx ,iiyx,將變換后的數(shù)據(jù)點（ ）畫出散點圖（圖5-4）iiyx,從散點圖可以看出 與 具有線性相關(guān)關(guān)系，因此用一元線性回歸分析.xy利用一元線性回歸的方法可以計算出 與 的經(jīng)驗回歸方程為xy15. 058. 0 xy圖5-4可求得x與y之間相關(guān)關(guān)系的一個經(jīng)驗公式：79. 158. 0eea15. 0 bxey15.079.1這里a=0.58，b= -0.15所以3

15、32.1213.9142.443.8619.729.95時間時間t（分（分秒秒）15001000800400200100距離距離x（米）（米）例例2 賽跑是大家熟知的一種體育活動。下表給出了截至1997年底在6個不同的距離上中短跑成績的世界記錄：試根據(jù)這些記錄數(shù)據(jù)分析出運動員的賽跑成績與所跑距離間的相關(guān)關(guān)系。解解 根據(jù)記錄數(shù)據(jù)點（xi，ti）作出散點圖 (圖5-5)圖5-5從散點圖上看出，全部點（xi，ti）分布在一條曲線附近，因而x與t之間可以存在一種線性關(guān)系。 我們用一無線性回歸分析，可計算出x與t間的線性回歸模型為 t=-99.9+0.1455x由此模型，當x=100,200,400,8

16、00,1000,1500(米)時，t的理論值分別為:4.56, 19.10,48.20,146.4,215.5,328.2可以看出t的理論值與實際記錄數(shù)據(jù)多數(shù)都比較接近。仔細分析，可發(fā)現(xiàn)線性回歸模型的一些不合理之處。如：當賽跑距離小于68米時，所需時間為負值；當賽跑距離為100米時所需時間只須4.56.再仔細分析，發(fā)現(xiàn)：短距離100米、200米及長距離1500米需要的時間實際值均高于線性模型的理論值，而中間的400米、800米、1000米需要的時間實際值均低于線性模型的理論值.它告訴我們x與t的關(guān)系可能為一曲線，且曲線是下凸的。具有這種性質(zhì)的最簡單曲線當屬冪函數(shù)：t=axb 它告訴我們x與t的

17、關(guān)系可能為一曲線，且曲線是下凸的。對上式二邊取對數(shù)lnt=lna+blnx令t=lnt a=lna x=lnx得t= a+bx為一線性關(guān)系具有這種性質(zhì)的最簡單曲線當屬冪函數(shù)：t=axbaea用一元線性回歸分析估計a、b，從而算出最后可得t與x間的冪函數(shù)模型： t=0.48x1.145當x=100，200，400，800，1000，1500（米）時，利用冪函數(shù)模型算出t的理論值分別為：9.39,20.78,45.96,141.68, 211.29,328.88比較計算結(jié)果可知：冪函數(shù)模型比線性回歸模型更能確切地反映t與x間的關(guān)系。5.3 5.3 多元線性回歸簡介多元線性回歸簡介 其中b0，b1，

18、bp， 為與x1，xp無關(guān)的未知參數(shù)。2假定要考察p個自變量x1，x2，xp與因變量Y之間的相關(guān)關(guān)系。 ppxbxbbY110), 0(2N設(shè)這就是p元線性回歸模型iippiixbxbby 110), 0(2Ni對變量x1，xp,Y作n次觀測得到樣本值：iipyxx;,1 （ ） i=1,，n這里y1，yn獨立、同分布，且有nyyyY21npnnppxnxxxxxxxX212222111211111pbbbb10n21為了簡化數(shù)學處理，引進矩陣表示，記 XbY則等式iippiixbxbby110i=1，,n可表示為pbbb,10用最小二乘法求未知參數(shù)的估計，即參數(shù) niTippiiXbYXbY

19、xbxbbyQ12110)()()(應使為最小YXXXbbbbTTp110)(ppxbxbbY110根據(jù)高等數(shù)學中求最小值的方法，可求得b0，b1，bp的估計：從而得到Y(jié)與x1，xp的經(jīng)驗回歸方程： 類似于一元線性回歸，多元線性回歸模型的假設(shè)是否符合實際，同時需要進行假設(shè)檢驗。 另外，在實際問題中，影響因變量Y的因素往往很多.如果將它們都取作自變量，必然會導致所得到的回歸方程很復雜。 因而，我們應剔除那些對Y影響較小的自變量，保留對Y有顯著影響的自變量，以便我們對變量間的相關(guān)變化有更明確的認識。 在此我們對多元性回歸分析作一簡單介紹.在實際問題中多元線性回歸的應用非常廣泛，有興趣的讀者可以查閱

20、有關(guān)的專門書籍。5.4 5.4 方差分析方差分析 一、單因素方差分析 在實際問題中，影響一事物的因素往往是很多的。例如，在化工生產(chǎn)中，有原料成分、原料劑量、催化劑、反應溫度、壓力、反映時間等因素，每一因素的改變都有可能影響產(chǎn)品的質(zhì)量。有些因素影響較大，有些影響較小.方差分析就是根據(jù)試驗的結(jié)果進行分析，鑒別各有關(guān)因素對試驗結(jié)果影響的有效方法。在試驗中，將要考察的指標稱為試驗指標，影響試驗指標的條件稱為因素因素因素所處的狀態(tài)稱為該因素的水平水平如果試驗僅考慮一個因素，則稱為單因素試驗單因素試驗，否則稱為多因素試驗多因素試驗.我們先討論單因素試驗例例1 某消防隊要考察4種不同型號冒煙報警器的反應時間

21、（單位：秒）。今將每種型號的報警器5個安裝在同一條煙道中，當煙量均勻時觀測報警器的反應時間，得數(shù)據(jù)如下：報警器型號報警器型號反反 應應 時時 間間A1（甲型）（甲型）5.26.34.93.26.8A2（乙型）（乙型）7.48.15.96.54.9A3（丙型）（丙型）3.96.47.99.24.1A4（丁型）（丁型）12.39.47.810.88.5這里，試驗的指標是報警器的反應時間，報警器為因素。4種不同型號的報警器是因素的4個不同水平。這是一個單因素試驗.我們要考察：各種型號的報警器的反應時間有無顯著性差異？如果各種型號的報警器的反應時間有顯著性差異，那么何種型號的報警器最優(yōu)？ 4321,4

22、3210:H43211,:H上表中數(shù)據(jù)可看作來自4個不同總體（每個水平對應一個總體）的樣本值，將各個總體均值依記為則各型號報警器的反應時間有無顯著性差異的問題相當于需檢驗假設(shè)不全相等。若再假定各總體均值為正態(tài)總體，且各總體方差相等，那么這是一個檢驗同方差的多個正態(tài)總體均值是否相等的問題。顯然，檢驗假設(shè)H0可以用前面所講的t檢驗法，只要檢驗任何二個總體均值相等就可以了。下面所要討論的方差分析法就是解決這類問題的一種檢驗方法。但是這樣做要檢驗3次，比較繁瑣.總體均值總體均值樣本均值樣本均值Xs2X22X12Xs1X21X11AsA2A1 水平水平觀測值觀測值 .SX1S2.2X22nX.1Xssn

23、X11nX設(shè)影響指標值的因素A有s個水平A1，A2，As)2(iinn在水平Ai（i=1,s）下，進行 次獨立試驗，得樣本Xij，j=1，ni：injijiiXnX11si, 1sinjijiXnX111siinn1假定水平Ai下的樣本來自正態(tài)總體 ， 未知，且不同水平Ai下的樣本獨立),(2iN2,i記),(2iijNX有j=1,，ni i=1，sXij相互獨立), 0(2Nij于是ijiijXij為隨機誤差由假設(shè)在方差分析中，為了便于推廣到多因素試驗的情形，習慣上又有下列表示式：ijiijXj=1,，ni i=1，s iisiiin10siiinn11其中稱 為總平均is,1稱 為水平Ai

24、的效應，滿足0:210sHs21現(xiàn)在，要檢驗等價于檢驗sH,:211不全為零下面從平方和的分解著手,導出上述假設(shè)H0的檢驗方案sinjijTiXXS112)(記ST能反映全部試驗數(shù)據(jù)之間的差異，因此稱ST為總偏總偏差平方和差平方和sinjijTiXXS112)(sinjiiijiXXXX112)()(sinjiiijiXXXX112)()(sinjsinjiiijiijiiXXXXXX11112)(2)(sinjiiXX112)(sinjisiiiijiXXnXX11212)()(由于sinjiijEiXXS112)(siiiAXXnS12)(于是有平方和分解式：ST=SE+SA其中稱SE為誤

25、差平方和誤差平方和，SA為因素A的平方和的平方和SE反映了各水平Ai內(nèi)由于隨機誤差而引起的抽樣誤差SA反映了因素A的水平不同而引起的誤差外加隨機誤差定理定理1)(122snSE（1）（2）SE與ST相互獨立；01s) 1(122sSA（3）當 時， 。0:10sH)() 1(snSsSFEA為了檢驗取FF（s-1，n-s）當H0成立時，由定理1，直觀上，當H0成立時，由因素水平的不同引起的偏差相對于隨機誤差而言可以忽略不計，即F的值應較小；反之，若F值較大，自然認為H0不成立。), 1(snsFF若檢驗結(jié)果認為假設(shè)H0不成立，則可用 作為 的點估計，或者對 進行區(qū)間估計。iXii), 1(sn

26、sFFP由得到：在顯著性水平 下H0的拒絕域：計算F的值可用表9-1所示的方差分析表n-1ST總和總和n-sSE誤差誤差s-1SA因素因素AF值值均方和均方和自由度自由度平方和平方和偏差來源偏差來源1sSSAAsnSSEEEASSF 表表5-1 單因素方差方析表單因素方差方析表來源來源平方和平方和自由度自由度均方和均方和F值值因素因素A56.29318.76F=6.15誤差誤差48.77163.05在實際應用中，一般在 下若仍不能拒絕H0時則接受原假設(shè)H010. 0例例2 在例1中，s=4,n1=n2=n3=n4=5,n=20，經(jīng)計算列方差分析表如下：查表，得F0.10（3.16）=2.46，

27、F0.05（3.16）=3.2410. 010. 0從而在顯著性水平下檢驗結(jié)果拒絕H028. 51X56. 62X30. 63X76. 94X28. 5156. 6230. 6376. 94由方差分析可知，4種型號的報警器的反應時間確有顯著性差異計算：故即反應時間較短的是甲，丙次之二、雙因素方差分析。假定要考察兩個因素A、B對某項指標值的影響因素A取s個水平A1，A2，As因素B取r個水平B1，B2，Br在A、B的每對組合水平（Ai，Bj）上作一次試驗，試驗結(jié)果為Xij，i=1，s；j=1，r。所有Xij獨立，數(shù)據(jù)列于下表：XsrXs2Xs1A As sX2rX22X21A2X1rX12X11

28、A1BrB2B1 因素因素B因素因素ArX2 X1 XjX sX 2X 1X iXsiXrXrjiji, 2 , 111rjXsXriijj, 2 , 111其中要考察因素A、B是否指標值產(chǎn)生顯著性影響？),(2ijijNX設(shè)ijijijX則有),0(2Nij為隨機誤差，且ij相互獨立 i=1，s j=1，, r再假定在水平組合（Ai, Bj）下的效應可以用水平Ai下的效應（記為 ）與水平Bj下的效應（記為 ）之和來表示，ij即jiij其中sirjijrs111sii10rjj100:2101sH0:2102rH作假設(shè)ij如果H01成立，那么 與i無關(guān)這表明因素A對指標值無顯著影響同樣，作假設(shè)ij如果H02成立，則 與i無關(guān)這表明因素B對指標值無顯著影響sirjijXrsX111rsjiijTXXS12)(siiAXXrS12)(rjjBXXsS12)(sirjjiijEXXXXS112)(類似于單因素方差分析，通過下面的平方和分解式可以檢驗假設(shè)H01，H02記EBATSSSS通過簡單推導可以證明下列平方和分解式：2SA是由因素A的