線性回歸推導及實例

1、X與Y的關系數(shù)據(jù)點基本落在一條直線附近。這告訴我們，變量X與Y的關系大致可看作是線性關系，即它們之間的相互關系可以用線性關系來描述。但是由于并非所有的數(shù)據(jù)點完全落在一條直線上，因此并沒有確切到可以唯一地由一個X值確定一個Y值的程度。其它因素，諸如其它微量元素的含量以及測試誤差等都會影響Y的測試結果。如果我們要研究X與Y的關系，可以作線性擬合我們稱(2-1-1)式為回歸方程，a與b是待定常數(shù)，稱為回歸系數(shù)。從理論上講，(2-1-1)式有無窮多組解，回歸分析的任務是求出其最佳的線性擬合。二、最小二乘法原理如果把用回歸方程'=十雙計算得到的川i值(i=1,2,n)稱為回歸值，那么實際測量值y

2、i與回歸值i之間存在著偏差，我們把這種偏差稱為殘差，記為ei(i=1,2,3,n)。這樣，我們就可以用殘差平方和來度量測量值與回歸直線的接近或偏差程度。殘差平方和定義為：Q三0(祖=J卜當月一跖喧京必厘方西)口(2-1-2)所謂最小二乘法，就是選擇a和b使Q(a,b)最小，即用最小二乘法得到的回歸直線?津,8工是在所有直線中與測量值殘差平方和值總是存在的。下面討論的三、正規(guī)方程組根據(jù)微分中求極值的方法可知,Q最小的一條。由(2-1-2)式可知Q是關于a,b的二次函數(shù)，所以它的最小a和b的求法。Q(a,b)取得最小值應滿足逗=oda3Q門-U(2-1-3)由(2-1-2)式，并考慮上述條件，則d

3、a=-2工仇-0占3匹=Q(2-1-4)(2-1-4)式稱為正規(guī)方程組。解這一方程組可得(2-1-5)其中(2-1-6)MH1HM£也-初%-刃=£%乂一2-1典i-12£七聞一的=春-(2-1-7)(2-1-8)(2-1-9)1-114儲1式中，Lxy稱為xy的協(xié)方差之和，Lxx稱為x的平方差之和。如果改寫(2-1-1)式，可得1P切一人k+&芯或y-y-x-x由此可見，回歸直線是通過點(亂了)的，即通過由所有實驗測量值的平均值組成的點。從力學觀點看,(冗用即是n個散點(玉，辦)的重心位置。現(xiàn)在我們來建立關于例1的回歸關系式。將表2-1-1的結果代入(2

4、-1-5)式至(2-1-7)式，得出a=1231.65b=-2236.63因此，在例1中灰鑄鐵初生奧氏體析出溫度(y)與氮含量(x)的回歸關系式為y=1231.65-2236.63x四、一元線性回歸的統(tǒng)計學原理如果X和Y都是相關的隨機變量，在確定x的條件下，對應的y值并不確定，而是形成一個分布。當取確定的值時，Y的數(shù)學期望值也就確定了，因此Y的數(shù)學期望是x的函數(shù)，即E(Y|x=x)=f(x)(2-1-10)這里方程f(x)稱為Y對X的回歸方程。如果回歸方程是線性的，則E(Y|X=x)=a+3x(2-1-11)或Y=a+3x+e(2-1-12)其中£一隨機誤差從樣本中我們只能得到關于特

5、征數(shù)的估計，并不能精確地求出特征數(shù)。因此只能用f(x)的估計式y(tǒng)a門工來取代(2-1-11)式，用參數(shù)a和b分別作為“和3的估計量。那么，這兩個估計量是否能夠滿足要求呢？1 .無偏性把(x,y)的n組觀測值作為一個樣本，由樣本只能得到總體參數(shù)“和3的估計值?？梢宰C明，當滿足下列條件：(1)(xi,yi)是n個相互獨立的觀測值(2)是服從"也”)分布的隨機變量則由最小二乘法得到的a與b分別是總體參數(shù)“和3的無偏估計，即E(a)=aE(b)=3由此可推知AE()=E(y)即y是回歸值在某點的數(shù)學期望值。2 .a和b的方差可以證明，當n組觀測值（xi,yi）相互獨立，并且D（yi尸（y2,

6、時，a和b的方差為。電二哈（2-113）口-Lpf同方"%n（2-1-14）以上兩式表明，a和b的方差均與Xi的變動有關，Xi分布越寬，則a和b的方差越小。另外a的方差還與觀測點的數(shù)量有關，數(shù)據(jù)越多，a的方差越小。因此，為提高估計量的準確性，Xi的分布應盡量寬，觀測點數(shù)量應盡量多。建立多元線性回歸方程，實際上是對多元線性模型（2-2-4）進行估計，尋求估計式（2-2-3）的過程。與一元線性回歸分析相同，其基本思想是根據(jù)最小二乘原理，求解力產(chǎn)使全部觀測值用與回歸值H的殘差平方和達到最小值。由于殘差平方和Q力-珀3,力北一（44瓦西1+如豆+40）廣1-1J（2-2-5）是包劣凡的非負二

7、次式，所以它的最小值一定存在。根據(jù)極值原理，當Q取得極值時，稀/卜上，應滿足由（2-2-5）式，即滿足，乂+%由+3%）卜口i-1見習力一小十包。十%十%。）*=0U1+/%+%和）%=0一ZfM一色十仇。十%玉十%）5=。(2-2-6)U-i（2-2-6）式稱為正規(guī)方程組。它可以化為以下形式HX*叫十（20也十（2?揖尹川十（工當bHri-lUL睥.JBRRDm十（工再；曲十£天-十01,電=工碣乂i-li-Ji-li-i：肅X-M（£%泡十（£%鼻溝十（Z%玉,泡十十但片）=受與凹(2-2-7)i-li-li>li-li-l如果用A表示上述方程組的系數(shù)矩

8、陣可以看出A是對稱矩陣。則有(2-2-8)式中X是多元線性回歸模型中數(shù)據(jù)的結構矩陣,比'是結構矩陣X的轉(zhuǎn)置矩陣。（2-2-7）式右端常數(shù)項也可用矩陣D來表示因此（2-2-7）式可寫成(2-2-9)(2-2-10)(2-2-11)Ab=D或（xxyb-XY如果A滿秩（即A的行列式*）那么A的逆矩陣A1存在，則由（2-10）式和（2-11）式得/的最小二乘估計為(2-2-12)b=/”£>=五幻7里¥也就是多元線性回歸方程的回歸系數(shù)。為了計算方便往往并不先求（無幻“，再求b,而是通過解線性方程組（2-2-7）來求bo（2-2-7）是一個有p+1個未知量的線性方程組

9、，它的第一個方程可化為(2-2-13)瓦一了一瓦司一與片&網(wǎng)式中1x=-X'八12邛盟2-1(2-2-14)將（2-2-13）式代入（2-2-7）式中的其余各方程，得上他十工1也十十上1/7=%2A+4向+4%=474al十/與十十上浮%=上期(2-2-15)其中上聲=工%-弓）（弧-冗）=-（工叼）（£%）2-11-1#i-1國龍程超J=工函-用）3-于）=工再涓-（工際立卬、用】內(nèi)儲15（2-2-16）將方程組（2-2-15）式用矩陣表示，則有Lb=F（2-2-17）其中于是b=L-1F（2-2-18）因此求解多元線性回歸方程的系數(shù)可由（2-2-16）式先求出L,

10、然后將其代回（2-2-17）式中求解。求b時，可用克萊姆法則求解，也可通過高斯變換求解。如果把b直接代入（2-2-18）式，由于要先求出L的逆矩陣，因而相對復雜一些。例2-2-1表2-2-1為某地區(qū)土壤內(nèi)含植物可給態(tài)磷（y）與土壤內(nèi)所含無機磷濃度（X1）、土壤內(nèi)溶于K2CO溶液并受澳化物水解的有機磷濃度（x2）以及土壤內(nèi)溶于&CQ溶液但不溶于澳化物的有機磷（x3）的觀察數(shù)據(jù)。求y對X1,X2,X3的線性回歸方程。表2-2-1土壤含磷情況觀察數(shù)據(jù)樣本序號土堞中含碟星ppm土漂中植梭可給態(tài)-y白卬Y03q,邦Eri心10.4JZ153£420.42/163603工.1S377J4

11、061刀61547.4五耳461.7心J2j77191H6£1R101幻1P消911C然173931Q125%1125111io.y3711：7b1223.14C11406n制1snP4?71421（5gY汨1523.1561639516q3614<415八產(chǎn)o4U.O5E20215S1£29.95199計算如下：1X行=-=11,944盟1X禹二=42.11川M1片自三一=123.。wM*y=-yyj=81.278由（2-2-16）式X&L工（仙-見）（4-網(wǎng)）=H52.96S-1工（福一第1）（。一五）=10X561-L212-1%三-凡）（%=1200=

12、4i-）小£（孫-石）5力-方）-1752963-11-2（。-石乂迎-心卜3364-&U143=26一-居）三35572U1£心25廿一五)5,一記3231一48i-LH-W(yi-y)-2216.44i-1%三£(七和色一四三8931-1代入(2-2-15)式得75Z966&十10£5一6仍3十120。%=32314S1085.61+315578%+3364-2216.44(2-2-19)其中若用克萊姆法則解上述方程組，則其解為233Q-23zzZ1111i3TLLITL1-A-3IT(2-2-20)J2O0It!+3364d2+35

13、572d=733計算得bi=1.7848,b2=-0.0834,b3=0.1611回歸方程為A三y_-%弓-冬片三J3.67y=43.67+1.784甌-0.0834%+0.1611/應用克萊姆法則求解線性方程組計算量偏大，下面介紹更實用的方法一一高斯消去法和消去變換。在上一節(jié)所介紹的非線性回歸分析，首先要求我們對回歸方程的函數(shù)模型做出判斷。雖然在一些特定的情況下我們可以比較容易地做到這一點，但是在許多實際問題上常常會令我們不知所措。根據(jù)高等數(shù)學知識我們知道，任何曲線可以近似地用多項式表示，所以在這種情況下我們可以用多項式進行逼近，即多項式回歸分析。一、多項式回歸方法假設變量y與x的關系為p次

14、多項式，且在Xi處對y的隨機誤差邑(i=1,2,n)服從正態(tài)分布N(0,次)，則y產(chǎn)尻+回%+昆短+%蟆+號Q3切令2PXil=Xi,Xi2=Xi,，Xip=Xi則上述非線性的多項式模型就轉(zhuǎn)化為多元線性模型，即距回+01殉+昆蟲外%十務(24電(i=12城這樣我們就可以用前面介紹的多元線性回歸分析的方法來解決上述問題了。其系數(shù)矩陣、結構矩陣、常數(shù)項矩陣分別為A=XfX-工看工工：3(2-4-11)(2-4-13)(2-4-14)X的j次項x對y是否有顯著(2-4-15)回歸方程系數(shù)的最小二乘估計為需要說明的是，在多項式回歸分析中，檢驗bj是否顯著，實質(zhì)上就是判斷影響。對于多元多項式回歸問題，也

15、可以化為多元線性回歸問題來解決。例如，對于乂二回中小陽1+四2儲十區(qū)2彳+乩2，i工迫十+令Xi1=Zi1,Xi2=Zi2,Xi3=Zi12,Xi4=ZlZ2,Xi5=Z22則(2-4-15)式轉(zhuǎn)化為Xi=A+色七十£平日十十號轉(zhuǎn)化后就可以按照多元線性回歸分析的方法解決了。下面我們通過一個實例來進一步說明多項式回歸分析方法。一、應用舉例例2-4-2某種合金中的主要成分為元素A和B,試驗發(fā)現(xiàn)這兩種元素之和與合金膨脹系數(shù)之間有一定的數(shù)量關系，試根據(jù)表2-4-3給出的試驗數(shù)據(jù)找出y與X之間的回歸關系。y137.03.40237.5E00313S.03.0043區(qū)52.27539.02.10

16、639,51.83740.01.5384。.51.70941.01.8Q1041.51.901142.02.351242.52.541343.02.90表2-4-3例2-4-2試驗數(shù)據(jù)首先畫出散點圖（圖2-4-3）。從散點圖可以看出，y與x的關系可以用一個二次多項式來描述:乂二鳳十戶內(nèi)十瓦工；十片i=1,2,3,13圖2-4-3例2-4-2的散點圖令Xil=Xi,Xi2=Xi；M三A十£1/1+/與公？十J2-4-3給現(xiàn)在我們就可以用本篇第二章介紹的方法求出慶慶慶的最小二乘估計。由表出的數(shù)據(jù)，求出笈=40房=16035=23323由（2-2-16）式1占口=£（網(wǎng)再/=消1

17、32513U1X%-W時-用）5匕-%）-3640i-1iji-in-3640%=2-刃"-4時UL%二工6一弓）3-歹）=-3的530=2-XIs=42212i-i由此可列出二元線性方程組產(chǎn)5次+364%-4.871364+291525.13=-3斃期將這個方程組寫成矩陣形式，并通過初等變換求bi,b2和系數(shù)矩陣L的逆矩陣L-1：f、（455364。-487101i364029132513-3688301H0-13J85451.125-0639328101016598-0.639337991db/于是bi=-13.3854b2=0.16598b0=2.3323+13.3854:40-0.1659811603.5=271.599因此fi=271.599-13.3854x+0.16598a下面對回歸方程作顯著性檢驗：由(2-2-43)式£斗4=3,網(wǎng)。S回=1由（2-2-42）式42212S殘=Lyy-S回=0.2572將上述結果代入表2-2-2中制成方差分析表如下：表2-4-4方差分析表沖方和自由度均方F