最小二乘法概述

最小二乘法一、 簡介最小二乘法，又稱最小平方法，是一種數(shù)學(xué)技術(shù)。它通過最小誤差的平方和尋找數(shù)據(jù)函數(shù)的最佳匹配。最小二乘法是提供“觀測組合”的主要工具之一，它依據(jù)對某事件的大量觀測而獲得“最佳”結(jié)果或“最可能”表現(xiàn)形式。如已知兩變量為線性關(guān)系y二a+bx，對其進(jìn)行n(n>2)次觀測而獲得n對數(shù)據(jù)。若將這n對數(shù)據(jù)代入方程求解a,b之值則無確定解。最小二乘法提供了一個求解方法，其基本思想就是尋找“最接近”這n個觀測點的直線。最小二乘法不僅是19世紀(jì)最重要的統(tǒng)計方法，而且還可以稱為數(shù)理統(tǒng)計學(xué)之靈魂。相關(guān)回歸分析、方差分析和線性模型理論等數(shù)理統(tǒng)計學(xué)的幾大分支都以最小二乘法為理論基礎(chǔ)。作為其進(jìn)一步發(fā)展或糾正其不足而采取的對策，不少近現(xiàn)代的數(shù)理統(tǒng)計學(xué)分支也是在最小二乘法基礎(chǔ)上衍生出來的。最小二乘法之于數(shù)理統(tǒng)計學(xué)，有如微積分之于數(shù)學(xué)，這并非夸張之辭。統(tǒng)計學(xué)應(yīng)用的幾個分支如相關(guān)分析、回歸分析、方差分析和線性模型理論等，其關(guān)鍵都在于最小二乘法的應(yīng)用不少現(xiàn)代的統(tǒng)計學(xué)研究是在此法的基礎(chǔ)上衍生出來，作為其進(jìn)一步發(fā)展或糾正其不足之處而采取的對策，如回歸分析中一系列修正最小二乘法而產(chǎn)生的估計方法等就是最好的例子。二、 創(chuàng)立思想勒讓德在先驅(qū)者解線性方程組的基礎(chǔ)上，以整體的思想方法創(chuàng)立了最小二乘法；高斯由尋找隨機(jī)誤差函數(shù)為突破，以獨特的概率思想導(dǎo)出了正態(tài)分布，詳盡地闡述了最小二乘法的理論依據(jù)。最小二乘法(OLSE)的思想就是要使得觀測點和估計點的距離平方和達(dá)到最小，在各方程的誤差之間建立一種平衡，從而防止某一極端誤差，對決定參數(shù)的估計值取得支配地位，有助于揭示系統(tǒng)的更接近真實的狀態(tài)。這里的“二乘”指的是用平方來度量觀測點與估計點的遠(yuǎn)近，“最小”指的是參數(shù)的估計值要保證各個觀測點與估計點的距離的平方和達(dá)到最小。三、 原理設(shè)一組數(shù)據(jù)(x,y)(i二1,2,…,n),現(xiàn)用近似曲線y7(x)擬合這組數(shù)據(jù)，“擬ii合得最好”的標(biāo)準(zhǔn)是所選擇的申(x)在X處的函數(shù)值申(x)(i二1,2,…,n)與i iy(i=1,2,…,n)相差很小，即偏差(也稱殘差)申(x)-y(i=1,2,…,n)都很小?一i i i種方法是使偏差之和工［申(x)—y］很小來保證每個偏差都很小?但偏差有正有i=1負(fù)，在求和的時候可能相互抵消?為了避免這種情況,還可使偏差的絕對值之和工I申(x)-yI為最小?但這個式子中有絕對值符號，不便于分析討論?由于任何實i ii=1數(shù)的平方都是正數(shù)或零，因而我們可選擇使“偏差平方和工冷(x)-y］2最小”的iii=1原則來保證每個偏差的絕對值都很小，從而得到最佳擬合曲線y=p(x)?這種“偏差平方和最小”的原則稱為最小二乘原則，而按最小二乘法原則擬合曲線的方法稱為最小二乘法或稱最小二乘曲線擬合法.一般而言，所求得的擬合函數(shù)可以使不同的函數(shù)類，擬合曲線P(x)都是由m個線性無關(guān)函數(shù)Q(x)，p(x)，?，p(x)的線性組合而成，即1 2 mp(x)=p(x)=ap11(x)(x)(x)(m<n一1)，其中a,a，…，a為待定系數(shù)?線性無關(guān)函數(shù)p(x)，p(x),…p(x)，稱為基1 2 m 1 2 m函數(shù)，常用的基函數(shù)有：多項式：1,x，x2，?，xm；三角函數(shù)：sinx，sin2x，?…,sinmx;指數(shù)函數(shù)：eS,e?x, ,ej,e^x,…，最小二乘法又稱曲線擬合,所謂“擬合”，即不要求所作的曲線完全通過所有的數(shù)據(jù)點,只要求所得的近似曲線能反映數(shù)據(jù)的基本趨勢，它的實質(zhì)是離散情況下的最小平方逼近.四、運(yùn)用曲線擬合做最小二乘法1—元線性擬合已知實測到的一組數(shù)據(jù)(x,y)(i=1,2,…,n),求作這組數(shù)據(jù)所成的一元線性關(guān)系式?ii設(shè)線性關(guān)系式為y=a+bx，求出a和b即可.Rs Rs令s=F(y一a一bx)2,則a,b要滿足一=0,一=0,即,貝I」a,b要滿足i i Ra Rbdads一=一2為(y-a-bx)=0ddads一=一2為(y-a-bx)=0da ,i i< i=1ds .、一=一2為(y-a-bx)x=0db . i i i化簡得p nna乙x十b乙x2=乙xyi i iii=1 i=1 i=1從中解出V p、 >n1n乙xy一乙x乙ii *b=i=1n乙x2—ii=1i4=1——?i)、i=1丿 17' b7'a=—乙y——乙xn.,in.,ii=1 i=1(1)法二：將x,y代入y=a+bx得矛盾方程組y=a+bx■i iy=a+bx2 2y=a+bxnn令A(yù)=r1x)11x2，B=ry]1y2Jx丿nlyn丿,則(2)式可寫成B=A,則對應(yīng)的正規(guī)方程組為AtB=AtA，所以=(AtA)-1AtB，其中A稱為結(jié)構(gòu)矩陣，B稱為數(shù)據(jù)矩陣，ATA稱為信息矩陣，atB稱為常數(shù)矩陣.2多元線性擬合設(shè)變量y與n個變量x，x，?，x(n>1)內(nèi)在聯(lián)系是線性的，即有如下關(guān)系式1 2 ny=a+Yax，設(shè)x的第i次測量值為x，對應(yīng)的函數(shù)值為y(i=1,2,…,m)，則偏差平0 jj j j i方和為s=為(y-y')2=z(y-a-為ax)2,為了使s取最小值得正規(guī)方程組ii i0 iiji=1 i=1 j=1dsda0ds<da=-2為i=1=-dsda0ds<da=-2為i=1=-2昱i=1>n1y-a-乙axi0jij丿j=i 丿y-a一工axi0 j=1jij丿x=0iidsdani=1yi-a0-為j=1jijinTOC\o"1-5"\h\zI ( 、I》xa=lLy0 .Iij丿j.ij=1z=1, I=1 k=1,2,…,n. (4)xa+乞|》xxa=》xyik0 \ijik丿j ikili=1 j八i=1 丿 i=1將實驗數(shù)據(jù)(x,y)代入(4)式，即得a,a, ,a.ii 0 1 m3指數(shù)函數(shù)擬合科學(xué)實驗得到一組數(shù)據(jù)(x,y)(i=1,2,…,n)時，還可以考慮用指數(shù)函數(shù)為基函數(shù)來擬ii合，此時設(shè)擬合函數(shù)具有形式y(tǒng)=aebx(a,b為待定系數(shù))?對上式兩端取自然對數(shù)可得：(9)Iny=Ina+(9)令Y=Iny,b=lna，則(9)式可轉(zhuǎn)化為一元線性函數(shù)形式Y(jié)=b+bx，此時將指數(shù)函00數(shù)擬合轉(zhuǎn)化成了一元線性擬合，利用一元線性擬合中的兩種方法均可求出b°和b，繼而根據(jù)a=e如可求出a，從而得出因變量y與自變量x之間的函數(shù)關(guān)系式y(tǒng)=aebx=ebc+bx4對數(shù)函數(shù)擬合科學(xué)實驗得到一組數(shù)據(jù)(x,y)(i=1,2,…,n)時，還可以考慮用對數(shù)函數(shù)為基函數(shù)來擬ii合，此時設(shè)擬合函數(shù)具有形式y(tǒng)=a+blnx(x>0)(a,b為待定系數(shù)).b>0時，y隨x增大而增大，先快后慢；b<0時，y隨x增大而減小，先快后慢?當(dāng)以y和lnx繪制的散點圖呈直線趨勢時，可考慮采用對數(shù)函數(shù)描述y與x之間的非線性關(guān)系，式中的b和a分別

為斜率和截距?這時令X=Inx，就可以利用一元線性擬合的方法來求解.更一般的對數(shù)函數(shù)還可設(shè)為y=a+bIn（x+k）,式中k為一常量.五舉例例1使電流通過2O的電阻，用伏特表測量電阻兩端的電壓V.測得數(shù)據(jù)如下表:It/A1246810Vt/V1.83.7&212.015.820.2試用最小二乘法建立I與V之間的一元經(jīng)驗公式（有效數(shù)字保留到小數(shù)點后第3位）.解：可取一次線性關(guān)系式V=a+bl作為I與V之間的一元經(jīng)驗公式.將數(shù)據(jù)代入得矛盾方程組a+b=1.8a+2b=3.7a+4b=8.2Va+6b=12.0a+8b=15.8a+10b=20.2‘11「‘11「‘1.8'123.714，B=8.21612.01815.8、110,、20.2‘,則上述矛盾方程組可寫成矩陣形式A正規(guī)方程組AtA-AtB=0,將數(shù)據(jù)代入即得‘631、‘a(chǎn)]<31221丿3丿‘61.7、、442.4丿解之得‘61.7、、442.4丿Ib=2.032V=-0.2+15I2..例2在在開發(fā)一種抗過敏性的新藥時，要對不同劑量的藥效進(jìn)行實驗.10名患者各服用了該新藥的一個特定的劑量?藥物消失時立即紀(jì)錄?觀測值列于下表中?x是劑量，y是癥狀消除持續(xù)的日數(shù)?用7個不同的劑量，其中3個劑量重復(fù)給兩名患者?試給出y與x之間的元經(jīng)驗公式（保留3位有效數(shù)字）.12345678910￡x/mgi334566788959y/di95129141622182422151

x2i991625363649646481389xyii2715484584961541441921981003解：可設(shè)y與X之間的經(jīng)驗公式為y二a+bx.由上表可知,Sx=59Sx=59,Sy=151,Sxy=1003,Sx2=389,|Si ii=1 i=1xyiii=1X2ii=1=3481再由（1）式可求得,10^xy—SxSyii iib=10^xy—SxSyi