最小二乘法及其應用..

1、最小二乘法及其應用1引言最小二乘法在19世紀初發(fā)明后,很快得到歐洲一些國家的天文學家和測地學家的廣泛關注。據(jù)不完全統(tǒng)計,自1805年至1864年的60年間,有關最小二乘法的研究論文達256篇,一些百科全書包括1837年出版的大不列顛百科全書第7版,亦收入有關方法的介紹。同時,誤差的分布是“正態(tài)”的,也立刻得到天文學家的關注及大量經(jīng)驗的支持。如貝塞爾(F.W.Bessel,17841846)對幾百顆星球作了三組觀測,并比較了按照正態(tài)規(guī)律在給定范圍內(nèi)的理論誤差值和實際值,對比表明它們非常接近一致。拉普拉斯在1810年也給出了正態(tài)規(guī)律的一個新的理論推導并寫入其分析概論中。正態(tài)分布作為一種統(tǒng)計模型,在

2、19世紀極為流行,一些學者甚至把19世紀的數(shù)理統(tǒng)計學稱為正態(tài)分布的統(tǒng)治時代。在其影響下,最小二乘法也脫出測量數(shù)據(jù)意義之外而發(fā)展成為一個包羅極大,應用及其廣泛的統(tǒng)計模型。到20世紀正態(tài)小樣本理論充分發(fā)展后,高斯研究成果的影響更加顯著。最小二乘法不僅是19世紀最重要的統(tǒng)計方法,而且還可以稱為數(shù)理統(tǒng)計學之靈魂。相關回歸分析、方差分析和線性模型理論等數(shù)理統(tǒng)計學的幾大分支都以最小二乘法為理論基礎。正如美國統(tǒng)計學家斯蒂格勒(S.M.Stigler)所說，“最小二乘法之于數(shù)理統(tǒng)計學猶如微積分之于數(shù)學”。最小二乘法是參數(shù)回歸的最基本得方法所以研究最小二乘法原理及其應用對于統(tǒng)計的學習有很重要的意義。2.最小二乘

3、法所謂最小二乘法就是：選擇參數(shù)b,b，使得全部觀測的殘差平方和最小.01用數(shù)學公式表示為：min工e2i=工(Y-Y)2ii=工(Y-b-bx)2i01i為了說明這個方法，先解釋一下最小二乘原理，以一元線性回歸方程為例.一元線性回歸方程)由于總體回歸方程不能進行參數(shù)估計，我們只能對樣本回歸函數(shù)來估計即：Y=b+bx+e(i=l,2n)i01ii從上面的公式可以看出：殘差e是Y的真實值與估計值之差，估計總體ii回歸函數(shù)最優(yōu)方法是，選擇B,B的估計量b,b，使得殘差e盡可能的小.0l0li總之，最小二乘原理就是選擇樣本回歸函數(shù)使得所有Y的估計值與真實值差的平方和為最小，這種確定b,b的方法叫做最小

4、二乘法。0l最小二乘法是回歸分析中的最基本的方法?；貧w方程一般分為2類，線性回歸方程和非線性回歸方程。2.1線性回歸最小二乘法最小二乘法是由實驗或調(diào)查的數(shù)據(jù)，建立線性型公式的一種常用方法.在建立線性型公式中，雖然有很多種不同的方法來求樣本回歸函數(shù)(即真實總體回歸函數(shù)的估計值)，但是在回歸分析中最廣泛應用的方法是最小二乘法.如果變量x和y有精確的線性關系比如說y=ax+b，那么y=§即觀測ii值與回歸值是相等的.事實上現(xiàn)實世界中的諸多變量的關系未必都是如此，由于受諸多隨機因數(shù)的干擾使得物與物之間沒有那種很明確的對應關系.比如說人的身高和體重就是一個對應，我們都知道長的高的人不一定就重，

5、同理長的矮的人也不一定就輕.但身高和體重的確存在著一定的關系，而這種關系并非是y=ax+b所能確定的.那么我們要尋求身高和體重之間的關系就需要通過數(shù)學的方法.首先調(diào)查統(tǒng)計得出數(shù)據(jù);其次把數(shù)據(jù)描繪出來；然后擬合一條跟已有的圖象最接近的曲線，這樣就可以相對地將身高和體重之間的關系表示出來.在處理類似的事情中常常用到最小二乘法.2.2非線性回歸最小二乘法13非線性回歸的種類很多，常用的有拋物線方程(Y=a+bX+cX2)、指數(shù)方程(Y=abx)等。設已知列表函數(shù)y=f(x)(i=0,1,.,m)并且我們想用一個通常的iin(<m)次多項式p(x)=a+ax+.+axnn01n去近似它。問題是應

6、該如何選擇a,a，a使p(x)能較好地近似列表函01nn1)數(shù)f(X)。按最小二乘法，應該選擇a，a，a01n使得S(a，a，.，a01ni=0)=蘭(f(x.)-P(x)2)取最小。注意到S是非負的，且是a,a，a的2次多項式，它必有最小值。01n求S對a,a，a的偏導數(shù)，并令其等于零，得到01n遲(y-a-ax-.-axn)xk=0(k=0,1,.,n)i01iniii=0進一步，可以將它們寫成步，遲yxk=aiii=o引進記號0i=oxk+airxk+i+.+a遲1ii=oxk+n(k=0,1,n.,nii=osa+sa+sa0011nnsa+sa+sa1021-n+n1sa+sa+sa

7、0n+11-4n2n=unu,0=u,1yxkiii=os=kii=o則上述方程組為(3)它的系數(shù)行列式是Xn+1s0s1s1s2snsn+1sn+1由s.(i=0,1,2n)的定義及行列式性質(zhì)，可以斷言iXn+1=侖)£(W(g0g1汕-(4)此處符號W表Vandermonde行列式，而工是對所有可能的g(i=0,1,n)求i和(每個g可以取值x,x,x,并且當i豐j時gMg。由(4)式及i1mijVandermonde行列式的性質(zhì)可知，當x,x,x互異時,01gog20W(g,g,g)=1n11g1g211ng2ng1n從而，Xm0(>0)方程組(3)有唯一解,a，且它們使

8、(2)取極n+101n小值如此，我們應用最小二乘法找到了f(x)的近似多項式p(x)n在利用最小二乘法組成和式(2)時，所有點x都起到了同樣的作用，但i是有時依據(jù)某種理由認為工中的某些項的作用大些，而另外一些作用小些(例如，一些y是由精度較高的儀器或操作上比較熟練的人員獲得的，自然i應該予以較大的信任)，這在數(shù)學上表現(xiàn)為用和5)£p(f(x)-p(x)iinii=0替代和(2)取最小值.P>0，且£p=1,P通常稱之為權；而(5)為加權和.iiii=1用多項式p(x)=a+ax+axn去近似一個給定的列表函數(shù)(即給出n01n的一組觀測值y=f(x)時。需要確定的參數(shù)是

9、a,a,a;而p(x)可以看ii01nn成是a,a,a的線性函數(shù)但是有時在利用觀測或實驗數(shù)據(jù)去確定一個經(jīng)01n驗公式時,往往要確定的函數(shù)和待定參數(shù)之間不具有線性形式的關系這樣問題就變得有些復雜.然而，常?？梢酝ㄟ^變量替換使其線性化.最小二乘法原理是用來求解線性方程組的,非線性方程經(jīng)線性化后方可應用該原理.通常在測量中遇到的問題不一定都是線性問題,必須先把非線性問題線性化,然后求解.例如：(i)有時，我們希望用如下類型的函數(shù)：s=ptq(6)去近似一個由一組觀測數(shù)據(jù)(列表)所描繪的函數(shù)，其中p和q是待定的兩個參數(shù)顯然s已非p和q的線性函數(shù)怎樣線性化呢？為此，我們在(6)式兩端取對數(shù)，得到Ins=

10、Inp+qInt記Ins=y,Inp=a,a=q,x=Int,則(6)式變成01y=a+ax01這是一個一次多項式，它的系數(shù)a和a可以用最小二乘法求得.01(ii)我們經(jīng)常希望用函數(shù)S=AeCt(7)去近似一個以給定的列表函數(shù)，其中A、C是待定的參數(shù)這時，我們可以(7)的兩端取對數(shù)：InS=InA+Ct記InS=y,InA=a,C=a,x=t，U(1.7)式變成011y=a+ax01這樣仍可用最小二乘法定出a,a(從而也就定出了A,C)，得到近似函數(shù)01S=AeCt.下面列出幾種常用的線性處理方法，利用最小二乘法的原理對直線型拋物線型和指數(shù)曲線型的方程的參數(shù)估計方法，介紹如下：(1)直線型直線

11、方程的一般形式為Y=a+bX令工(Y-C)2=E(a+bX-C)2為最小值，分別為a和b求偏導數(shù)，并令導數(shù)等于0，得到聯(lián)立方程組。解方程組，即可得到參數(shù)的計算公式。a=Y-bX<正X-Y工X工Yb=VVn乙X2-(乙X)2(2)拋物線型拋物線方程的一般形式為Y=a+bX+cX2令工(Y-C)2=E(a+bX-C)2為最小值，分別為a、b、c求偏導數(shù),并令導數(shù)等于0,得到聯(lián)立方程組解方程組,即可得到參數(shù)的計算公式。Y -na-bZXc工X2=0Y X2-aZX-bZX2-cZX3=0YX2-aZX2-bZX3-cZX4=0(3)指數(shù)曲線型指數(shù)曲線的一般形式為Y=abX取對數(shù)，將指數(shù)曲線轉化

12、成對數(shù)直線形式lgY=lga+Xlgb用最小二乘法估計參數(shù)a,b,可有如下方程組lgY=nlga+lgb-X(X-lgY)=lga工X+lgb-解此方程組，可得參數(shù)的對數(shù)值，查其反對數(shù)，即可得參數(shù)值。3最小二乘法原理的應用3.1最小二乘法原理在線性回歸中應用例1.已知2009年3月到2010年4月居民收入與物價信心的滿意指數(shù)如下圖，求出當期物價滿意指數(shù)x與時間t的曲線擬合。T123456X29.5028.2025.9021.7021.9013.80解：/Irr*t=123456;x=29.5028.2025.9021.7021.9013.80;plot(t,x,'o');282

13、6polyfit(t,x,1)ans=-2.902933.6600則所得到的近似方程為y=-2.9029+33.6600x.3.2最小二乘法原理在非線性回歸中的應用例2設已知函數(shù)f(x)的表列值為X0.20.50.70.851Y1.2211.6492.0142.3402.718試按最小二乘法構造f(x)的二次近似多項式.解：下面用Matlab程序來求參數(shù)a,a和a.012程序如下：x=0.20.50.70.851;y=1.2211.6492.0142.3402.718;plot(x,y,'o');polyfit(x,y,2)ans=0.92480.75531.0346即所求a=

14、0.9248，0=0.7553，a=1.0346.2所求的近似多項式為f(x)二0.9248+0.7553x+1.0346x2.例3、在某冶煉過程中，根據(jù)統(tǒng)計數(shù)據(jù)的含碳量與時間關系，試求含碳量y與時間t的擬合曲線。t0510152025303540455055y01.272.162.863.443.874.154.374.514.584.024.64解：實驗程序如下：t=0510152025303540455055;y=01.272.162.863.443.874.154.374.514.584.024.64;plot(t,y,'o');p=polyfit(t,y,2)p=-0

15、.00240.20370.2305綜上，y與t的擬合曲線是y=-0.0024+0.2037t+0.0.2305t2。例2設已知如下一組實驗數(shù)據(jù)：t=2.22.73.54.1S=65605350試求一個SAeCt型的函數(shù)去近似它.解:計算以緊湊的形式表示如下：x0x=Intx2y=Insxy10.34240.11721.81290.620710.43140.18611.77820.767110.54410.29601.72430.938210.61280.37551.69901.041141.93070.97487.01443.3671S0S1S2u0u1由此得方程組4a+1.9307a二7.0

16、144,011.9307a+0.9748a=3.3671.01解之得a=Inp=1.963,p=91.9,q=a=0.434從而01S=91.9t0.434。4.小結應用最小二乘法的幾個問題：最小二乘法雖然在數(shù)據(jù)處理方面具有顯著的效果,但如果使用不當會導致很大的誤差,甚至錯誤的結果。因此,在應用時必須注意以下幾個問題:(1) 慎重選擇擬合關系式。在實際問題中,適當選擇擬合關系式是一項十分謹慎的工作,它將直接影響計算的工作量和結論。(2) 自變量的選擇。在實際工作中，對一組實驗(x,y)數(shù)據(jù)按不同的擬11合形式，結果會不一樣。特別注意當兩個變量都有一定誤差時，應當使用雙變量最小二乘法進行處理，否

17、則可以使用單變量最小二乘法。(3) 加權最小二乘法。此法是應用于實驗測量值y非等精度的情況下1的擬合方法。它不同程度的消除誤差因素，結果更準確可靠。設擬合函數(shù)為y=f(x),當X值取x時y的實測值為y,取b卜-f(x)|。11111加權偏差平方和s=藝wb2=藝w(y-f(x)，式中w為第i個實驗點的權1iiiiii=1i=1重因子。選取合適的權重因子w可獲得高精度的擬合參數(shù)。i(4) 最小二乘原理在很多領域有著廣泛應用，利用MATLAB求解非常方便，但一定要組要問題的類型，尤其是數(shù)據(jù)大且復雜時，來更好的突出Matlab計算出線性參數(shù)的最佳估計值，提高了效率和精度。(5) 非線性參數(shù)的最小二乘

18、法處理程序可歸結為：首先根據(jù)具體問題將非線性問題線性化，列出誤差方程；再按最小二乘法原理，利用求極值的方法將誤差方程轉化為正規(guī)方程；然后求解正規(guī)方程，得到待求的估計量；最后給出精度估計。上面例題利用程序求解組合測量問題，用Matlab進行曲線的擬合。致謝：長江之濱，青山湖畔，是我美麗的校園。轉眼間，我已經(jīng)在美麗的湖師度過了四個年頭。四年，這是我人生中非常重要的四年，我有幸能夠接觸到這些不僅傳授我知識、學問，而且從更高層次指導我的人生與價值追求的良師。他們使我堅定了人生的方向，獲得了追求的動力，留下了大學生活的美好回憶。在此，我真誠地向我尊敬的老師們和母校表達我深深的謝意！這篇論文是在我的導師胡宏昌教授的多次指導下完成的。從論文的選