最小二乘法課程設計

最小二乘法（1）第15頁共15頁1、前言1、1背景介紹最小二乘法最早是由高斯提出的，這是數(shù)據(jù)處理的一種很有效的統(tǒng)計方法。高斯用這種方法解決了天文學方面的問題，特別是確定了某些行星和彗星的天體軌跡。這類天體的橢圓軌跡由5個參數(shù)確定，原則上，只要對它的位置做5次測量就足以確定它的整個軌跡。但由于存在測量誤差，由5次測量所確定的運行軌跡極不可靠，相反，要進行多次測量，用最小二乘法消除測量誤差，得到有關軌跡參數(shù)的更精確的值。最小二乘法近似將幾十次甚至上百次的觀察所產(chǎn)生的高維空間問題降到了橢圓軌跡模型的五維參數(shù)空間。最小二乘法普遍適用于各個科學領域，它在解決實際問題中發(fā)揮了重要的作用。它在生產(chǎn)實踐、科學實驗及經(jīng)濟活動中均有廣泛應用。比如說，我們引入等效時間的概念,根據(jù)Arrhenius函數(shù)和指數(shù)函數(shù)研究水化熱化學反應速率隨溫度的變化,最后采用最小二乘法回歸分析試驗數(shù)據(jù),確定絕熱溫升和等效時間的關系式。1、2問題引入為了更好地掌握最小二乘法，我們引入以下兩個問題：(1)假設已知一組二維數(shù)據(jù)（），（i=1,2,3···n），怎樣確定它的擬合曲線y=f(x)（假設為多項式形式f(x)=）,使得這些點與曲線總體來說盡量接近？(2)若擬合模型為非多項式形式，怎樣根據(jù)已知的二維數(shù)據(jù)用最小二乘線性擬合確定其系數(shù)，求出曲線擬合函數(shù)？怎樣從給定的二維數(shù)據(jù)出發(fā)，尋找一個簡單合理的函數(shù)來擬合給定的一組看上去雜亂無章的數(shù)據(jù)，正是我們要解決的問題。1、3內容簡介本文主要介紹最小二乘法及其實現(xiàn)方法，通過對其原理的闡述，并以實例的形式說明了如何使用MATLAB函數(shù)求解擬合問題。利用算例中的已知二維數(shù)據(jù)，進行曲線擬合。具體內容如下：(1)最小二乘法的概念(2)最小二乘法的原理及實現(xiàn)方法(3)最小二乘法的應用(4)具體實例的求解2、最小二乘法的概念在科學實驗的統(tǒng)計方法研究中，往往要從一組實驗數(shù)（）（i=1,2,3···m）中尋找自變量x與y之間的函數(shù)關系y=F(x).由于觀測數(shù)據(jù)往往不準確，此時不要求y=F(x)經(jīng)過所有點（），而只要求在給定上誤差=F（）（i=1,2,3···m）按某種標準最小。若記=,就是要求向量的范數(shù)最小。如果用最大范數(shù)，計算上困難較大，通常就采用Euclid范數(shù)作為誤差度量的標準。關于最小二乘法的一般提法是：對于給定的一組數(shù)據(jù)（）(i=0,1,…m)要求在函數(shù)空間Φ=span{}中找一個函數(shù)S*(x)，使加權的誤差平方和=最小，其中，是[a,b]上的權函數(shù)，它表示反應數(shù)據(jù)（）在實驗中所占數(shù)據(jù)的比重。我們說，S(x)=(n<m)這就是一般的最小二乘逼近，用幾何語言說就是曲線擬合的最小二乘法。注意這里的，是線性無關的。在研究兩個變量之間的關系時，可以用回歸分析的方法進行分析。當確定了描述兩個變量之間的回歸模型后，就可以使用最小二乘法估計模型中的參數(shù)，進而建立經(jīng)驗方程。為了通過試驗數(shù)據(jù)來估計參數(shù)的值，可以采用許多統(tǒng)計方法，而最小二乘法是目前最常用、最基本的。3、最小二乘法的原理及實現(xiàn)方法3、1最小二乘法的原理簡單地說，最小二乘的思想就是要使得觀測點和估計點的距離的平方和達到最小.這里的“二乘”指的是用平方來度量觀測點與估計點的遠近（在古漢語中“平方”稱為“二乘”），“最小”指的是參數(shù)的估計值要保證各個觀測點與估計點的距離的平方和達到最小.例如，對于回歸模型y=S(x),若（）（i=1,2,3···m）為收集到的觀測數(shù)據(jù)，則應該用來估計，這里是（）（i=1,2,3···m）的估計值。它們之間距離的平方和就是。進而最小二乘估計量就是使===(*)達到最小值的參數(shù)。從計算的角度看，最小二乘法與插值法類似，都是處理數(shù)據(jù)的算法.但從創(chuàng)設的思想看，二者卻有本質的不同。前者尋求一條曲線，使其與觀測數(shù)據(jù)“最接近”，目的是代表觀測數(shù)據(jù)的趨勢；后者則是使曲線嚴格通過給定的觀測數(shù)據(jù)，其目的是通過來自函數(shù)模型的數(shù)據(jù)來近似刻畫該函數(shù).在觀測數(shù)據(jù)帶有測量誤差的情況下，就會使得這些觀測數(shù)據(jù)偏離函數(shù)曲線，結果使得與觀測數(shù)據(jù)保持一致的插值法不如最小二乘法得到的曲線更符合客觀實際.3、2最小二乘法的實現(xiàn)方法3、2、1一般的最小二乘曲線擬合給定一組測量數(shù)據(jù){（），i=0,1,2,…,m}，基于最小二乘原理，求得變量x和y之間的函數(shù)關系f(x,A),使它最佳地逼近已知數(shù)據(jù)。其中A=（）是一些待定參數(shù)。為了是問題的提法更有一般性，通常把最小二乘法中的都考慮為加權平方和，即=其中，是[a,b]上的權函數(shù)，它表示反應數(shù)據(jù)（）在實驗中所占數(shù)據(jù)的比重。選擇參數(shù)A使得加權平方和最小，即求滿足(**)的f*(x)。要使（**）最小，它轉換為求多元函數(shù)的極小點問題。由求多遠函數(shù)極值的必要條件，有若記，則可改寫為（***）此方程成為法方程。它也可以寫成矩陣形式由于，線性無關，故,方程組（***）存在唯一解（i=1,2,3···n）,從而得到函數(shù)f(x)的最小二乘法解為可以證明，這樣得到的對于任何多項式形式的，都有故確實所求最小二乘解。以上法方程是一種實現(xiàn)方法，對于多項式擬合，我們還可以這樣求。設f(x,A)=,由最小二乘法確定其系數(shù)，假設每個數(shù)據(jù)點的權為1，令最小，則有：（j=0,1,2,…n）即：得方程組：此方程稱為多項式擬合的法方程。令X=Y=A=則得：XA=Y,從而A=3、2、2其他情況的最小二乘法擬合某些情況的非多項式擬合可化為一般情況下的最小二乘法。在這種情況下，我們可通過變數(shù)變換將其化為線性模型。利用最小二乘線性擬合確定其系數(shù)，再利用逆變換給出原問題的曲線擬合函數(shù)。例1：雙曲線1/y=a+(b/x)(a>0)(圖1)我們可令則得，從而利用最小二乘法進行線性擬合求出a,b。例2：倒指數(shù)曲線（圖2）為了確定a,b，對上式兩端取對數(shù)，得lny=lna+b/x.我們令Y=lny,A=lna,X=1/x,則由（）計算出（）,從而求出Y=A+Bx,進而求出。例3：曲線（圖3）我們對方程取對數(shù)，得lny=lna+bx令Y=lny,A=lna,則原問題轉化為解Y=A+Bx的線性問題。除此之外，S型曲線，，以及對數(shù)曲線等。這些曲線模型都可通過線性擬合來求得。:圖1：1/y=a+(b/x)(a>0)圖2：圖34、數(shù)值實驗4、1問題提出下面，我們研究這樣一個算例：已知如下表格，怎樣利用最小二乘法求出擬合曲線？123451.52.53.55.07.54、2問題分析光從這些雜亂無章的數(shù)據(jù)是無從入手的。于是我們采取以下方法來分析：（1）畫出散點圖（圖4），該過程可利用MATLAB（后面會詳細介紹），其具體程序可見附錄中的程序1。圖4：已知算例數(shù)據(jù)的散點圖(2)利用散點圖、已積累的函數(shù)曲線形狀的知識和試驗數(shù)據(jù)，我們可揣測已知的二維數(shù)據(jù)可用函數(shù)擬合。4.3數(shù)學模型4.3.1模型的建立根據(jù)問題分析，我們建立回歸模型。然后把非線性多項式擬合模型轉換為線性問題。我們對方程取對數(shù)，得lny=lna+bx令Y=lny,A=lna,則原問題轉化為解Y=A+bx的線性問題。即有取對數(shù)，并令取對數(shù)，并令Y=lny,A=lna,Y=A+bx這樣的話，問題則轉換為已經(jīng)以下數(shù)據(jù)，求A,b的問題。123451.52.53.55.07.50.4054651180.9162907311.2527629681.6094379122.0149030214.3.2模型首先，我們來簡單地了解一下MATLAB這個軟件。MATLAB是三大數(shù)學軟件之一，功能強大、簡單易學、編程效率高，其擬合解法在解方程和求函數(shù)極值問題上是一種有效求解方法。在這里，值得一提的是MATLAB最優(yōu)化工具箱提供了提供了多項式函數(shù)擬合的語句a=polyfit(xdata,ydata,n)其中n表示多項式的最高階數(shù)，xdata,ydata為將要擬合的數(shù)據(jù)，它是用數(shù)組的方式輸入。輸出參數(shù)a為擬合多項式的系數(shù)。多項式x處的擬合值y可用下面程序計算：y=ployval(a,x)于是，我們通過MATLAB編程（具體見附錄中的程序2）得出以下結果：a=0.39120.066250.2798即有Y=0.0662x+0.03912轉換為原擬合函數(shù)，則為4.3.3模型由模型求解，我們得出了已知數(shù)據(jù)的擬合函數(shù)為：在這里我們簡單討論一下最小二乘法的擬合效果。由附錄程序2，我們得出=e1==50.2798換個角度，我們從圖像（附錄程序2中的圖六）上來分析，雖然沒有經(jīng)過已知數(shù)據(jù)標記的所有點，但是已經(jīng)極力逼近，必通過檢驗有達到最小。綜上所述，通過最小二乘法，該算例的擬合函數(shù)為，并且有：min=50.27985、總結最小二乘法是指使因變量估計值與實測值間的相對誤差平方和為最小。在研究兩個變量之間的關系時，我們可以用回歸分析的方法進行分析。當確定了描述兩個變量之間的回歸模型后，就可以使用最小二乘法估計模型中的參數(shù)，進而建立數(shù)學模型，然后通過MATLAB求解模型。通過本文實例模型（非多項式形式）的求解，我們學會了怎樣從給定的二維數(shù)據(jù)出發(fā)，尋找一個簡單合理的函數(shù)來擬合給定的一組看上去雜亂無章的數(shù)據(jù)。如何巧妙地運用最小二乘法解決數(shù)據(jù)擬合問題，這不僅對我們在今后的學習有一定的幫助，而且在生產(chǎn)實踐、科學實驗中也起到了一定的作用。

參考文獻[1]李慶楊主編.數(shù)值方法（第4版）[M].華中科技大學出版社，2006.[2]鄧建中主編.計算方法（第二版）[M].交通大學出版社，2001.[3]劉瓊蓀編.數(shù)學實驗[M].北京：高等教育出版社,2004年7月.P135-P145.[4]劉衛(wèi)國等編注．MATLAB程序設計教程（第一版）[M]．北京：中國水利水電出版社，2005：1-300.[5]張明輝王學輝等編注．MATLAB6.1最新應用詳解[M]．北京：中國水利水電出版社，2001：1-180.[6]姜啟源,謝金星,葉俊編．數(shù)學模型（第三版）[M]．北京：高等教育出版社，2005：1-202.

附錄程序1：clear;clc;x=[12345];y=[1.52.53.55.07.5];plot(x,y,'ro');%用圓圈標記（）圖5：已知算例數(shù)據(jù)的散點圖程序二：clear;clc;x=[12345];y=[1.52.53.55.07.5];Y=log(y);a=polyfit(x,Y,1)%求一次擬合多項式的系數(shù)Y1=polyval(a,x);%求的一次擬合多項式值e=Y1-y;e1=sum(e.*e);