最小二乘法原理及算例

關(guān)于最小二乘法原理及算例第1頁，講稿共33頁，2023年5月2日，星期三實(shí)例講解某種合成纖維的強(qiáng)度與其拉伸倍數(shù)有直接關(guān)系，下表是實(shí)際測定的24個(gè)纖維樣品的強(qiáng)度與相應(yīng)拉伸倍數(shù)的記錄。提示：將拉伸倍數(shù)作為x,強(qiáng)度作為y,在座標(biāo)紙上標(biāo)出各點(diǎn)，可以發(fā)現(xiàn)什么?第2頁，講稿共33頁，2023年5月2日，星期三數(shù)據(jù)表格第3頁，講稿共33頁，2023年5月2日，星期三第4頁，講稿共33頁，2023年5月2日，星期三

從上圖中可以看出強(qiáng)度與拉伸倍數(shù)大致成線形關(guān)系，可用一條直線來表示兩者之間的關(guān)系。解：設(shè)y*=a+bxi

，令δ=yi-y*i=yi-a-bxi，根據(jù)最小二乘原理，即使誤差的平方和達(dá)到最小，也就是令

nQ=∑δi2

i=1

為最小，即求使

(a,b)=

有最小值的a和b的值。第5頁，講稿共33頁，2023年5月2日，星期三計(jì)算出它的正規(guī)方程得解得：a=0.15,b=0.859

直線方程為：y*=0.15+0.859x第6頁，講稿共33頁，2023年5月2日，星期三一問題的提出

插值法是使用插值多項(xiàng)式來逼近未知或復(fù)雜函數(shù)的，它要求插值函數(shù)與被插函數(shù)在插值節(jié)點(diǎn)上函數(shù)值相同，而在其他點(diǎn)上沒有要求。在非插值節(jié)點(diǎn)上有時(shí)函數(shù)值會相差很大。若要求在被插函數(shù)的定義區(qū)間上，所選近似函數(shù)都能與被插函數(shù)有較好的近似，就是最佳逼近問題。最佳逼近是在函數(shù)空間M中選P(x)滿足

但由于絕對值函數(shù)不宜進(jìn)行分析運(yùn)算,常將上式化為來討論，于是最佳逼近問題變?yōu)樽罴哑椒奖平鼏栴},而離散的最佳平方逼進(jìn)問題就是常說的曲線擬合它們都可用最小二乘法求解。

主頁第7頁，講稿共33頁，2023年5月2日，星期三曲線擬合的最小二乘法最小二乘原理當(dāng)由實(shí)驗(yàn)提供了大量數(shù)據(jù)時(shí),不能要求擬合函數(shù)在數(shù)據(jù)點(diǎn)處的偏差,即(i=1,2,…,m)

嚴(yán)格為零,但為了使近似曲線盡量反映所給數(shù)據(jù)點(diǎn)的變化趨勢,需對偏差有所要求.通常要求偏差平方和最小,此即稱為最小二乘原理第8頁，講稿共33頁，2023年5月2日，星期三?最小二乘法的求法第9頁，講稿共33頁，2023年5月2日，星期三第10頁，講稿共33頁，2023年5月2日，星期三?最小二乘法的幾種特例第11頁，講稿共33頁，2023年5月2日，星期三第12頁，講稿共33頁，2023年5月2日，星期三例題第13頁，講稿共33頁，2023年5月2日，星期三第14頁，講稿共33頁，2023年5月2日，星期三二線性最小問題的存在與唯一在科學(xué)實(shí)驗(yàn)中，很多情況數(shù)據(jù)間存在線性或可轉(zhuǎn)化為線性的關(guān)系。線性最小二乘是最基本也是最重要的一種。1線性最小二乘問題與線性最小二乘求解 設(shè) Ax=b

其中ARmn，bRm，xRn

當(dāng)mn時(shí)，上方程超定方程組 令r=b-Ax，一般，超定方程無通常意義下解，既無x使t=0。對這類方程求解意義是求x，使 r22

=b-Ax22

為最小， 稱x為Ax=b的最小二乘解。 主頁第15頁，講稿共33頁，2023年5月2日，星期三2最小二乘解的存在性與唯一性 定理：x*為Ax=b的最小二乘解充要條件

ATAX*=ATb

證明：充分性：若存在X*，使ATAX*=ATb則對任意向量令x=x*+y有

b–Ax22=b–AX*22–2（y，AT（b–AX*））+Ay

22=b–AX*22+Ay

22

b–AX*22

X*為Ax=b的最小二乘解。必要性：令

b–AX22=（x1，x2，，xn）=（x）

則由多元函數(shù)極值的必要條件知，若X*為極值點(diǎn)，則

（x）

|——|=0

xi

|x=x*

第16頁，講稿共33頁，2023年5月2日，星期三而（x1，x2，，xn）=bTb–2Ax+（Ax）TAx

（x）

由——=0（i=1，2，n）ATAx=ATb。

xi

若x*為Ax=b最小二乘解，則ATAx*=ATb。證畢

ATAx=ATb稱為最小二乘問題的Ax=b法方程組。當(dāng)A=（aIj）mn的秩為n，既A的列線性無關(guān)時(shí)，ATAx=ATb有唯一解。第17頁，講稿共33頁，2023年5月2日，星期三三線形模型的正規(guī)方程關(guān)于擬和模型必須能反映離散點(diǎn)分布基本特征。 常選取是線性擬和模型，既所屬函數(shù)類為 M=Span{0，1，…n}， 其中

0，1，…n

是線性無關(guān)的基函數(shù)

m于是（x）=cj

j（x）

j=0通常選取每個(gè)j是次數(shù)j的簡單多項(xiàng)式，即M

是次數(shù)

n

的n次多項(xiàng)式空間。 取j（x）=xj，j=0，1，…，n

M=Span{1,x,x2，…，xn}，從而（x）=C0+C1x1

+…+Cnxn =Pn(x)

主頁第18頁，講稿共33頁，2023年5月2日，星期三

n

設(shè)離散數(shù)據(jù)模型（x）=

cj

j（x）

j=0則求解歸結(jié)為n+1元函數(shù)S的極值問題:

m

n

S（c0，c1，…，cn）=i[yiˉcj

j（xi）]

2

i=0

j=0顯然S達(dá)最小值必要條件是

S

m

n—=2i[yiˉcj

j（xi）]

k（xi）=0

Cki=0

j=0

（k=0，1，…，n）這是關(guān)于c0，c1，…，cn

的方程組，

n改寫成（j

，k)

cj=(y,

k

)(k=0,1,2,…n)稱為正規(guī)方程組

j=0其中

mn（j

，k)=i

j（xi）

k（xi）

i=0j=0第19頁，講稿共33頁，2023年5月2日，星期三一般，n<m，函數(shù)

0，1，…，n，線性無關(guān)能保證正規(guī)方程組的系數(shù)矩陣（

0，

0

）（1，

0

）…，（n，

0）

G=…

…

…，…(**)（

0，n）（1，n）

…，（n，n）的行列式不為零。因此正規(guī)方程組有唯一解。設(shè)其解為

cj=cj*，j=0，1，…，n則所要求的離散點(diǎn)的擬合函數(shù)(最佳平方逼近)為

n

*（x）=cj*j（x）。

J=0對已知連續(xù)函數(shù)f(x)的最佳平方逼近問題與離散點(diǎn)的最佳平方逼近有相同形式的正規(guī)方程組和結(jié)論,只不過內(nèi)積公式變?yōu)?/p>

第20頁，講稿共33頁，2023年5月2日，星期三表中提供離散數(shù)據(jù)（xi，yi），（0i4）試用二次多項(xiàng)式進(jìn)行擬合.ixiyi

*（xi）

yi-*（xi）

001.00001.0052-0.005210.251.28401.27400.010020.501.64871.64820.000530.752.11702.1279-0.010941.002.71832.71300.0053四線形模型舉例主頁第21頁，講稿共33頁，2023年5月2日，星期三解:取M=Span（1，x，x2

）其三個(gè)基函數(shù)為j

（x）=xjj=0,1,2

擬和函數(shù)是基函數(shù)的線性組合:（x）=c0+c1x+c2x2

取0=1==4=1,由公式

55（

j，k）=xi

j+k，（y，k）=yi

xi

k

，

i=1

i=1j，k=0，1，2

可以算出（0，0）=5，（1，

1）=1.875，（

2

，2）=1.3828

（0，1）=（

1，0）=2.5,（0，2）=（

2

，0）=1.875（1，2）=（

2，1）=1.5625（y，0）=8.7680，（y，1）=5.4514，（y，2）=4.4215

第22頁，講稿共33頁，2023年5月2日，星期三正規(guī)方程為5C0+2.5C1+1.875C2=8.76802.5C0+1.875C1+1.5625C2=5.45141.875C0+1.5625C1+1.3828C2=4.415解得C0=1.0052，C1=0.8641，C2=0.8427所求連續(xù)模型*為，*（x）=1.0052+0.8641x+0.8437x2最小平方殘差

5

||y—*||22=（yi

—*（xi))2=2.7610-4i=1第23頁，講稿共33頁，2023年5月2日，星期三由上述我們已經(jīng)知到上述線性模型實(shí)際上是最小二乘法的推廣，實(shí)際上也就是多項(xiàng)式逼近函數(shù)的問題。它不僅可以解決一元問題還可用于多元問題。除此外還可求解某些非線性問題。求解方法是將其通過一定的代數(shù)變換轉(zhuǎn)換為可用線性模型求解的問題。 比如對方程y=aebx

取對數(shù)，得lny=lna+bx，令Y=lny, A=lna,B=b則問題轉(zhuǎn)化為解Y=A+Bx的線性問題。 類似的再如，對y=a+b/x擬和可對此方程取倒數(shù)，則新變量1/y于x成線性關(guān)系。

五線性模型引深及推廣主頁第24頁，講稿共33頁，2023年5月2日，星期三六最小二乘法方法評注最小二乘法方曲線擬和是實(shí)驗(yàn)數(shù)據(jù)處理的常用方法。最佳平方逼近可以在一個(gè)區(qū)間上比較均勻的逼近函數(shù)且具有方法簡單易行，實(shí)效性大，應(yīng)用廣泛等特點(diǎn)。但當(dāng)正規(guī)方程階數(shù)較高時(shí)，往往出現(xiàn)病態(tài)。因此必須謹(jǐn)慎對待和加以巧妙處理。有效方法之一是引入正交多項(xiàng)式以改善其病態(tài)性。。主頁第25頁，講稿共33頁，2023年5月2日，星期三

正交多項(xiàng)式

在高等數(shù)學(xué)中介紹付立葉級數(shù)時(shí)，曾提到函數(shù)系

1,cosx,sinx,cos2x,sin2x,…cosnx,sinnx,…中，由于任意兩個(gè)函數(shù)乘積在區(qū)間[-，+]上的積分都等于零，則說這個(gè)函數(shù)系在[-，+]上是正交的，并稱這個(gè)函數(shù)系為正交函數(shù)系。下面給出正交函數(shù)系定義：設(shè)函數(shù)f(x),g(x)[a,b],且則稱f(x)與g(x)在[a,b]上帶權(quán)(x)正交,第26頁，講稿共33頁，2023年5月2日，星期三在[a,b]上連續(xù)的函數(shù)0(x),1(x),2(x),...k(x)...,

滿足

則稱該函數(shù)系是在區(qū)間[a,b]上帶權(quán)(x)正交函數(shù)系.下面介紹與上述定義有關(guān)的幾個(gè)概念，然后引出正交多項(xiàng)的概念，最后再介紹正交多項(xiàng)式的性質(zhì)以及幾種常見的正交多項(xiàng)式。1.權(quán)函數(shù):(1)設(shè)[a,b]是有限或無限區(qū)間,(x)是定義在[a,b]上的非零可積函數(shù)，若其滿足則稱(x)是[a,b]上的一個(gè)權(quán)函數(shù)。第27頁，講稿共33頁，2023年5月2日，星期三2內(nèi)積與范數(shù)設(shè)f(x),g(x)[a,b],(x)是[a,b]上的一個(gè)權(quán)函數(shù)，稱為f(x)與g(x)在為[a,b]