數(shù)值分析(最小二乘法)

最小二乘解的存在唯一性最小二乘解的數(shù)值方法《數(shù)值分析》16

x

x1

x2··········xmf(x)y1

y2··········ym離散數(shù)據(jù)的直線擬合求擬合函數(shù):Ac=y超定方程組

x

x1

x2··········xmf(x)y1

y2··········ym離散數(shù)據(jù)的多項(xiàng)式擬合求擬合函數(shù):超定方程組

x

x1

x2··········xmf(x)y1

y2··········ym離散數(shù)據(jù)的線性擬合求擬合函數(shù):超定方程組回顧:最小二乘擬合問題研究包括:模型的選取存在唯一性最小二乘解的計(jì)算廣義矩陣(Ax=b統(tǒng)一的理論解釋)相容方程的解定義:一個(gè)方程組稱為相容方程(consistentequation),若至少存在一個(gè)解能夠嚴(yán)格滿足該方程組。定理:線性方程Ax=b是相容的當(dāng)且僅當(dāng)增廣矩陣的秩等于矩陣A的秩,即rank([A,b])=rank(A)。定理:相容方程Ax=b對(duì)y不等于零有解x=Gb當(dāng)且僅當(dāng)AGA=A。(G稱為是A的廣義逆generalizedinverse)相容方程解的唯一性是否存在某種意義下的唯一性?最小范數(shù)解(minimumnormsolution):定理:Gb是相容矩陣的最小范數(shù)解當(dāng)且僅當(dāng)

AGA=A,(GA)H=GA。參考:張賢達(dá),矩陣分析與應(yīng)用,

清華大學(xué)不相容方程解的存在性不相容方程的最小二乘解總是存在的。證明:即證明正規(guī)方程是相容方程。

rank([ATA,b])=rank(ATA)定理

如果矩陣A列滿秩,則ATA可逆。定理

矩陣A列滿秩時(shí),最小二乘解唯一x=

(ATA)

-1ATb。不相容方程解的唯一性是否存在某種意義下的唯一性?最小范數(shù)最小二乘解(minimumnormleastsquaressolution)定理:Gb是不相容矩陣的最小范數(shù)最小二乘解當(dāng)且僅當(dāng)

AGA=A,(AG)H=AG,GAG=G,(GA)H=GA。注釋:最小范數(shù)最小二乘廣義矩陣即Moore-Penrose矩陣?？偨Y(jié)相容方程

矩陣可逆則解唯一,如果矩陣秩虧損的情形,則所有解中有唯一的最小范數(shù)解。不相容方程

首先最小二乘解一定存在,如果矩陣列滿秩則最小二乘解唯一,如果矩陣秩虧損的情形,所有最小二乘解有唯一的最小范數(shù)最小二乘解。對(duì)于任意矩陣,Moore-Penrose逆矩陣存在且唯一。Matlab:pinv(Pseudoinverse)比較backslash和pinv的區(qū)別。X\y,pinv(X)*y,norm(X\y),norm(pinv(X)*y)參考文獻(xiàn):SparseandRedundantRepresentations:FromTheorytoApplicationsinSignalandImageProcessing最小二乘擬合問題研究包括:模型的選取存在唯一性最小二乘解的計(jì)算為什么不直接求解正規(guī)方程?初等行變換不改變方程組的解1.交換矩陣第i行與第j行2.非零數(shù)k乘以矩陣第i行的每個(gè)元素3.矩陣第i行的每個(gè)元素的k倍加到第j行的對(duì)應(yīng)元素1.75000.75001.95000.9500A(n–1)=Fn-1Fn-2·······F1A其中Fk

為

Frobenius矩陣。A=F1-1F2-1······Fn-1-1A(n–1)直接方法:高斯消元法LU矩陣LU分解是高斯消元法的矩陣編碼?；仡?回顧:正交矩陣乘向量,則向量2范數(shù)不變。QTQ=I,y=Qx正交矩陣QTQ=QQT=I半正交矩陣QTQ=I(列正交)或QQT=I(行正交)——Gram-Schmidt正交化————Gram-Schmidt正交化——Gram-Schmidt正交化的矩陣編碼u1,u2,un是正交基向量R單位上三角矩陣——Gram-Schmidt正交化————Gram-Schmidt正交化——Gram-Schmidt正交化的矩陣編碼q1,q2,qn是標(biāo)準(zhǔn)正交基向量,Q正交矩陣,R上三角矩陣Matlab命令:qr矩陣的正交三角分解:A=QR注釋:經(jīng)典的Gram-Schmidt過程數(shù)值穩(wěn)定性不令人滿意,一般將一系列Householder變換(正交變換)作用于最小二乘問題。QR分解有兩種版本:完全QR分解和精簡(jiǎn)QR分解。A=[24;3-5;12];[Q,R]=qr(A);%%完整型y=[1136]';x=R\(Q'*y);norm(A*x-y)解法1(完整QR分解)解法2(精簡(jiǎn)QR分解)[Q,R]=qr(A,0);%%精簡(jiǎn)型x=R\(Q'*y);norm(A*x-y)完整和精簡(jiǎn)QR分解的比較A\b(算法QR分解,具體實(shí)現(xiàn)Household變換)ToolsBasicFittingIfAisanM-by-NmatrixwithM>NorN>MthenX=A\Bisthesolutionintheleastsquaressensetotheunder-oroverdeterminedsystemofequationsA*X=B.Matlab超定方程組求解Matlab擬合GUIMatlab的多項(xiàng)式擬合命令polyfit和polyval調(diào)用格式P=polyfit(X,Y,N)調(diào)用格式Y(jié)=polyval(P,X)loadcensus,plot(x,y,'o')P=polyfit(x,y,2);polyval(P,2010)截至2010年4月1日,美國(guó)居住人口總數(shù)為308,745,538Matlab的非線性擬合命令非線性擬合lsqnonlin和lsqcurvefitx=0:.1:10;y=0.12*exp(-0.213*x)+0.54*exp(-0.17*x).*sin(1.23*x);f=inline('a(1)*exp(-a(2)*x)+a(3)*exp(-a(4)*x).*sin(a(5)*x)','a','x');[a,res]=lsqcurvefit(f,[1,1,1,1,1],x,y)嚴(yán)格滿足插值條件vs

追求最小殘差平方和適定方程組求解vs

最小二乘問題求解尋找數(shù)據(jù)的規(guī)律(函數(shù))或者說是壓縮數(shù)據(jù)思考:插值與擬合的異同作業(yè)題目:數(shù)據(jù)的挖掘(擬合或插值)數(shù)據(jù)+挖掘知其然,知其所以然,用其然,利其然測(cè)試數(shù)據(jù)集StatisticalReferenceDataset(/div898/strd/)例1飲料的定價(jià)策略一家公司在22個(gè)近似相等大小的城市嘗試銷售一種新型的運(yùn)動(dòng)型飲料,售價(jià)(美元)以及在城市中每周的銷量如下表:

如果每件產(chǎn)品的制造成本是0.23美元,公司如何設(shè)置全國(guó)統(tǒng)一售價(jià)

利潤(rùn)最大化?城市

售價(jià)

銷量/周

1

2

3

4

5

6

7

8

9

10

11

0.59

0.80

0.95

0.45

0.79

0.99

0.90

0.65

0.79

0.69

0.79

3980

2200

1850

6100

2100

1700

2000

4200

2440

3300

2300

城市

售價(jià)

銷量/周

12

13

14

15

16

17

18

19

10

21

22

0.49

1.09

0.95

0.79

0.65

0.45

0.60

0.89

0.79

0.99

0.85

600

1190

1960

2760

4330

6960

4160

1990

2860

1920

2160

例2非誠(chéng)勿擾攻略例3微信3點(diǎn)定位的真與假

2012年11月4日,一條微博稱微信可以通過三點(diǎn)定位法確定使用者的位置,即記住自己的位置和與某人之間的距離,變換兩次位置重新記錄距離,以這三個(gè)點(diǎn)為圓心、距離為半徑畫圓,交點(diǎn)就是要找的人的位置,圓圈越多,位置越精確。

提示:非線性最小二乘問題,最速下降法或Gauss-Newton方法求解例4Google街景技術(shù)關(guān)鍵部分(大型復(fù)雜的非線性最小二乘問題)http://google-opensource.blogspot.ca/2012/05/introducing-ceres-solver-nonlinear.html最小二乘擬合問題研究包括:模型的選取(解釋為什么選這個(gè)模型)存在唯一性最小二乘解的計(jì)算(線性與非線性)不同變形數(shù)學(xué)概念1秩虧缺(rankdeficient)矩陣A屬于Rm*n如果rank(A)=m(<n),則稱矩陣行滿秩如果rank(A)=n(<m),則稱矩陣列滿秩如果rank(A)<min{m,n},則稱矩陣秩虧缺數(shù)學(xué)概念2如果函數(shù)f的f′,

f′′,...,

f(k)

存在且連續(xù)。理論分析中總是假設(shè)觀測(cè)數(shù)據(jù)是由給定的函數(shù)生成(假設(shè)函數(shù)的數(shù)學(xué)性態(tài))

,然后定量的刻畫插值函數(shù)或者擬合函數(shù)的近似程度。Ck

函數(shù)類數(shù)學(xué)概念3極值(the

maximum

andminimum,k