數值分析(最小二乘法)

最小二乘解的存在唯一性最小二乘解的數值方法《數值分析》16

x

x1

x2··········xmf(x)y1

y2··········ym離散數據的直線擬合求擬合函數:Ac=y超定方程組

x

x1

x2··········xmf(x)y1

y2··········ym離散數據的多項式擬合求擬合函數:超定方程組

x

x1

x2··········xmf(x)y1

y2··········ym離散數據的線性擬合求擬合函數:超定方程組回顧:最小二乘擬合問題研究包括:模型的選取存在唯一性最小二乘解的計算廣義矩陣(Ax=b統一的理論解釋)相容方程的解定義:一個方程組稱為相容方程(consistentequation),若至少存在一個解能夠嚴格滿足該方程組。定理:線性方程Ax=b是相容的當且僅當增廣矩陣的秩等于矩陣A的秩,即rank([A,b])=rank(A)。定理:相容方程Ax=b對y不等于零有解x=Gb當且僅當AGA=A。(G稱為是A的廣義逆generalizedinverse)相容方程解的唯一性是否存在某種意義下的唯一性?最小范數解(minimumnormsolution):定理:Gb是相容矩陣的最小范數解當且僅當

AGA=A,(GA)H=GA。參考:張賢達,矩陣分析與應用,

清華大學不相容方程解的存在性不相容方程的最小二乘解總是存在的。證明:即證明正規(guī)方程是相容方程。

rank([ATA,b])=rank(ATA)定理

如果矩陣A列滿秩,則ATA可逆。定理

矩陣A列滿秩時,最小二乘解唯一x=

(ATA)

-1ATb。不相容方程解的唯一性是否存在某種意義下的唯一性?最小范數最小二乘解(minimumnormleastsquaressolution)定理:Gb是不相容矩陣的最小范數最小二乘解當且僅當

AGA=A,(AG)H=AG,GAG=G,(GA)H=GA。注釋:最小范數最小二乘廣義矩陣即Moore-Penrose矩陣。總結相容方程

矩陣可逆則解唯一,如果矩陣秩虧損的情形,則所有解中有唯一的最小范數解。不相容方程

首先最小二乘解一定存在,如果矩陣列滿秩則最小二乘解唯一,如果矩陣秩虧損的情形,所有最小二乘解有唯一的最小范數最小二乘解。對于任意矩陣,Moore-Penrose逆矩陣存在且唯一。Matlab:pinv(Pseudoinverse)比較backslash和pinv的區(qū)別。X\y,pinv(X)*y,norm(X\y),norm(pinv(X)*y)參考文獻:SparseandRedundantRepresentations:FromTheorytoApplicationsinSignalandImageProcessing最小二乘擬合問題研究包括:模型的選取存在唯一性最小二乘解的計算為什么不直接求解正規(guī)方程?初等行變換不改變方程組的解1.交換矩陣第i行與第j行2.非零數k乘以矩陣第i行的每個元素3.矩陣第i行的每個元素的k倍加到第j行的對應元素1.75000.75001.95000.9500A(n–1)=Fn-1Fn-2·······F1A其中Fk

為

Frobenius矩陣。A=F1-1F2-1······Fn-1-1A(n–1)直接方法:高斯消元法LU矩陣LU分解是高斯消元法的矩陣編碼?；仡?回顧:正交矩陣乘向量,則向量2范數不變。QTQ=I,y=Qx正交矩陣QTQ=QQT=I半正交矩陣QTQ=I(列正交)或QQT=I(行正交)——Gram-Schmidt正交化————Gram-Schmidt正交化——Gram-Schmidt正交化的矩陣編碼u1,u2,un是正交基向量R單位上三角矩陣——Gram-Schmidt正交化————Gram-Schmidt正交化——Gram-Schmidt正交化的矩陣編碼q1,q2,qn是標準正交基向量,Q正交矩陣,R上三角矩陣Matlab命令:qr矩陣的正交三角分解:A=QR注釋:經典的Gram-Schmidt過程數值穩(wěn)定性不令人滿意,一般將一系列Householder變換(正交變換)作用于最小二乘問題。QR分解有兩種版本:完全QR分解和精簡QR分解。A=[24;3-5;12];[Q,R]=qr(A);%%完整型y=[1136]';x=R\(Q'*y);norm(A*x-y)解法1(完整QR分解)解法2(精簡QR分解)[Q,R]=qr(A,0);%%精簡型x=R\(Q'*y);norm(A*x-y)完整和精簡QR分解的比較A\b(算法QR分解,具體實現Household變換)ToolsBasicFittingIfAisanM-by-NmatrixwithM>NorN>MthenX=A\Bisthesolutionintheleastsquaressensetotheunder-oroverdeterminedsystemofequationsA*X=B.Matlab超定方程組求解Matlab擬合GUIMatlab的多項式擬合命令polyfit和polyval調用格式P=polyfit(X,Y,N)調用格式Y=polyval(P,X)loadcensus,plot(x,y,'o')P=polyfit(x,y,2);polyval(P,2010)截至2010年4月1日,美國居住人口總數為308,745,538Matlab的非線性擬合命令非線性擬合lsqnonlin和lsqcurvefitx=0:.1:10;y=0.12*exp(-0.213*x)+0.54*exp(-0.17*x).*sin(1.23*x);f=inline('a(1)*exp(-a(2)*x)+a(3)*exp(-a(4)*x).*sin(a(5)*x)','a','x');[a,res]=lsqcurvefit(f,[1,1,1,1,1],x,y)嚴格滿足插值條件vs

追求最小殘差平方和適定方程組求解vs

最小二乘問題求解尋找數據的規(guī)律(函數)或者說是壓縮數據思考:插值與擬合的異同作業(yè)題目:數據的挖掘(擬合或插值)數據+挖掘知其然,知其所以然,用其然,利其然測試數據集StatisticalReferenceDataset(/div898/strd/)例1飲料的定價策略一家公司在22個近似相等大小的城市嘗試銷售一種新型的運動型飲料,售價(美元)以及在城市中每周的銷量如下表:

如果每件產品的制造成本是0.23美元,公司如何設置全國統一售價

利潤最大化?城市

售價

銷量/周

1

2

3

4

5

6

7

8

9

10

11

0.59

0.80

0.95

0.45

0.79

0.99

0.90

0.65

0.79

0.69

0.79

3980

2200

1850

6100

2100

1700

2000

4200

2440

3300

2300

城市

售價

銷量/周

12

13

14

15

16

17

18

19

10

21

22

0.49

1.09

0.95

0.79

0.65

0.45

0.60

0.89

0.79

0.99

0.85

600

1190

1960

2760

4330

6960

4160

1990

2860

1920

2160

例2非誠勿擾攻略例3微信3點定位的真與假

2012年11月4日,一條微博稱微信可以通過三點定位法確定使用者的位置,即記住自己的位置和與某人之間的距離,變換兩次位置重新記錄距離,以這三個點為圓心、距離為半徑畫圓,交點就是要找的人的位置,圓圈越多,位置越精確。

提示:非線性最小二乘問題,最速下降法或Gauss-Newton方法求解例4Google街景技術關鍵部分(大型復雜的非線性最小二乘問題)http://google-opensource.blogspot.ca/2012/05/introducing-ceres-solver-nonlinear.html最小二乘擬合問題研究包括:模型的選取(解釋為什么選這個模型)存在唯一性最小二乘解的計算(線性與非線性)不同變形數學概念1秩虧缺(rankdeficient)矩陣A屬于Rm*n如果rank(A)=m(<n),則稱矩陣行滿秩如果rank(A)=n(<m),則稱矩陣列滿秩如果rank(A)<min{m,n},則稱矩陣秩虧缺數學概念2如果函數f的f′,

f′′,...,

f(k)

存在且連續(xù)。理論分析中總是假設觀測數據是由給定的函數生成(假設函數的數學性態(tài))

,然后定量的刻畫插值函數或者擬合函數的近似程度。Ck

函數類數學概念3極值(the

maximum

andminimum,k