3-3+超定線性方程組的最小二乘解

超定線性方程組的最小二乘法主講人：高淑萍西安電子科技大學超定線性方程組(1)式無解，即為不存在解的矛盾方程組----超定線性方程組其中(1)實例美國地質(zhì)調(diào)查局（NGS）1974年準備更新北美地質(zhì)資料（NAD），這是一個包含268000個節(jié)點（地點）的網(wǎng)絡，它覆蓋整個北美大陸，包括巴拿馬地峽、格陵蘭島、夏威夷、波多黎哥等其他加勒比海諸島。地質(zhì)資料中記錄的經(jīng)度和緯度必須經(jīng)精確到幾厘米，其原因是它構成了諸如測量、地圖、法定邊界、國家和區(qū)域土地使用計劃，像高速路和公共使用線路等項目設計標準。覆蓋長達140年的數(shù)據(jù)資料包括180萬個觀測值，考慮其相對精度，必須轉(zhuǎn)化為適合計算機運算的格式，其數(shù)學模型為包含928735個方程、928735個變量的線性方程組，但這個方程組無解！無解的線性方程組也成為不相容的，實際應用中常出現(xiàn)這類不相容問題。

即任意都不可能使

等于零。(2)

如果有向量使得達到最小，稱為超定線性方程組（1）的最小二乘解當方程組的解不存在但又需要求解時，最好的方法就是尋找，使得盡可能的接近高斯（德國的數(shù)學家、物理學家，1777--1855）18、19世紀之交最偉大的德國數(shù)學家，其貢獻遍及純數(shù)學及應用數(shù)學的各個領域，成為世界數(shù)學界的光輝旗幟，其形象成為數(shù)學告別過去，走向現(xiàn)代數(shù)學的象征，后人譽為“數(shù)學王子”1809年最小二乘法的方法發(fā)表于他的著作《天體運動論》,后來高斯等數(shù)學家對最小二乘法進行了大量的理論研究和應用,在統(tǒng)計學中發(fā)揮著重要的作用,是十九世紀統(tǒng)計學的“中心主題”勒讓德（法國數(shù)學家，1752--1833）橢圓積分理論奠基人之一、數(shù)論、初等幾何與天體力學，取得了重要理論成果，如在歐拉提出橢圓積分加法定理后的40年中，他是僅有的在這一領域提供重大新結果的數(shù)學家。在天文學的研究中，勒讓德引進了著名的"勒讓德多項式"1805年研究天文學和測地學處理數(shù)據(jù)時最先發(fā)明最小二乘法,但因不為世人所知而默默無聞

勒讓德高斯

設系數(shù)矩陣A

利用距離的概念，（2）式最小就是最小

最小二乘法公式推導---以為常向量的線性方程組（3）這等價于

（4）

即

設則必有

找使（2）式最小，等價于找子空間

中向量到距離最短。x

這樣（4）式等價于即

稱（5）式為法方程組，其解為超定線性方程組的最小二乘解例

求下列超定線性方程組的最小二乘解

解:超定方程組很難得到一組值使得每一個方程都成立，現(xiàn)求其最小二乘解。

解法1利用公式直接寫出法方程組寫為

兩邊同乘以系數(shù)矩陣的轉(zhuǎn)置矩陣，就得到所需要的法方程組：計算結果如下：得最小二乘解x1=-0.3141x2=0.1333x3=0.0269利用極值原理，所求的最小二乘解應滿足解法2采用最小二乘法思想，考慮如下的誤差函數(shù)：誤差函數(shù)同理可得：令偏導數(shù)等于零法方程組為：解此方程組得到最小二乘解：

x1=-0.3141x2=0.1333

x3=0.0269數(shù)據(jù)擬合的最小二乘法經(jīng)常由觀察或測試可得到一組離散數(shù)據(jù)，給出擬合曲線y=f(x)這種度量標準求得擬合曲線y=f(x)的方法-----數(shù)據(jù)擬合的最小二乘法，轉(zhuǎn)化為線性方程組的求解問題使得f(x)在每一個處所產(chǎn)生的誤差δi

絕對值|δi|達最小。但這樣分別考慮太困難，所以考慮整體誤差達到最小已知離散數(shù)據(jù)：(

,

),=0,1,2,…,m,假設擬合函數(shù)為f(x)