向量到子空間距離最小二乘法課件

1、7 向量到子空間的距離最小二乘法主要內(nèi)容向量到子空間的距離目錄 下頁(yè) 返回 結(jié)束 最小二乘法17 向量到子空間的距離最小二乘法主要內(nèi)容向量到子空間的(三角不等式)首頁(yè) 上頁(yè) 下頁(yè) 返回 結(jié)束 一、向量到子空間的距離 在解析幾何中, 兩個(gè)點(diǎn) 和 間的距離等于向量 - 的長(zhǎng)度. 在歐氏空間中我們同樣可引入2(三角不等式)首頁(yè) 上頁(yè) 下頁(yè) 返回 結(jié)束 在中學(xué)所學(xué)幾何中知道一個(gè)點(diǎn)到一個(gè)平面(或一條直線)上所有點(diǎn)的距離以垂線最短.下面可以證明一個(gè)固定向量和一個(gè)子空間中各向量的距離也是以“垂線最短” . 設(shè)子空間 W, 它由向量 1, 2, , k所生成,即 W = L(1, 2, , k) . 說(shuō)一個(gè)向

2、量 垂直于子空間 W, 就是指向量 垂直于 W 中任何一個(gè)向量.首頁(yè) 上頁(yè) 下頁(yè) 返回 結(jié)束 容易驗(yàn)證 垂直于 W 的充分必要條件是 垂直于每個(gè)i ( i = 1, 2, , k) .3 在中學(xué)所學(xué)幾何中知道一個(gè)點(diǎn)到一個(gè)平面(或一條設(shè) 是給定的一向量, 是 W 中的向量, 且滿足 - 垂直于 W.要證明 到 W 中各向量的距離以垂線最短, 就是要證明, 對(duì) W 中任一向量 , 有| - | | - | .畫出下面的示意圖：首頁(yè) 上頁(yè) 下頁(yè) 返回 結(jié)束 4設(shè) 是給定的一向量, 是 W 中的向量, 且滿足 證 - = ( - ) + ( - ) .因 W 是子空間, W, W, 則 - W.故 -

3、 垂直于 - .由勾股定理, 有故首頁(yè) 上頁(yè) 下頁(yè) 返回 結(jié)束 5證 - = ( - ) + ( 二、最小二乘法 上述幾何事實(shí)可以用來(lái)解決一些實(shí)際問(wèn)題.其中的一個(gè)應(yīng)用就是解決最小二乘法問(wèn)題.先看下面的例子. 例 已知某種材料在生產(chǎn)過(guò)程中的廢品率 y與某種化學(xué)成分 x 有關(guān).下列表中記載了某工廠生產(chǎn)中 y 與相應(yīng)的 x 的幾次數(shù)值：y () 1.00 0.9 0.9 0.81 0.60 0.56 0.35x () 3.6 3.7 3.8 3.9 4.0 4.1 4.21. 引例首頁(yè) 上頁(yè) 下頁(yè) 返回 結(jié)束 6二、最小二乘法 上述幾何事實(shí)可以用來(lái)解決一些實(shí)際問(wèn)題. 解 把表中數(shù)值畫出圖來(lái)看, 發(fā)現(xiàn)

4、它的變化趨勢(shì)近于一條直線.我們想找出 y 對(duì) x 的一個(gè)近似公式.首頁(yè) 上頁(yè) 下頁(yè) 返回 結(jié)束 7 解 把表中數(shù)值畫出圖來(lái)看, 發(fā)現(xiàn)它的變化 因此我們決定選取 x 的一次式 ax + b 來(lái)表達(dá) .當(dāng)然最好能選到適當(dāng)?shù)?a , b 使得下面的等式3.6a + b - 1.00 = 0 ,3.7a + b - 0.9 = 0 ,3.8a + b - 0.9 = 0 ,3.9a + b - 0.81 = 0 ,4.0a + b - 0.60 = 0 ,4.1a + b - 0.56 = 0 ,4.2a + b - 0.35 = 0 都成立.實(shí)際上是不可能的.任何 a , b 代入上面首頁(yè) 上頁(yè) 下

5、頁(yè) 返回 結(jié)束 8 因此我們決定選取 x 的一次式 ax + b各式都會(huì)發(fā)生些誤差.于是想找 a , b 使得上面各式的誤差的平方和最小，即找 a , b 使最小.這里討論的是誤差的平方即二乘方，故稱為最小二乘法.現(xiàn)在轉(zhuǎn)向一般的最小二乘法問(wèn)題.首頁(yè) 上頁(yè) 下頁(yè) 返回 結(jié)束 9各式都會(huì)發(fā)生些誤差.于是想找 a , b 使得上面各式的誤差最小二乘法問(wèn)題 線性方程組可能無(wú)解.即任何一組數(shù) x1 , x2 , , xs 都可能使不等于零.2. 最小二乘法首頁(yè) 上頁(yè) 下頁(yè) 返回 結(jié)束 10最小二乘法問(wèn)題 線性方程組可能無(wú)解.即任何一組數(shù) x1 我們?cè)O(shè)法找 x10 , x20 , , xs0 使(1)最小

6、,這樣的 x10 , x20 , , xs0 稱為方程組的最小二乘解.這種問(wèn)題就叫做最小二乘法問(wèn)題. 下面我們利用歐氏空間的概念來(lái)表達(dá)最小二乘法, 并給出最小二乘解所滿足的條件.令3. 最小二乘法的代數(shù)表示首頁(yè) 上頁(yè) 下頁(yè) 返回 結(jié)束 11 我們?cè)O(shè)法找 x10 , x20 , , (2)用距離的概念, (1)式就是最小二乘法就是找x10 , x20 , , xs0 使 Y 與 B 的距離最短.但從(2)知道向量 Y 就是首頁(yè) 上頁(yè) 下頁(yè) 返回 結(jié)束 12(2)用距離的概念, (1)式就是最小二乘法就是找x10 ,記 A 的各列向量分別為 1 , 2 , , s .由它們生成的子空間為 L(1

7、, 2 , , s ).Y 就是 L(1, 2, , s ) 中的向量.于是最小二乘法問(wèn)題可敘述成: 找 X 使(1)最小，就是在 L(1 , 2 , , s )中找一向量 Y ，使得 B 到它的距離比到子空間L(1 , 2 , , s ) 中其他向量的距離都短.首頁(yè) 上頁(yè) 下頁(yè) 返回 結(jié)束 13記 A 的各列向量分別為 1 , 2 , , s 4. 最小二乘解的求法應(yīng)用前面所講的結(jié)論，設(shè)Y = AX = x11 + x22 + + xss 是所要求的向量，則C = B - Y = B - AX必須垂直于子空間 L(1 , 2 , , s ) .為此只須而且必須(C , 1) = (C , 2) = = (C , s) = 0 . 由矩陣乘法規(guī)則,上述一串等式可以寫成:首頁(yè) 上頁(yè) 下頁(yè) 返回 結(jié)束 144. 最小二乘解的求法應(yīng)用前面所講的結(jié)論，設(shè)Y = AX 首頁(yè) 上頁(yè) 下頁(yè) 返回 結(jié)束 15首頁(yè) 上頁(yè) 下頁(yè) 返回 結(jié)束 15現(xiàn)在回到前面的例子，易知首頁(yè) 上頁(yè) 下頁(yè) 返回 結(jié)束 16現(xiàn)在回到前