給學(xué)弟們的1高代高代課件97

1、 在解析幾何中，兩個(gè)點(diǎn)在解析幾何中，兩個(gè)點(diǎn) 和和 間的距離等于向間的距離等于向 量量 - 的長度的長度.在歐氏空間中我們同樣可引入在歐氏空間中我們同樣可引入 不難證明距離的三條基本性質(zhì)：不難證明距離的三條基本性質(zhì)： 在中學(xué)所學(xué)幾何中知道一個(gè)點(diǎn)到一個(gè)平面在中學(xué)所學(xué)幾何中知道一個(gè)點(diǎn)到一個(gè)平面(或或 一條直線一條直線)上所有點(diǎn)的距離以垂線最短上所有點(diǎn)的距離以垂線最短. 下面可以證下面可以證 明一個(gè)固定向量和一個(gè)子空間中各向量的距離也是明一個(gè)固定向量和一個(gè)子空間中各向量的距離也是 以以“垂線最短垂線最短” . 先設(shè)一個(gè)子空間先設(shè)一個(gè)子空間 W，它是由向量，它是由向量 1, 2, , k 所生成，即所生

2、成，即 W = L( 1, 2, , k) .說一個(gè)向量說一個(gè)向量 垂垂 直于子空間直于子空間 W，就是指向量，就是指向量 垂直于垂直于 W 中任何一中任何一 個(gè)向量個(gè)向量. 容易驗(yàn)證容易驗(yàn)證 垂直于垂直于 W 的充分必要條件是的充分必要條件是 垂直于每個(gè)垂直于每個(gè) i ( i = 1, 2, , k) . 現(xiàn)在來證明現(xiàn)在來證明 設(shè)設(shè) 是給定的一向量，是給定的一向量， 是是 W 中的向量，且滿中的向量，且滿 足足 - 垂直于垂直于 W.要證明要證明 到到 W 中各向量的距離中各向量的距離 以垂線最短，就是要證明，對(duì)以垂線最短，就是要證明，對(duì) W 中任一向量中任一向量 ，有 有 | - | |

3、- | . 我們可以畫出下面的示意圖：我們可以畫出下面的示意圖： - - - W 圖圖 9-2 - = ( - ) + ( - ) . 因因 W 是子空是子空 間，間， W， W，則，則 - W.故故 - 垂直于垂直于 - . 由勾股定理，有由勾股定理，有 | - |2 + | - |2 = | - |2 ， 故故 | - | | - | . 上述幾何事實(shí)可以用來解決一些實(shí)際問題上述幾何事實(shí)可以用來解決一些實(shí)際問題. 其其 中的一個(gè)應(yīng)用就是解決最小二乘法問題中的一個(gè)應(yīng)用就是解決最小二乘法問題. 先看下面先看下面 的例子的例子. 已知某種材料在生產(chǎn)過程中的廢品率已知某種材料在生產(chǎn)過程中的廢品率

4、y 與某種化學(xué)成分與某種化學(xué)成分 x 有關(guān)有關(guān). 下列表中記載了某工廠生下列表中記載了某工廠生 產(chǎn)中產(chǎn)中 y 與相應(yīng)的與相應(yīng)的 x 的幾次數(shù)值：的幾次數(shù)值： y () 1.00 0.9 0.9 0.81 0.60 0.56 0.35 x () 3.6 3.7 3.8 3.9 4.0 4.1 4.2 我們想找出我們想找出 y 對(duì)對(duì) x 的一個(gè)近似公式的一個(gè)近似公式. 把表中數(shù)值畫出圖來看，發(fā)現(xiàn)它的變化把表中數(shù)值畫出圖來看，發(fā)現(xiàn)它的變化 趨勢(shì)近于一條直線趨勢(shì)近于一條直線. 因此我們決定選取因此我們決定選取 x 的一次式的一次式 ax + b 來表達(dá)來表達(dá) . 當(dāng)然最好能選到適當(dāng)?shù)漠?dāng)然最好能選到適當(dāng)

5、的 a , b 使得使得 下面的等式下面的等式 3.6a + b - 1.00 = 0 , 3.7a + b - 0.9 = 0 , 3.8a + b - 0.9 = 0 , 3.9a + b - 0.81 = 0 , 4.0a + b - 0.60 = 0 , 4.1a + b - 0.56 = 0 , 4.2a + b - 0.35 = 0 都成立都成立.實(shí)際上是不可能的實(shí)際上是不可能的.任何任何 a , b 代入上面代入上面 各式都會(huì)發(fā)生些誤差各式都會(huì)發(fā)生些誤差.于是想找于是想找 a , b 使得上面各使得上面各 式的誤差的平方和最小，即找式的誤差的平方和最小，即找 a , b 使使 (

6、3.6a + b - 1.00 )2 + (3.7a + b - 0.9 )2 + (3.8a + b - 0.9 )2 + (3.9a + b - 0.81 )2 + (4.0a + b - 0.60 )2 + (4.1a + b - 0.56 )2 + (4.2a + b - 0.35 )2 最小最小. 這里討論的是誤差的平方即二乘方，故稱為這里討論的是誤差的平方即二乘方，故稱為 最小二乘法最小二乘法. 現(xiàn)在轉(zhuǎn)向一般的最小二乘法問題現(xiàn)在轉(zhuǎn)向一般的最小二乘法問題. 0 ,0 ,0 2211 22222121 11212111 nsnsnn ss ss bxaxaxa bxaxaxa bxax

7、axa ) 1 ()( 1 2 2211 n i isisii bxaxaxa 下面我們利用歐氏空間的概念來表達(dá)最小二乘下面我們利用歐氏空間的概念來表達(dá)最小二乘 法，并給出最小二乘解所滿足的條件法，并給出最小二乘解所滿足的條件.令令 ., , 1 1 2 1 1 2 1 2 1 21 22221 11211 AX xa xa xa Y x x x X b b b B aaa aaa aaa A s j jnj s j jj s j jj s nnsnn s s (2) 用距離的概念，用距離的概念，就是就是 | Y - B |2 . 最小二乘法就是最小二乘法就是找找x10 , x20 , , x

8、s0使使 Y 與與 B 的距的距 離最短離最短. 但從但從知道向量知道向量 Y 就是就是 . 2 1 2 22 12 2 1 21 11 1 ns s s s nn a a a x a a a x a a a xY 把把 A 的各列向量分別記成的各列向量分別記成 1 , 2 , , s .由它們由它們 生成的子空間為生成的子空間為 L( 1 , 2 , , s ) . Y 就是就是 L( 1 , 2 , , s ) 中的向量中的向量. 于是最小二乘法問題可敘述于是最小二乘法問題可敘述 成：成： 應(yīng)用前面所講的結(jié)論，設(shè)應(yīng)用前面所講的結(jié)論，設(shè) Y = AX = x1 1 + x2 2 + + xs

9、 s 是所要求的向量，則是所要求的向量，則 C = B - Y = B - AX 必須垂直于子空間必須垂直于子空間 L( 1 , 2 , , s ) .為此只須為此只須 而且必須而且必須 (C , 1) = (C , 2) = = (C , s) = 0 . 回憶矩陣乘法規(guī)則，上述一串等式可以寫成矩陣相回憶矩陣乘法規(guī)則，上述一串等式可以寫成矩陣相 乘的式子，即乘的式子，即 1T C = 0 , 2T C = 0 , , sT C = 0 . 而而 1T , 2T , , sT 按行正好排成矩陣按行正好排成矩陣 AT ，上述，上述 一串等式合起來就是一串等式合起來就是 AT(B - AX) = 0 ， 或或 AT AX = AT B . 這就是最小二乘解所滿足的代數(shù)方程，它是一個(gè)線這就是最小二乘解所滿足的代數(shù)方程，它是一個(gè)線 性方程組，系數(shù)矩陣是性方程組，系數(shù)矩陣是 ATA，常數(shù)項(xiàng)是，常數(shù)項(xiàng)是 ATB. 這種這種 線性方程組總是有解的線性方程組總是有解的. (參見第參見第5章習(xí)題章習(xí)題17) 現(xiàn)在回到前面的例子，易知現(xiàn)在回到前面的例子，易知 . 35. 0 56. 0 60. 0 81. 0 90. 0 90. 0 00. 1 , 12 . 4 11 . 4 10 . 4 19 . 3 18 . 3