考研高數(shù)總復(fù)習(xí)歐幾里得空間第七節(jié)(講解)課件

節(jié)向量到子空間的距離定義向量到子空間各向量間的最短距離最小二乘法最小二乘法節(jié)向量到子空間的距離定義向量到子空間各向量間的最短距離最小二Foil1一、定義在解析幾何中，兩個點(diǎn)和間的距離等于向量

-的長度.在歐氏空間中我們同樣可引入定義13

長度|-

|稱為向量和的距離記為d(,

).不難證明距離的三條基本性質(zhì)：1)d(,

)

=

d(

,)

；2)d(,

)

0，并且僅當(dāng)

=時等號才成立;3)

d(,

)

d(,

)

+

d(,

)

(三角不等式).一、定義在解析幾何中，兩個點(diǎn)和間的距離等于向量Foil2二、向量到子空間各向量間的最短距離在中學(xué)所學(xué)幾何中知道一個點(diǎn)到一個平面(或一條直線)上所有點(diǎn)的距離以垂線最短.下面可以證明一個固定向量和一個子空間中各向量的距離也是以“垂線最短”.先設(shè)一個子空間W，它是由向量1,2,…,k所生成，即W=L(1,2,…,k).說一個向量垂直于子空間W，就是指向量垂直于W

中任何一個向量.容易驗證垂直于W

的充分必要條件是二、向量到子空間各向量間的最短距離在中學(xué)所學(xué)幾何中知道一個點(diǎn)Foil3垂直于每個i

(i=1,2,…,k).現(xiàn)在來證明向量到子空間各向量間的距離以垂線最短.設(shè)

是給定的一向量，

是W

中的向量，且滿足

-垂直于W.要證明到W中各向量的距離以垂線最短，就是要證明，對W中任一向量，有|-

||-

|.我們可以畫出下面的示意圖：垂直于每個i(i=1,2,…,k).Foil4---W

圖9-2---W圖9-2Foil5證明-

=(-)+(-

).因W

是子空間，

W，W，則

-W.故

-垂直于-.由勾股定理，有|-

|2+|-|2=|-

|2

，故|-

||-

|.證畢證明-=(-)+(-Foil6三、最小二乘法1.引例上述幾何事實(shí)可以用來解決一些實(shí)際問題.其中的一個應(yīng)用就是解決最小二乘法問題.先看下面的例子.引例已知某種材料在生產(chǎn)過程中的廢品率y與某種化學(xué)成分x

有關(guān).下列表中記載了某工廠生產(chǎn)中y

與相應(yīng)的x

的幾次數(shù)值：三、最小二乘法1.引例上述幾何事實(shí)可以用來解決一些實(shí)際問Foil7y()1.000.90.90.810.600.560.35x()3.63.73.83.94.04.14.2我們想找出y

對x

的一個近似公式.解把表中數(shù)值畫出圖來看，發(fā)現(xiàn)它的變化趨勢近于一條直線.因此我們決定選取x

的一次式ax+b

來表達(dá).當(dāng)然最好能選到適當(dāng)?shù)腶,b

使得下面的等式3.6a+b-1.00=0,3.7a+b-0.9=0,y()1.000.90.9Foil83.8a+b-0.9=0,3.9a+b-0.81=0,4.0a+b-0.60=0,4.1a+b-0.56=0,4.2a+b-0.35=0都成立.實(shí)際上是不可能的.任何a,b

代入上面各式都會發(fā)生些誤差.于是想找a,b使得上面各式的誤差的平方和最小，即找a,b使3.8a+b-0.9=0,都成立.實(shí)際上是不可Foil9(3.6a+b-1.00)2+(3.7a+b-0.9)2

+(3.8a+b-0.9)2+(3.9a+b-0.81)2+(4.0a+b-0.60)2+(4.1a+b-0.56)2+(4.2a+b-0.35)2

最小.這里討論的是誤差的平方即二乘方，故稱為最小二乘法.現(xiàn)在轉(zhuǎn)向一般的最小二乘法問題.(3.6a+b-1.00)2+(3.7a+Foil102.定義定義14

線性方程組可能無解.即任何一組數(shù)x1,x2,…,xs

都可能使2.定義定義14線性方程組可能無解.即任何一組數(shù)Foil11不等于零.我們設(shè)法找x10,x20,…,xs0

使(1)最小,

這樣的x10,x20,…,xs0稱為方程組的最小二乘解.這種問題就叫做最小二乘法問題.3.最小二乘法的代數(shù)表示下面我們利用歐氏空間的概念來表達(dá)最小二乘法，并給出最小二乘解所滿足的條件.令不等于零.我們設(shè)法找x10,x20,…,xs0Foil12(2)(2)Foil13用距離的概念，就是|Y-B|2.最小二乘法就是找x10,x20,…,xs0

使Y

與B

的距離最短.但從知道向量Y

就是用距離的概念，就是|Y-B|2.最小二乘法就是找xFoil14把A

的各列向量分別記成1,2,…,s.由它們生成的子空間為L(1,2,…,s

).Y

就是L(1,2,…,s

)中的向量.于是最小二乘法問題可敘述成：找X

使最小，就是在L(1,2,…,s

)

中找一向量Y

，使得B

到它的距離比到子空間L(1,2,…,s

)中其他向量的距離都短.把A的各列向量分別記成1,2,…,sFoil154.最小二乘解的求法應(yīng)用前面所講的結(jié)論，設(shè)Y=AX=x11+x22+…+xss

是所要求的向量，則C=B-Y=B-AX必須垂直于子空間L(1,2,…,s

).為此只須而且必須(C,1)=(C,2)=…=(C,s)=0.4.最小二乘解的求法應(yīng)用前面所講的結(jié)論，設(shè)Y=AXFoil16回憶矩陣乘法規(guī)則，上述一串等式可以寫成矩陣相乘的式子，即1T

C=0,2T

C=0,…,sT

C=0.而1T,2T

,…,sT

按行正好排成矩陣AT

，上述一串等式合起來就是AT(B-AX)=0，或AT

AX=AT

B.回憶矩陣乘法規(guī)則，上述一串等式可以寫成矩陣相乘的式子，即1Foil17這就是最小二乘解所滿足的代數(shù)方程，它是一個線性方程組，系數(shù)矩陣是ATA，常數(shù)項是ATB.這種線性方程組總是有解的.(參見第5章習(xí)題17)現(xiàn)在回到前面的例子，易知這就是最小二乘解所滿足的代數(shù)方程，它是一個線性方程組，系數(shù)矩Foil18最小二乘解a,b

所滿足的方程是即為解得a=-1.05,b=4.81(取三位有效數(shù)字).最小二乘解a,b所滿足的方程是即為解得a=-1.Foil19本節(jié)內(nèi)容已結(jié)束!若想結(jié)束本堂課,請單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束!若想結(jié)束本堂課,請單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束!若想結(jié)束本堂課,請單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束!若想結(jié)束本堂課,請單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束!若想結(jié)束本堂課,請單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束!若想結(jié)束本堂課,請單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束!若想結(jié)束本堂課,請單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束!若想結(jié)束本堂課,請單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束!若想結(jié)束本堂課,請單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束!若想結(jié)束本堂課,請單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束!若想結(jié)束本堂課,請單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束!若想結(jié)束本堂課,請單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束!若想結(jié)束本堂課,請單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束!若想結(jié)束本堂課,請單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束!若想結(jié)束本堂課,請單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束!若想結(jié)束本堂課,請單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束!若想結(jié)束本堂課,請單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束!若想結(jié)束本堂課,請單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束!若想結(jié)束本堂課,請單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束!若想結(jié)束本堂課,請單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束!若想結(jié)束本堂課,請單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束!若想結(jié)束本堂課,請單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束!若想結(jié)束本堂課,請單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束!若想結(jié)束本堂課,請單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束!若想結(jié)束本堂課,請單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束!本節(jié)內(nèi)容已結(jié)束!本節(jié)內(nèi)容已結(jié)束!本節(jié)內(nèi)Foil20節(jié)向量到子空間的距離定義向量到子空間各向量間的最短距離最小二乘法最小二乘法節(jié)向量到子空間的距離定義向量到子空間各向量間的最短距離最小二Foil21一、定義在解析幾何中，兩個點(diǎn)和間的距離等于向量

-的長度.在歐氏空間中我們同樣可引入定義13

長度|-

|稱為向量和的距離記為d(,

).不難證明距離的三條基本性質(zhì)：1)d(,

)

=

d(

,)

；2)d(,

)

0，并且僅當(dāng)

=時等號才成立;3)

d(,

)

d(,

)

+

d(,

)

(三角不等式).一、定義在解析幾何中，兩個點(diǎn)和間的距離等于向量Foil22二、向量到子空間各向量間的最短距離在中學(xué)所學(xué)幾何中知道一個點(diǎn)到一個平面(或一條直線)上所有點(diǎn)的距離以垂線最短.下面可以證明一個固定向量和一個子空間中各向量的距離也是以“垂線最短”.先設(shè)一個子空間W，它是由向量1,2,…,k所生成，即W=L(1,2,…,k).說一個向量垂直于子空間W，就是指向量垂直于W

中任何一個向量.容易驗證垂直于W

的充分必要條件是二、向量到子空間各向量間的最短距離在中學(xué)所學(xué)幾何中知道一個點(diǎn)Foil23垂直于每個i

(i=1,2,…,k).現(xiàn)在來證明向量到子空間各向量間的距離以垂線最短.設(shè)

是給定的一向量，

是W

中的向量，且滿足

-垂直于W.要證明到W中各向量的距離以垂線最短，就是要證明，對W中任一向量，有|-

||-

|.我們可以畫出下面的示意圖：垂直于每個i(i=1,2,…,k).Foil24---W

圖9-2---W圖9-2Foil25證明-

=(-)+(-

).因W

是子空間，

W，W，則

-W.故

-垂直于-.由勾股定理，有|-

|2+|-|2=|-

|2

，故|-

||-

|.證畢證明-=(-)+(-Foil26三、最小二乘法1.引例上述幾何事實(shí)可以用來解決一些實(shí)際問題.其中的一個應(yīng)用就是解決最小二乘法問題.先看下面的例子.引例已知某種材料在生產(chǎn)過程中的廢品率y與某種化學(xué)成分x

有關(guān).下列表中記載了某工廠生產(chǎn)中y

與相應(yīng)的x

的幾次數(shù)值：三、最小二乘法1.引例上述幾何事實(shí)可以用來解決一些實(shí)際問Foil27y()1.000.90.90.810.600.560.35x()3.63.73.83.94.04.14.2我們想找出y

對x

的一個近似公式.解把表中數(shù)值畫出圖來看，發(fā)現(xiàn)它的變化趨勢近于一條直線.因此我們決定選取x

的一次式ax+b

來表達(dá).當(dāng)然最好能選到適當(dāng)?shù)腶,b

使得下面的等式3.6a+b-1.00=0,3.7a+b-0.9=0,y()1.000.90.9Foil283.8a+b-0.9=0,3.9a+b-0.81=0,4.0a+b-0.60=0,4.1a+b-0.56=0,4.2a+b-0.35=0都成立.實(shí)際上是不可能的.任何a,b

代入上面各式都會發(fā)生些誤差.于是想找a,b使得上面各式的誤差的平方和最小，即找a,b使3.8a+b-0.9=0,都成立.實(shí)際上是不可Foil29(3.6a+b-1.00)2+(3.7a+b-0.9)2

+(3.8a+b-0.9)2+(3.9a+b-0.81)2+(4.0a+b-0.60)2+(4.1a+b-0.56)2+(4.2a+b-0.35)2

最小.這里討論的是誤差的平方即二乘方，故稱為最小二乘法.現(xiàn)在轉(zhuǎn)向一般的最小二乘法問題.(3.6a+b-1.00)2+(3.7a+Foil302.定義定義14

線性方程組可能無解.即任何一組數(shù)x1,x2,…,xs

都可能使2.定義定義14線性方程組可能無解.即任何一組數(shù)Foil31不等于零.我們設(shè)法找x10,x20,…,xs0

使(1)最小,

這樣的x10,x20,…,xs0稱為方程組的最小二乘解.這種問題就叫做最小二乘法問題.3.最小二乘法的代數(shù)表示下面我們利用歐氏空間的概念來表達(dá)最小二乘法，并給出最小二乘解所滿足的條件.令不等于零.我們設(shè)法找x10,x20,…,xs0Foil32(2)(2)Foil33用距離的概念，就是|Y-B|2.最小二乘法就是找x10,x20,…,xs0

使Y

與B

的距離最短.但從知道向量Y

就是用距離的概念，就是|Y-B|2.最小二乘法就是找xFoil34把A

的各列向量分別記成1,2,…,s.由它們生成的子空間為L(1,2,…,s

).Y

就是L(1,2,…,s

)中的向量.于是最小二乘法問題可敘述成：找X

使最小，就是在L(1,2,…,s

)

中找一向量Y

，使得B

到它的距離比到子空間L(1,2,…,s

)中其他向量的距離都短.把A的各列向量分別記成1,2,…,sFoil354.最小二乘解的求法應(yīng)用前面所講的結(jié)論，設(shè)Y=AX=x11+x22+…+xss

是所要求的向量，則C=B-Y=B-AX必須垂直于子空間L(1,2,…,s

).為此只須而且必須(C,1)=(C,2)=…=(C,s)=0.4.最小二乘解的求法應(yīng)用前面所講的結(jié)論，設(shè)Y=AXFoil36回憶矩陣乘法規(guī)則，上述一串等式可以寫成矩陣相乘的式子，即1T

C=0,2T

C=0,…,sT

C=0.而1T,2T

,…,sT

按行正好排成矩陣AT

，上述一串等式合起來就是AT(B-AX)=0，或AT

AX=AT

B.回憶矩陣乘法規(guī)則，上述一串等式可以寫成矩陣相乘的式子，即1Foil37這就是最小二乘解所滿足的代數(shù)方程，它是一個線性方程組，系數(shù)矩陣是ATA，常數(shù)項是ATB.這種線性方程組總是有解的.(參見第5章習(xí)題17)現(xiàn)在回到前面的例子，易知這就是最小二乘解所滿足的