線性空間和歐式空間

1、第六章線性空間和歐式空間§ 1線性空間及其同構(gòu)一 線性空間的定義設(shè) V 是一個非空集合，K 是一個數(shù)域，在集合V 的元素之間定義了一種代數(shù)運(yùn)算，叫做加法；這就是說，給出了一個法則，對于V 中任意兩個元素和，在V 中都有唯一的一個元素與他們對應(yīng)，成為與的和，記為。在數(shù)域K 與集合V的元素之間還定義了一種運(yùn)算，叫做數(shù)量乘法， 即對于數(shù)域K 中任一數(shù)k 與V 中任一元素，在 V中都有唯一的一個元素與他們對應(yīng)， 稱為k 與的數(shù)量乘積，記為k，如果加法與數(shù)量乘法滿足下述規(guī)則，那么V 稱為數(shù)域K 上的線性空間。加法滿足下面四條規(guī)則：1）；交換律2） ()() ；結(jié)合律3）在V 中有一個元素0，對

2、于V 中任一元素都有0（具有這個性質(zhì)的元素0 稱為V 的零元素）；存在零元4）對于V 中每一個元素，都有V 中的元素， 使得0（稱為的負(fù)元素） .存在負(fù)元數(shù)量乘法滿足下面兩條規(guī)則：5） 1；存在1 元6）k (l)(kl ).數(shù)的結(jié)合律數(shù)量乘法與加法滿足下面兩條規(guī)則：7） ( kl )kl； 數(shù)的分配律8） k () kk . 元的分配律在以上規(guī)則中， k,l表示數(shù)域中的任意數(shù)；, , 等表示集合 V 中任意元素。例 1元素屬于數(shù)域K 的 m n 矩陣，按矩陣的加法和矩陣的與數(shù)的數(shù)量乘法，構(gòu)成數(shù)域 K 上的一個線性空間，記為M m,n ( K ) 。例 2全體實(shí)函數(shù) （連續(xù)實(shí)函數(shù)） ，按函數(shù)的

3、加法和數(shù)與函數(shù)的數(shù)量乘法，構(gòu)成一個實(shí)數(shù)域上的線性空間。例 3n 維向量空間 K n 是線性空間。例 4向量空間的線性映射的集合HomK (K m , K n ) 是線性空間。二簡單性質(zhì)1零元素是唯一的。2負(fù)元素唯一。3 00 ， k 0 0 ， ( 1)。4若 k0 ，則 k 0 或者0。三 . 同構(gòu)映射定義：設(shè) V ,V是數(shù)域 K 上的線性空間 . AHom K (V ,V ) 是一個線性映射 . 如果 A 是一一映射，則稱 A 是線性空間的同構(gòu)映射，簡稱同構(gòu)。線性空間V 與 V ' 稱為同構(gòu)的線性空間。定理數(shù)域 P 上兩個有限維線性空間同構(gòu)的充分必要條件是他們有相同的維數(shù)。同構(gòu)映射

4、的逆映射以及兩個同構(gòu)映射的乘積還是同構(gòu)映射。同構(gòu)線性空間分類維數(shù)§ 2線性子空間的和與直和子空間的和：設(shè)W1 ,W2 是線性空間 V 的子空間，則集合W12|1W1或2W2 也是一個線性子空間，稱為W1 ,W2 的和，記為 W1W2 .兩個線性子空間的和W1W2 是包含這兩個線性子空間的最小子空間.滿足交換律、結(jié)合律設(shè)1 ,L ,s與1 ,L , t 是 V 的兩個向量組 . 則L ( 1 ,L ,s)L ( 1,L ,t )L( 1 ,L ,s, 1,L , t )線性子空間中的線性無關(guān)向量組都能被擴(kuò)充成這個子空間的一個基。定理 ：（維數(shù)公式 ）如果 W1, W2 是線性空間 V

5、的兩個子空間，那么dim( W1 ) + dim( W2 ) =dim( W1W2 ) + dim(W1W2 )由此可知， 和的維數(shù)要比維數(shù)的和來得小。推廣到有限個線性子空間的和空間維數(shù)推論：如果 n 維線性空間 V 中兩個子空間V1 ,V2 的維數(shù)之和大于n ，那么 V1 ,V2 必含有非零的公共向量。直和：設(shè)W1,W2 是線性空間V的子空間，如果W1W2 中的每個向量都能被 唯一地表示成121W1 ,2W2. 則稱W1W2 為直和，記為W1W2 。設(shè) W1 ,W2 是線性空間 V 的子空間，則下列結(jié)論互相等價：(1)W1W2是直和；(2)W1W20;(3)dim( W1W2 )dim W1

6、dim W2 .設(shè) W 是線性空間V的一個子空間，那么一定存在V的一個線性子空間U，使得VWU滿足上述條件的線性子空間U 稱為 W 的補(bǔ)子空間.推廣到有限多個線性子空間也可以定義它們的直和設(shè) W1， W2，L ， Wm是 V的線性子空間，則下列結(jié)論相互等價：（1）W1Wm是直和；（2）對 i1, , m有 WiW j0;1 jmi j（ ）Wm ) dim W1dim Wm .3 dim( W1§ 3歐式空間定義 設(shè) V 是實(shí)數(shù)域 R 上的有限維線性空間, 在 V 上定義了一個二元實(shí)函數(shù)，稱為內(nèi)積 ,記作 (,) , 滿足以下四條公理 :1)對稱性 (, )( ,) ;2)關(guān)于標(biāo)量乘

7、法線性性質(zhì)(k, )k (,) ;3)關(guān)于向量加法的線性性質(zhì) (,)(,)(,);4)正定性 (, )0 , 當(dāng)且僅當(dāng)0 時 ,(,)0這里, ,是 V任意的向量 ,k 是任意實(shí)數(shù) , 這樣的線性空間 V 稱為 歐幾里得空間 .例 1在線性空間Rn 中 , 對于向量(a1, a2, an ) ,(b1 ,b2 , bn ) ,定義內(nèi)積(, ) a1b1a2 b2anbn .(1)則內(nèi)積 (1) 適合定義中的條件，這樣Rn 就成為一個歐幾里得空間 .n3 時， (1)式就是幾何空間中的向量的內(nèi)積在直角坐標(biāo)系中的坐標(biāo)表達(dá)式.例 2在 Rn 里 ,對于向量(a1, a2, an ) ,(b1 ,b2

8、 , bn ) ,定義內(nèi)積( , ) a1b12a2b2nan bn .則內(nèi)積 (1) 適合定義中的條件，這樣Rn 就也成為一個歐幾里得空間 .對同一個線性空間可以引入不同的內(nèi)積, 使得它作成歐幾里得空間.例 3 在閉區(qū)間 a, b 上的所有實(shí)連續(xù)函數(shù)所成的空間C (a,b) 中 , 對于函數(shù)f ( x), g( x) 定義內(nèi)積b(2)( f ( x), g( x)f ( x) g ( x)dx .a對于內(nèi)積 (2) ， C (a, b) 構(gòu)成一個歐幾里得空間 .同樣地，線性空間R x, R x n 對于內(nèi)積 (2) 也構(gòu)成歐幾里得空間 .例 4 令 H 是一切平方和收斂的實(shí)數(shù)列( x1, x

9、 2 , , xn ),xn2n1所成的集合 , 則 H 是一個歐幾里得空間, 通常稱為希爾伯特(Hilbert) 空間 .定義 非負(fù)實(shí)數(shù)( , )稱為向量的長度，記為.顯然，向量的長度一般是正數(shù)，只有零向量的長度才是零，這樣定義的長度符合熟知的性質(zhì)：k| k |(3)這里 kR,V .長度為 1 的向量叫做 單位向量 . 如果 ,0 由 (3) 式，向量1就是一個單位向量. 用向量的長度去除向量，通常稱為把單位化 .(Cauchy-Buniakowski不等式 ) 對任意的向量, 有|(,)|,而且等號成立當(dāng)且僅當(dāng),線性相關(guān) .( 保證向量夾角定義的合理性)定義 非零向量,的夾角,規(guī)定為,a

10、rccos (,) , 0,根據(jù)柯西 - 布涅柯夫斯基不等式，有三角形不等式.定義 如果向量,的內(nèi)積為零，即(,)0那么,稱為正交或互相垂直，記為.兩個非零向量正交的充要條件是它們的夾角為. 只有零向量才與自己正交.2勾股定理 ：當(dāng),正交時，222.推廣 ：如果向量兩1, 2, m 兩兩正交，那么222212m12m .A(aij )nn ,aij( i ,j )稱為基1, 2 ,n 的度量矩陣 . 度量矩陣完全確定了內(nèi)積.(,)XTAY標(biāo)準(zhǔn)歐式空間 ( 其內(nèi)積關(guān)于自然基的度量矩陣是n 階單位陣 )定義 歐氏空間 V 的一組非零的向量, 如果它們兩兩正交，就稱為一個正交向量組 .由單個非零向量

11、所成的向量組也是正交向量組.在 n 維歐氏空間中，兩兩正交的非零向量不能超過n 個 .正交向量組一定是線性無關(guān)的。若正交向量組中的向量都是單位向量，則稱為規(guī)范正交組。定義 在 n 維歐氏空間中，由n 個向量組成的正交向量組稱為正交基；由單位向量組成的正交基稱為 規(guī)范正交基組. 對一組正交基進(jìn)行單位化就得到一組規(guī)范正交基.歐式空間的線性子空間必存在規(guī)范正交基。在規(guī)范正交基下，向量的內(nèi)積可以通過坐標(biāo)簡單地表示出來，(,)x1 y1x2 y2Lxn ynX T Y.這個表達(dá)式正是幾何中向量的內(nèi)積在直角坐標(biāo)系中坐標(biāo)表達(dá)式的推廣.把一組線性無關(guān)的向量變成一單位正交向量組的方法在一些書和文獻(xiàn)中稱為格拉姆

12、- 施密特（ Schimidt ）正交化方法 . (P314)定義 歐氏空間 V 與V 稱為同構(gòu)的 ,如果存在線性空間的同構(gòu)AHom R (V ,V ) ，保持內(nèi)積，即(A( ),A( ) ( ,) ,對任意的 ,V 成立，這樣的映射A稱為V 到V 的同構(gòu)映射.同構(gòu)的歐氏空間必有相同的維數(shù).每個 n 維的歐氏空間都與Rn 同構(gòu) .同構(gòu)作為歐氏空間之間的關(guān)系具有反身性、對稱性與傳遞性.由每個 n 維歐氏空間都與Rn 同構(gòu)知，任意兩個n 維歐氏空間都同構(gòu).定理兩個有限維歐氏空間同構(gòu)它們的維數(shù)相等.這個定理說明，從抽象的觀點(diǎn)看，歐氏空間的結(jié)構(gòu)完全被它們的維數(shù)決定.S 是歐式空間V§ 4 歐

13、式空間中的正交補(bǔ)空間與正交投影的一個子集，如果V 中向量與 S 中每個向量都正交，則稱與 S正交，記做S .定義設(shè) S是歐幾里得空間V 的一個非空子集,V 中與 S正交的所有向量組成的集合稱為 S的正交補(bǔ),記作 S,即SV | (,)0對所有的S.命題設(shè) S是歐幾里空間V的任意一個非空子集，則S 是 V的一個線性子空間.定理設(shè)W 是歐幾里得空間 V的一個線性子空間，則VWW .正交投影的定義，正交投影的求法(P321-323)VWW, 則其中每個向量都能唯一的表示成12 ,1W ,2W1W 是在 W 上的正交投影的充要條件是1W .令PW:VW V 則 PW 為 V 在 W 上的正交投影 .在

14、 W 中取一個規(guī)范正交基1 ,L, m ，a1在 W 上的正交投影為 PW ( )m則( , i ) i .i 1正交投影的求法 :W 的規(guī)范正交基，再用m（ 1）用施密特正交化方法求出PW ()(, i ) ii 1（ 2）設(shè)1iW ，則21W, (2 , i )0 解齊次線性方程組（ 3）把 (2) 寫成矩陣形式，解決AT AXAY， PW() AX定理設(shè) W 是歐幾里得空間V的子空間，對于V , 1W 是 在W 上的正交投影的充分必要條件為|1 | |, 對所有的W .定義設(shè)W是歐幾里得空間V的一個子空間，是V中的向量 如果W中存在一個向量.使得對所有的W有 | |,那么稱 為 在 W上

15、的最佳逼近元 .V 中任意向量在子空間 W 上的最佳逼近元存在且唯一，就是在 W 上的正交投影PW( ).最小二乘法（偏差總和最小>偏差平方和最?。?（ P327-328）最小二乘法問題：線性方程組a11 x1a12 x2a1 sxsb10 ,a21 x1a22 x2a2 s xsb20 ,an1 x1an2 x2ans xsbn0可能無解 . 即任何一組數(shù)x1 , x2 , xs 都可能使nais xs bi )2(ai1 x1ai 2 x2(1)i1不等于零 . 我們設(shè)法找 x10, x20 , , xs0使（ 1）最小，這樣的 x10, x20 , xs0稱為方程組的最小二乘解 .

16、 這種問題就叫最小二乘法問題 .下面利用歐氏空間的概念來表達(dá)最小二乘法，并給出最小二乘解所滿足的代數(shù)條件.a11a12a1sb1Aa21a22a2 s , Bb2,an1an2ansbnsx1a1 j x j(2)j1x2sX, Ya2 j x jAX .j 1xssanj x jj1用距離的概念， （ 1）就是Y2B最小二乘法就是找 x10 , x20, , xs0 使 Y 與 B 的距離最短 . 但從（ 2），知道向量 Y 就是a11a12a1sY x1a21x2a22xsa2s .an1an 2ans把 A 的各列向量分別記成1, 2,s . 由它們生成的子空間為 L ( 1 , 2 ,

17、 ,s ) . Y 就是 L ( 1 , 2 , , s ) 中的向量 . 于是最小二乘法問題可敘述成：找 X 使（ 1）最小，就是在 L(1, 2,s ) 中找一向量 Y ，使得 B 到它的距離比到子空間L (1, 2, ,s ) 中其它向量的距離都短 .應(yīng)用前面所講的結(jié)論，設(shè)YAXx11x22xss是所求的向量，則CBYBAX必須垂直于子空間L(1 ,2 ,s ). 為此只須而且必須(C ,1 )(C ,2 )(C ,s )0回憶矩陣乘法規(guī)則，上述一串等式可以寫成矩陣相乘的式子，即1T C0 ,2T C0 , L ,sT C0.而 1T , 2T , L , sT 按行正好排成矩陣 AT

18、，上述一串等式合起來就是AT(BAX )0或AT AXAT B這就是最小二乘解所滿足的代數(shù)方程，它是一個線性方程組，系數(shù)矩陣是AT A ，常數(shù)項(xiàng)是AT B . 這種線性方程組總是有解的.§5正交變換與正交矩陣定義歐氏空間V的線性變換A 叫做一個正交變換, 如果它保持向量的內(nèi)積不變，即對任意的，都有,V, 都有(A,A)=(,).正交變換可以從幾個不同方面公平加以刻畫. 正交群O (n, R)設(shè) A 是 n 維歐氏空間的一個正交變換，則有以下結(jié)論：（1）如果1 , 2 , , n 是規(guī)范正交基，那么A1,A2, , An 也是規(guī)范正交基；（2）A 保持向量的長度不變，即對于V,（A ，A） =（， ） ;（3）A 在任一組規(guī)范正交基下的矩陣是