機器學(xué)習(xí)數(shù)學(xué)基礎(chǔ)-矩陣論

1、1.矩陣和線性變換：線性變換的定義：線性映射(linear mapping)是從一個 向量空間V到另一個向量空間 W的映射 且保持加法運算和數(shù)量乘法運算，而線性 變換(linear transformation)是線性空間 V 到其自身的線性映射。1)。甲寸孫對任氤r PfcV削J=Q!岬厚不對任意叫氏 Em力存在f 元素OEM對一元素鬧為岫悔元 力對口%都存在戶W城口+叩的為物7 酊對F中單位元L ia=n(tiv)用對任意 |巳晡kl怛=K加：，.一個矩陣對應(yīng)了一個線性變換這個說法，乃對任意七I”,代賄1k+lM皿1a就可以知道這個說法并不嚴(yán)謹(jǐn)。(基)小對任意kP, %豌VW他+酢皿坤，矩

2、陣是對線性變換的表示；確定了 定義域空間 與目標(biāo)空間的兩組基，就可以很自然地得 到該線性變換的矩陣表示。我們選擇標(biāo)準(zhǔn)基來描述R2的橋隹基是(1, 0), (0,1) r R3的標(biāo);域是(I, 0,0),(00),(0,6J)：我們想矢CB1T把取2的標(biāo)準(zhǔn)基變換到了哪里,于是代入上式；7(1,0) = (1,2,7) = 1(1,050)+2(0,1,0)+7(0,0,1)7(0,1)=(3,5,9) = 3(1 , 0,0) + 5(0,15 0) + 9(0,0,1)于是，T關(guān)于標(biāo)準(zhǔn)基的矩陣是； 1 32 57 9迂道了.上述內(nèi)容，那么甚區(qū)乘;卻w意文也就彳的理馨了.設(shè)%，- 是P的尊r位，

3、,rn星 W 的其，%,-,%)旱U的蛻 考慮線呻映鼾 ；U T VT : P T /，分別對面學(xué)T和 Af(T).當(dāng)我們定義了矩南I?法之后，它們的復(fù)合快鴕TS ； U t W就對應(yīng)了M(TS) M(T)M(S).具屈婭明領(lǐng)材上都會有，但我建設(shè)最好自己動手驗擊值注 ,這個優(yōu)美的性防屈立的前提是r兩個卿鏗緘選擇的是同一組V的基也，* .,，2%，舌 貝壞成立,當(dāng)然r我用f 用的都是標(biāo)準(zhǔn)基.所以大多數(shù)時矣不會有這個同題兩個矩陣相乘，表示了三個線性空間的變換。要想從第一個空間轉(zhuǎn)換到第三個空間，則第一個變換的定義域空間U到目標(biāo)空間V1 ,第二個變換的定義域空間V2到目標(biāo)空間W,必須滿足V1和V2是一

4、個空間。矩陣把vi換成vi的換基矩陣與把 vi 換成vi的換基矩陣這兩個矩陣是互逆的.2恒等變換與伸縮變換一、恒等變換：h定義；把任何一點（向量）或圖形變換為自身的變換（為恒等變換.即：T:2,恒善變換矩陣工E-.也稱為單位卻陀U定義；沿裝直方向或水平方向伸長或壓縮的平面圖形支典稱為垂直伸吊變換.簡稱伸抵變模.之、爪在伸壓變換盤陣：Mk叫或N= f1 0 C*0*如陽M, N覘定的變奧分別將平時圖卜;：軸，了軸方向伸匕或壓縮.當(dāng)itl時伸長,當(dāng)口父&.3矩陣對角化 條件：n個線性無關(guān)的特征向量；每個特征值的線性無關(guān)的特征向量的個數(shù)恰好等于該特征值的代數(shù)重數(shù)；充分條件 n個特征值互不相等（充分條

5、件）；代數(shù)重數(shù)：特征多項式的次數(shù)；幾何重數(shù)：與某一個特征值入相關(guān)聯(lián)的線性無關(guān)的特征向量的最大個數(shù)。一矣T對于標(biāo);隹基（或者苴他某個基）白洞車為A ；而我們?yōu)榱烁迨堑孛嫦玛嚳闯?位華均短摳6映果，就把A對角化：A = PDP 1（。城施娜）逵其實就是先把標(biāo)旭換成后持證向量0成的基（這是1的意義）于是用T基向量登過 T變換之后都只是乘了 Y常數(shù)達是O的粵義）,最后再陽由特征向量組成的基撞叵標(biāo)隹基 這足尸的克義）.而笆何脫過，r啊需準(zhǔn)M換成標(biāo)準(zhǔn)基的矩陣就是期由準(zhǔn)基的向量豎著寫下來J,所以（按照O 中特征值的順序）蛔應(yīng)的特征句量受著寫下來，就得到了尸.所以對角化其實就是要用特征向量組成的基來代替標(biāo)準(zhǔn)

6、基，描述線性變換，使得多個耦合的變量盡可能的解耦。如果A為實對稱陣，則其必可以正交相似對角化。 其中U內(nèi)的每個向量互相正交。 即：u1.T=u1.I.A = QAQT具不，Q的每一列都是相互正交的特征向量，且是單位向量，A對角線上的元素是從大到小 排列的特征值.線性變換：可以發(fā)現(xiàn)里面并不涉及矩陣維度的變化。其中中間的對角矩陣相當(dāng)于對矩陣的每一列（t特征向量）進行拉伸。兩邊的同維方陣使用的是同一組基，即上述的線性變換始終在一組基里面，所以相當(dāng)于在同一空間內(nèi)做旋轉(zhuǎn)。在一個n維空間里，標(biāo)準(zhǔn)正交基是唯一存在的，該n維空間里面所有的向量都可由該組正交基線性變換得到。所以矩陣的對角化涉及到的運動包括：旋轉(zhuǎn)

7、和縮放。A矩陣將一個向量從x這組基的空間旋轉(zhuǎn)到 x這組基的空間，并在每個方向進行了縮放。 4.SVD當(dāng)給這一個大小為m xm的矩陣4 ,國然矩陣4不一定是方陣，但大小為m義血的 AX1和九X n的幺丁4即是x痢炬耳，苦44r = PA1Pr t AtA = QA&QT ,則 矩陣A的奇異值分解為A = PLQ1其中，矩陣尸=（1于如.歷小）的大小為加X th ,列向量西幣2，.方鵬是 的特征向量也被稱為矩陣A的左奇異向量（left singular vector）;距陣Q =心一的大小為n x n r列向星備】博門是4:4的特征向星，也裾稱為塢陣A的右奇異向曷（right singular v

8、ector）：矩陣A1大小為m x m,矩 陣A?大小為nxn t兩個矩而可角線上的非零元素相同（即矩陡AAT和矩陣丁的非 零特征值相同 推導(dǎo)過程見附錄1 ）；矩陣的大小為仃I X TL ,位于對筆線上的元素被稱為 奇異值（singular value ） .證明：AA.T的特征向量組就是 P矩陣： 2A =P，VT= AT =V 、PT= AAT =P% V V、PT = P， PT得證對A進行矩陣分解得到的 P矩陣就是AA.T的特征向量組成的 P矩陣。SVD的一些應(yīng)用1 .降維左奇用于行數(shù)的壓縮。右奇異矩陣可以用于列數(shù)即特征維度的壓縮，也就是我們的 PCA降維。2 .PCA使用SVD求解P

9、CA求解過程中的協(xié)方差矩陣為特征之間（列之間）的關(guān)系矩陣（ m*m）。而SVD的 右奇異矩陣也是關(guān)于特征之間（矩陣列之間）的關(guān)系，所以 PCA里面的協(xié)方差矩陣可以通 過SVD得到。SVD有個好處，有一些 SVD的實現(xiàn)算法可以不求先求出協(xié)方差矩陣，也能求出我們的 右奇異矩陣。3 .奇異（亂入的）若n階方陣A的行列式不為零，即 |A| w。則稱A為非奇異矩陣或滿秩矩陣4 .幾何意義：奇異值分解把線性變換清晰地分解為旋轉(zhuǎn)、縮放、投影這三種基本線性變換。A =尸卬其中，P為m*m矩陣，Q為n*n矩陣。其中涉及的變換： AQ = PZ。A矩陣的作用是將一個向量從Q這組正交基向量的空間旋轉(zhuǎn)到 P這組正交基

10、向量空間，并對每個方向進行了一定的縮放，縮放因子就是各個 奇異值。如果 Q維度比P大，則表示還進行了投影。8 .一些概念矩陣行秩等于列秩估計量的數(shù)學(xué)期望等于被估計參數(shù)的真實值，則稱此此估計量為被估計參數(shù)的 無偏估計。矩陣與標(biāo)量相乘與相加，每個元素與該標(biāo)量相乘或相加互逆矩陣特征值互為倒數(shù)，特征向量一樣9 .條件數(shù)矩陣A的條件數(shù)等于 A的范數(shù)與A的逆的范數(shù)的乘積，即 cond(A尸II A II -1)(應(yīng)矩陣的3種范數(shù)，相應(yīng)地可以定義3種條件數(shù)。函數(shù)cond(A,1)、cond(A)或cond(A inf)。艱三h 二？ W- X1 - 1UU, K2 -工UU.孔 T；，歸-r -三：- 12

11、 - 79SOO.原因：J條件數(shù)事實上表示了矩陣計算對于誤差的敏感性，條件數(shù)越大，矩陣越大越病態(tài)，矩陣是指解集X對系數(shù)矩陣A和偏差bias高度敏感。主要是某些向量之間可以互相近似線性表達 (如 401 -201與-800 401),從而另一項近似殘差項，這樣微小的擾動帶 來大的擾動。矩陣的條件數(shù)總是大于1.正交矩陣的條件數(shù)等于1 ,奇異矩陣的條件數(shù)為無窮 大，而病態(tài)矩陣的條件數(shù)則為比較大的數(shù)據(jù)。10 .鞍點，極值點，駐點檢驗二元函數(shù)F (x, y)的駐點是不是鞍點的一個簡單的方法，是計算函數(shù)在這個點的 Hessian矩陣：如果黑塞矩陣的行列式小于0,則該點就是鞍點。在一維空間里，鞍點是駐點.也

12、是反曲點點。/目標(biāo)函數(shù)在此點上的梯度(一階導(dǎo)數(shù))值為0,但從該點出發(fā)的一個方向是函數(shù)的極大值點，而在另一個方向是函數(shù)的極小值點。極指點：函她從逆增變換更逆械，或若從逮減受演鈔逆增的點：設(shè)函數(shù)，(0在加附近有定宜，如果對沖的表3兜域(到一如工0M fM .刑而)是的效人工)的大信：板T有不一定導(dǎo)丑盧.駐點要求一階導(dǎo)致rfl我存在.而根優(yōu)點時寫數(shù)沒有要求(共點帶是一曲導(dǎo)數(shù)十口的克)c 比如.9=1到在W =。處1是跟小值點，但不足6點,沒有導(dǎo)數(shù)；想成的，駐點也不 定層極值點.比如亨=工苫在工=0處：11矩陣對角化計算過程對稱矩陣肯定可以對角化。矩陣可以對角化的充分必要條件是： 矩陣有n各不同的牛I

13、征值。n個相互無關(guān)的特征向量L求段4的所有弄不嵇同的襯征慎兒為一九.它們的篁 R,.*+*i*f (A+】* .+*q=in】.L時每個丸女將征值4.求方程軌I4-4EI=。的泰融解 系.將與個蝶桂無更M帶衽南堂.把這丸個姓姓無果的林征向量正文化、單位化，得利比 個的兩正交的單徒將在向量.因為文九=”,第系可用”個兩兩正交枸單位 特征向量.3,這片個兩兩正交的單粒朝衽商止杓成正文陣匕 便有尸-3F = d.,1中對唐元的邨列次序位于中列向量的櫓列次序幅時應(yīng).正交化過程:其中口/口。上下是點乘的過程12矩陣正定半正定判斷條件：(1) A為半正定陣：a.定義判定。XTAX表示的意義是：矩陣A對應(yīng)的

14、二次型XAX ,對于任意 不為0的實列向量X,都大于等于0。b.所有的主子式非負。主子式是指將行號與列號相等的項拿出來組成一個 矩陣的行列式。(2) A為正定陣： a.定義判斷 b.各階順序主子式都為正 c.特征值都為正 d.合同為單位陣 e.g上述四個條件都為充分必要條件。 主子式是，可以跳，順序主子式是惟一的。 意義：正定、半正定矩陣的直覺代表一個向量經(jīng)過它的變化后的向量與其本身的夾角 小于等于90度。13核方法核函數(shù)的取(Mercer定理)任何半正定的函數(shù)都可以作為核函數(shù)。所謂半正定的函數(shù)f(xi,xj),是指擁有訓(xùn)練數(shù)據(jù)集合(x1,x2，xn),我們定義一個矩陣的元素 aij = f(

15、xi,xj),這個矩陣是n*n 的，如果這個矩陣是半正定的， 那么f(xi,xj)就稱為半正定的函數(shù)。這個mercer定理 不是核函數(shù)必要條件，只是一個充分條件，即還有不滿足mercer定理的函數(shù)也可以 是核函數(shù)。常見的核函數(shù)有高斯核，多項式核等等，在這些常見核的基礎(chǔ)上，通過 核函數(shù)的性質(zhì)(如對稱性等)可以進一步構(gòu)造出新的核函數(shù)。SVM是目前核方法應(yīng)用的經(jīng)典模型。一般實施步驟核函數(shù)方法是一種模塊化（Modularity）方法，它可分為核函數(shù)設(shè)計和算法設(shè)計兩個部 分，具體為：1）收集和整理樣本，并進行標(biāo)準(zhǔn)化；2）選擇或構(gòu)造核函數(shù)；3）用核函數(shù)將樣本變換成為核函數(shù)矩陣，這一步相當(dāng)于將輸入數(shù)據(jù)通過非

16、線性 函數(shù)映射到高維特征空間；4）在特征空間對核函數(shù)矩陣實施各種線性算法；5）得到輸入空間中的非線性模型。14共軻共軻復(fù)數(shù)，兩個實部相等，虛部互為相反數(shù)的復(fù)數(shù)互為共軻復(fù)數(shù)（conjugatecomplex number）。當(dāng)虛部不為零時，共軻復(fù)數(shù)就是實部相等，虛部相反，如果虛部為零，其共軻復(fù)數(shù)就是自身。（當(dāng)虛部不等于0時也叫共軻虛數(shù)）復(fù)數(shù)z的共軻復(fù)數(shù)記 作z，。同時，復(fù)數(shù)稱為復(fù)數(shù)z的復(fù)共軻（complex conjugate）.共軻矩陣是指，共軻矩陣又稱 Hermite陣。Hermite陣中每一個第i行第j列的 元素都與第j行第i列的元素的共軻相等。共軻相等概念出現(xiàn)于共軻矩陣中，體現(xiàn)在：主對角

17、線上的元素為實數(shù)（即其共 軻復(fù)數(shù)為其本身），而第i行第j列的元素與第j行第i列的元素為共軻復(fù)數(shù)（這個不 用解釋了吧）。埃爾米特矩陣（又稱“自共軻矩陣”）是共軻對稱的方陣。埃爾米特矩陣中每一 個第i行第j列的元素都與第j行第i列的元素的共軻相等。15概率和似然概率用于在已知事物一些參數(shù)的情況下，預(yù)測接下來的觀測所得到的結(jié)果，而 似然性則是用于在已知某些觀測結(jié)果時，對有關(guān)事物的性質(zhì)的參數(shù)進行估計。舉例：我們從一個袋子（只有紅球和藍球）里面又放回的抓球，抓了 10次，其 中紅球為3次，藍球為7次，則我們估計取得藍球的概率為 0.7,紅球的概率為0.3. 此過程采用的是極大似然的思想，然后我們估計下一

18、次取得藍球的概率為0.7,此過程稱之為概率思想。 16奇異矩陣奇異矩陣是線性代數(shù)的概念，就是該矩陣的秩不是滿秩。首先，看這個矩陣是 不是方陣（即行數(shù)和列數(shù)相等的矩陣。若行數(shù)和列數(shù)不相等，那就談不上奇異矩陣 和非奇異矩陣）。然后，再看此矩陣的行列式 冏是否等于0,若等于0,稱矩陣A為奇異矩陣； 若不等于0,稱矩陣A為非奇異矩陣。同時，由冏知力1陣A可逆，這樣可以得出另外一個重要結(jié)論:可逆矩陣就是非奇異矩陣、非奇異矩陣也是可逆矩陣。如果A為奇異矩陣，則AX=0有無窮解，AX=b有無窮解或者無解。如果 A為非奇異 矩陣，則AX=0有且只有唯一零解,AX=b有唯一解。 17海森矩陣的意義在求解凸優(yōu)化問題的時候，前提條件是嗨森矩陣是正定的。 如果不是正定， 不能保證所產(chǎn)生的方向是目標(biāo)函數(shù)在xk處的下降方向。Hessian矩陣的特征值就是形容其在該點附近特征向量方向的凹凸性（可以看 成是拋物線口的大小，而梯度只是拋物線某點的斜率。），特征值越大，凸性越強。而凸性和優(yōu)化方法的收斂速度有關(guān)，比如梯度下降。如果正定Hessian矩陣的特征 值都差