矩陣的特征值與特征向量

矩陣的特征值與特征向量今天和大家聊一個(gè)非常重要，在機(jī)器學(xué)習(xí)領(lǐng)域也廣泛使用的一個(gè)概念——矩陣的特征值與特征向量。我們先來(lái)看它的定義，定義本身很簡(jiǎn)單，假設(shè)我們有一個(gè)n階的矩陣A以及一個(gè)實(shí)數(shù)\lambda，使得我們可以找到一個(gè)非零向量x，滿(mǎn)足：Ax=\lambdax\\如果能夠找到的話，我們就稱(chēng)\lambda是矩陣A的特征值，非零向量x是矩陣A的特征向量。幾何意義光從上面的式子其實(shí)我們很難看出來(lái)什么，但是我們可以結(jié)合矩陣變換的幾何意義，就會(huì)明朗很多。我們都知道，對(duì)于一個(gè)n維的向量x來(lái)說(shuō)，如果我們給他乘上一個(gè)n階的方陣A，得到Ax。從幾何角度來(lái)說(shuō)，是對(duì)向量x進(jìn)行了一個(gè)線性變換。變換之后得到的向量y和原向量x的方向和長(zhǎng)度都發(fā)生了改變。但是，對(duì)于一個(gè)特定的矩陣A來(lái)說(shuō)，總存在一些特定方向的向量x，使得Ax和x的方向沒(méi)有發(fā)生變化，只是長(zhǎng)度發(fā)生了變化。我們令這個(gè)長(zhǎng)度發(fā)生的變化當(dāng)做是系數(shù)\lambda，那么對(duì)于這樣的向量就稱(chēng)為是矩陣A的特征向量，\lambda就是這個(gè)特征向量對(duì)應(yīng)的特殊值。求解過(guò)程我們對(duì)原式來(lái)進(jìn)行一個(gè)很簡(jiǎn)單的變形：(A-\lambdaI)x=0\\這里的I表示單位矩陣，如果把它展開(kāi)的話，可以得到一個(gè)n元的齊次線性方程組。這個(gè)我們已經(jīng)很熟悉了，這個(gè)齊次線性方程組要存在非零解，那么需要系數(shù)行列式|A-\lambdaI|\\不為零，也就是系數(shù)矩陣的秩小于n。我們將這個(gè)行列式展開(kāi)：\left|\begin{matrix}a_{11}-\lambda&a_{12}&\cdots&a_{1n}\\a_{21}&a_{22}-\lambda&\cdots&a_{2n}\\\vdots&\vdots&&\vdots\\a_{n1}&a_{n2}&\cdots&a_{nm}-\lambda\end{matrix}\right|\\。這是一個(gè)以\lambda為未知數(shù)的一元n次方程組，n次方程組在復(fù)數(shù)集內(nèi)一共有n個(gè)解。我們觀察上式，可以發(fā)現(xiàn)\lambda只出現(xiàn)在正對(duì)角線上，顯然，A的特征值就是方程組的解。因?yàn)閚次方程組有n個(gè)復(fù)數(shù)集內(nèi)的解，所以矩陣A在復(fù)數(shù)集內(nèi)有n個(gè)特征值。我們舉個(gè)例子，嘗試一下：假設(shè):A=\left[\begin{matrix}a_{11}-\lambda&a_{12}\\a_{21}&a_{22}-\lambda\\\end{matrix}\right]\\。那么f(\lambda)=(a_{11}-\lambda)(a_{22}-\lambda)-a_{12}a_{21}=\lambda^2-(a_{11}+a_{22})\lambda-|A|，我們套入求根公式可以得出使得f(\lambda)=0的兩個(gè)根\lambda_1,\lambda_2，有：\lambda_1+\lambda_2=a_{11}+a_{22},\quad\lambda_1\lambda_2=|A|。這個(gè)結(jié)論可以推廣到所有的n都可以成立，也就是說(shuō)對(duì)于一個(gè)n階的方陣A，都可以得到：\lambda_1+\lambda_2+\cdots+\lambda_n=a_{11}+a_{22}+\cdots+a_{nn}\lambda_1\lambda_2\cdots\lambda_n=|A|案例我們下面來(lái)看一個(gè)例子：A=\left[\begin{matrix}3&1\\1&3\end{matrix}\right]\\我們帶入(A-\lambdaI)x=0，可以得到：\left|\begin{matrix}3-\lambda&1\\1&3-\lambda\end{matrix}\right|=0\\所以:(3-\lambda)^2-1=0，可以看出來(lái)\lambda_1=2,\quad\lambda_2=4當(dāng)\lambda=2時(shí)：\left[\begin{matrix}3&1\\1&3\end{matrix}\right]x=2x\\\left[\begin{matrix}3&1\\1&3\end{matrix}\right][a_1,a_2]^T=[2a_1,2a_2]^T\\\begin{aligned}3a_1+a_2&=2a_1\\a_1+3a_2&=2a_2\end{aligned}\\。解之，可以得到：a_1+a_2=0，所有(x,-x)向量都是A的特征向量。同理，當(dāng)\lambda=4時(shí)：\begin{aligned}\left[\begin{matrix}3&1\\1&3\end{matrix}\right]x&=4x\\\left[\begin{matrix}3&1\\1&3\end{matrix}\right][a_1,a_2]^T&=[4a_1,4a_2]^T\\3a_1+a_2&=4a_1\\a_1+3a_2&=4a_2\end{aligned}\\。解之，可以得到：a_1=a_2，所有(x,x)向量都是A的特征向量。使用Python求解特征值和特征向量在我們之前的文章當(dāng)中，我們就介紹過(guò)了Python在計(jì)算科學(xué)上的強(qiáng)大能力，這一次在特征值和特征矩陣的求解上也不例外。通過(guò)使用numpy當(dāng)中的庫(kù)函數(shù)，我們可以非常輕松，一行代碼，完成特征值和特征向量的雙重計(jì)算。我們一起來(lái)看代碼：importnumpyasnpa=np.mat([[3,1],[1,3]])lam,vet=np.linalg.eig(a)np.linalg.eig方法會(huì)返回兩個(gè)值，第一個(gè)返回值是矩陣的特征值，第二個(gè)返回值是矩陣的特征向量，我們看下結(jié)果：這里的特征向量為什么是0.707呢？因?yàn)镻ython自動(dòng)幫我們做好了單位化，返回的向量都是單位向量，不得不說(shuō)實(shí)在是太貼心了。總結(jié)關(guān)于矩陣的特征值和特征向量的介紹到這里就結(jié)束了，對(duì)于算法工程師而言，相比于具體怎么計(jì)算特征向量以及特征值。理解清楚它們的概念和幾何意義更加重要，因?yàn)檫@兩者在機(jī)器學(xué)習(xí)的領(lǐng)域當(dāng)中廣泛使用，在許多降維算法當(dāng)中，大量使用矩陣的特征值和特征向量。對(duì)于降維算法的原理，這里不過(guò)多贅述，我們會(huì)在以后的文章當(dāng)中更新相關(guān)內(nèi)容。感興趣的同學(xué)可以小小期待一下。文章到這里就結(jié)束了，這也是線性代數(shù)專(zhuān)題的最