矩陣的奇異值分解

1、2 矩陣的奇異值分解定義 設(shè)是秩為的復(fù)矩陣，的特征值為.則稱為A的奇異值.易見，零矩陣的奇異值都是零，矩陣的奇異值的個數(shù)等于的列數(shù)，的非零奇異值的個數(shù)等于其秩.矩陣的奇異值具有如下性質(zhì)：（1）為正規(guī)矩陣時，的奇異值是的特征值的模；（2）為半正定的Hermite矩陣時，的奇異值是的特征值；（3）若存在酉矩陣，矩陣，使，則稱A和B酉等價.酉等價的矩陣A和B有相同的奇異值.奇異值分解定理 設(shè)是秩為的復(fù)矩陣，則存在m階酉矩陣與n階酉矩陣，使得. 其中，為矩陣的全部非零奇異值.證明 設(shè)Hermite矩陣的n個特征值按大小排列為.則存在n階酉矩陣，使得. 將分塊為 ，其中，分別是的前r列與后列. 并改寫式

2、為.則有. 由的第一式可得.由的第二式可得.令，則，即的r個列是兩兩正交的單位向量.記作，因此可將擴(kuò)充成的標(biāo)準(zhǔn)正交基，記增添的向量為，并構(gòu)造矩陣，則是m階酉矩陣,且有 .于是可得.由式可得. 稱式為矩陣的奇異值分解.值得注意的是：在奇異值分解中是的特征向量，而的列向量是的特征向量，并且與的非零特征值完全相同.但矩陣的奇異值分解不惟一.證明2 設(shè)Hermite矩陣的n個特征值按大小排列為.則存在n階酉矩陣，使得. 將分塊為，它的n個列是對應(yīng)于特征值的標(biāo)準(zhǔn)正交的特征向量.為了得到酉矩陣U，首先考察中的向量組，由于當(dāng)i不等于j時有所以向量組是中的正交向量組.又 ，所以 .令，則得到中的標(biāo)準(zhǔn)正交向量組

3、，把它擴(kuò)充成為中的標(biāo)準(zhǔn)正交基，令則U是m階酉矩陣.由已知及前面的推導(dǎo)可得，；，；從而 故有，即.例1 求矩陣的奇異值分解.解 的特征值為，對應(yīng)的單位特征向量依次為.所以 .于是可得，.計算，則的奇異值分解為.在A的奇異值分解中，酉矩陣V的列向量稱為A的右奇異向量，V的前r列是的r個非零特征值所對應(yīng)的特征向量，將他們?nèi)榫仃嘨1，則.酉矩陣U的列向量被稱為A的左奇異向量，將U從前r列處分塊為，由分塊運算，有從而 .因此，有下列結(jié)果 （1）的列向量組是矩陣A的零空間的一組標(biāo)準(zhǔn)正交基； （2）的列向量組是矩陣A的列空間的一組標(biāo)準(zhǔn)正交基； （1）的列向量組是矩陣A的零空間正交補的一組標(biāo)準(zhǔn)正交基； （1

4、）的列向量組是矩陣A的列空間正交補的一組標(biāo)準(zhǔn)正交基.在A的奇異值分解中，酉矩陣U和V不是惟一的.A的奇異值分解給出了矩陣A的許多重要信息. 更進(jìn)一步，由于，可借助于奇異值分解，將A表示為歸納這一結(jié)果，有如下定理. 定理 設(shè)，A的非零奇異值為，是應(yīng)于奇異值的左奇異向量，是應(yīng)于奇異值的右奇異向量，則. 上式給出的形式被稱為矩陣A的奇異值展開式，對一個，略去A的一些小的奇異值對應(yīng)的項，去矩陣為.則是一個秩為k的mn矩陣.可以證明，是在所有秩為k的mn矩陣中，從Frobenius范數(shù)的意義下，與矩陣A距離最近的一個矩陣.這在實際中應(yīng)用廣泛.例如，在圖像數(shù)字化技術(shù)中，一副圖片可以轉(zhuǎn)換成一個mn階像素矩陣

5、來儲存，存儲量mn是個數(shù).如果利用矩陣的奇異值展開式，則只要存儲A的奇異值，奇異向量的分量，總計r（m+n+1）個數(shù).取m=n=1000，r=100作一個比較，mn=1000000，r（m+n+1）=100（1000+1000+1）=200100.取A的奇異值展開式，存儲量較A的元素情形減少了80%.另外，可取，用逼近A，能夠達(dá)到既壓縮圖像的存儲量，又保持圖像不失真的目的.由矩陣的奇異值分解可得可見，是矩陣的加權(quán)和，其中權(quán)系數(shù)按遞減排列.顯然，權(quán)系數(shù)大的那些項對矩陣的貢獻(xiàn)大，因此當(dāng)舍去權(quán)系數(shù)小的一些項后，仍然能較好的“逼近”矩陣，這一點在數(shù)字圖像處理方面非常有用.矩陣的秩k逼近定義為秩r逼近就

6、精確等于，而秩1逼近的誤差最大.矩陣的奇異值分解不但在線性方程組，矩陣范數(shù)，廣義逆，最優(yōu)化等方面有著廣泛的應(yīng)用.而且在數(shù)字計算，數(shù)字圖像處理，信息檢索，心里學(xué)等領(lǐng)域也有著極重要的應(yīng)用.有興趣的讀者可參閱有關(guān)教科書，如Steven J.Leon 的線性代數(shù).矩陣的奇異值分解與線性變換設(shè)A是一個秩為r的mn復(fù)矩陣，即，則由可以定義線性變換.設(shè)矩陣A有奇異值分解，則將矩陣的列向量組取作空間的標(biāo)準(zhǔn)正交基；則將矩陣的列向量組取作空間的標(biāo)準(zhǔn)正交基，則在所取的基下，線性變換對應(yīng)的變換矩陣就是.設(shè)，在基下坐標(biāo)向量為，.那么在線性變換下的像具有形式：.其中是A的非零奇異值，所以，的像在中基下的坐標(biāo)是.從中可以看出，當(dāng)時，在取定的基下，線性變換的作用是將原像坐標(biāo)中的前r個分量分別乘以A的非零奇異值，后（n-r）分量化為零.如果原像坐標(biāo)滿足條件：，則像坐標(biāo)滿足條件：.在時，等式成立.因此，有如下定理.定理 設(shè)是mn實矩陣A的奇異值分解，則中的單位圓球面在線性變換下的像集合是：（1）若，則像集合是中的橢球面；（2）若，則像