《奇異值分解的應(yīng)用（論文）》

.引言矩陣奇異值分解是現(xiàn)代數(shù)值線性代數(shù)(特別是數(shù)值計(jì)算)方面最基本和最重要的工具之一。眾所周知，矩陣奇異值分解無論是在數(shù)值線性代數(shù)的理論研究中，還是在數(shù)值計(jì)算中都是非常重要的基礎(chǔ)工具，因此，研究矩陣的奇異值分解對(duì)于其他領(lǐng)域的理論和計(jì)算研究都具有非常重要的意義。2.奇異值分解的概念2.1奇異值概念奇異值就是相應(yīng)的特征，在目標(biāo)識(shí)別中，進(jìn)行奇異值分解后，就找到了特征值，然后把目標(biāo)圖像和模型圖像中的奇異值進(jìn)行比較，來進(jìn)行識(shí)別。對(duì)任意m×n階矩陣A做分解之后得到兩個(gè)正交距陣U，V和一個(gè)廣義對(duì)角陣（其中的對(duì)角元素就是奇異值），有了這樣一個(gè)簡(jiǎn)單的描述后，對(duì)任意向量x，對(duì)應(yīng)的變換Ax就可以用A分解后的三個(gè)距陣來計(jì)算了。這樣的話，對(duì)于v陣的任一個(gè)元素Vi，經(jīng)過變換AVi就可以得到唯一的一個(gè)Uiσi，這樣就有了大家都知道的幾何意義：當(dāng)A是方陣時(shí)，其奇異值的幾何意義是：若X是n維單位球面上的一點(diǎn)，則Ax是一個(gè)n維橢球面上的點(diǎn)，其中橢球的n個(gè)半軸長(zhǎng)正好是A的n個(gè)奇異值。奇異值定義設(shè)是秩為的復(fù)矩陣，的特征值為.則稱為A的奇異值.易見，零矩陣的奇異值都是零，矩陣的奇異值的個(gè)數(shù)等于的列數(shù)，的非零奇異值的個(gè)數(shù)等于其秩.矩陣的奇異值具有如下性質(zhì)：（1）為正規(guī)矩陣時(shí)，的奇異值是的特征值的模；（2）為半正定的Hermite矩陣時(shí)，的奇異值是的特征值；（3）若存在酉矩陣，矩陣，使，則稱A和B酉等價(jià).酉等價(jià)的矩陣A和B有相同的奇異值。2.2奇異值分解的概念奇異值分解定理設(shè)是秩為的復(fù)矩陣，則存在m階酉矩陣與n階酉矩陣，使得.①其中，為矩陣的全部非零奇異值.證明1設(shè)Hermite矩陣的n個(gè)特征值按大小排列為.則存在n階酉矩陣，使得.②將分塊為，其中，分別是的前r列與后列.并改寫②式為.則有.③由③的第一式可得.由③的第二式可得.令，則，即的r個(gè)列是兩兩正交的單位向量.記作，因此可將擴(kuò)充成的標(biāo)準(zhǔn)正交基，記增添的向量為，并構(gòu)造矩陣，則是m階酉矩陣,且有.于是可得.由①式可得.④稱④式為矩陣的奇異值分解.值得注意的是：在奇異值分解中是的特征向量，而的列向量是的特征向量，并且與的非零特征值完全相同.但矩陣的奇異值分解不唯一.證明2設(shè)Hermite矩陣的n個(gè)特征值按大小排列為.則存在n階酉矩陣，使得.②將分塊為，它的n個(gè)列是對(duì)應(yīng)于特征值的標(biāo)準(zhǔn)正交的特征向量.為了得到酉矩陣U，首先考察中的向量組，由于當(dāng)i不等于j時(shí)有所以向量組是中的正交向量組.又，所以.令，，則得到中的標(biāo)準(zhǔn)正交向量組，把它擴(kuò)充成為中的標(biāo)準(zhǔn)正交基，令則U是m階酉矩陣.由已知及前面的推導(dǎo)可得，；，；從而故有，即.求矩陣的奇異值分解.解的特征值為，對(duì)應(yīng)的單位特征向量依次為.所以.于是可得，.計(jì)算，則的奇異值分解為.在A的奇異值分解中，酉矩陣V的列向量稱為A的右奇異向量，V的前r列是的r個(gè)非零特征值所對(duì)應(yīng)的特征向量，將他們?nèi)榫仃嘨1，則.酉矩陣U的列向量被稱為A的左奇異向量，將U從前r列處分塊為，由分塊運(yùn)算，有從而.因此，有下列結(jié)果（1）的列向量組是矩陣A的零空間的一組標(biāo)準(zhǔn)正交基；（2）的列向量組是矩陣A的列空間的一組標(biāo)準(zhǔn)正交基；（3）的列向量組是矩陣A的零空間正交補(bǔ)的一組標(biāo)準(zhǔn)正交基；（4）的列向量組是矩陣A的列空間正交補(bǔ)的一組標(biāo)準(zhǔn)正交基.在A的奇異值分解中，酉矩陣U和V不是惟一的.A的奇異值分解給出了矩陣A的許多重要信息.更進(jìn)一步，由于，，可借助于奇異值分解，將A表示為歸納這一結(jié)果，有如下定理.定理設(shè)，A的非零奇異值為，是應(yīng)于奇異值的左奇異向量，是應(yīng)于奇異值的右奇異向量，則.上式給出的形式被稱為矩陣A的奇異值展開式，對(duì)一個(gè)，略去A的一些小的奇異值對(duì)應(yīng)的項(xiàng)，去矩陣為.則是一個(gè)秩為k的m×n矩陣.可以證明，是在所有秩為k的m×n矩陣中，從Frobenius范數(shù)的意義下，與矩陣A距離最近的一個(gè)矩陣.這在實(shí)際中應(yīng)用廣泛.例如，在圖像數(shù)字化技術(shù)中，一副圖片可以轉(zhuǎn)換成一個(gè)m×n階像素矩陣來儲(chǔ)存，存儲(chǔ)量m×n是個(gè)數(shù).如果利用矩陣的奇異值展開式，則只要存儲(chǔ)A的奇異值，奇異向量的分量，總計(jì)r（m+n+1）個(gè)數(shù).取m=n=1000，r=100作一個(gè)比較，m×n=1000000，r（m+n+1）=100（1000+1000+1）=200100.取A的奇異值展開式，，存儲(chǔ)量較A的元素情形減少了80%.另外，可取，用逼近A，能夠達(dá)到既圖像的存儲(chǔ)量，又保持圖像不失真的目的.由矩陣的奇異值分解可得可見，是矩陣的加權(quán)和，其中權(quán)系數(shù)按遞減排列.顯然，權(quán)系數(shù)大的那些項(xiàng)對(duì)矩陣的貢獻(xiàn)大，因此當(dāng)舍去權(quán)系數(shù)小的一些項(xiàng)后，仍然能較好的“逼近”矩陣，這一點(diǎn)在數(shù)字圖像處理方面非常有用.矩陣的秩k逼近定義為秩r逼近就精確等于，而秩1逼近的誤差最大。3.奇異值的分解的原理和幾何意義3.1奇異值的分解的原理3.1.1矩陣奇異值分解定義設(shè)A是秩為r的復(fù)矩陣，的特征值為

則稱為A的奇異值。

易見，零矩陣的奇異值都是零，矩陣A的奇異值的個(gè)數(shù)等于A的列數(shù)，A的非零奇異值的個(gè)數(shù)等于其秩。

矩陣的奇異值具有如下性質(zhì)：（1）A為正規(guī)矩陣時(shí)，A的奇異值是A的特征值的模；（2）A為半正定的Hermite矩陣時(shí)，A的奇異值是A的特征值；（3）若存在酉矩陣，，矩陣，使，則稱和B酉等價(jià)。酉等價(jià)的矩陣和B有相同的奇異值。3.1.2奇異值分解定理設(shè)A是秩為r(r>0)的復(fù)矩陣，則存在m階酉矩陣U與n階酉矩陣V，使得

其中為矩陣A的全部非零奇異值。

31.奇異值分解的圖像性質(zhì)任意一個(gè)矩陣的奇異值是唯一的，它刻畫了矩陣數(shù)據(jù)的分布特征。直觀上，可以這樣理解矩陣的奇異值分解：將矩陣A看成是一個(gè)線性變換，它將m維空間的點(diǎn)映射到n維空間。經(jīng)過奇異值分解后，這種變換被分割成3個(gè)部分，分別為U、和V。其中U和V都是標(biāo)準(zhǔn)正交矩陣。若A為數(shù)字圖像，則A可視為二維時(shí)頻信息，可將A的奇異值分解公式寫為：其中，和分別是U和V的列矢量，是A的非零奇異值。故上式表示的數(shù)字圖像可以看成是r個(gè)秩為1的子圖疊加的結(jié)果，而奇異值為權(quán)系數(shù)。所以也表示時(shí)頻信息，對(duì)應(yīng)的和可分別視為頻率矢量和時(shí)間矢量，因此數(shù)字圖像A中的時(shí)頻信息就被分解到一系列由和構(gòu)成的視頻平面中。由矩陣范數(shù)理論，

奇異值能與向量2-范數(shù)和矩陣Frobenious-范數(shù)(F-范數(shù))相聯(lián)系。若以F-范數(shù)的平方表示圖像的能量，則由矩陣奇異值分解的定義知：也就是說，數(shù)字圖像A經(jīng)奇異值分解后，其紋理和幾何信息都集中在U、之中，而中的奇異值則代表圖像的能量信息。性質(zhì)1：矩陣的奇異值代表圖像的能量信息，因而具有穩(wěn)定性。性質(zhì)2：矩陣的奇異值具有比例不變性。性質(zhì)3：矩陣的奇異值具有旋轉(zhuǎn)不變性。性質(zhì)4：設(shè)，。若，，所以可得：上式表明，在F-范數(shù)意義下，是在空間（秩為s的維矩陣構(gòu)成的線性空間）中A的一個(gè)將秩最佳逼近。因此可根據(jù)需要保留s(s<r)個(gè)大于某個(gè)閾值的而舍棄其余r-s個(gè)小于閾值的且保證兩幅圖像在某種意義下的近似。這就為奇異值特征矢量的降維和數(shù)據(jù)等應(yīng)用找到了依據(jù)。3.1.3奇異值分解原理分析用奇異值分解來的基本思想是對(duì)矩陣進(jìn)行奇異值分解，選取部分的奇異值和對(duì)應(yīng)的左、右奇異向量來重構(gòu)矩陣。根據(jù)奇異值分解的性質(zhì)1和4可以知道，奇異值分解可以代表的能量信息，并且可以降低的維數(shù)。如果A表示n個(gè)m維向量，可以通過奇異值分解將A表示m+n為個(gè)r維向量。A的秩遠(yuǎn)遠(yuǎn)小于m和n，則通過奇異值分解可以大大降低A的維數(shù)。對(duì)于一個(gè)的矩陣，，其中，。按奇異值從大到小取k個(gè)奇異值和這些奇異值對(duì)應(yīng)的左奇異向量及右奇異向量重構(gòu)原矩陣A。如果選擇的，這是無損的；基于奇異值分解的討論的是，即有損的情況。這時(shí)，可以只用個(gè)數(shù)值代替原來的個(gè)數(shù)據(jù)。這個(gè)數(shù)據(jù)分別是矩陣A的前k個(gè)奇異值，左奇異向量矩陣U的前k列和右奇異向量矩陣V的前k列元素。

比率：稱為的比。顯然，被選擇的奇異值的個(gè)數(shù)k應(yīng)該滿足條件，即。故在傳送的過程中，不需要傳個(gè)數(shù)據(jù)，而只需要傳個(gè)有關(guān)奇異和奇異向量的數(shù)據(jù)即可。接收端，在接收到奇異值，以及左異向量和右奇異向量后，可以通過重構(gòu)出原矩陣。與的誤差為：某個(gè)奇異值對(duì)的貢獻(xiàn)可以定義為，對(duì)一幅來說，較大的奇異值對(duì)信息的貢獻(xiàn)量較大，較小的奇異值對(duì)的貢獻(xiàn)較小。假如接近1，該的主要信息就包含在之中。通常的奇異值都具“大L

曲線”，只有不多的一些比較大的奇異值，其它的奇異值相對(duì)較小，因此一般只需要比較小的k就使接近1。在滿足視覺要求的基礎(chǔ)上，按奇異值的大小選擇合適的奇異值個(gè)數(shù)k<r，就可以通過將恢復(fù)。k越小，用于表示的數(shù)據(jù)量就小，比就越大，而k越接近r，則與就越相似。在一些應(yīng)用場(chǎng)合中，如果是規(guī)定了比，則可以由式求出k，這時(shí)也同樣可以求出。3.2奇異值的分解的幾何意義它的幾何解釋可以看做將一個(gè)空間進(jìn)行旋轉(zhuǎn)，尺度拉伸，再旋轉(zhuǎn)三步過程。首先來看一個(gè)對(duì)角矩陣，幾何上,我們將一個(gè)矩陣?yán)斫鉃閷?duì)于點(diǎn)(x,y)從一個(gè)平面到另一個(gè)平面的映射:下圖顯示了這個(gè)映射的效果:平面被橫向拉伸了3倍，縱向沒有變化。

對(duì)于另一個(gè)矩陣它的效果是這樣一個(gè)變化并不是很好描述，然而當(dāng)我們將坐標(biāo)系旋轉(zhuǎn)45度后，我們可以看出這時(shí)，我們發(fā)現(xiàn)這個(gè)新的網(wǎng)格上發(fā)生的變化和網(wǎng)格在對(duì)角陣下發(fā)生變化的效果相似。這是一個(gè)對(duì)稱矩陣的例子，可以看出，對(duì)稱矩陣經(jīng)過旋轉(zhuǎn)后，其作用就和對(duì)角陣類似了。數(shù)學(xué)上，對(duì)于一個(gè)對(duì)稱矩陣M,我們可以找到一組正交向量vi從而Mvi相當(dāng)于vi上的標(biāo)量乘積;也就是Mvi=λiviλi是標(biāo)量，也就是對(duì)應(yīng)對(duì)角陣中對(duì)角線上的元素.由于這個(gè)性質(zhì)，我們稱vi是M的特征向量;λi為特征值.一個(gè)對(duì)稱矩陣不同特征值對(duì)應(yīng)的特征向量是正交的。對(duì)于更廣泛的情況，我們看看是否能從一個(gè)正交網(wǎng)格轉(zhuǎn)換到另一個(gè)正交網(wǎng)格.考慮一個(gè)非對(duì)稱矩陣:這個(gè)矩陣的效果形象的稱為剃刀（shear）。

這個(gè)矩陣將網(wǎng)格在水平方向拉伸了，而垂直方向沒有變化。如果我們將網(wǎng)格旋轉(zhuǎn)大約58度，這兩個(gè)網(wǎng)格就又會(huì)都變?yōu)檎坏牧恕?/p>

奇異值分解：考慮一個(gè)2*2矩陣,我們可以找到兩組網(wǎng)格的對(duì)應(yīng)關(guān)系。用向量表示，那就是當(dāng)我們選擇合適的單位正交向量v1和v2,Mv1和Mv2也是正交的.

我們使用u1和u2代表Mv1和Mv2的方向.

Mv1和Mv2的長(zhǎng)度表示為σ1和σ2，也就是網(wǎng)格在每個(gè)方向的拉伸.這兩個(gè)拉伸值叫做M的奇異值（sigularvalue）

和前面類似，我們可以有Mv1=σ1u1Mv2=σ2u2我們一直討論的v1和v2是一對(duì)正交向量，對(duì)于一般的向量x，我們有這樣的投影關(guān)系x=(v1x)v1+(v2x)v2也就是說Mx=(v1x)Mv1+(v2x)Mv2Mx=(v1x)σ1u1+(v2x)σ2u即Mx=u1σ1v1Tx+u2σ2v2Tx>M=u1σ1v1T+u2σ2v2T這個(gè)關(guān)系可以寫成矩陣形式M=UΣVTU的列是u1和u2,

Σ

σ1和σ2構(gòu)成的對(duì)角陣,

V的列是v1和v2.

即V描述了域中的一組正交基，U描述了相關(guān)域的另一組正交基，Σ表述了U中的向量與V中向量的拉伸關(guān)系。尋找奇異值分解奇異值分解可以應(yīng)用于任何矩陣，對(duì)于前面的例子，如果我們加上一個(gè)圓，那它會(huì)映射成一個(gè)橢圓，橢圓的長(zhǎng)軸和短軸定義了新的域中的正交網(wǎng)格，可以被表示為Mv1andMv2。

換句話說，單位圓上的函數(shù)|Mx|在

v1取得最大值，在v2取得最小值.這將單位圓上的函數(shù)優(yōu)化問題簡(jiǎn)化了?？梢宰C明，這個(gè)函數(shù)的極值點(diǎn)就出現(xiàn)在MTM的特征向量上，這個(gè)矩陣一定是對(duì)稱的，所以不同特征值對(duì)應(yīng)的特征向量vi是正交的.σi=|Mvi|就是奇異值,

ui是Mvi方向的單位向量.Mvi=σiuiMvj=σjuj.MviMvj=viTMTMvj=viMTMvj=λjvivj=0.也就是MviMvj=σiσjuiuj=0因此,ui和uj也是正交的。所以我們就把一組正交基vi變換到了另一組正交基ui.3奇異值分解的應(yīng)用3.1主成分分析3.1.1主成分分析主成分分析是數(shù)學(xué)上對(duì)數(shù)據(jù)降維的一種方法。其基本思想是設(shè)法將原來眾多的具有一定相關(guān)性的指標(biāo)(比如p個(gè)指標(biāo)），重新組合成一組較少個(gè)數(shù)的互不相關(guān)的綜合指標(biāo)來代替原來指標(biāo)。那么綜合指標(biāo)應(yīng)該如何去提取，使其既能最大程度的反映原變量所代表的信息，又能保證新指標(biāo)之間保持相互無關(guān)（信息不重疊）。設(shè)表示原變量的第一個(gè)線性組合所形成的主成分指標(biāo)，即,由數(shù)學(xué)知識(shí)可知，每一個(gè)主成分所提取的信息量可用其方差來度量，其方差越大，表示包含的信息越多。常常希望第一主成分所含的信息量最大，因此在所有的線性組合中選取的應(yīng)該是的所有線性組合中方差最大的，故稱為第一主成分。如果第一主成分不足以代表原來個(gè)指標(biāo)的信息，再考慮選取第二個(gè)主成分指標(biāo)，為有效地反映原信息，已有的信息就不需要再出現(xiàn)在中，即與要保持獨(dú)立、不相關(guān)，用數(shù)學(xué)語言表達(dá)就是其協(xié)方差，所以是與不相關(guān)的的所有線性組合中方差最大的，故稱為第二主成分，依此類推構(gòu)造出的為原變量指標(biāo)第一、第二、……、第個(gè)主成分。根據(jù)以上分析得知：(1)與互不相關(guān)，即,并有，其中Σ為的協(xié)方差陣(2)是的一切線性組合（系數(shù)滿足上述要求）中方差最大的,即是與都不相關(guān)的的所有線性組合中方差最大者。為構(gòu)造的新變量指標(biāo)，即原變量指標(biāo)的第一、第二、……、第個(gè)主成分。由以上分析可見，主成分分析法的關(guān)鍵就是確定原來變量在諸主成分上的荷載。從數(shù)學(xué)上可以證明，原變量協(xié)方差矩陣的特征根是主成分的方差，所以前個(gè)較大特征根就代表前個(gè)較大的主成分方差值；原變量協(xié)方差矩陣前個(gè)較大的特征值（這樣取才能保證主成分的方差依次最大）所對(duì)應(yīng)的特征向量就是相應(yīng)原變量在主成分上的載荷，為了加以限制，載荷系數(shù)啟用的是對(duì)應(yīng)的單位化的特征向量，即有=1。3.1.2主成分分析法的計(jì)算步驟主成分分析的具體步驟如下：（1）計(jì)算協(xié)方差矩陣計(jì)算樣品數(shù)據(jù)的協(xié)方差矩陣：，其中i，j=1，2，…，p（2）求出Σ的特征值及相應(yīng)的正交化單位特征向量Σ的前個(gè)較大的特征值,就是前個(gè)主成分對(duì)應(yīng)的方差，對(duì)應(yīng)的單位特征向量就是原來變量在主成分上的載荷系數(shù)，則原變量的第個(gè)主成分為：主成分的方差（信息）貢獻(xiàn)率用來反映信息量的大小，為：（3）選擇主成分最終要選擇幾個(gè)主成分，即中的確定是通過方差（信息）累計(jì)貢獻(xiàn)率來確定當(dāng)累積貢獻(xiàn)率大于85%時(shí)，就認(rèn)為能足夠反映原來變量的信息了，對(duì)應(yīng)的就是抽取的前個(gè)主成分。（4）計(jì)算主成分得分計(jì)算樣品在個(gè)主成分上的得分：實(shí)際應(yīng)用時(shí)，指標(biāo)的量綱往往不同，所以在主成分計(jì)算之前應(yīng)先消除量綱的影響。消除數(shù)據(jù)的量綱有很多方法，常用方法是將原始數(shù)據(jù)標(biāo)準(zhǔn)化，即做如下數(shù)據(jù)變換：其中：，根據(jù)數(shù)學(xué)公式知道，①任何隨機(jī)變量對(duì)其作標(biāo)準(zhǔn)化變換后，其協(xié)方差與其相關(guān)系數(shù)是一回事，即標(biāo)準(zhǔn)化后的變量協(xié)方差矩陣就是其相關(guān)系數(shù)矩陣。②另一方面，根據(jù)協(xié)方差的公式可以推得標(biāo)準(zhǔn)化后的協(xié)方差就是原變量的相關(guān)系數(shù)，亦即，標(biāo)準(zhǔn)化后的變量的協(xié)方差矩陣就是原變量的相關(guān)系數(shù)矩陣。也就是說，在標(biāo)準(zhǔn)化前后變量的相關(guān)系數(shù)矩陣不變化。3.1.3奇異值分解與主成分分析的關(guān)系PCA的全部工作簡(jiǎn)單點(diǎn)說，就是對(duì)原始的空間中順序地找一組相互正交的坐標(biāo)軸，第一個(gè)軸是使得方差最大的，第二個(gè)軸是在與第一個(gè)軸正交的平面中使得方差最大的，第三個(gè)軸是在與第1、2個(gè)軸正交的平面中方差最大的，這樣假設(shè)在維空間中，我們可以找到個(gè)這樣的坐標(biāo)軸，我們?nèi)∏皞€(gè)去近似這個(gè)空間，這樣就從一個(gè)維的空間到維的空間了，但是我們選擇的個(gè)坐標(biāo)軸能夠使得空間的使得數(shù)據(jù)的損失最小。還是假設(shè)我們矩陣每一行表示一個(gè)樣本，每一列表示一個(gè)feature，用矩陣的語言來表示，將一個(gè)m*n的矩陣的進(jìn)行坐標(biāo)軸的變化，就是一個(gè)變換的矩陣從一個(gè)維的空間變換到另一個(gè)維的空間，在空間中就會(huì)進(jìn)行一些類似于旋轉(zhuǎn)、拉伸的變化。而將一個(gè)m*n的矩陣變換成一個(gè)m*r的矩陣，這樣就會(huì)使得本來有個(gè)feature的，變成了有個(gè)feature了（)，這個(gè)其實(shí)就是對(duì)個(gè)feature的一種提煉，我們就把這個(gè)稱為feature的。用數(shù)學(xué)語言表示就是：但是這個(gè)怎么和SVD扯上關(guān)系呢？之前談到，SVD得出的奇異向量也是從奇異值由大到小排列的，按PCA的觀點(diǎn)來看，就是方差最大的坐標(biāo)軸就是第一個(gè)奇異向量，方差次大的坐標(biāo)軸就是第二個(gè)奇異向量…我們回憶一下之前得到的SVD式子：在矩陣的兩邊同時(shí)乘上一個(gè)矩陣，由于是一個(gè)正交的矩陣，所以轉(zhuǎn)置乘以得到單位陣，所以可以化成后面的式子將后面的式子與那個(gè)m*n的矩陣變換為m*r的矩陣的式子對(duì)照看看，在這里，其實(shí)就是，也就是一個(gè)變化的向量。這里是將一個(gè)m*n的矩陣到一個(gè)m*r的矩陣，也就是對(duì)列進(jìn)行，如果我們想對(duì)行進(jìn)行（在PCA的觀點(diǎn)下，對(duì)行進(jìn)行可以理解為，將一些相似的sample合并在一起，或者將一些沒有太大價(jià)值的sample去掉）怎么辦呢？同樣我們寫出一個(gè)通用的行例子：這樣就從一個(gè)行的矩陣到一個(gè)行的矩陣了，對(duì)SVD來說也是一樣的，我們對(duì)SVD分解的式子兩邊乘以的轉(zhuǎn)置這樣我們就得到了對(duì)行進(jìn)行的式子?？梢钥闯?，其實(shí)PCA幾乎可以說是對(duì)SVD的一個(gè)包裝，如果我們實(shí)現(xiàn)了SVD，那也就實(shí)現(xiàn)了PCA了，而且更好的地方是，有了SVD，我們就可以得到兩個(gè)方向的PCA，如果我們對(duì)進(jìn)行特征值的分解，只能得到一個(gè)方向的PCA。3.2虹膜識(shí)別系統(tǒng)數(shù)據(jù)挖掘矩陣的奇異值分解（SVD）可以應(yīng)用于虹膜識(shí)別系統(tǒng)中。對(duì)預(yù)處理后的虹膜進(jìn)行經(jīng)典模態(tài)分解，將獲得的一系列固有模態(tài)函數(shù)和殘差分量構(gòu)成初始矩陣，然后，對(duì)該矩陣進(jìn)行SVD，以其奇異值作為虹膜特征向量，最后輸入支持向量機(jī)進(jìn)行分類識(shí)別。這種方法可以有效的提取虹膜的關(guān)鍵特征，可以運(yùn)用于身份鑒別系統(tǒng)中。3.2.1虹膜識(shí)別系統(tǒng)眼睛的外觀由鞏膜、虹膜、瞳孔三部分構(gòu)成。鞏膜即眼球外圍的白色部分，約占總面積的30%；眼睛中心為瞳孔部分，約占5%；虹膜位于鞏膜和瞳孔之間，包含了最豐富的紋理信息，占據(jù)65%。虹膜是一種在眼睛中瞳孔外的織物狀的各色環(huán)狀物，每一個(gè)虹膜都包含一個(gè)獨(dú)一無二的基于像冠、水晶體、細(xì)絲、斑點(diǎn)、結(jié)構(gòu)、凹點(diǎn)、射線、皺紋和條紋等特征的結(jié)構(gòu)。虹膜的形成是在胚胎時(shí)期隨機(jī)形成的，導(dǎo)致每個(gè)人的紅魔的結(jié)構(gòu)各不相同，并且這種獨(dú)特的虹膜結(jié)構(gòu)在人的一生中幾乎不發(fā)生變化。即便是對(duì)于同一個(gè)人，左眼和右眼的虹膜區(qū)別也是十分明顯的，自然界不可能出現(xiàn)完全相同的兩個(gè)虹膜。虹膜識(shí)別被認(rèn)為是最安全、最精確的識(shí)別方法，它利用人眼中虹膜區(qū)域的特征（環(huán)狀物、皺紋、斑點(diǎn)、冠狀物）形成特征模板，通過比較這些特征參數(shù)完成識(shí)別。虹膜識(shí)別技術(shù)系統(tǒng)的基本步驟可分為：（1）采集，用于獲取虹膜；（2）虹膜預(yù)處理，進(jìn)行虹膜內(nèi)外邊緣定位、歸一化和增強(qiáng)等；（3）特征提取，得到虹膜紋理的特征編碼；（4）特征匹配，將提取的虹膜特征編碼與特征模板進(jìn)行匹配以區(qū)分不同的虹膜。圖3.1虹膜識(shí)別步驟3.2.2矩陣的奇異值分解對(duì)于一個(gè)秩為r的實(shí)矩陣，是A的r個(gè)正奇異值，則存在m階酉矩陣U和n階酉矩陣V，滿足（2-1）其中，，U滿足UHAAHU是對(duì)角矩陣，V滿足VHAHAV是對(duì)角矩陣。稱為A的奇異值向量。在的條件下，矩陣的奇異值是唯一的。同時(shí)，奇異值具有的比例性、穩(wěn)定性、旋轉(zhuǎn)和平移不變性等性質(zhì)，使得奇異值作為一種有效描述內(nèi)在屬性的代數(shù)特征而廣泛應(yīng)用于特征的提取與識(shí)別中。故可以將其應(yīng)用于虹膜特征提取。3.2.3基于IMF奇異值分解的虹膜識(shí)別虹膜識(shí)別系統(tǒng)的關(guān)鍵部分在于特征提取與分類識(shí)別。經(jīng)驗(yàn)?zāi)Ｊ椒纸?EmpiricalModeDecomposition，簡(jiǎn)稱EMD)經(jīng)驗(yàn)證在很多方面的應(yīng)用效果都優(yōu)于其他的信號(hào)處理方法。該方法基于信號(hào)的局部特征，能把復(fù)雜的信號(hào)分解為有限的固有模態(tài)函數(shù)(IntrinsicModeFunction,簡(jiǎn)稱IMF)之和，是一種自適應(yīng)的信號(hào)處理方法，非常適合處理非線性和非平穩(wěn)過程。一種虹膜特征提取和識(shí)別的方法是采用EMD將虹膜紋理信號(hào)分解成若干個(gè)IMF，并形成初始特征向量矩陣，然后對(duì)初始特征向量矩陣進(jìn)行奇異值分解，得到矩陣的奇異值作為特征向量，最后輸入支持向量機(jī)(SupportVectorMachine,簡(jiǎn)稱SVM)中進(jìn)行分類識(shí)別。3.2.4基于IMF的奇異值分解EMD方法可以自適應(yīng)地將任何一個(gè)信號(hào)x(t)分解為有限個(gè)固有模態(tài)函數(shù)(IMF)之和：（3-1）式中，rn(t)為殘余函數(shù)，代表信號(hào)的平均趨勢(shì)，而各IMF分量c1(t),c2(t),…，cn(t)分別包含了信號(hào)從高到低不同頻率段的成分。每一次分解過程稱之為篩選。由于EMD方法的分解過程是自適應(yīng)的,因而更能反應(yīng)虹膜的紋理特征。在采用EMD方法對(duì)虹膜進(jìn)行分解后，可將得到的n個(gè)IMF分量形成初始特征向量矩陣，表示為：（3-2）式中，fi代表分解后的第i個(gè)IMF分量。通過對(duì)初始特征向量矩陣A進(jìn)行特征提取，就可以得到原虹膜紋理特征。3.2.5特征向量的生成對(duì)于處理后的虹膜I，每行像素元素序列展平成一個(gè)一維向量V：（3-3）式中，Ii為歸一化后的I的i行，Vj為V中第j位置的灰度值，l為總長(zhǎng)度（即總像素個(gè)數(shù)）。EMD分解前，采用線性縮放歸一化原始向量。先計(jì)算V的均值u和標(biāo)準(zhǔn)差σ,然后根據(jù)式(3-4)線性縮放后得到向量VN：（3-4）采用EMD方法對(duì)VN進(jìn)行分解后，可將得到的n個(gè)IMF分量形成初始特征向量矩陣：（3-5）式中，fi代表分解后的第i個(gè)IMF分量。然后對(duì)A進(jìn)行奇異值分解，求出奇異值：（3-6）提取的奇異值向量σ作為虹膜特征向量，進(jìn)一步輸入至SVM中就可以進(jìn)行訓(xùn)練和匹配。3.2.6SVM分類識(shí)別在驗(yàn)證過程中，將一個(gè)未知身份的p提取特征xi后，輸入訓(xùn)練好的SVM,按決策函數(shù)式(3-7)計(jì)算出其到最優(yōu)分類面的距離的符號(hào)函數(shù)值，如果大于1，則通過驗(yàn)證；否則認(rèn)為假冒。（3-7）式中，k是數(shù)據(jù)點(diǎn)個(gè)數(shù)，yi∈(-1,1)是訓(xùn)練樣本xi的所屬類的標(biāo)記，b是偏差。在識(shí)別過程中，可采用擴(kuò)展的方法把多類問題分解為兩類問題，然后用SVM進(jìn)行訓(xùn)練。對(duì)應(yīng)識(shí)別的n個(gè)類別，需設(shè)計(jì)訓(xùn)練n個(gè)SVM分類器：（3-8）式中，Si為第i個(gè)類別對(duì)應(yīng)的的SVM。對(duì)應(yīng)一個(gè)未知身份的p提取特征xi后，依次輸入S中的支持向量機(jī)按式(3-7)進(jìn)行計(jì)算,如果其值大于1，則屬于該類別，否則不屬于該類別。4.結(jié)論矩陣奇異值分解是研究矩陣其他分解的一個(gè)基礎(chǔ)工具。從矩陣奇異值的應(yīng)用中我們知道，可以利用矩陣的奇異值分解研究主成分分析和數(shù)據(jù)挖掘。在后續(xù)研究中可以考慮矩陣奇異值分解在其他分解上的一些應(yīng)用。參考文獻(xiàn)尹芳黎,楊雁瑩,王傳棟.矩陣奇異值分解及其在高維數(shù)據(jù)處理中的應(yīng)用[J].數(shù)學(xué)的實(shí)踐與認(rèn)識(shí).2011(15)楊虎,李寒宇.加權(quán)極分解(英文)[J].數(shù)學(xué)研究與評(píng)論.2009(05)劉永輝,田永革.矩陣廣義逆的一個(gè)混合反序律[J].數(shù)學(xué)學(xué)報(bào).2009(01)施呂蓉.應(yīng)用奇異值分解求解最小二乘法問題[J].蕪湖職業(yè)技術(shù)學(xué)院學(xué)報(bào).2008(04)羅小桂,何雁.矩陣奇異值分解在計(jì)算技術(shù)中的應(yīng)用[J].計(jì)算機(jī)與現(xiàn)代化.2006(06)孫文瑜.一般二次規(guī)劃的廣義逆解[J].高等學(xué)校計(jì)算數(shù)學(xué)學(xué)報(bào).1991(01)詹興致,矩陣論[M].高等教育出版社,2008王松桂,吳密霞,賈忠貞編著.矩陣不等式[M].科學(xué)出版社,2006張賢達(dá)著,矩陣分析與應(yīng)用[M].清華大學(xué)出版社,2004孫繼廣著,矩陣擾動(dòng)分析[M].科學(xué)出版社,2001附錄一%主成分分析算法%讀入文件數(shù)據(jù)X=load('data.txt');%標(biāo)準(zhǔn)化處理[p,n]=size(X);forj=1:nmju(j)=mean(X(:,j));sigma(j