PCA主成分分析原理課件

PCA主成分分析principalcomponentanalysisPCA主成分分析principalc1內(nèi)容一、PCA背景二、主成分的定義及導(dǎo)出三、從相關(guān)陣出發(fā)求主成分四、主成分分析總結(jié)內(nèi)容一、PCA背景2在模式識(shí)別中，一個(gè)常見(jiàn)的問(wèn)題就是特征選擇或特征提取，理論上我們要選擇與原始數(shù)據(jù)空間相同的維數(shù)。但是，為了簡(jiǎn)化計(jì)算，設(shè)計(jì)一種變換使得數(shù)據(jù)集由維數(shù)較少的“有效”特征來(lái)表示。找出數(shù)據(jù)中最“主要”的元素和結(jié)構(gòu)，去除噪音和冗余，將原有的復(fù)雜數(shù)據(jù)降維，揭示隱藏在復(fù)雜數(shù)據(jù)背后的簡(jiǎn)單結(jié)構(gòu)。一、主成分分析背景在模式識(shí)別中，一個(gè)常見(jiàn)的問(wèn)題就是特征選擇或特征提取，3PCA的優(yōu)點(diǎn)是簡(jiǎn)單，而且無(wú)參數(shù)限制，可以方便的應(yīng)用與各個(gè)場(chǎng)合。

因此應(yīng)用極其廣泛，從神經(jīng)科學(xué)到計(jì)算機(jī)圖形學(xué)都有它的用武之地。被譽(yù)為應(yīng)用線形代數(shù)最價(jià)值的結(jié)果之一。

PCA的優(yōu)點(diǎn)是簡(jiǎn)單，而且無(wú)參數(shù)限制，可以方便的應(yīng)用與4PCA主成分分析（PrincipalComponentAnalysis，PCA）或者主元分析。是一種掌握事物主要矛盾的統(tǒng)計(jì)分析方法，它可以從多元事物中解析出主要影響因素，揭示事物的本質(zhì)，簡(jiǎn)化復(fù)雜的問(wèn)題。PCA主成分分析（PrincipalComponent5PCA主成分分析原理［課件］6PCA主成分分析原理［課件］7寫(xiě)成拉格朗日問(wèn)題現(xiàn)在關(guān)于求導(dǎo)并令其等于0，得到如果是的特征向量，是對(duì)應(yīng)的特征值，則上式是成立的寫(xiě)成拉格朗日問(wèn)題8同時(shí)我們還得到為了使方差最大，選擇具有最大特征值的特征向量，因此，第一個(gè)主成分是輸入樣本協(xié)方差陣的具有最大特征值對(duì)應(yīng)的特征向量。同時(shí)我們還得到為了使方差最大，選擇具有最大特征值的特征向量9第二個(gè)主成分也應(yīng)該最大化方差，具有單位長(zhǎng)度，并且與正交。對(duì)于第二個(gè)主成分，有關(guān)于

求導(dǎo)并令其為0，得到第二個(gè)主成分也應(yīng)該最大化方差，具有單位長(zhǎng)度，并且與10上式兩邊乘以得：其中可知β=0，并且可得上式兩邊乘以得：其中可知β=0，并且可得11這表明應(yīng)該是的特征向量，具有第二大特征值

類(lèi)似的，可以證明其它維被具有遞減的特征值的特征向量給出。這表明應(yīng)該是的特征向量，具有第二大特征值12另一種推導(dǎo)：，W是矩陣。如果建立一個(gè)矩陣C，其第i列是的規(guī)范化的特征向量，則，并且三、從相關(guān)陣出發(fā)求主成分另一種推導(dǎo)：，W是矩陣。三、從相關(guān)陣出發(fā)求主成13其中，D是對(duì)象矩陣，其對(duì)角線元素是特征值

，稱為的譜分解由于C是正交的，并且，在的左右兩邊乘以和C，得到如果則為了使它等于一個(gè)對(duì)角矩陣,可以令W=C其中，D是對(duì)象矩陣，其對(duì)角線元素是特征值14在實(shí)踐中，即使所有的特征值都大于0，某些特征值對(duì)方差的影響很小，并且可以丟失，因此，我們考慮例如貢獻(xiàn)90%以上方差的前k個(gè)主要成分，當(dāng)降序排列時(shí)，由前k個(gè)主要成分貢獻(xiàn)的方差比例為:在實(shí)踐中，即使所有的特征值都大于0，某些特征值對(duì)方差的15實(shí)踐中，如果維是高度相關(guān)的，則只有很少一部分特征向量具有較大的特征值，k遠(yuǎn)比n小，并且可能得到很大的維度歸約。實(shí)踐中，如果維是高度相關(guān)的，則只有很少一部分特征向量16總方差中屬于主成分的比例為稱為主成分的貢獻(xiàn)率。第一主成分的貢獻(xiàn)率最大，表明它解釋原始變量的能力最強(qiáng)，而的解釋能力依次遞減。主成分分析的目的就是為了減少變量的個(gè)數(shù)，因而一般是不會(huì)使用所有主成分的，忽略一些帶有較小方差的主成分將不會(huì)給總方差帶來(lái)大的影響。總方差中屬于主成分的比例為17前k個(gè)主成分的貢獻(xiàn)率之和稱為主成分的累計(jì)貢獻(xiàn)率，它表明

解釋的能力。

通常取較小的k,使得累計(jì)貢獻(xiàn)達(dá)到一個(gè)較高的百分比(如80％～90％)。此時(shí)，可用來(lái)代替,從而達(dá)到降維的目的，而信息的損失卻不多。前k個(gè)主成分的貢獻(xiàn)率之和18在主成分分析中，我們首先應(yīng)保證所提取的前幾個(gè)主成分的累計(jì)貢獻(xiàn)率達(dá)到一個(gè)較高的水平，其次對(duì)這些被提取的主成分必須都能夠給出符合實(shí)際背景和意義的解釋。主成分的解釋其含義一般多少帶有點(diǎn)模糊性，不像原始變量的含義那么清楚、確切，這是變量降維過(guò)程中不得不付出的代價(jià)。四.主成分分析總結(jié)在主成分分析中，我們首先應(yīng)保證所提取的前幾個(gè)主成分的累19如果原始變量之間具有較高的相關(guān)性，則前面少數(shù)幾個(gè)主成分的累計(jì)貢獻(xiàn)率通常就能達(dá)到一個(gè)較高水平，也就