鄭州大學-機器學習 主成分分析

PRINCIPALCOMPONENTANALYSIS主成分分析匯報人：秦文靜朱曼產(chǎn)生背景在研究工作中，我們常常針對我們關(guān)注的研究對象，收集大量有關(guān)他的特征屬性，從而對其進行觀測和分析。比如，對一組城市進行研究的時候，我們可以從人口、GDP、面積、年降水量、年平均溫度、人均壽命、人均工資、人均受教育年份、性別比例、宗教人口、汽車保有量、人均住房面積等等收集相關(guān)數(shù)據(jù)。理論上，我們收集越多的特征屬性就越方便我們?nèi)矫娴膶κ挛镞M行細致的研究，對深層次的規(guī)律進行探尋。但實際上，隨著樣本特征屬性數(shù)量的增多，我們需要分析處理的數(shù)據(jù)量也是直線上升的。同時，樣本的特征屬性之間還存在著相關(guān)性：比如GDP與汽車保有量之間，人均工資與人均受教育年份都是存在著某種關(guān)聯(lián)的。01總體主成分分析利用正交變換，把用線性相關(guān)變量表示的數(shù)據(jù)轉(zhuǎn)換為有線性無關(guān)變量表示。線性無關(guān)的變量稱主成分。無監(jiān)督學習01點擊輸入您在損失很少信息的前提下的具體內(nèi)容用簡潔的語言文字進行闡述，精準的詞匯表達勝過長篇大論的文字表述添加標題從無標注數(shù)據(jù)中學習預測模型的機器學習問題，本質(zhì)是學習數(shù)據(jù)中的統(tǒng)計規(guī)律或潛在結(jié)構(gòu)。02降維思想在損失很少信息的前提下，把多個指標轉(zhuǎn)化為幾個綜合指標的多元統(tǒng)計方法，主成分的個數(shù)通常小于原始變量的個數(shù)將訓練數(shù)據(jù)中的樣本從高維空間轉(zhuǎn)換到低維空間基本思想規(guī)范化通過正交變換變成由若干個線性無關(guān)的新變量表示的數(shù)據(jù)正交變換選擇方差最大的方向（第一主成分）作為新坐標系的第一坐標軸，之后選擇與第一坐標軸正交且方差次之的方向（第二主成分）作為新坐標系的第二坐標軸。方差最大使得數(shù)據(jù)每一變量平均值為0方差為1基本思想

基本思想基本思想

如何選取坐標軸（主成分）主成分分析的基本思想是在保留原始變量盡可能多的信息的前提下達到降維的目的，從而簡化問題的復雜性。而對多維隨機變量而言，其協(xié)方差矩陣就是對各變量離散程度的反映，我們所說的保留原始變量盡可能多的信息，也就是指生成的較少的綜合變量的方差盡可能地接近原始變量方差的總合定義和導出定義和導出定義和導出

定義和導出主要性質(zhì)

主要性質(zhì)采用拉格朗日乘子法求主成分首先來求第一主成分

主要性質(zhì)

主要性質(zhì)主要性質(zhì)主要性質(zhì)主要性質(zhì)主要性質(zhì)主要性質(zhì)主要性質(zhì)

主要性質(zhì)

主要性質(zhì)

主要性質(zhì)

主要性質(zhì)

主成分的個數(shù)主成分的個數(shù)主成分的個數(shù)

主成分的個數(shù)主成分的個數(shù)主成分的個數(shù)主成分的個數(shù)主成分個數(shù)的篩選依據(jù)累計方差貢獻率：當前k個主成分的方差貢獻率達到某一特定值（一般85%以上）就可以保留前k個主成分。

主成分的個數(shù)規(guī)范化變量的總體主成分規(guī)范化變量的總體主成分規(guī)范化變量的總體主成分基本步驟1.對原來的k個指標標準化，以消除變量在數(shù)量級和量綱上的影響2.根據(jù)標準化后的數(shù)據(jù)矩陣求出協(xié)方差或相關(guān)矩陣3.求出協(xié)方差矩陣的特征值和對應的特征向量4.確定主成分實例實例規(guī)范化實例主成分分析適用于變量之間存在較強相關(guān)性的數(shù)據(jù)，如果變量之間的相關(guān)性較弱的話，并不能起到很好的降維作用，通常認為當大多數(shù)變