主成分分析原理及詳解

1、第14章 主成分分析1 概述1.1 基本概念1.1.1 定義主成分分析是根據(jù)原始變量之間的相互關系，尋找一組由原變量組成、而彼此不相關的綜合變量，從而濃縮原始數(shù)據(jù)信息、簡化數(shù)據(jù)結構、壓縮數(shù)據(jù)規(guī)模的一種統(tǒng)計方法。1.1.2 舉例為什么叫主成分，下面通過一個例子來說明。假定有N 個兒童的兩個指標x1與x2，如身高和體重。x1與x2有顯著的相關性。當N較大時，N觀測量在平面上形成橢圓形的散點分布圖，每一個坐標點即為個體x1與x2的取值，如果把通過該橢圓形的長軸取作新坐標軸的橫軸Z1，在此軸的原點取一條垂直于Z1的直線定為新坐標軸的Z2，于是這N個點在新坐標軸上的坐標位置發(fā)生了改變；同時這N個點的性質

2、也發(fā)生了改變，他們之間的關系不再是相關的。很明顯，在新坐標上Z1與N個點分布的長軸一致，反映了N個觀測量個體間離差的大部分信息，若Z1反映了原始數(shù)據(jù)信息的80%，則Z2只反映總信息的20%。這樣新指標Z1稱為原指標的第一主成分，Z2稱為原指標的第二主成分。所以如果要研究N個對象的變異，可以只考慮Z1這一個指標代替原來的兩個指標（x1與x2），這種做法符合PCA提出的基本要求，即減少指標的個數(shù)，又不損失或少損失原來指標提供的信息。1.1.3 函數(shù)公式通過數(shù)學的方法可以求出Z1和Z2與x1與x2之間的關系。Z1=l11x1+ l12x2Z2=l21x1+ l22x2即新指標Z1和Z2是原指標x1與

3、x2的線性函數(shù)。在統(tǒng)計學上稱為第一主成分和第二主成分。若原變量有3個，且彼此相關，則N個對象在3維空間成橢圓球分布，見圖14-1。通過旋轉和改變原點（坐標0點），就可以得到第一主成分、第二主成分和第三主成分。如果第二主成分和第三主成分與第一主成高度相關，或者說第二主成分和第三主成分相對于第一主成分來說變異很小，即N個對象在新坐標的三維空間分布成一長桿狀時，則只需用一個綜合指標便能反映原始數(shù)據(jù)中3個變量的基本特征。1.2 PCA滿足條件1.2.1 一般條件一般來說，N個對象觀察p個指標，可以得到N*p個數(shù)據(jù)（矩陣）。只要p個指標之間存在有相關關系，就可以通過數(shù)學的方法找到一組新的指標，它們需要滿

4、足的條件如下。（1） Z i是原指標的線性函數(shù)，且它們相互垂直；（2） 各個Z i互不相關；（3） 各個Z i加起來提供原指標所含的全部的信息，且Z1提供信息最多，Z2次之，依次類推。1.2.2 PCA的一般步驟（1） 輸入或打開數(shù)據(jù)文件；（2） 數(shù)據(jù)進行標準化處理；（3） 計算矩陣的相關系數(shù)；（4） 求相關矩陣的特征根1、2、3，并將它們按大小排序。（5） 求特征向量和各主成分；（6） 計算各主成分的貢獻率；（7） 解釋各主成分的含義上述的步驟大部分由SPSS執(zhí)行，用戶需要選擇觀測對象、選擇變量，收集數(shù)據(jù)，將數(shù)據(jù)輸入SPSS程序，最后選擇需要多少個主成分，解釋各主成分的實際意義。1.3 SP

5、SS運行主要選擇項1.3.1 操作步驟Analyzes/data reduction/factor/open factor analyzes/對話框，主要有5個對話框，下面簡要介紹。因子分析主對話框。主要用來選擇變量、選擇輸出結果內容和多少、選擇PCA有關數(shù)學處理如是否旋轉，提取多少個因子數(shù)，是否保存各個因子得分等。l Factor Analysis：因子分析；l Descriptive：描述性統(tǒng)計選項；l Extraction：提取因子選項；l Rotation：旋轉選擇；l Scores：因子得分選項；l Option：其它選項。1.3.2 主對話框1.3.3 Descriptive對話框

6、l Statistics：統(tǒng)計數(shù)據(jù)u Univariate descriptive：單變量描述性統(tǒng)計；u Initial solution：初始解的統(tǒng)計量。l Correlation matrix：相關矩陣u Coeffcients：相關系數(shù)矩陣。u Inverse：相關系數(shù)矩陣逆矩陣。u Significance levels：相關系數(shù)顯著性水平。u Reproduced：再生相關矩陣。給出因子分析后的相關矩陣。1.3.4 Extraction method 提取公因子方法l Method：方法u Principal components analyze：主成分分析u Unweight le

7、ast squares：未加權最小二乘法u Generalized least squares：廣義最小二乘法l Analysis：分析u Coeffcients matrix：相關系數(shù)矩陣。u Covariance matrix：協(xié)方差矩陣。l Display：顯示u Unrotated factor solution：非旋轉因子解。u Screen plot of the eigenvalues：特征值碎石圖。l Extract：提取。u Eigenvalues over 1：系統(tǒng)默認值是1，表示提取特征值大于1的因子。u Number of factor 2：提取公因子的個數(shù)。理論上有多

8、少個因子1.3.5 Rotation method 旋轉方法對話框l Method：方法u None：不進行旋轉u Quartimax：四分位最大正交旋轉u Varimax：方差最大正交旋轉。u Equamax：相等最大正交旋轉。l Display：顯示u Rotation solution：旋轉解。u Loading plots：旋轉因子空間的載荷圖。1.3.6 Scores 因子得分對話框l Save as variables：將因子得分數(shù)據(jù)存入為新變量。u Regression：用回歸法計算因子得分。u Bartlett：巴特尼特法計算因子得分。u Anderso-rubin，Ander

9、so-rubin：法計算因子得分。l Dispaly factor score coefficient matrx，顯示因子得分系數(shù)矩陣。1.3.7 Option對話框l Missing Values：缺失值處理l Exclude cases list wise：刪除全部缺省值的個案。l Exclude cases pair wise：成對刪除含有缺省值的個案。l Replace with mean：用均值替代缺省值。l Coefficient display format 因子得分系數(shù)矩陣的顯示格式。l Sorted by size：按大小排列。l 回到主對話框上。Variables：選擇左邊變量欄中的變量，用箭頭鍵將要分析的變量移入右邊的變