[統(tǒng)計學]多元統(tǒng)計分析(何曉群 中國人民大學）5第五章主成分分析

1、2022/7/71第五章 主成分分析 目錄 上頁 下頁 返回 結束 5.1 主成分分析的基本思想與理論5.2 主成分分析的幾何意義5.3 總體主成分及其性質5.4 樣本主成分的導出5.5 有關問題的討論5.6 主成分分析步驟及框圖5.7 主成分分析的上機實現(xiàn)2022/7/72第五章 主成分分析 目錄 上頁 下頁 返回 結束 主成分分析（principal components analysis）也稱主分量分析，是由霍特林（Hotelling）于1933年首先提出的。主成分分析是利用降維的思想，在損失很少信息的前提下把多個指標轉化為幾個綜合指標的多元統(tǒng)計方法。通常把轉化生成的綜合指標稱之為主成分

2、，其中每個主成分都是原始變量的線性組合，且各個主成分之間互不相關，這就使得主成分比原始變量具有某些更優(yōu)越的性能。這樣在研究復雜問題時就可以只考慮少數(shù)幾個主成分而不至于損失太多信息，從而更容易抓住主要矛盾，揭示事物內部變量之間的規(guī)律性，同時使問題得到簡化，提高分析效率。本章主要介紹主成分分析的基本理論和方法、主成分分析的計算步驟及主成分分析的上機實現(xiàn)。2022/7/73 目錄 上頁 下頁 返回 結束 5.1 主成分分析的基本思想與理論5.1.1 主成分分析的基本思想5.1.2 主成分分析的基本理論2022/7/74 目錄 上頁 下頁 返回 結束 主成分分析的基本思想 在對某一事物進行實證研究中，

3、為了更全面、準確地反映出事物的特征及其發(fā)展規(guī)律，人們往往要考慮與其有關系的多個指標，這些指標在多元統(tǒng)計中也稱為變量。這樣就產生了如下問題：一方面人們?yōu)榱吮苊膺z漏重要的信息而考慮盡可能多的指標，而另一方面隨著考慮指標的增多增加了問題的復雜性，同時由于各指標均是對同一事物的反映，不可避免地造成信息的大量重疊，這種信息的重疊有時甚至會抹殺事物的真正特征與內在規(guī)律?；谏鲜鰡栴}，人們就希望在定量研究中涉及的變量較少，而得到的信息量又較多。主成分分析正是研究如何通過原來變量的少數(shù)幾個線性組合來解釋原來變量絕大多數(shù)信息的一種多元統(tǒng)計方法。2022/7/75 目錄 上頁 下頁 返回 結束 主成分分析的基本思

4、想 既然研究某一問題涉及的眾多變量之間有一定的相關性，就必然存在著起支配作用的共同因素，根據(jù)這一點，通過對原始變量相關矩陣或協(xié)方差矩陣內部結構關系的研究，利用原始變量的線性組合形成幾個綜合指標（主成分），在保留原始變量主要信息的前提下起到降維與簡化問題的作用，使得在研究復雜問題時更容易抓住主要矛盾。一般地說，利用主成分分析得到的主成分與原始變量之間有如下基本關系：1.每一個主成分都是各原始變量的線性組合；2.主成分的數(shù)目大大少于原始變量的數(shù)目2022/7/7中國人民大學六西格瑪質量管理研究中心6 目錄 上頁 下頁 返回 結束 主成分分析的基本思想3.主成分保留了原始變量絕大多數(shù)信息4.各主成分

5、之間互不相關 通過主成分分析，可以從事物之間錯綜復雜的關系中找出一些主要成分，從而能有效利用大量統(tǒng)計數(shù)據(jù)進行定量分析，揭示變量之間的內在關系，得到對事物特征及其發(fā)展規(guī)律的一些深層次的啟發(fā)，把研究工作引向深入。2022/7/77 目錄 上頁 下頁 返回 結束 主成分分析的基本理論 設對某一事物的研究涉及個 指標，分別用 表示，這個 指標構成的 維隨機向量為 。設隨機向量 的均值為 ，協(xié)方差矩陣為 。 對 進行線性變換，可以形成新的綜合變量，用 表示，也就是說，新的綜合變量可以由原來的變量線性表示，即滿足下式：(5.1)2022/7/7中國人民大學六西格瑪質量管理研究中心8 目錄 上頁 下頁 返回

6、 結束 主成分分析的基本理論 由于可以任意地對原始變量進行上述線性變換，由不同的線性變換得到的綜合變量 的統(tǒng)計特性也不盡相同。因此為了取得較好的效果，我們總是希望 的方差盡可能大且各 之間互相獨立，由于 =而對任給的常數(shù) ，有2022/7/7中國人民大學六西格瑪質量管理研究中心9 目錄 上頁 下頁 返回 結束 主成分分析的基本理論 因此對 不加限制時，可使 任意增大，問題將變得沒有意義。我們將線性變換約束在下面的原則之下：1，即： 2 3. 是 的一切滿足原則1的線性組合中方差最大者； 是與 不相關的 所有線性組合中方差最大者；, 是與 都不相關的 的所有線性組合中方差最大者。2022/7/7

7、中國人民大學六西格瑪質量管理研究中心10 目錄 上頁 下頁 返回 結束 主成分分析的基本理論 基于以上三條原則決定的綜合變量 分別稱為原始變量的第一、第二、第 個主成分。其中，各綜合變量在總方差中占的比重依次遞減，在實際研究工作中，通常只挑選前幾個方差最大的主成分，從而達到簡化系統(tǒng)結構，抓住問題實質的目的。2022/7/7中國人民大學六西格瑪質量管理研究中心11 目錄 上頁 下頁 返回 結束 主成分分析的幾何意義 由第一節(jié)的介紹我們知道，在處理涉及多個指標問題的時候，為了提高分析的效率，可以不直接對 個指標構成的 維隨機向量 進行分析，而是先對向量 進行線性變換，形成少數(shù)幾個新的綜合變量 ，使

8、得各綜合變量之間相互獨立且能解釋原始變量盡可能多的信息，這樣，在以損失很少部分信息為代價的前提下，達到簡化數(shù)據(jù)結構，提高分析效率的目的。這一節(jié)，我們著重討論主成分分析的幾何意義，為了方便，我們僅在二維空間中討論主成分的幾何意義，所得結論可以很容易地擴展到多維的情況。2022/7/7中國人民大學六西格瑪質量管理研究中心12 目錄 上頁 下頁 返回 結束 主成分分析的幾何意義 設有 個樣品，每個樣品有兩個觀測變量 ，這樣，在由變量 組成的坐標空間中， 個樣品點散布的情況如帶狀，見圖5-1。圖5-12022/7/7中國人民大學六西格瑪質量管理研究中心13 目錄 上頁 下頁 返回 結束 主成分分析的幾

9、何意義 由圖可以看出這 個樣品無論沿 軸方向還是沿 軸方向均有較大的離散性，其離散程度可以分別用觀測變量 的方差和 的方差定量地表示，顯然，若只考慮 和 中的任何一個，原始數(shù)據(jù)中的信息均會有較大的損失。我們的目的是考慮 和 的線性組合，使得原始樣品數(shù)據(jù)可以由新的變量 和 來刻畫。 在幾何上表示就是將坐標軸按逆時針方向旋轉 角度，得到新坐標軸 和 ，坐標旋轉公式如下： 2022/7/7中國人民大學六西格瑪質量管理研究中心14 目錄 上頁 下頁 返回 結束 主成分分析的幾何意義 其矩陣形式為：其中， 為旋轉變換矩陣，由上式可知它是正交陣，即滿足 2022/7/7中國人民大學六西格瑪質量管理研究中心

10、15 目錄 上頁 下頁 返回 結束 主成分分析的幾何意義 經過這樣的旋轉之后， 個樣品點在 軸上的離散程度最大，變量 代表了原始數(shù)據(jù)絕大部分信息，這樣，有時在研究實際問題時，即使不考慮變量 也無損大局。因此，經過上述旋轉變換就可以把原始數(shù)據(jù)的信息集中到 軸上，對數(shù)據(jù)中包含的信息起到了濃縮的作用。進行主成分分析的目的就是找出轉換矩陣 ，而進行主成分分析的作用與幾何意義也就很明了了。下面我們用遵從正態(tài)分布的變量進行分析，以使主成分分析的幾何意義更為明顯。為方便，我們以二元正態(tài)分布為例。對于多元正態(tài)總體的情況，有類似的結論。 2022/7/7中國人民大學六西格瑪質量管理研究中心16 目錄 上頁 下頁

11、 返回 結束 主成分分析的幾何意義設變量 遵從二元正態(tài)分布，分布密度為: 令 為變量 的協(xié)方差矩陣，其形式如下： 令 則上述二元正態(tài)分布的密度函數(shù)有如下矩陣形式：2022/7/7中國人民大學六西格瑪質量管理研究中心17 目錄 上頁 下頁 返回 結束 主成分分析的幾何意義考慮 （ 為常數(shù)），為方便，不妨設上式有如下展開形式：令 ，則上面的方程變?yōu)椋?022/7/7中國人民大學六西格瑪質量管理研究中心18 目錄 上頁 下頁 返回 結束 主成分分析的幾何意義這是一個橢圓的方程，長短軸分別為：又令 為 的特征值， 為相應的標準正交特征向量. 則 為正交陣， 有： 因此有： 2022/7/7中國人民大學

12、六西格瑪質量管理研究中心19 目錄 上頁 下頁 返回 結束 主成分分析的幾何意義 與上面一樣，這也是一個橢圓方程，且在 構成的坐標系中，其主軸的方向恰恰正是 坐標軸的方向。因為 所以， 就是原始變量 的兩個主成分，它們的方差分別為 ，在 方向上集中了原始變量 的變差，在 方向上集中了原始變量 的變差，經常有 遠大于 ，這樣，我們就可以只研究原始數(shù)據(jù)在 方向上的變化而不致于損失過多信息，而 就是橢圓在原始坐標系中的主軸方向，也是坐標軸轉換的系數(shù)向量。對于多維的情況，上面的結論依然成立。 這樣，我們就對主成分分析的幾何意義有了一個充分的了解。主成分分析的過程無非就是坐標系旋轉的過程，各主成分表達式

13、就是新坐標系與原坐標系的轉換關系，在新坐標系中，各坐標軸的方向就是原始數(shù)據(jù)變差最大的方向。 2022/7/7中國人民大學六西格瑪質量管理研究中心20 目錄 上頁 下頁 返回 結束 總體主成分及其性質 由上面的討論可知，求解主成分的過程就是求滿足三條原則的原始變量 的線性組合的過程。本節(jié)先從總體出發(fā)，介紹求解主成分的一般方法及主成分的性質，然后介紹樣本主成分的導出。2022/7/7中國人民大學六西格瑪質量管理研究中心21 目錄 上頁 下頁 返回 結束 總體主成分 主成分分析的基本思想就是在保留原始變量盡可能多的信息的前提下達到降維的目的，從而簡化問題的復雜性并抓住問題的主要矛盾。而這里對于隨機變

14、量 而言，其協(xié)方差矩陣或相關矩陣正是對各變量離散程度與變量之間的相關程度的信息的反應，而相關矩陣不過是將原始變量標準化后的協(xié)方差矩陣。我們所說的保留原始變量盡可能多的信息，也就是指的生成的較少的綜合變量（主成分）的方差和盡可能接近原始變量方差的總和。因此在實際求解主成分的時候，總是從原始變量的協(xié)方差矩陣或相關矩陣的結構分析入手。一般地說，從原始變量的協(xié)方差矩陣出發(fā)求得的主成分與從原始變量的相關矩陣出發(fā)求得的主成分是不同的。下面我們分別就協(xié)方差矩陣與相關矩陣進行討論。2022/7/7中國人民大學六西格瑪質量管理研究中心22 目錄 上頁 下頁 返回 結束 總體主成分(1)從協(xié)方差矩陣出發(fā)求解主成分

15、引論：設矩陣 ，將 的特征值 依大小順序排列，不妨設 ， 為 矩陣各特征值對應的標準正交特征向量，則對任意向量，有：（5.2） 證明：對 與單位陣 進行譜分解，可以寫成下面的式子： 而對任意向量 ，有 ，于是有2022/7/7中國人民大學六西格瑪質量管理研究中心23 目錄 上頁 下頁 返回 結束 總體主成分類似的，我們可以得出： 于是，自然有 2022/7/7中國人民大學六西格瑪質量管理研究中心24 目錄 上頁 下頁 返回 結束 總體主成分 證明：由引論知，對于任意常向量 ，有： 又 為標準正交特征向量，于是： 證明：由引論知，對于任意常向量 ，有： 又 為標準正交特征向量，于是： 此時： （

16、5.3） 結論： 設隨機向量 的協(xié)方差矩陣為 ， 為 的特征值， 為矩陣 各特征值對應的標準正交特征向量，則第 i個主成分為： 結論： 設隨機向量 的協(xié)方差矩陣為 ， 為 的特征值， 為矩陣 各特征值對應的標準正交特征向量，則第 i個主成分為： 2022/7/7中國人民大學六西格瑪質量管理研究中心25 目錄 上頁 下頁 返回 結束 總體主成分 且：令 ，則有類似的，有2022/7/7中國人民大學六西格瑪質量管理研究中心26 目錄 上頁 下頁 返回 結束 總體主成分 由以上結論，我們把 的協(xié)方差矩陣 的非零特征值 對應的標準化特征向量 分別作為系數(shù)向量， 分別稱為隨機向量 的第一主成分、第二主成

17、分、第 主成分。 的分量 依次是 的第一主成分、第二主成分、第 主成分的充分必要條件是：（1） ，即 為 階正交陣；（2） 的分量之間互不相關；（3） 的 個分量是按方差由大到小排列。2022/7/7中國人民大學六西格瑪質量管理研究中心27 目錄 上頁 下頁 返回 結束 總體主成分 于是隨機向量 與隨機向量 之間存在下面的關系式： （5.4） 注：無論 的各特征根是否存在相等的情況，對應的標準化特征向量 總是存在的，我們總可以找到對應各特征根的彼此正交的特征向量。這樣，求主成分的問題就變成了求特征根與特征向量的問題。2022/7/7中國人民大學六西格瑪質量管理研究中心28 目錄 上頁 下頁 返

18、回 結束 總體主成分 （二）主成分的性質 性質1 的協(xié)方差陣為對角陣 。 這一性質可由上述結論容易得到，證明略。 性質2 記 ，有 證明： 記 則有 于是2022/7/7中國人民大學六西格瑪質量管理研究中心29 目錄 上頁 下頁 返回 結束 總體主成分 定義 5.1 稱 為第 個主成分 的方差貢獻率，稱 為主成分 的累積貢獻率。 由此進一步可知，主成分分析是把個 隨機變量的總方差 分解為 個不相關的隨機變量的方差之和，使第一主成分的方差達到最大，第一主成分是以變化最大的方向向量各分量為系數(shù)的原始變量的線性函數(shù)，最大方差為 。 表明了 的方差在全部方差中的比值，稱 為第一主成分的貢獻率。這個值越

19、大，表明 這個新變量綜合 信息的能力越強，也即由 的差異來解釋隨機向量 的差異的能力越強。 2022/7/7中國人民大學六西格瑪質量管理研究中心30 目錄 上頁 下頁 返回 結束 總體主成分正因如此，才把 稱為 的主成分。進而我們就更清楚為什么主成分的名次是按特征根 取值的大小排序的。 進行主成分分析的目的之一是為了減少變量的個數(shù)，所以一般不會取 個主成分，而是取 個主成分， 取多少比較合適，這是一個很實際的問題，通常以所取 使得累積貢獻率達到85以上為宜，即(5.5) 這樣，既能使損失信息不太多，又達到減少變量，簡化問題的目的。另外，選取主成分還可根據(jù)特征值的變化來確定。圖5-2為SPSS統(tǒng)

20、計軟件生成的碎石圖。 2022/7/7中國人民大學六西格瑪質量管理研究中心31 目錄 上頁 下頁 返回 結束 總體主成分 圖5-2 由圖5-2可知，第二個及第三個特征值變化的趨勢已經開始趨于平穩(wěn)，所以，取前兩個或是前三個主成分是比較合適的。這種方法確定的主成分個數(shù)與按累積貢獻率確定的主成分個數(shù)往往是一致的。在實際應用中有些研究工作者習慣于保留特征值大于1的那些主成分，但這種方法缺乏完善的理論支持。在大多數(shù)情況下，當 時即可使所選主成分保持信息總量的比重達到85以上。2022/7/7中國人民大學六西格瑪質量管理研究中心32 目錄 上頁 下頁 返回 結束 總體主成分 定義5.2 第 個主成分 與原

21、始變量 的相關系數(shù) 稱做因子負荷量。 因子負荷量是主成分解釋中非常重要的解釋依據(jù)，因子負荷量的絕對值大小刻畫了該主成分的主要意義及其成因。在下一章因子分析中還將要對因子負荷量的統(tǒng)計意義給出更詳細的解釋。由下面的性質我們可以看到因子負荷量與系數(shù)向量成正比。 性質3 （5.6） 證明： 令： 為單位向量。則 又2022/7/7中國人民大學六西格瑪質量管理研究中心33 目錄 上頁 下頁 返回 結束 總體主成分 于是 于是 由性質3知因子負荷量 與向量系數(shù) 成正比，與 的標準差成反比關系，因此，絕不能將因子負荷量與向量系數(shù)混為一談。在解釋主成分的成因或是第 個變量對第 個主成分的重要性時，應當根據(jù)因子

22、負荷量而不能僅僅根據(jù) 與 的變換系數(shù) 。2022/7/7中國人民大學六西格瑪質量管理研究中心34 目錄 上頁 下頁 返回 結束 總體主成分 性質4 （5.7）證明：由性質3有（5.8）性質5 證明：因為 向量是隨機向量 的線性組合，因此 也可以精確表示成 的線性組合。由回歸分析知識知， 與 的全相關系數(shù)的平方和等于1，而因為 之間互不相關，所以 與 的全相關系數(shù)的平方和也就是 ，因此，性質5成立。 2022/7/7中國人民大學六西格瑪質量管理研究中心35 目錄 上頁 下頁 返回 結束 總體主成分 定義5.3 與前 個主成分 的全相關系數(shù)平方和稱為 對原始變量 的方差貢獻率 ，即 （5.9）這一

23、定義說明了前 個主成分提取了原始變量 中 的信息，由此我們可以判斷我們提取的主成分說明原始的能力。2022/7/7中國人民大學六西格瑪質量管理研究中心36 目錄 上頁 下頁 返回 結束 總體主成分 （三）從相關陣出發(fā)求解主成分 考慮如下的數(shù)學變換： 令： 其中， 與 分別表示變量 的期望與方差。于是有令：于是，對原始變量 進行標準化：2022/7/7中國人民大學六西格瑪質量管理研究中心37 目錄 上頁 下頁 返回 結束 總體主成分 經過上述標準化后，顯然有 由于上面的變換過程，原始變量 的相關陣實際上就是對原始變量標準化后的協(xié)方差矩陣，因此，由相關矩陣求主成分的過程與主成分個數(shù)的確定準則實際上

24、是與由協(xié)方差矩陣出發(fā)求主成分的過程與主成分個數(shù)的確定準則是相一致的，在此不再贅述。仍用 分別表示相關陣 的特征值與對應的標準正交特征向量，此時，求得的主成分與原始變量的關系式為： （5.10）2022/7/7中國人民大學六西格瑪質量管理研究中心38 目錄 上頁 下頁 返回 結束 總體主成分 （四）由相關陣求主成分時主成分性質的簡單形式 由相關陣出發(fā)所求得主成分依然具有上面所述的各種性質，不同的是在形式上要簡單，這是由相關陣 的特性決定的。我們將由相關陣得到的主成分的性質總結如下：1 的協(xié)方差矩陣為對角陣 ；3第 個主成分的方差占總方差的比例，即第 個主成分的方差貢獻率為 ，前 個主成分的累積方

25、差貢獻率為 ；2022/7/7中國人民大學六西格瑪質量管理研究中心39 目錄 上頁 下頁 返回 結束 總體主成分 注意到 ，且 ，結合前面從協(xié)方差矩陣出發(fā)求主成分部分對主成分性質的說明，可以很容易的得出上述性質。雖然主成分的性質在這里有更簡單的形式，但應注意其實質與前面的結論并沒有區(qū)別；需要注意的一點是判斷主成分的成因或是原始變量（這里原始變量指的是標準化以后的隨機向量 ）對主成分的重要性有更簡單的方法，因為由上面第4條知這里因子負荷量僅依賴于由 到 的轉換向量系數(shù) （因為對不同的 ，因子負荷量表達式的后半部分 是固定的）。2022/7/7中國人民大學六西格瑪質量管理研究中心40 目錄 上頁

26、下頁 返回 結束 樣本主成分的導出記 在實際研究工作中，總體協(xié)方差陣 與相關陣 通常是未知的，于是需要通過樣本數(shù)據(jù)來估計。設有 個樣品，每個樣品有 個指標，這樣共得到 個數(shù)據(jù)，原始資料矩陣如下： 2022/7/7中國人民大學六西格瑪質量管理研究中心41 目錄 上頁 下頁 返回 結束 樣本主成分的導出 為樣本協(xié)方差矩陣，作為總體協(xié)方差陣 的無偏估計， 是樣本相關矩陣，為總體相關矩陣的估計。由前面的討論知，若原始資料 陣是經過標準化處理的，則由矩陣 求得的協(xié)方差陣就是相關矩陣，即 與 完全相同。因為由協(xié)方差矩陣求解主成分的過程與同相關矩陣出發(fā)求解主成分的過程是一致的，下面我們僅介紹由相關陣 出發(fā)求

27、解主成分。 根據(jù)總體主成分的定義，主成分 的協(xié)方差是：其中 為對角陣2022/7/7中國人民大學六西格瑪質量管理研究中心42 目錄 上頁 下頁 返回 結束 樣本主成分的導出用 左乘上式，得假定資料矩陣 為已標準化后的數(shù)據(jù)矩陣，則可由相關矩陣代替協(xié)方差矩陣，于是上式可表示為：即：2022/7/7中國人民大學六西格瑪質量管理研究中心43 目錄 上頁 下頁 返回 結束 樣本主成分的導出把上式全部展開得到 個方程，這里只考慮在矩陣乘積中由第一列得出的 個方程：整理得到：2022/7/7中國人民大學六西格瑪質量管理研究中心44 目錄 上頁 下頁 返回 結束 樣本主成分的導出為了得到上面齊次方程的非零解，

28、根據(jù)線性方程組的理論知，要求系數(shù)矩陣行列式為0，即 即 對于 可以得到完全類似的方程，于是，所求的新的綜合變量（主成分）的方差 （ ）是 的 個根，為相關矩陣的特征值，相應的各個 是其特征向量的分量。 因為 為正定矩陣，所以其特征根都是非負實數(shù)，將它們依大小順序排列 ，其相應的特征向量記為 ，則相對于 的方差為：同理有即對于 有最大方差， 有次大方差，并且，協(xié)方差為：2022/7/7中國人民大學六西格瑪質量管理研究中心45 目錄 上頁 下頁 返回 結束 樣本主成分的導出 2022/7/7中國人民大學六西格瑪質量管理研究中心46 目錄 上頁 下頁 返回 結束 樣本主成分的導出 由此可知新的綜合變

29、量（主成分） 彼此不相關，并且 的方差為 ，則 分別稱為第一、第二、第 個主成分。由上述求主成分的過程可知，主成分在幾何圖形中的方向實際上就是 的特征向量的方向，關于主成分分析的幾何意義我們還要在下一節(jié)詳細討論；主成分的方差貢獻就等于 的相應特征值。這樣，我們在利用樣本數(shù)據(jù)求解主成分的過程實際上就轉化為求相關陣或協(xié)方差陣的特征值和特征向量的過程。 2022/7/7中國人民大學六西格瑪質量管理研究中心47 目錄 上頁 下頁 返回 結束 5.5 有關問題的討論5.5.1 關于由協(xié)方差矩陣或相關矩陣出發(fā)求解主成分 5.5.2 主成分分析不要求數(shù)據(jù)來自于正態(tài)總體5.5.3 主成分分析與重疊信息2022

30、/7/7中國人民大學六西格瑪質量管理研究中心48 目錄 上頁 下頁 返回 結束 5.5.1 關于由協(xié)方差矩陣或相關矩陣出發(fā)求解主成分 由前面的討論可知求解主成分的過程實際就是對矩陣結構進行分析的過程，也就是求解特征值的過程。在實際分析過程中，我們可以從原始數(shù)據(jù)的協(xié)方差矩陣出發(fā)，也可以從原始數(shù)據(jù)的相關矩陣出發(fā)，其求主成分的過程是一致的。但是，從協(xié)方差陣出發(fā)和從相關陣出發(fā)所求得的主成分一般來說是有差別的，而且這種差別有時候還很大。下面我們舉例說明這個問題，為了敘述方便，我們以二維數(shù)據(jù)為例?！纠?.1】 假定我們研究某一經濟問題共涉及兩個指標：產值和利稅。其中產值以百萬元計，利稅以萬元計，得原始資料

31、矩陣如下:2022/7/7中國人民大學六西格瑪質量管理研究中心49 目錄 上頁 下頁 返回 結束 5.5.1 關于由協(xié)方差矩陣或相關矩陣出發(fā)求解主成分可以得到，原始變量的協(xié)方差陣與相關陣分別為： 由協(xié)方差陣出發(fā)求解主成分，得到結果見表5-1：2022/7/7中國人民大學六西格瑪質量管理研究中心50 目錄 上頁 下頁 返回 結束 5.5.1 關于由協(xié)方差矩陣或相關矩陣出發(fā)求解主成分表5-1對應兩特征值的標準正交特征向量為：表5-22022/7/7中國人民大學六西格瑪質量管理研究中心51 目錄 上頁 下頁 返回 結束 5.5.1 關于由協(xié)方差矩陣或相關矩陣出發(fā)求解主成分因此，所得的主成分的表達式為

32、：其中，第一主成分保留了原始變量99.50%的信息，我們在分析中就可以把第二主成分舍掉，這樣達到簡化問題的目的。第一主成分與原始變量的因子負荷量分別為：由此可知，第一主成分反應了利稅指標的信息，方差較大的利稅指標對第一主成分起了主要作用。2022/7/7中國人民大學六西格瑪質量管理研究中心52 目錄 上頁 下頁 返回 結束 5.5.1 關于由協(xié)方差矩陣或相關矩陣出發(fā)求解主成分由相關矩陣求解主成分的結果見表5-3：表5-3對應兩特征值的標準正交特征向量為：表5-42022/7/7中國人民大學六西格瑪質量管理研究中心53 目錄 上頁 下頁 返回 結束 5.5.1 關于由協(xié)方差矩陣或相關矩陣出發(fā)求解

33、主成分此時，所得主成分的表達式為：由從相關矩陣出發(fā)求解主成分的結果可知，第一主成分保留了原始變量66.29%的信息，且產值指標與利稅指標對第一主成分的貢獻是相同的。第一主成分分別集中了產值和利稅 的信息。2022/7/7中國人民大學六西格瑪質量管理研究中心54 目錄 上頁 下頁 返回 結束 5.5.1 關于由協(xié)方差矩陣或相關矩陣出發(fā)求解主成分 由此可以看出，由協(xié)方差陣出發(fā)求解主成分所得的結果及由相關陣出發(fā)求解主成分所得的結果有很大不同，所得主成分解釋原始變量方差比例與主成分表達式均有顯著差別，且兩者之間不存在簡單的線性關系。正因有此差別，所以在處理實際問題時就面臨著選取由協(xié)方差矩陣出發(fā)求解主成

34、分還是由相關陣出發(fā)求解主成分的問題，為了更好的理解這種差別，我們對原始變量轉換成同一度量單位再求主成分。對產值與利稅均以萬元計，原始數(shù)據(jù)資料陣變?yōu)橐韵滦问剑合嚓P矩陣沒有變化，協(xié)方差矩陣變?yōu)椋?022/7/7中國人民大學六西格瑪質量管理研究中心55 目錄 上頁 下頁 返回 結束 5.5.1 關于由協(xié)方差矩陣或相關矩陣出發(fā)求解主成分由此協(xié)方差矩陣出發(fā)重新求主成分，結果見表5-5： 表5-5對應兩特征值的標準正交特征向量見表5-6 ：表5-62022/7/7中國人民大學六西格瑪質量管理研究中心56 目錄 上頁 下頁 返回 結束 5.5.1 關于由協(xié)方差矩陣或相關矩陣出發(fā)求解主成分此時所得主成分的表達

35、式為：其中，第一主成分保留了原始變量98.44%的信息，第一主成分 與原始變量的因子負荷量分別為：由此可知，第一主成分保留原始變量的信息與主成分與原始變量的關系式均與上兩種情況有很大差別，那么，究竟哪種方法得到的結果更為可信呢，在實際研究中我們應該作何選擇呢？2022/7/7中國人民大學六西格瑪質量管理研究中心57 目錄 上頁 下頁 返回 結束 5.5.1 關于由協(xié)方差矩陣或相關矩陣出發(fā)求解主成分 一般而言，對于度量單位不同的指標或是取值范圍彼此差異非常大的指標，我們不直接由其協(xié)方差矩陣出發(fā)進行主成分分析，而應該考慮將數(shù)據(jù)標準化。比如，在對上市公司的財務狀況進行分析時，常常會涉及到利潤總額、市

36、盈率、每股凈利率等指標，其中利潤總額取值常常從幾十萬到上百萬，市盈率取值一般從五到六、七十之間，而每股凈利率在1以下，不同指標取值范圍相差很大，這時若是直接從協(xié)方差矩陣入手進行主成分分析，明顯利潤總額的作用將起到重要支配作用，而其它兩個指標的作用很難在主成分中體現(xiàn)出來，此時應該考慮對數(shù)據(jù)進行標準化處理。2022/7/7中國人民大學六西格瑪質量管理研究中心58 目錄 上頁 下頁 返回 結束 5.5.1 關于由協(xié)方差矩陣或相關矩陣出發(fā)求解主成分 但是，對原始數(shù)據(jù)進行標準化處理后傾向于各個指標的作用在主成分的構成中相等。由上面的例子我們看到，對于取值范圍相差不大或是度量相同的指標進行標準化處理后，其

37、主成分分析的結果仍與由協(xié)方差陣出發(fā)求得的結果有較大區(qū)別。其原因是由于對數(shù)據(jù)進行標準化的過程實際上也就是抹殺原始變量離散程度差異的過程，標準化后的各變量方差相等均為1，而實際上方差也是對數(shù)據(jù)信息的重要概括形式，也就是說，對原始數(shù)據(jù)進行標準化后抹殺了一部分重要信息，因此才使得標準化后各變量在對主成分構成中的作用趨于相等。由此看來，對同度量或是取值范圍在同量級的數(shù)據(jù)，還是直接從協(xié)方差矩陣求解主成分為宜。2022/7/7中國人民大學六西格瑪質量管理研究中心59 目錄 上頁 下頁 返回 結束 5.5.1 關于由協(xié)方差矩陣或相關矩陣出發(fā)求解主成分 對于從什么出發(fā)求解主成分，現(xiàn)在還沒有一個定論，但是我們應該

38、看到，不考慮實際情況就對數(shù)據(jù)進行標準化處理或者直接從原始變量的相關矩陣出發(fā)求解主成分是有其不足之處的，這一點一定要引起注意。建議在實際工作中分別從不同角度出發(fā)求解主成分并研究其結果的差別，看看是否發(fā)生明顯差異且這種差異產生的原因在何處，以確定用哪種結果更為可信。2022/7/7中國人民大學六西格瑪質量管理研究中心60 目錄 上頁 下頁 返回 結束 5.5.2 主成分分析不要求數(shù)據(jù)來自于正態(tài)總體 由上面的討論可知，無論是從原始變量協(xié)方差矩陣出發(fā)求解主成分，還是從相關矩陣出發(fā)求解主成分，均沒有涉及到總體分布的問題。也就是說，與很多多元統(tǒng)計方法不同，主成分分析不要求數(shù)據(jù)來自于正態(tài)總體。實際上，主成分

39、分析就是對矩陣結構的分析，其中主要用到的技術是矩陣運算的技術及矩陣對角化和矩陣的譜分解技術。我們知道，對多元隨機變量而言，其協(xié)方差矩陣或是其相關矩陣均是非負定的，這樣，我們就可以按照求解主成分的步驟求出其特征值、標準正交特征向量，進而求出主成分，達到縮減數(shù)據(jù)維數(shù)的目的。同時，由主成分分析的幾何意義可以看到，對來自多元正態(tài)總體的數(shù)據(jù)，我們得到了合理的幾何解釋，即主成分就是按數(shù)據(jù)離散程度最大的方向進行坐標軸旋轉。 主成分分析的這一特性大大擴展了其應用范圍，對多維數(shù)據(jù)，只要是涉及降維的處理，我們都可以嘗試用主成分分析，而不用花太多精力考慮其分布情況。2022/7/7中國人民大學六西格瑪質量管理研究中

40、心61 目錄 上頁 下頁 返回 結束 主成分分析與重疊信息 首先應當認識到主成分分析方法適用于變量之間存在較強相關性的數(shù)據(jù)，如果原始數(shù)據(jù)相關性較弱，運用主成分分析后不能起到很好的降維作用，即所得的各個主成分濃縮原始變量信息的能力差別不大。一般認為當原始數(shù)據(jù)大部分變量的相關系數(shù)都小于時，運用主成分分析不會取得很好的效果。 很多研究工作者在運用主成分分析方法時，都或多或少存在著對主成分分析去除原始變量重疊信息的期望，這樣，在實際工作中初始就可以把與某一研究問題相關而可能得到的變量（指標）都納入分析過程，再用少數(shù)幾個主成分濃縮這些有用信息（假定已剔除了重疊信息），然后對主成分進行深入分析。在對待重疊

41、信息方面，生成的新的綜合變量（主成分）是有效剔除了原始變量中的重疊信息，還是僅僅按原來的模式將原始信息中的絕大部分用幾個不相關的新變量表示出來，這一點還值得討論。2022/7/7中國人民大學六西格瑪質量管理研究中心62 目錄 上頁 下頁 返回 結束 主成分分析與重疊信息 為說明這個問題，我們有必要再回顧一下主成分的求解過程，我們僅就從協(xié)方差矩陣出發(fā)求主成分的過程予以說明，對相關陣有類似的情況。 對于 維指標的情況，我們得到其協(xié)方差矩陣如下：現(xiàn)在考慮一種極端情況，即有兩個指標完全相關，不妨設第一個指標在進行主成分分析時考慮了兩次。則協(xié)方差矩陣變?yōu)椋?022/7/7中國人民大學六西格瑪質量管理研究

42、中心63 目錄 上頁 下頁 返回 結束 主成分分析與重疊信息此時進行主成分分析的時候實際上是由 維矩陣 進行。 的行列式的值為零但仍滿足非負定，只不過其最小的特征值為0，由 出發(fā)求解主成分，其方差總和不再是 而是變?yōu)?，也就是說，第一個指標在分析過程中起到了加倍的作用，其重疊信息完全象其他指標提供的信息一樣在起作用。2022/7/7中國人民大學六西格瑪質量管理研究中心64 目錄 上頁 下頁 返回 結束 主成分分析與重疊信息 這樣求得的主成分已經與沒有第一個指標重疊信息時不一樣了，因為主成分方差的總和已經變?yōu)?而不是 ，每個主成分解釋方差的比例也相應發(fā)生變化，而整個分析過程沒有對重疊信息作任何特

43、殊處理。也就是說，由于對第一個指標羅列了兩次，其在生成的主成分構成中也起到了加倍的作用。這一點是尤其應該引起注意的，這意味著主成分分析對重疊信息的剔除是無能為力的，同時主成分分析還損失了一部分信息。對此文獻4舉例進行了說明。 這就告訴我們在實際工作中，在選取初始變量進入分析時應該小心，對原始變量存在多重共線性的問題，在應用主成分分析方法時一定要慎重。應該考慮所選取的初始變量是否合適，是否真實地反映了事物的本來面目，如果是出于避免遺漏某些信息而特意選取了過多的存在重疊信息的變量時，就要特別注意應用主成分分析所得到的結果。2022/7/7中國人民大學六西格瑪質量管理研究中心65 目錄 上頁 下頁

44、返回 結束 主成分分析與重疊信息 如果所得到的樣本協(xié)方差矩陣（或是相關陣）最小的特征值接近于0，那么就有（5.11）進而推出（5.12） 這就意味著，中心化以后的原始變量之間存在著多重共線性，即原始變量存在著不可忽視的重疊信息。因此，在進行主成分分析得出協(xié)方差陣或是相關陣發(fā)現(xiàn)最小特征根接近于零時，應該注意對主成分的解釋，或者考慮對最初納入分析的指標進行篩選，由此可以看出，雖然主成分分析不能有效地剔除重疊信息，但它至少可以發(fā)現(xiàn)原始變量是否存在著重疊信息，這對我們減少分析中的失誤是有幫助的。2022/7/7中國人民大學六西格瑪質量管理研究中心66 目錄 上頁 下頁 返回 結束 5.6 主成分分析步

45、驟及框圖5.6.1 主成分分析步驟5.6.2 主成分分析的邏輯框圖2022/7/7中國人民大學六西格瑪質量管理研究中心67 目錄 上頁 下頁 返回 結束 5.6.1 主成分分析步驟 由上面討論大體上已經可以明了進行主成分分析的步驟，對此進行歸納如下：1.根據(jù)研究問題選取初始分析變量；2.根據(jù)初始變量特性判斷由協(xié)方差陣求主成分還是由相關陣求主成分；3.求協(xié)差陣或相關陣的特征根與相應標準特征向量；4.判斷是否存在明顯的多重共線性，若存在，則回到第一步；5.得到主成分的表達式并確定主成分個數(shù)，選取主成分；6.結合主成分對研究問題進行分析并深入研究。2022/7/7中國人民大學六西格瑪質量管理研究中心

46、68 目錄 上頁 下頁 返回 結束 5.6.2 主成分分析的邏輯框圖 特征值標準正交特征向量是否有接近0的情況是其他處理否主成分對主成分進行分析深入分析選擇初始變量 度量或取值范圍相同？是否（否）對比分析相關陣分析協(xié)方差陣 主成分分析的邏輯框圖見 圖5-3：【例5.2】 數(shù)據(jù)集Employee data為Midwestern銀行在1969-1971年之間雇員情況的數(shù)據(jù)，共包括474條觀測及如下10個變量：Id（觀測號）、Gender（性別）、Bdate（出生日期）、Educ（受教育程度（年數(shù)）、Jobcat（工作種類）、Salary（目前年薪）、Salbegin（開始受聘時的年薪）、Jobti

47、me（受雇時間（月）、Prevexp（受雇以前的工作時間（月）、Minority（是否少數(shù)民族）。下面我們用主成分分析方法處理該數(shù)據(jù)，以期用少數(shù)變量來描述該地區(qū)居民的雇傭情況。2022/7/7中國人民大學六西格瑪質量管理研究中心69 目錄 上頁 下頁 返回 結束 主成分分析的上機實現(xiàn) SPSS軟件FACTOR模塊提供了主成分分析的功能。下面先以SPSS軟件包自帶的數(shù)據(jù)Employee 為例介紹主成分分析的上機實現(xiàn)方法，在SPSS軟件的安裝目錄下可以找到該數(shù)據(jù)集；然后，我們舉一個實際的例子介紹主成分分析的具體應用。2022/7/7中國人民大學六西格瑪質量管理研究中心70 目錄 上頁 下頁 返回

48、結束 主成分分析的上機實現(xiàn) 進入SPSS軟件，打開數(shù)據(jù)集Employee 。依次點選AnalyzeData ReductionFactor.進入Factor Analysis（因子分析）對話框。（在SPSS軟件中，主成分分析與因子分析均在Factor Analysis模塊中完成。此時，數(shù)據(jù)集Employee 中的變量名均已顯示在左邊的窗口中，依次選中變量educ、salary、salbegin、jobtime、prevexp并點向右的箭頭按鈕，這五個變量便進入variables窗口（此時若選中variables窗口中的變量，則窗口左側的箭頭按鈕即轉向左側，點此按鈕即可剔除所選中變量）。點擊右側

49、的OK按鈕，即可得到如下輸出結果5-1。2022/7/7中國人民大學六西格瑪質量管理研究中心71 目錄 上頁 下頁 返回 結束 主成分分析的上機實現(xiàn) 輸出結果5-1（2）輸出結果5-1（1）2022/7/7中國人民大學六西格瑪質量管理研究中心72 目錄 上頁 下頁 返回 結束 主成分分析的上機實現(xiàn) 輸出結果5-1（3）2022/7/7中國人民大學六西格瑪質量管理研究中心73 目錄 上頁 下頁 返回 結束 主成分分析的上機實現(xiàn) 其中Communalities給出了該次分析從每個原始變量中提取的信息，表格下面的注示表明，該次分析是用Factor analysis模塊默認的信息提取方法即主成分分析完

50、成的?？梢钥吹匠芙逃潭刃畔p失較大外，主成分幾乎包含了各個原始變量至少90%的信息。Total Variance Explained表則顯示了各主成分解釋原始變量總方差的情況，SPSS默認保留特征根大于1的主成分，在本例中看到當保留3個主成分為宜，這3個主成分集中了原始5個變量信息的90.66%，可見效果是比較好的。實際上，主成分解釋總方差的百分比也可以由Communalities表中計算得出，即 （0.896+0.916+0.999+0.968+0.754）/5=90.66%。Component Matrix表中給出了標準化原始變量用求得的主成分線性表示的近似表達式，我們以表中Curre

51、nt Salary一行為例，不妨用 來表示各個主成分，則由Component Matrix表可以得到：標準化的salary 2022/7/7中國人民大學六西格瑪質量管理研究中心74 目錄 上頁 下頁 返回 結束 主成分分析的上機實現(xiàn) 在上面的主成分分析中，SPSS默認是從相關陣出發(fā)求解主成分，且默認保留特征根大于1的主成分，實際上，對主成分的個數(shù)我們可以自己確定，方法為：進入Factor Analysis對話框并選擇好變量之后，點擊Extraction選項，在彈出的對話框中有一個Extract選擇框，默認是選擇Eigenvalues over 1也就是保留特征根大于1的主成分，我們可以輸入別的

52、數(shù)值來改變SPSS軟件保留特征根的大小；另外，還可以選擇Number of Factors選項直接確定主成分的個數(shù)。在實際進行主成分分析時可以先按照默認設置做一次主成分，然后根據(jù)輸出結果確定應保留主成分的個數(shù)，用該方法進行設定后重新分析。 因為我們上面的結果是默認從相關陣出發(fā)得到的，而由相關陣出發(fā)求得的主成分其性質有簡單的表達形式，我們可以方便地加以驗證。2022/7/7中國人民大學六西格瑪質量管理研究中心75 目錄 上頁 下頁 返回 結束 主成分分析的上機實現(xiàn) 由Component Matrix中的結果可以得到：=第一主成分的方差，這就驗證了性質4。又有：這恰好與Communalities表

53、中三個主成分提取salary變量的信息相等。我們重做一遍主成分分析，此次將5個主成分全部保留，得到Component Matrix表如輸出結果5-2： 2022/7/7中國人民大學六西格瑪質量管理研究中心76 目錄 上頁 下頁 返回 結束 主成分分析的上機實現(xiàn) 輸出結果5-2可以看到前三個主成分的相應結果與輸出結果5-1中的對應部分結果是一致的。對上表中結果有如下關系式：2022/7/7中國人民大學六西格瑪質量管理研究中心77 目錄 上頁 下頁 返回 結束 主成分分析的上機實現(xiàn) 這就驗證了性質5。由此表還可以得到標準化原始變量用各主成分線性表示的精確的表達式，以仍以Current Salary

54、為例，有：標準化的salary 由SPSS軟件默認選項輸出的結果，我們還不能得到用原始變量表示出主成分的表達式，要得到這個結果及其他一些有用的結果，就需要對Factor Analysis模塊中的設置做一些調整，方法如下： 進入Factor Analysis對話框并選擇好變量之后，點擊對話框下部的Scores按鈕進入Factor Scores對話框，選擇Display factor score coefficient matrix選項并按Continue繼續(xù)，該選項是讓系統(tǒng)輸出主成分得分系數(shù)矩陣。點擊OK按鈕運行，則除了默認結果，還輸出如下輸出結果5-3：2022/7/7中國人民大學六西格瑪質量

55、管理研究中心78 目錄 上頁 下頁 返回 結束 主成分分析的上機實現(xiàn) 輸出結果5-3上表中給出了用原始變量表示主成分的系數(shù)信息。因為系統(tǒng)默認是從相關矩陣出發(fā)進行分析，所以，上面表格中的系數(shù)是將原始變量標準化后表示主成分的系數(shù)。也就是說，有下式成立： 2022/7/7中國人民大學六西格瑪質量管理研究中心79 目錄 上頁 下頁 返回 結束 主成分分析的上機實現(xiàn) 應當注意的是，此處SPSS給出的用原始變量表示主成分的表達式得到的是標準化后的主成分，也就是說，這樣求得的主成分的方差是1，而不是原始變量相關矩陣的各個特征根了。如上式中，第一主成分的方差為2.477，而用上式求得的主成分方差為1，要得出未

56、標準化的主成分與原始變量的表達式，只需將SPSS軟件給出的系數(shù)前面乘以主成分方差的平方根即可，未標準化第一主成分與原始變量的關系式如下：類似可以寫出第二、第三個主成分用標準化后的原始變量表示的表達式。2022/7/7中國人民大學六西格瑪質量管理研究中心80 目錄 上頁 下頁 返回 結束 主成分分析的上機實現(xiàn) 【例5.3】在企業(yè)經濟效益的評價中，設計的指標往往很多。為了簡化系統(tǒng)結構，抓住經濟效益評價中的主要問題，我們可由原始數(shù)據(jù)矩陣出發(fā)求主成分。在對我國部分省、市、自治區(qū)獨立核算的工業(yè)企業(yè)的經濟效益評價中，涉及到9項指標，原始數(shù)據(jù)見表5-7，即樣品數(shù)n=28，變量數(shù)p=9。2022/7/7中國人

57、民大學六西格瑪質量管理研究中心81 目錄 上頁 下頁 返回 結束 主成分分析的上機實現(xiàn) 表5-7表5-72022/7/7中國人民大學六西格瑪質量管理研究中心82 目錄 上頁 下頁 返回 結束 主成分分析的上機實現(xiàn) 續(xù)表5-72022/7/7中國人民大學六西格瑪質量管理研究中心83 目錄 上頁 下頁 返回 結束 主成分分析的上機實現(xiàn) 表5-82022/7/7中國人民大學六西格瑪質量管理研究中心84 目錄 上頁 下頁 返回 結束 主成分分析的上機實現(xiàn) 續(xù)表5-82022/7/7中國人民大學六西格瑪質量管理研究中心85 目錄 上頁 下頁 返回 結束 主成分分析的上機實現(xiàn) 將表5-8數(shù)據(jù)導入spss軟

58、件，依次點選Analyze-Data Reduction-Factor進入Factor Analysis對話框。（在spss中，主成分分析與因子分析均在Factor Analysis模塊中完成。）如圖5-4所示：圖5-42022/7/7中國人民大學六西格瑪質量管理研究中心86 目錄 上頁 下頁 返回 結束 主成分分析的上機實現(xiàn) 此時，數(shù)據(jù)集5-5.sav中的變量名均顯示在對話框左邊的窗口中，選擇變量x1，x2，x3，x4，x5，x6，x7，x8，x9進入variables窗口中，操作如圖5-5所示：圖5-52022/7/7中國人民大學六西格瑪質量管理研究中心87 目錄 上頁 下頁 返回 結束

59、主成分分析的上機實現(xiàn) 圖5-5點擊descriptives按鈕，在彈出的對話框中，在correlation matrix中選擇coefficients 。回到原對話框點擊右側的Ok，即可得到輸出結果5-4 和輸出結果5-5。2022/7/7中國人民大學六西格瑪質量管理研究中心88 目錄 上頁 下頁 返回 結束 主成分分析的上機實現(xiàn) 輸出結果5-42022/7/7中國人民大學六西格瑪質量管理研究中心89 目錄 上頁 下頁 返回 結束 主成分分析的上機實現(xiàn) 輸出結果5-5由輸出結果5-4看到，前面2個主成分 、 的方差和占全部方差的比例為84.7%。我們就選取 為第一主成分，為第二主成分，且這兩個

60、主成分之方差和占全部方差的91.6%，即基本上保留了原來指標的信息，這樣由原來的9個指標轉化為2個新指標，起到了降維的作用。2022/7/7中國人民大學六西格瑪質量管理研究中心90 目錄 上頁 下頁 返回 結束 主成分分析的上機實現(xiàn) Spss軟件得到主成分系數(shù)矩陣如下：2022/7/7中國人民大學六西格瑪質量管理研究中心91 目錄 上頁 下頁 返回 結束 主成分分析的上機實現(xiàn) 由上表得到前2個主成分， ， 的線性組合為： （5.13） 對所選主成分作經濟解釋。主成分分析的關鍵在于能否給主成分賦予新的意義，給出合理的解釋，這個解釋應根據(jù)主成分的計算結果結合定性分析來進行。主成分是原來變量的線性組