多元統(tǒng)計分析 主成分分析

主成分分析主成分分析的基本思想主成分的計算主成分的性質主成分分析的應用主成分回歸

一項十分著名的工作是美國的統(tǒng)計學家斯通(stone)在1947年關于國民經(jīng)濟的研究。他曾利用美國1929一1938年各年的數(shù)據(jù)，得到了17個反映國民收入與支出的變量要素，例如雇主補貼、消費資料和生產(chǎn)資料、純公共支出、凈增庫存、股息、利息外貿平衡等等。§1

基本思想

在進行主成分分析后，竟以97.4％的精度，用三新變量就取代了原17個變量。根據(jù)經(jīng)濟學知識，斯通給這三個新變量分別命名為總收入F1、總收入變化率F2和經(jīng)濟發(fā)展趨勢F3。更有意思的是，這三個變量其實都是可以直接測量的。斯通將他得到的主成分與實際測量的總收入I、總收入變化率

I以及時間t因素做相關分析，得到下表：

F1F2F3iitF11

F201

F3001

i0.995-0.0410.057l

i-0.0560.948-0.124-0.102l

t-0.369-0.282-0.836-0.414-0.1121主成分分析的基本思想

主成分分析就是把原有的多個指標轉化成少數(shù)幾個代表性較好的綜合指標，這少數(shù)幾個指標能夠反映原來指標大部分的信息（85%以上），并且各個指標之間保持獨立，避免出現(xiàn)重疊信息。主成分分析主要起著降維和簡化數(shù)據(jù)結構的作用。

主成分分析是把各變量之間互相關聯(lián)的復雜關系進行簡化分析的方法。

在社會經(jīng)濟的研究中，為了全面系統(tǒng)的分析和研究問題，必須考慮許多經(jīng)濟指標，這些指標能從不同的側面反映我們所研究的對象的特征，但在某種程度上存在信息的重疊，具有一定的相關性。

主成分分析試圖在力保數(shù)據(jù)信息丟失最少的原則下，對這種多變量的截面數(shù)據(jù)表進行最佳綜合簡化，也就是說，對高維變量空間進行降維處理。

很顯然，識辨系統(tǒng)在一個低維空間要比在一個高維空間容易得多。§2數(shù)學模型與幾何解釋

假設我們所討論的實際問題中，有p個指標，我們把這p個指標看作p個隨機變量，記為X1，X2，…，Xp，主成分分析就是要把這p個指標的問題，轉變?yōu)橛懻搈個新的指標F1，F(xiàn)2，…，F(xiàn)m(m<p），按照保留主要信息量的原則充分反映原指標的信息，并且相互獨立。其中

這種由討論多個指標降為少數(shù)幾個綜合指標的過程在數(shù)學上就叫做降維。主成分分析通常的做法是，尋求原指標的線性組合Fi。所以如果不對加以限制，問題就變得無意義。最大因此限制為單位向量。滿足如下的條件：主成分之間相互獨立，即無重疊的信息。即主成分的方差依次遞減，重要性依次遞減，即每個主成分的系數(shù)平方和為1。即?????????????????????????????????????主成分分析的幾何解釋平移、旋轉坐標軸?????????????????????????????????????主成分分析的幾何解釋平移、旋轉坐標軸?????????????????????????????????????主成分分析的幾何解釋平移、旋轉坐標軸?

旋轉變換的目的是為了使得n個樣品點在Fl軸方向上的離散程度最大，即Fl的方差最大。變量Fl代表了原始數(shù)據(jù)的絕大部分信息，在研究某經(jīng)濟問題時，即使不考慮變量F2也無損大局。經(jīng)過上述旋轉變換原始數(shù)據(jù)的大部分信息集中到Fl軸上，對數(shù)據(jù)中包含的信息起到了濃縮作用。Fl，F(xiàn)2除了可以對包含在Xl，X2中的信息起著濃縮作用之外，還具有不相關的性質，這就使得在研究復雜的問題時避免了信息重疊所帶來的虛假性。二維平面上的n個點的方差大部分都歸結在Fl軸上，而F2軸上的方差很小。Fl和F2稱為原始變量x1和x2的綜合變量。F簡化了系統(tǒng)結構，抓住了主要矛盾。?????????????????????????????????????主成分分析的幾何解釋平移、旋轉坐標軸???????????????????????????????????????????????????????????????§3

主成分的計算先討論二維情形求主成分F1和F2。觀察圖，我們已經(jīng)把主成分F1和F2

的坐標原點放在平均值所在處，從而使得F1和F2

成為中心化的變量，即F1和F2

的樣本均值都為零。因此F1可以表示為關鍵是，尋找合適的單位向量，使F1的方差最大。最大問題的答案是：X的協(xié)方差矩陣S的最大特征根所對應的單位特征向量即為。并且就是F1的方差。推導同樣，F(xiàn)2可以表示為尋找合適的單位向量，使F2與F1獨立，且使F2的方差（除F1之外）最大。問題的答案是：X的協(xié)方差矩陣S的第二大特征根所對應的單位特征向量即為。并且就是F2的方差。推導求解主成分的步驟：1.求樣本均值和樣本協(xié)方差矩陣S;2.求S的特征根求解特征方程，其中I是單位矩陣，解得2個特征根3.求特征根所對應的單位特征向量4.寫出主成分的表達式例1

下面是8個學生兩門課程的成績表

6585709065455565數(shù)學10090707085555545語文對此進行主成分分析。1.求樣本均值和樣本協(xié)方差矩陣2.求解特征方程＝0

化簡得：

解得：

3.求特征值所對應的單位特征向量

所對應的單位特征向量，

其中解得（）=

所對應的單位特征向量

，其中解得：4.得到主成分的表達式

第二主成分：第一主成分：5.主成分的含義通過分析主成分的表達式中原變量前的系數(shù)來解釋各主成分的含義。第一主成分F1是和的加權和，表示該生成績的好壞。第二主成分F2表示學生兩科成績的均衡性6.

比較主成分重要性

第一主成分F1的方差為第二主成分F2的方差為方差貢獻率

方差貢獻率為

主成分F1和F2的方差總和為原變量和的方差總和為總方差保持不變身高x1(cm)胸圍x2(cm)體重x3(kg)149.5162.5162.7162.2156.5156.1172.0173.2159.5157.769.577.078.587.574.574.576.581.574.579.038.555.550.865.549.045.551.059.543.553.5例2下表是10位學生的身高、胸圍、體重的數(shù)據(jù)。對此進行主成分分析。1.求樣本均值和樣本協(xié)方差矩陣

2.求解協(xié)方差矩陣的特征方程

3.解得三個特征值

和對應的單位特征向量：4.由此我們可以寫出三個主成分的表達式：

5.主成分的含義F1表示學生身材大小。F2反映學生的體形特征三個主成分的方差貢獻率分別為：前兩個主成分的累積方差貢獻率為：

例3對88個學生5門不同課程的考試成績進行分析，要求用合適的方法對這5門課程成績進行平均，以對88個學生的成績進行評比。這5門課程是：MechanicsVectors(閉)，AlgebraAnalysisStatistics(開)。經(jīng)計算，得到5個主成分的表達式如下：這5個主成分的方差分別為679.2，199.8，102.6,83.7和31.8。前兩個主成分各自的貢獻率和累積貢獻率為在一般情況下，設有n個樣品，每個樣品觀測p個指標，將原始數(shù)據(jù)排成如下矩陣：

求樣本均值和樣本協(xié)方差矩陣S;2.求解特征方程=0,其中I是單位矩陣,解得p個特征根3.求所對應的單位特征向量

即需求解方程組其中

再加上單位向量的條件解得4.寫出主成分的表達式

根據(jù)累積貢獻率的大小取前面m個(m<p)主成分選取原則：

且主成分個數(shù)的選取原則例4設的協(xié)方差矩陣為經(jīng)計算，的特征值為相應的主成分分別為第一主成分的方差貢獻率為：§4R型分析為消除量綱影響，在計算之前先將原始數(shù)據(jù)標準化。標準化變量的S=R，所以用標準化變量進行主成分分析相當于從原變量的相關矩陣R

出發(fā)進行主成分分析。統(tǒng)計學上稱這種分析法為R型分析，由協(xié)方差矩陣出發(fā)的主成分分析為S型分析。

S型分析和R型分析的結果是不同的。在一般情況下，若各變量的量綱不同，通常采用R型分析。R型分析的概念§5

主成分的性質一、主成分的相關結構主成分Fk的方差

主成分Fk的方差貢獻率為主成分與每個變量之間的相關系數(shù)

4.主成分對每個原變量的方差貢獻證明因子負荷量（因子載荷）第i個分量為1，其余為0第一主成分與原變量的相關系數(shù)依次是第一主成分與原變量的相關系數(shù)依次是

同樣，我們可以很容易地計算第二主成分與三個原變量之間的相關系數(shù)：

F1F2F3X1X2X30.8120.5760.0050.906-0.3490.2310.944-0.313-0.089F1F2F3X1X2X30.6590.3320.0000.8210.1220.0530.8910.0980.008橫行之和為1,從橫行看，有

因此從縱向看，有：從縱向來看，反映了65.9%的信息，反映了82.1%的信息，反映了89.1%的信息。

F1F2F3F4F5X1X2X3X4X50.7580.609-0.1750.1560.0260.7340.2240.3220.5480.0810.853-0.1360.139-0.003-0.4930.796-0.2880.4090.3210.1090.812-0.451-0.354-0.0940.050

F1F2F3F4F5X1X2X3X4X50.5740.3710.0300.0240.0010.5390.0500.1040.3000.0070.7270.0180.0190.0000.2430.6340.0830.1680.1030.0120.6800.2040.1250.0090.002二、主成分的性質主成分的協(xié)差陣為對角陣總方差保持不變與的相關系數(shù)若進行R型分析，則

若進行R型分析，則

對的方差貢獻為

若進行R型分析，則從橫行看有從縱向看有§6用主成分圖解樣品和變量

主成分分析后，若能以兩個主成分代表原變量大部分的信息，則我們可以在平面上分析每一個樣品點。步驟如下：

1、對每個樣品分別求第一主成分F1和第二主成分F2的得分。

2、建立以F1和F2

為軸的直角坐標系。以

F1為橫坐標，

F2為縱坐標，在坐標系中描出各個樣品點（畫散點圖）。

3、解釋坐標系的各個象限。一、圖解樣品（對樣品分類）F1F2二、圖解變量（對變量分類）

主成分分析后，若能以兩個主成分代表原變量大部分的信息，則對應每個原變量，只剩下和。以為橫軸，為縱軸，建立直角坐標系。然后以為橫坐標，以為縱坐標，在坐標系中描出各變量對應的點。