第十講主分量(主成分)分析

第七章主分量(主成分）分析概述主分量分析的基本原理主分量分析的計(jì)算步驟主分量分析主要的作用使用PRINCOMP過(guò)程進(jìn)行主成分分析主分量分析方法應(yīng)用實(shí)例

一般情況下，系統(tǒng)是由多要素構(gòu)成的復(fù)雜結(jié)構(gòu)，多變量問(wèn)題是經(jīng)常會(huì)遇到的.變量太多，無(wú)疑會(huì)增加分析問(wèn)題的難度與復(fù)雜性，而且在許多實(shí)際問(wèn)題中，多個(gè)變量之間是具有一定的相關(guān)關(guān)系的.因此，人們會(huì)很自然地想到，能否在相關(guān)分析的基礎(chǔ)上，用較少的新變量代替原來(lái)較多的舊變量，而且使這些較少的新變量盡可能多地保留原來(lái)變量所反映的信息？

一、概述

如何利用指標(biāo)對(duì)每一兒童的生長(zhǎng)發(fā)育作出正確評(píng)價(jià)？?jī)H用單一指標(biāo)：結(jié)論片面；沒(méi)有充分利用原有數(shù)據(jù)信息.利用所有指標(biāo)：各指標(biāo)評(píng)價(jià)的結(jié)論可能不一致，使綜合評(píng)價(jià)困難,

工作量大.找出幾個(gè)綜合指標(biāo)(長(zhǎng)度、圍度、特體)，這些綜合指標(biāo)是由原始指標(biāo)的線性組合而來(lái)，既保留了原始指標(biāo)的信息，且相互獨(dú)立.衡量一個(gè)指標(biāo)的好壞除了正確性與精確性外，還必須能充分反映個(gè)體間的變異，即指標(biāo)能提供顯著的個(gè)體區(qū)分度，一項(xiàng)指標(biāo)在個(gè)體間的變異越大，提供的“信息量”就越多.各綜合指標(biāo)提供的“信息量”大小用其方差來(lái)衡量.

事實(shí)上，這種想法是可以實(shí)現(xiàn)的，主分量（主成分）分析方法就是綜合處理這種問(wèn)題的一種強(qiáng)有力的工具.主分量（主成分）分析是把原來(lái)多個(gè)變量劃為少數(shù)幾個(gè)綜合指標(biāo)的一種統(tǒng)計(jì)分析方法.從數(shù)學(xué)角度來(lái)看，這是一種降維處理技術(shù).

主成分概念首先由KarlParson在1901年首先提出，當(dāng)時(shí)只是對(duì)非隨機(jī)變量來(lái)討論的.1933年Hotelling將這個(gè)概念推廣到隨機(jī)變量，作了進(jìn)一步發(fā)展.把從混合信號(hào)中求出主分量（能量最大的成份）的方法稱(chēng)為主分量分析.（principalcomponents

analysis，PCA）

定義：記x1，x2，…，xP為原變量指標(biāo)，z1，z2，…，zm（m≤p）為新變量指標(biāo)(1.2.1)

系數(shù)lij的確定原則：①zi與zj（i≠j；i，j=1，2，…，m）相互無(wú)關(guān)；二、主分量分析的基本原理

②z1是x1，x2，…，xP的一切線性組合中方差最大者，z2是與z1不相關(guān)的x1，x2，…，xP的所有線性組合中方差最大者

;…;zm是與z1，z2，……，zm－1都不相關(guān)的x1，x2，…xP，的所有線性組合中方差最大者.則新變量指標(biāo)z1，z2，…，zm分別稱(chēng)為原變量指標(biāo)x1，x2，…，xP的第1，第2，…，第m主成分.

從以上的分析可以看出，主成分分析的實(shí)質(zhì)就是確定原來(lái)變量xj（j=1，2，…，p）在諸主成分zi（i=1，2，…，m）上的系數(shù)lij（i=1，2，…，m；j=1，2，…，p）.從數(shù)學(xué)上可以證明，它們分別是相關(guān)矩陣m個(gè)較大的特征值所對(duì)應(yīng)的特征向量.

三、主分量分析的計(jì)算步驟

（一）計(jì)算相關(guān)系數(shù)矩陣(假設(shè)該矩陣為正定陣）

rij（i，j=1，2，…，p）為原變量xi與xj的相關(guān)系數(shù)，rij=rji，其計(jì)算公式為（1.3.1）（1.3.2）（二）計(jì)算特征值與特征向量①解特征方程，常用雅可比法（Jacobi）

求出特征值，并使其按大小順序排列

；

②分別求出對(duì)應(yīng)于特征值的特征向量

要求=1，即，其中表示向量的第j個(gè)

分量.③計(jì)算主成分貢獻(xiàn)率及累計(jì)貢獻(xiàn)率

貢獻(xiàn)率:第i個(gè)主成分的方差在全部方差中所占比重

反映了原來(lái)P個(gè)指標(biāo)多大的信息，有多大的綜合能力.

累計(jì)貢獻(xiàn)率

前k個(gè)主成分共有多大的綜合能力，用這k個(gè)主成分的方差和在全部方差中所占比重來(lái)描述，稱(chēng)為累積貢獻(xiàn)率.

在實(shí)際工作中，主成分個(gè)數(shù)的多少取決于能夠反映原來(lái)變量85%以上的信息量為依據(jù)，即當(dāng)累積貢獻(xiàn)率≥85%時(shí)的主成分的個(gè)數(shù)就足夠了.最常見(jiàn)的情況是主成分為2到3個(gè).四、主分量分析主要作用

1.對(duì)原始指標(biāo)進(jìn)行綜合

以互不相關(guān)的較少個(gè)綜合指標(biāo)反應(yīng)眾多原始指標(biāo)提供的信息.2.進(jìn)行綜合評(píng)價(jià)

3.進(jìn)行探索性分析

利用因子載荷陣，找出影響各綜合指標(biāo)的主要原始指標(biāo).4.對(duì)樣品進(jìn)行分類(lèi)

利用主成分得分對(duì)樣品進(jìn)行分類(lèi).

五、使用PRINCOMP過(guò)程進(jìn)行主成分分析1.PRINCOMP過(guò)程的功能簡(jiǎn)介1)

PRINCOMP過(guò)程計(jì)算結(jié)果有：簡(jiǎn)單統(tǒng)計(jì)量，相關(guān)陣或協(xié)方差陣，從大到小排序的特征值和相應(yīng)特征向量，每個(gè)主成分解釋的方差比例，累計(jì)比例等.由特征向量得出相應(yīng)的主成分，用少數(shù)幾個(gè)主成分代替原始變量，并計(jì)算主成分得分.

2)主成分的個(gè)數(shù)可以由用戶自己確定，主成分的名字可以用戶自己規(guī)定.

3)輸入數(shù)據(jù)集可以是原始數(shù)據(jù)集、相關(guān)陣、協(xié)方差陣等.輸入為原始數(shù)據(jù)時(shí)，還可以規(guī)定從協(xié)方差陣出發(fā)還是從相關(guān)陣出發(fā)進(jìn)行分析，由協(xié)方差陣出發(fā)時(shí)方差大的變量在分析中起到更大的作用.

4)該過(guò)程還可生成兩個(gè)輸出數(shù)據(jù)集：一個(gè)包含原始數(shù)據(jù)及主成分得分，它可作為主成分回歸和聚類(lèi)分析的輸入數(shù)據(jù)集；另一個(gè)包含有關(guān)統(tǒng)計(jì)量，類(lèi)型為T(mén)YPE=CORR或COV的輸出集，它也可作為其他過(guò)程的輸入SAS集.2.

PRINCOMP過(guò)程的格式

PRINCOMP過(guò)程的常用格式如下：PROC

PRINCOMP

<選項(xiàng)列表>;VAR變量列表;RUN;其中：

1)PROCPRINCOMP語(yǔ)句用來(lái)規(guī)定輸入輸出和一些運(yùn)行選項(xiàng)，其選項(xiàng)及功能見(jiàn)表7-1.

表7-1

PROCPRINCOMP語(yǔ)句的選項(xiàng)

2)VAR語(yǔ)句指定用于主成分分析的變量，變量必須為數(shù)值型(區(qū)間型)變量.缺省使用DATA=輸入數(shù)據(jù)集中所有數(shù)值型變量進(jìn)行主成分分析.

例1對(duì)全國(guó)30個(gè)省市自治區(qū)經(jīng)濟(jì)發(fā)展基本情況的八項(xiàng)指標(biāo)作

主成分分析，原始數(shù)據(jù)如表7-2.

表7-2全國(guó)30個(gè)省市自治區(qū)經(jīng)濟(jì)發(fā)展基本情況六、主分量分析方法應(yīng)用實(shí)例(1)數(shù)據(jù)集

假定上述數(shù)據(jù)已經(jīng)存放在數(shù)據(jù)集li7_1中.(2)執(zhí)行主成分分析的PRINCOMP過(guò)程

對(duì)數(shù)據(jù)集li7_1執(zhí)行主成分分析的PRINCOMP過(guò)程代碼

如下：

procprincompdata=li7_1n=4out=w1

outstat=w2;

varx1-x8;

run;(3)結(jié)果分析

在各變量之間的相關(guān)系數(shù)矩陣中可以看出，有較強(qiáng)相關(guān)性

的變量依次為：

GDP(x1)與固定資產(chǎn)投資(x3)之間的相關(guān)系數(shù)為0.9506；

GDP(x1)與工業(yè)總產(chǎn)值(x8)之間的相關(guān)系數(shù)為0.8737；

固定資產(chǎn)投資(x3)與工業(yè)總產(chǎn)值(x8)之間的相關(guān)系數(shù)0.7919；

居民消費(fèi)價(jià)格指數(shù)(x6)與商品零售價(jià)格指數(shù)(x7)之間的相關(guān)

系數(shù)為0.7628；

貨物周轉(zhuǎn)量(x5)與工業(yè)總產(chǎn)值(x8)之間的相關(guān)系數(shù)為0.6586

等等.

下圖給出相關(guān)系數(shù)矩陣的特征值、上下特征值之差、各主成分對(duì)方差的貢獻(xiàn)率以及累積的貢獻(xiàn)率.

相關(guān)系數(shù)矩陣的特征值即各主成分的方差，可以看出，第一主成分對(duì)方差的貢獻(xiàn)率為46.94%，第二主成分對(duì)方差的貢獻(xiàn)率為27.46%，第三主成分對(duì)方差的貢獻(xiàn)率為15.19%，之后的主成分的貢獻(xiàn)率為0.05.前三個(gè)主成分的累積貢獻(xiàn)率為89.58%，因此，對(duì)第四主成分以后的主成分完全可以忽略不計(jì)，用前三個(gè)主成分就可以很好地概括這組數(shù)據(jù).

圖7-1原始變量對(duì)于各個(gè)特征值對(duì)應(yīng)的特征向量

上圖給出相關(guān)系數(shù)矩陣前4大特征值對(duì)應(yīng)的特征向量，此可以寫(xiě)出

前三個(gè)主成分的表達(dá)式：

Prin1=0.46x1+0.31x2+0.47x3+0.24x4+0.25x5–0.26x6

–0.32x7+0.42x8

Prin2=0.26x1–0.40x2+0.11x3–0.49x4+0.50x5+0.17x6

+0.40x7+0.29x8

Prin3=0.11x1+0.25x2+0.19x3+0.33x4–0.25x5+0.72x6

+0.40x7+0.19x8(4)主成分的散點(diǎn)圖

按第一主成分和第二主成分的得分作圖，代碼如下：procgplotdata=w1vpct=80;plotprin1*prin2$diqu='*'/haxis=-3.5to3by0.5HREF=-2,0,2vaxis=-3to4.5by1.5VREF=-2,0,2;run;

如右圖所示.

廣東、江蘇、上海、山東的第一主成分取值較高，說(shuō)明這些省市的經(jīng)濟(jì)發(fā)展水平較高，其次是浙江、遼寧、河北、河南、北京、天津等.

由于在第二主成分中職工平均工資與居民消費(fèi)水平具有負(fù)的載荷量，因此處于右半圖中的河北、河南、山東等地的職工平均工資與居民消費(fèi)水平較低，商品零售價(jià)格指數(shù)較高；而左半圖中上海、天津、海南、北京等地的職工平均工資與居民消費(fèi)水平較高，商品零售價(jià)格指數(shù)較低.

可見(jiàn)，第一主成分中x3、x1、x8的系數(shù)最大；第二主成分中x5、x7具有較大的正系數(shù)，x4、x2則具有較大的負(fù)系數(shù)；第三主成分中x6的系數(shù)最大，遠(yuǎn)遠(yuǎn)超過(guò)其他指標(biāo)的影響.因此,可以把第一主成分看成是由固定資產(chǎn)投資（x3）、GDP（x1）、工業(yè)總產(chǎn)值（x8）所刻畫(huà)的反映經(jīng)濟(jì)發(fā)展水平的綜合指標(biāo)；把第二主成分看成是由貨物周轉(zhuǎn)量（x5）、職工平均工資（x4）、居民消費(fèi)水平（x2）、商品零售價(jià)格指數(shù)（x7）所刻畫(huà)的與人民生活水平有關(guān)的綜合指標(biāo)；把第三主成分單獨(dú)看成是居民消費(fèi)價(jià)格指數(shù)（x6）的影響指標(biāo).

最后輸出的是數(shù)據(jù)集w1，其中包含前4個(gè)主成分Prin1～Prin4的得分.

例2(P264)

學(xué)生身體四項(xiàng)指標(biāo)的主分量分析隨機(jī)抽取30名某年級(jí)中學(xué)生，測(cè)量其身高（X1）、體重（X2）、胸圍（X3）和坐高（X4），試用編程對(duì)中學(xué)生身體指標(biāo)數(shù)據(jù)做主分量（主成分）分析.

datali7_2;

inputnumberx1-x4@@;cards;1148417278

2139347176

31604977864149366779

5

159458086

61423166767153437683

8150437779

915142778010139316874

111402964741216147788413158497883141403367771513731667316152357379

17149478279181453570771915142748720156447885

2115142738222147387385

23