主成分分析法的原理應(yīng)用及計(jì)算步驟

1、一、概述在處理信息時(shí)， 當(dāng)兩個(gè)變量之間有一定相關(guān)關(guān)系時(shí)， 可以解釋為這兩個(gè)變量 反映此課題的信息有一定的重疊， 例如，高?？蒲袪顩r評(píng)價(jià)中的立項(xiàng)課題數(shù)與項(xiàng) 目經(jīng)費(fèi)、經(jīng)費(fèi)支出等之間會(huì)存在較高的相關(guān)性；學(xué)生綜合評(píng)價(jià)研究中的專業(yè)基 礎(chǔ)課成績(jī)與專業(yè)課成績(jī)、獲獎(jiǎng)學(xué)金次數(shù)等之間也會(huì)存在較高的相關(guān)性。而變量 之間信息的高度重疊和高度相關(guān)會(huì)給統(tǒng)計(jì)方法的應(yīng)用帶來許多障礙。為了解決這些問題，最簡(jiǎn)單和最直接的解決方案是削減變量的個(gè)數(shù)，但這 必然又會(huì)導(dǎo)致信息丟失和信息不完整等問題的產(chǎn)生。為此，人們希望探索一種 更為有效的解決方法，它既能大大減少參與數(shù)據(jù)建模的變量個(gè)數(shù)，同時(shí)也不會(huì) 造成信息的大量丟失。主成分分析正式這樣一

2、種能夠有效降低變量維數(shù)，并已 得到廣泛應(yīng)用的分析方法。主成分分析以最少的信息丟失為前提， 將眾多的原有變量綜合成較少幾個(gè)綜 合指標(biāo)，通常綜合指標(biāo)（主成分） 有以下幾個(gè)特點(diǎn)：主成分個(gè)數(shù)遠(yuǎn)遠(yuǎn)少于原有變量的個(gè)數(shù) 原有變量綜合成少數(shù)幾個(gè)因子之后，因子將可以替代原有變量參與數(shù)據(jù)建 模，這將大大減少分析過程中的計(jì)算工作量。主成分能夠反映原有變量的絕大部分信息因子并不是原有變量的簡(jiǎn)單取舍， 而是原有變量重組后的結(jié)果 ，因此不會(huì)造 成原有變量信息的大量丟失，并能夠代表原有變量的絕大部分信息。主成分之間應(yīng)該互不相關(guān)通過主成分分析得出的新的綜合指標(biāo) （主成分） 之間互不相關(guān) ，因子參與數(shù) 據(jù)建模能夠有效地解決變量

3、信息重疊、多重共線性等給分析應(yīng)用帶來的諸多問 題。主成分具有命名解釋性 總之，主成分分析法是研究如何以最少的信息丟失將眾多原有變量濃縮成 少數(shù)幾個(gè)因子，如何使因子具有一定的命名解釋性的多元統(tǒng)計(jì)分析方法 。、基本原理主成分分析是數(shù)學(xué)上對(duì)數(shù)據(jù)降維的一種方法。 其基本思想是設(shè)法將原來眾多 的具有一定相關(guān)性的指標(biāo)X1, X2,，XP （比如p個(gè)指標(biāo)），重新組合成一組較 少個(gè)數(shù)的互不相關(guān)的綜合指標(biāo) Fm來代替原來指標(biāo)。那么綜合指標(biāo)應(yīng)該如何去提 取，使其既能最大程度的反映原變量 Xp所代表的信息，又能保證新指標(biāo)之間保 持相互無關(guān)（信息不重疊） 。設(shè) F1 表示原變量的第一個(gè)線性組合所形成的主成分指標(biāo)， 即

4、F1a11X1a21X2ap1Xp, 由數(shù)學(xué)知識(shí)可知， 每一個(gè)主成分所提取的信息量可用其方差來度量， 其方差 Var（F1） 越大，表示 F1 包含的信息越多 。常常希望第 一主成分F1所含的信息量最大，因此在所有的線性組合中選取的 F1應(yīng)該是XI, X2,，XP的所有線性組合中方差最大的，故稱F1為第一主成分。如果第一主成分不足以代表原來p個(gè)指標(biāo)的信息，再考慮選取第二個(gè)主成分指標(biāo)F2，為有效地反映原信息，F(xiàn)1已有的信息就不需要再出現(xiàn)在 F2中，即F2與F1要保持獨(dú) 立、不相關(guān)，用數(shù)學(xué)語言表達(dá)就是其協(xié)方差Cov（F1, F2）=0，所以F2是與F1不 相關(guān)的X1, X2,，XP的所有線性組合中

5、方差最大的，故稱 F2為第二主成分, 依此類推構(gòu)造出的F1、F2、Fm為原變量指標(biāo)X1、X2XP第一、第二、 第m個(gè)主成分。F1ai1X1*I2X2a1pX pF2*21X1*22 X 2a2 pX pFmam1X1am2 X 2'a Xmp p根據(jù)以上分析得知：Fi 與Fj互不相關(guān)，即Cov(Fi , Fj) = 0,并有Var(Fi)=ai '工ai，其 中工為X的協(xié)方差陣(2)F1 是XI, X2,，Xp的一切線性組合(系數(shù)滿足上述要求)中方差最 大的,即Fm是與F1, F2,Fm- 1都不相關(guān)的X1, X2,，XP的所有 線性組合中方差最大者。F1,F2,，F(xiàn)(m<

6、; p)為構(gòu)造的新變量指標(biāo)，即原變量指標(biāo)的第一、第二、 第m個(gè)主成分。由以上分析可見，主成分分析法的主要任務(wù)有兩點(diǎn)：(1) 確定各主成分Fi (i=1 , 2,，n)關(guān)于原變量Xj (j=1 , 2 ,，p)的表達(dá)式，即系數(shù)aij ( i=1 , 2,，m； j=1 , 2 ,，p)。從數(shù)學(xué)上可以證 明，原變量協(xié)方差矩陣的特征根是主成分的方差，所以前m個(gè)較大特征根就代表前m個(gè)較大的主成分方差值；原變量 協(xié)方差矩陣前m個(gè)較大的特征值i (這 樣選取才能保證主成分的方差依次最大)所對(duì)應(yīng)的特征向量就是相應(yīng)主成分Fi表達(dá)式的系數(shù)ai ,為了加以限制，系數(shù)ai啟用的是i對(duì)應(yīng)的單位化的特征向量， 即有 a

7、i 'ai = 1。(2) 計(jì)算主成分載荷，主成分載荷是反映主成分Fi與原變量Xj之間的相互 關(guān)聯(lián)程度：P(Zk，N)- kaki(i, 1,2,L,p；k 1,2,L,m)三、主成分分析法的計(jì)算步驟主成分分析的具體步驟如下：(1) 計(jì)算協(xié)方差矩陣計(jì)算樣品數(shù)據(jù)的協(xié)方差矩陣：工=(Sj)p P,其中1 n Sij(Xki Xi)(Xkj Xj) i , j = 1 , 2,，pn 1 k 1(2) 求出工的特征值i及相應(yīng)的正交化單位特征向量ai工的前m個(gè)較大的特征值1 2m>0就是前m個(gè)主成分對(duì)應(yīng)的方差，j對(duì)應(yīng)的單位特征向量,主成分Fi為：ai就是主成分Fi的關(guān)于原變量的系數(shù)，則原

8、變量的第i個(gè)Fi = ai'X主成分的方差(信息)貢獻(xiàn)率用來反映信息量的大小，匚為:mi / iiiii 1(3)選擇主成分最終要選擇幾個(gè)主成分，即F1,F2,Fm中m的確定是通過方差(信息) 累計(jì)貢獻(xiàn)率G(m)來確定mG(m)i 1當(dāng)累積貢獻(xiàn)率大于85%寸，就認(rèn)為能足夠反映原來變量的信息了，對(duì)應(yīng)的 m 就是抽取的前m個(gè)主成分。(4)計(jì)算主成分載荷 主成分載荷是反映主成分 Fi與原變量Xj之間的相互關(guān)聯(lián)程度，Xj (j=1，2 ,，p )在諸主成分 Fi (i=1，2，2,，m j=1 ，2 ,，p)。：l0,Xj)aij(i 1,2,L,m;j在SPSS軟件中主成分分析后的分析結(jié)果中

9、， 載荷矩陣。原來變量，n)上的荷載lij ( i=1 ,1,2, L ,p)“成分矩陣”反應(yīng)的就是主成分(5)計(jì)算主成分得分，2,，m計(jì)算樣品在m個(gè)主成分上的得分:Fia1i X1 a2i X2. api X p i = 1常用方法是將原始數(shù)據(jù)標(biāo)準(zhǔn)化，即做如下數(shù)實(shí)際應(yīng)用時(shí)，指標(biāo)的量綱往往不同，所以在主成分計(jì)算之前應(yīng)先消除量綱的 影響。消除數(shù)據(jù)的量綱有很多方法， 據(jù)變換：XijXjXjSji 1,2,., n; j 1,2,., p其中：Xjxij，2Sjn(XijXj)2根據(jù)數(shù)學(xué)公式知道,任何隨機(jī)變量對(duì)其作標(biāo)準(zhǔn)化變換后，其協(xié)方差與其相 關(guān)系數(shù)是一回事，即標(biāo)準(zhǔn)化后的變量協(xié)方差矩陣就是其相關(guān)系數(shù)

10、矩陣。另一方面，根據(jù)協(xié)方差的公式可以推得標(biāo)準(zhǔn)化后的協(xié)方差就是原變量的相關(guān)系數(shù)， 亦即, 標(biāo)準(zhǔn)化后的變量的協(xié)方差矩陣就是原變量的相關(guān)系數(shù)矩陣 。也就是說，在標(biāo)準(zhǔn) 化前后變量的相關(guān)系數(shù)矩陣不變化。根據(jù)以上論述，為消除量綱的影響，將變量標(biāo)準(zhǔn)化后再計(jì)算其協(xié)方差矩陣， 就是直接計(jì)算原變量的相關(guān)系數(shù)矩陣，所以主成分分析的實(shí)際常用計(jì)算步驟是： 計(jì)算相關(guān)系數(shù)矩陣求出相關(guān)系數(shù)矩陣的特征值 i及相應(yīng)的正交化單位特征向量ai選擇主成分計(jì)算主成分得分總結(jié)：原指標(biāo)相關(guān)系數(shù)矩陣相應(yīng)的特征值 i為主成分方差的貢獻(xiàn)，方差的p貢獻(xiàn)率為i i/ i， i越大，說明相應(yīng)的主成分反映綜合信息的能力越強(qiáng)，i 1可根據(jù)i的大小來提取主成

11、分。每一個(gè)主成分的組合系數(shù)（原變量在該主成分 上的載荷）ai就是相應(yīng)特征值i所對(duì)應(yīng)的單位特征向量。主成分分析法的計(jì)算步驟1、原始指標(biāo)數(shù)據(jù)的 標(biāo)準(zhǔn)化采集p維隨機(jī)向量x =（石,瓦，,Xp）T）n 個(gè)樣品 x = （Xii,Xi2,.,Xip）T， i=1,2,n > p，構(gòu)造樣本陣，對(duì)樣本陣元進(jìn)行如下標(biāo)準(zhǔn)化變換：Zij = - 1,2,"眄 j -，p工命1 占 I其中!,得標(biāo)準(zhǔn)化陣Z。2、對(duì)標(biāo)準(zhǔn)化陣Z求相關(guān)系數(shù)矩陣R =悶1嚴(yán)卩=苴中篤=龍"= 122其中，.。3、解樣本相關(guān)矩陣R的特征方程|R 一入婦| =。得p個(gè)特征根,確定主成分辭半 0.8彳按確定m值，使信息的

12、利用率達(dá)85%以上，對(duì)每個(gè)入,j=l,2,.,m,解方程組 Rb = jb得單位特征向量"j。4、將標(biāo)準(zhǔn)化后的指標(biāo)變量轉(zhuǎn)換為主成分=遷 % j = 1 mU1稱為第一主成分，U2稱為第二主成分，,Up稱為第P主成分。5、對(duì)m個(gè)主成分進(jìn)行綜合評(píng)價(jià)對(duì)m個(gè)主成分進(jìn)行加權(quán)求和，即得最終評(píng)價(jià)值，權(quán)數(shù)為每個(gè)主成分的方差貢獻(xiàn)率。一、主成分分析基本原理概念：主成分分析是把原來多個(gè)變量劃為少數(shù)幾個(gè)綜合指標(biāo)的一種統(tǒng)計(jì)分析 方法。從數(shù)學(xué)角度來看，這是一種降維處理技術(shù)。思路：一個(gè)研究對(duì)象，往往是多要素的復(fù)雜系統(tǒng)。變量太多無疑會(huì)增加分析 問題的難度和復(fù)雜性，利用原變量之間的相關(guān)關(guān)系，用較少的新變量代替原來較

13、多的變量，并使這些少數(shù)變量盡可能多的保留原來較多的變量所反應(yīng)的信息，這樣問題就簡(jiǎn)單化了。原理：假定有n個(gè)樣本，每個(gè)樣本共有p個(gè)變量，構(gòu)成一個(gè)nxp階的數(shù)據(jù) 矩陣，XiiX12XipXX21X22X2pXniXn2Xnp記原變量指標(biāo)為Xi , X2,，Xp，設(shè)它們降維處理后的綜合指標(biāo)，即新變量為 z 1，Z2，Z3，zmw p)，則ZiIiiXiIi2X2Ii p XpZ2I2iXiI22X2I2pXpZmlmi XiIm2X2Imp Xp系數(shù)I j的確定原則： Zi與乙(i工j ； i，j=1，2，m)相互無關(guān)； Zi是Xi, X2,Xp的一切線性組合中方差最大者，Z2是與乙不相關(guān)的X1,X2

14、，, Xp的所有線性組合中方差最大者； Z m是與Zi, Z2, , Z葉i都不相關(guān)的Xi, X2,Xp ,的所有線性組合中方差最大者。新變量指標(biāo)Zi , Z2，z m分別稱為原變量指標(biāo)Xi, X2，Xp的第i,第2, 第m主成分。從以上的分析可以看出，主成分分析的實(shí)質(zhì)就是確定原來變量Xj (j=i ,2，p)在諸主成分乙(i=i , 2,，m)上的荷載I j ( i=i , 2,，m j=i , 2 ,，p)。從數(shù)學(xué)上可以證明，它們分別是相關(guān)矩陣m個(gè)較大的特征值所對(duì)應(yīng)的特征向 量。、主成分分析的計(jì)算步驟i、計(jì)算相關(guān)系數(shù)矩陣hiri2ri pRr2ir22r2prpirp2rppr j (i

15、, j =i, 2,，p)為原變量Xi與Xj的相關(guān)系數(shù)，5=幾，其計(jì)算公rjnn 2 2Xi) (Xkj Xj)k i式為(Xki Xi )(Xkj Xj)2、計(jì)算特征值與特征向量解特征方程I I R 0，常用雅可比法（Jacobi ）求出特征值，并使其按大小順序排列i 2分別求出對(duì)應(yīng)于特征值i的特征向量ei（ip1,2,L,p)，要求 e=1，即e2 1j i其中ej表示向量ei的第j個(gè)分量3、計(jì)算主成分貢獻(xiàn)率及累計(jì)貢獻(xiàn)率貢獻(xiàn)率:(i 1,2,L,p)累計(jì)貢獻(xiàn)率:ikk 1pkk 1(i 1,2,L, p)般取累計(jì)貢獻(xiàn)率達(dá) 85%-958的特征值,仆2,L, m所對(duì)應(yīng)的第1、第2、第m（me

16、p）個(gè)主成分。4、計(jì)算主成分載荷ljP（Zi,Xj） /7q（i,j 1,2, L,p）5、各主成分得分、主成分分析法在SPSS中的操作Z11Z12Z1mZZ21Z22Z2mZn1Zn2Znm1、指標(biāo)數(shù)據(jù)選取、收集與錄入（表1）地區(qū)GDP人均GDP農(nóng)業(yè)增加值T業(yè)增加值第三產(chǎn)業(yè)用加值產(chǎn)牲資墓本建設(shè)投険社會(huì)涓羈品初關(guān)出口抱方財(cái)政收入遼F5458.21300014B83.31376.22258.41315.9529.02258.4123.7399.7山東10550.0116431W03502.53S5L.02288.71070.73181.921L4610.2河北6076.6仙7950.21406.

17、72092.61161.0$97.11S6BJ4$J0232022,62206883 9822.8960.0703.736).9941.4115.71711江拂10636.01W7112253狡33967.22330.0II4L.33215.83845643.7卜祥5408.840627S6.22196.22755.81970.277932035.2320 5709.0箭遼7670.016570680.02356.53MS02296.61180.62S77.5294.2$66.94682.01J510663.01047.11RSM)964.5的7占16633173.7272.9廣東)1770.

18、015030102394224.64793.63022.91275.55013.61843.71202.0廣西2437.25062591.4367.0W5.7512.2352.71025.5154186.72、Analyze f Data Reduction f Factor Analysis ，彈出 Factor Analysis對(duì)話框：表2 Factor Analyze対話框與Descriptives卡對(duì)話框赧il區(qū)如tfe丈冰-(-GDPp<11二二_1p.t:4BGDP 姙E淞:1審宓業(yè)增川値刈檢Reset;砂工業(yè)増加a彌期三產(chǎn)業(yè)增血話廠Cancef禺固定資產(chǎn)投資兇E©

19、甚本建遼投費(fèi)心時(shí)紺目髀旦糜宵$ Sele;iionVaial> rnQetaiptrves. E刷Mice.R&Jdtoi, Scores.Qplions.,St-ahstics_ ,I Hi1! “呻 ""tJiiivirute descriptiveCfirMinweV I niiaf sokXion.Cmflatiori 卅粧仙|訂匸oef導(dǎo)列$ SiTilicflnce levefc"tetomriafllCancelrRepraduredAnt-imageKMO and BarfeN'j les! of spheiici3、把指標(biāo)數(shù)

20、據(jù)選入 Variables 框，Descriptives: Correlation Matrix框組中選中Coefficients, 然后點(diǎn)擊 Continue,返回Factor Analysis 對(duì)話框，單 擊OK注意：SPSS在調(diào)用Factor Analyze過程進(jìn)行分析時(shí)，SPSS會(huì)自動(dòng)對(duì)原始數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，所以在得到計(jì)算結(jié)果后的變量都是指經(jīng)過標(biāo)準(zhǔn)化處理后的變量，但SPSS并不直接給出標(biāo)準(zhǔn)化后的數(shù)據(jù)，如需要得到標(biāo)準(zhǔn)化數(shù)據(jù)，則需調(diào)用Descriptives過程進(jìn)行計(jì)算。表3 相關(guān)系數(shù)矩陣Comclatico NfatrixGDP人均GDP農(nóng)業(yè)増加值工業(yè)第三 產(chǎn)業(yè) 増如直固定投謹(jǐn)投資社會(huì)

21、泊 蹟Ai垂 酋堆領(lǐng)出口 總幀地方財(cái)政收入GDP1.000-0.094-00520.96709790 9230,9220 9410.6370,826AiiJ GDP-0.0941.000-01710.1130.0740.2140.093-00.052 0 1711.000-0.132-0 05-009S-0.P60 0B-0 1250 086匸業(yè)曲加值0 9670.1B-01321.W00.9-850 9630.939093507050.S98第二產(chǎn)業(yè)塔側(cè)心0.9790.074-0.05009850000 97J0 9100.9620.7140 913固阮負(fù)產(chǎn)桂負(fù)0

22、.9230.21409630.5731.0000.9710.9370.7170.9220W3-0.1760939住頌0 9711 0000S970.6240.$4S禮僉滯供品爭(zhēng)書總額0 941-0.04300130.9350.9620.9370.8971.0000.8360.9290 6370 081-0.1250.700.714071706240 8361-0000.882也方時(shí)政收入0.8260.273-0.0860.8980.9130.9340.S4S0.9290-8821.000從表3可知GDP與工業(yè)增加值，第三產(chǎn)業(yè)增加值、固定資產(chǎn)投資、基本建設(shè) 投資、社會(huì)消費(fèi)品零售總額、地方財(cái)政收入

23、這幾個(gè)指標(biāo)存在著極其顯著的關(guān)系 ， 與海關(guān)出口總額存在著顯著關(guān)系?？梢娫S多變量之間直接的相關(guān)性比較強(qiáng)，證明 他們存在信息上的重疊。主成分個(gè)數(shù)提取原則為主成分對(duì)應(yīng)的特征值大于 1的前m個(gè)主成分。特征值在 某種程度上可以被看成是表示主成分影響力度大小的指標(biāo)，如果特征值小于1, 說明該主成分的解釋力度還不如直接引入一個(gè)原變量的平均解釋力度大，因此ImlaaD Ei冬uvahwwExiraciiaiL Sums of Sqwed LoadingTotal% af jariarKfCumiilab.%Total% cf VanajiceCuimlautve %17.22072.20572.20S7.22

24、072-20572 20521.2351Z34«&4.551123512-3468455130 37.'8.7699131940.5475.46698 78650.0850.85499.64060.0210.2199.85070.0120.11999.970-QO.X)20 018998890.0010.012100.000100.0000.000100.000去4 方差分解主限分提取分折表TcIhI Vknance Explajited.Extmchan. 陡ehod ftinripal Cbcnporient Analyd占Cooipaiienr12GDP0495

25、人均8P(j 11 ?-0.S24農(nóng)業(yè)堆加值-0.1090.677工業(yè)iflUitft0.9TB-0.005.第三產(chǎn)業(yè)WttliA0.9B60.0700.983-0.06S0.947-0.024片.會(huì)洎資品霉窖總範(fàn)0.977D.176海矣岀口 J&篠0.8CW-0 051地沖財(cái)政收入0 354-0.128我5 劇曲囚予我荷矩陣CoEBpaiieikE Xfatris?1EflrRCtiai. Mrthcd Prmripal Confowtii AjhJjw a 2 coJipaciFnts ecdricied一般可以用特征值大于1作為納入標(biāo)準(zhǔn)。通過表4（方差分解主成分提取分析）可 知,

26、提取2個(gè)主成分,即m=2,從表5（初始因子載荷矩陣）可知GDP 工業(yè)增加 值、第三產(chǎn)業(yè)增加值、固定資產(chǎn)投資、基本建設(shè)投資、社會(huì)消費(fèi)品零售總額、海 關(guān)出口總額、地方財(cái)政收入在第一主成分上有較高載荷，說明第一主成分基本反映了這些指標(biāo)的信息；人均GDP和農(nóng)業(yè)增加值指標(biāo)在第二主成分上有較高載荷， 說明第二主成分基本反映了人均GDP和農(nóng)業(yè)增加值兩個(gè)指標(biāo)的信息。所以提取兩 個(gè)主成分是可以基本反映全部指標(biāo)的信息，所以決定用兩個(gè)新變量來代替原來 的十個(gè)變量。但這兩個(gè)新變量的表達(dá)還不能從輸出窗口中直接得到，因?yàn)椤?ComponentMatrix ”是指初始因子載荷矩陣,每一個(gè)載荷量表示主成分與對(duì)應(yīng) 變量的相關(guān)系

27、數(shù)。用表5（主成分載荷矩陣）中的數(shù)據(jù)除以主成分相對(duì)應(yīng)的特征值開平方根便 得到兩個(gè)主成分中每個(gè)指標(biāo)所對(duì)應(yīng)的系數(shù)。將初始因子載荷矩陣中的兩列數(shù)據(jù)輸 入（可用復(fù)制粘貼的方法）到數(shù)據(jù)編輯窗口（為變量B1、B2）,然后利用“ Transform Compute Variable ” , 在Compute Variable 對(duì)話框中輸入“ A仁B1/SQR（7.22）”注：第二主成分SQ后的括號(hào)中填1.235,即可得到特征向 量A（見表6）。同理，可得到特征向量A。將得到的特征向量與標(biāo)準(zhǔn)化后的數(shù)據(jù)相 乘，然后就可以得出主成分表達(dá)式注：因本例只是為了說明如何在SPSS進(jìn)行 主成分分析，故在此不對(duì)提取的主成分進(jìn)行命名，有興趣的讀者可自行命名。Fi =0.353ZX! +0.042ZX：.041ZX3 +0.364ZX4 + 0367ZX, P.366ZX, +0.352ZX. +0364啓 +0298ZX, + 0355ZXLoF2 =0A75ZX -0.741ZX： +0.609ZX, - 0.004Z + 0.063ZX< -O.OfilZXs -0.022ZX?丸血 -0.046ZX, 015ZXlo表 6 Compute Variable 對(duì)話框* Bl f B?H 1/fwk EMpKtwysi _一 辭7$口腓閉J < i > Jj 9jL_Jsj <*|