3.6主成分分析法

§3.6主成分分析法本節(jié)內(nèi)容一主成分分析法基本思想二主成分分析的基本原理三旋轉(zhuǎn)矩陣L的求解過程四主成分分析法步驟一主成分分析法基本思想在對某一事物進(jìn)行實證研究中，為了更全面、準(zhǔn)確地反映出事物的特征及其發(fā)展規(guī)律，人們往往要考慮與其有關(guān)系的多個指標(biāo)，這樣就產(chǎn)生了如下問題：

一方面人們?yōu)榱吮苊膺z漏重要的信息而考慮盡可能多的指標(biāo)；

另一方面選取的指標(biāo)過多，給研究帶來一定困難，并且眾多的指標(biāo)之間可能存在一定的相關(guān)性，這樣就造成了信息的重疊，給研究結(jié)果帶來影響。例如：

衡量一個地區(qū)經(jīng)濟(jì)發(fā)展水平的指標(biāo)有：

人均GDP、第三產(chǎn)業(yè)比重、固定資產(chǎn)投入、城市化率、人均壽命、新生兒死亡率、綠地覆蓋率、識字率、人均能源消費(fèi)、基尼系數(shù)……基于上述問題，人們就希望在定量研究中涉及的變量較少，而得到的信息量又較多。

主成分分析正是研究如何把原來多個變量轉(zhuǎn)化為少數(shù)幾個綜合指標(biāo)的一種統(tǒng)計分析方法。

主成分有以下幾個特點：

主成分個數(shù)遠(yuǎn)遠(yuǎn)少于原有變量的個數(shù)

主成分能夠反映原有變量的絕大部分信息

主成分之間應(yīng)該互不相關(guān)

主成分具有命名解釋性本節(jié)內(nèi)容一主成分分析法基本思想二主成分分析的基本原理三旋轉(zhuǎn)矩陣L的求解過程四主成分分析法步驟二主成分分析的基本原理設(shè)有n個樣本，每個樣本涉及到m個變量，用x1,x2,…,xm表示，構(gòu)成一個m×n階的數(shù)據(jù)矩陣當(dāng)m較大時，在m維空間中考察問題比較麻煩。為了克服這一困難，就需要進(jìn)行降維處理，即用較少的幾個綜合指標(biāo)代替原來較多的變量指標(biāo)，而且使這些較少的綜合指標(biāo)既能盡量多地反映原來較多變量指標(biāo)所反映的信息，同時它們之間又是彼此獨立的。設(shè)它們的綜合指標(biāo)用z1,z2,…,zp(p≦m)來表示。新的綜合指標(biāo)(設(shè)p=m)可由原始指標(biāo)的線性組合表示。z1=l11x1+l12x2+…+l1mxmz2=l21x1+l22x2+…+l2mxm…zm=lm1x1+lm2x2+…+lmmxm用矩陣形式表示：則Z=LX(1)問題的關(guān)鍵在求出系數(shù)lij。主成分分析法的幾何意義設(shè)有n個樣品，每個樣品有兩個觀測變量x1,x2,這樣，在由x1,x2組成的坐標(biāo)空間中，n個樣品點散步的情況如下圖：x1x2●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●這n個樣品無論是沿x1軸方向還是沿x2軸方向均有較大的離散性，其離散程度可以分別用觀測變量x1和x2的方差定量地表示，顯然，若只考慮x1或x2中的任何一個，原始數(shù)據(jù)中的信息均會有較大的損失。考慮x1和x2的線性組合，使得原始數(shù)據(jù)中的信息可以由新的變量z1和z2來刻畫。

將坐標(biāo)軸按逆時針方向旋轉(zhuǎn)θ角度，得到新坐標(biāo)軸z1和z2:z1x2●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●θx1z2坐標(biāo)軸旋轉(zhuǎn)公式為：其矩陣形式為：其中L為旋轉(zhuǎn)變換矩陣，它是正交陣，滿足L’=L-1,L’×L=1經(jīng)過旋轉(zhuǎn)之后，n個樣品點在z1軸上的離散程度最大，變量z1代表了原始數(shù)據(jù)絕大部分信息，這樣有時在研究實際問題時，即使不考慮z2也無損大局。經(jīng)過轉(zhuǎn)換把原始數(shù)據(jù)的信息集中到z1軸上，對數(shù)據(jù)中所包含的信息起到了濃縮的作用。

進(jìn)行主成分分析的目的就是要找出旋轉(zhuǎn)矩陣L。

z1和z2稱為原始指標(biāo)x1和x2的主成分。圖上對原始指標(biāo)x1,x2的值記作{x1i},{x2i},對主成分z1,z2的值記作{z1i},{z2i},(i=1,2…,n),則有：z1反映的信息，就是在整個平方和中占的比例。則Z=LX(1)lij由下列原則決定：①Li’Li=1(i=1,2,…,m)②zi,zj(i≠j,i,j=1,2,…,p)互相無關(guān)；③z1是x1,x2,…,xm的所有線性組合中方差最大的；z2是與z1不相關(guān)的x1,x2,…,xm的所有線性組合中方差最大的；zm是與z1,z2,…,zm-1不相關(guān)的x1,x2,…,xm的所有線性組合中方差最大的；z1,z2,…,zm分別稱為原始指標(biāo)的第1，第2，。。。第m主成分。本節(jié)內(nèi)容一主成分分析法基本思想二主成分分析的基本原理三旋轉(zhuǎn)矩陣L的求解過程四主成分分析法步驟三旋轉(zhuǎn)矩陣L的求解過程：原始指標(biāo)x1,x2,…,xm之間的協(xié)方差矩陣為C,新的綜合指標(biāo)Z之間互不相關(guān)，所以它們之間的協(xié)方差矩陣應(yīng)為對角陣Λ：由線性代數(shù)知識可知，若C為m階實對稱陣，則一定可以對角化，即有正交陣P，使其中，Λ對角線上的元素λ1,λ2,...,λm為C的特征值（Z1,Z2,…,Zm的方差），P的列向量是C的m個線性無關(guān)的特征向量（L1,L2,…,Lm)。n階方陣的特征值與特征向量：設(shè)A為n階方陣，如果數(shù)λ和n維非零列向量x使關(guān)系式Ax=λx成立，那么λ稱為方陣A的特征值，非零向量x稱為A的對應(yīng)于特征值λ的特征向量。因此，求旋轉(zhuǎn)矩陣L就相當(dāng)于求原始變量x1,x2,…,xm協(xié)方差矩陣C的對應(yīng)于λ1,λ2,...,λm的m個特征向量。本節(jié)內(nèi)容一主成分分析法基本思想二主成分分析的基本原理三旋轉(zhuǎn)矩陣L的求解過程四主成分分析法步驟四主成分分析法步驟1對原始數(shù)據(jù)X進(jìn)行標(biāo)準(zhǔn)差標(biāo)準(zhǔn)化處理:2計算X*的協(xié)方差矩陣C

3計算協(xié)方差矩陣C的m個特征值λ1,λ2,...,λm及其對應(yīng)的特征向量l1,l2,…,lm。

Clk=λklk4確定主成分個數(shù)主成分Zk的貢獻(xiàn)率為：累計貢獻(xiàn)率為：一般取累計貢獻(xiàn)率85%以上的特征值λ1,λ2,...,λk對應(yīng)的主成分即可。5計算主成分載荷6計算主成分得分概念：主成分zk與變量xi之間的相關(guān)系數(shù)，用p（zk,xi)表示Z=LX*z1=l11x1*+l12x2*+…+l1mxm*z2=l21x1*+l22x2*+…+l2mxm*…zm=lm1x1*+lm2x2*+…+lmmxm*例題：

P116第16題

X=[1249.9 0.6 188.34 1999.97 279.09 2680.66 577.33910.17 0.58 150.11 2264.55 112.81 1130.19 225.43875.4 0.23 291.87 688.58 35.23 709.59 75.89299.92 0.66 23.6 273.78 20.33 394.31 65.4207.78 0.44 36.53 81.65 10.58 139.66 30.93677.08 0.63 129.54 582.67 56.79 901.7 115.28545.31 0.49 187.97 842.64 70.92 755.68 96.59691.23 0.41 185.32 596.63 35.71 480.37 88.44927.09 0.46 266.39 418.61 48.14 645.0 130.921313.12 0.74 206.9 5452.91 431.85 2597.12 560.54537.44 0.53 98.92 1307.27 66.43 568.05 135.79616.05 0.36 141.47 1200.08 44.96 742.6 118.09538.41 0.25 142.82 1062.29 50.17 524.64 82.4429.95 0.32 62.88 251.41 23.36 162.29 36.96583.13 0.27 215.23 655.54 46.75 503.02 68.06128.99 0.49 33.34 575.11 41.88 210.83 65.75424.2 0.4 68.83 230.59 16.77 264.05 47.96557.63 0.41 148.62 628.59 46.07 412.7 75.67702.97 0.37 238.23 1149.2 65.84 497.8 96.17615.36 0.34 67.74 528.76 38.73 513.53 69.68740.2 0.59 121.13 750.61 60.47 574.81 131.48582.47 0.31 114.64 309.82 32.37 346.12 59.7685.0 0.62 160.07 2334.81 176.15 2040.18 304.76119.85 0.79 29.97 2036.83 184.79 951.99 189.03285.87 0.41 72.05 114.97 14.97 219.09 37.1854.38 0.84 4.48 71.75 11.52 162.68 19.813072.34 0.21 416.88 858.55 89.89 909.1 160.681003.56 0.34 193.56 589.43 56.12 747.97 120.07321.5 0.46 36.21 224.79 19.79 178.77 41.97473.39 0.39 79.34 360.57 52.42 412.79 84.23674.5 0.41 73.99 366.59 40.89 586.4 88.52287.59 0.54 25.94 294.09 16.95 264.16 55.09133.95 0.52 6.58 71.13 4.91 85.51 21.9395.38 0.57 17.16 66.12 7.48 81.41 17.86158.92 0.82 7.85 184.72 25.49 236.55 51.76];7項經(jīng)濟(jì)指標(biāo)之間的相關(guān)系數(shù)陣如下：總?cè)丝诳側(cè)丝?.0000

-0.34100.84330.36030.40390.49670.4689

非農(nóng)人口比-0.34101.0000

-0.47370.30910.35790.26070.3106

農(nóng)業(yè)總產(chǎn)值0.8433-0.47371.0000

0.33700.32640.44930.3783

工業(yè)總產(chǎn)值0.36030.30910.33701.0000

0.94120.84800.8614

地方財政預(yù)算收入0.40390.35790.32640.94121.0000

0.92330.9527

城鄉(xiāng)居民年底儲蓄0.49670.26070.44930.84800.92331.0000

0.9731

在崗職工工資總額0.46890.31060.37830.86140.95270.97311.0000非農(nóng)人口比農(nóng)業(yè)總產(chǎn)值工業(yè)總產(chǎn)值地方財政預(yù)算收入城鄉(xiāng)居民年底儲蓄在崗職工工資總額0.84330.94120.84800.86140.92330.95270.9731第1步,對X進(jìn)行

標(biāo)準(zhǔn)差標(biāo)準(zhǔn)化處理X*=1.19770.72750.70781.13902.50803.26773.60180.55700.60630.30431.39900.54390.77690.83940.4914-1.51571.8004-0.1495-0.37240.1012-0.3344-0.59401.0913-1.0308-0.5571-0.5484-0.4053-0.4168-0.7678-0.2425-0.8943-0.7459-0.6636-0.8144-0.68740.11740.90940.0873-0.2536-0.11780.4098-0.0252-0.13120.06060.70390.00190.04910.1752-0.17200.1440-0.42440.6759-0.2398-0.3668-0.2671-0.23590.5889-0.12131.5315-0.4148-0.2199-0.00260.09751.31691.57630.90374.53184.31233.13353.4700-0.14600.3031-0.23590.4584-0.0039-0.12620.13580.0022-0.72750.21320.3531-0.25750.1542-0.0032-0.1442-1.39440.22740.2177-0.1960-0.1959-0.2833-0.3487-0.9700-0.6162-0.5791-0.5126-0.7781-0.6400-0.0598-1.27320.9916-0.1820-0.2364-0.2307-0.3959-0.91640.0606-0.9280-0.2610-0.2939-0.7001-0.4140-0.3596-0.4850-0.5534-0.5995-0.5905-0.6146-0.5537-0.1079-0.42440.2886-0.2084-0.2444-0.3758-0.33620.1662-0.66691.23430.3031-0.0109-0.2391-0.17530.0009-0.8488-0.5649-0.3065-0.3311-0.2138-0.38320.23640.6669-0.0015-0.0886-0.0743-0.11530.1019-0.0611-1.0307-0.0700-0.5217-0.4062-0.4827-0.46150.13230.84880.40951.46801.29212.23881.4621-0.93361.8794-0.96351.17531.39410.49060.5537-0.6205-0.4244-0.5194-0.7131-0.6117-0.6868-0.6383-1.05712.1826-1.2325-0.7556-0.6525-0.7774-0.77474.6348-1.63693.11960.01750.27320.42170.33110.7331-0.84880.7629-0.2469-0.12570.16280.0124-0.5533-0.1213-0.8977-0.6052-0.5548-0.7516-0.6007-0.2668-0.5456-0.4425-0.4718-0.1694-0.3756-0.26900.1125-0.4244-0.4990-0.4659-0.3056-0.0967-0.2353-0.61720.3638-1.0061-0.5371-0.5883-0.6144-0.4977-0.90700.2425-1.2104-0.7562-0.7306-0.9014-0.7580-0.97970.5456-1.0987-0.7611-0.7002-0.9080-0.7900-0.85992.0613-1.1970-0.6446-0.4875-0.6588-0.52392計算X*的協(xié)方差矩陣CC=1.0000-0.34100.84330.36030.40390.49670.4689-0.34101.0000-0.47370.30910.35790.26070.31060.8433-0.47371.00000.33700.32640.44930.37830.36030.30910.33701.00000.94120.84800.86140.40390.35790.32640.94121.00000.92330.95270.49670.26070.44930.84800.92331.00000.97310.46890.31060.37830.86140.95270.97311.0000

3計算協(xié)方差矩陣C的m個特征值λ1,λ2,...,λm及其對應(yīng)的特征向量l1,l2,…,lm。L=0.2954-0.4905-0.52700.11310.6044-0.1223-0.03610.10180.6198-0.7360-0.2022-0.1505-0.00440.01740.2658-0.5532-0.1942-0.3793-0.63770.17870.05540.43760.15160.3232-0.64670.2445-0.39680.21360.45920.16770.1715-0.07070.18030.6697-0.49550.46370.06870.06520.4259-0.3296-0.5423-0.43810.46310.11590.06860.4448-0.06630.23020.7157Λ=4.317700000001.952200000000.359600000000.183300000000.139000000000.033200000000.01504確定主成分個數(shù)主成分貢獻(xiàn)率為：fai=0.61680.27890.05140.02620.01990.00470.0021主成分累計貢獻(xiàn)率為：pfai=0.61680.89570.94710.97330.99310.99791.00005計算主成分載荷

P=0.6138-0.6853-0.31600.04840.2253-0.0223-0.00440.21150.8660-0.4414-0.0866-0.0561-0.00080.00210.5523-0.7729-0.1165-0.1624-0.23780.03260.00680.90930.21180.1938-0.27690.0912-0.07230.02620.95420.23430.1028-0.03030.06720.1220-0.06070.96350.09600.03910.1823-0.1229-0.0988-0.05370.96230.16190.04110.1904-0.02470.04190.0877

Z=LX*=6計算主成分得分0.2954-0.4905-0.52700.11310.6044-0.1223-0.03610.10180.6198-0.7360-0.2022-0.1505-0.00440.01740.2658-0.5532-0.1942-0.3793-0.63770.17870.05540.43760.15160.3232-0.64670.2445-0.39680.21360.45920.16770.1715-0.07070.18030.6697-0.49550.46370.06870.06520.4259-0.3296-0.5423-0.43810.46310.11590.06860.4448-0.06630.23020.7157

1.19770.72750.70781.13902.50803.26773.60180.55700.60630.30431.39900.54390.77690.83940.4914-1.51571.8004-0.1495-0.37240.1012-0.3344-0.59401.0913-1.0308-0.5571-0.5484-0.4053-0.4168-0.7678-0.2425-0.8943-0.7459-0.6636-0.8144-0.68740.11740.90940.0873-0.2536-0.11780.4098-0.0252-0.13120.06060.70390.00190.04910.1752-0.17200.1440-0.42440.6759-0.2398-0.3668-0.2671-0.23590.5889-0.12131.5315-0.4148-0.2199-0.00260.09751.31691.57630.90374.53184.31233.13353.4700-0.14600.3031-0.23590.4584-0.0039-0.12620.13580.0022-0.72750.21320.3531-0.25750.1542-0.0032-0.1442-1.39440.22740.2177-0.1960-0.1959-0.2833-0.3487-0.9700-0.6162-0.5791-0.5126-0.7781-0.6400-0.0598-1.27320.9916-0.1820-0.2364-0.2307-0.3959-0.91640.0606-0.9280-0.2610-0.2939-0.7001-0.4140-0.3596-0.4850-0.5534-0.5995-0.5905-0.6146-0.5537-0.1079-0.42440.2886-0.2084-0.2444-0.3758-0.33620.1662-0.66691.23430.3031-0.0109-0.2391-0.17530.0009-0.8488-0.5649-0.3065-0.3311-0.2138-0.38320.23640.6669-0.0015-0.0886-0.0743-0.11530.1019-0.0611-1.0307-0.0700-0.5217-0.4062-0.4827-0.46150.13230.84880.40951.46801.29212.23881.4621-0.93361.8794-0.96351.17531.39410.49060.5537-0.6205-0.4244-0.5194-0.7131-0.6117-0.6868-0.6383-1.05712.1826-1.2325-0.7556-0.6525-0.7774-0.77474.6348-1.63693.11960.01750.27320.42170.33110.7331-0.84880.7629-0.2469-0.12570.16280.0124-0.5533-0.1213-0.8977-0.6052-0.5548-0.7516-0.6007-0.2668-0.5456-0.4425-0.4718-0.1694-0.3756-0.26900.1125-0.4244-0.4990-0.4659-0.3056-0.0967-0.2353-0.61720.3638-1.0061-0.5371-0.5883-0.6144-0.4977-0.90700.2425-1.2104-0.7562-0.7306-0.9014-0.7580-0.97970.5456-1.0987-0.7611-0.7002-0.9080-0.7900-0.85992.0613-1.1970-0.6446-0.4875-0.6588-0.5239Z=5.44930.7071-0.04571.91810.3882-0.14520.1250-2.29340.3784-1.21491.2854-0.6191-1.81630.36100.30160.16370.4248-0