應(yīng)用多元分析主成分分析

優(yōu)選應(yīng)用多元分析主成分分析當(dāng)前第1頁(yè)\共有48頁(yè)\編于星期三\22點(diǎn)主成分分析是考察多個(gè)數(shù)值變量間相關(guān)性的一種多元統(tǒng)計(jì)方法，它是研究如何通過(guò)少數(shù)幾個(gè)主成分來(lái)解釋多變量的方差—協(xié)方差結(jié)構(gòu)。導(dǎo)出幾個(gè)主成分，使它們盡可能多地保留原始變量的信息，且彼此間不相關(guān)。當(dāng)前第2頁(yè)\共有48頁(yè)\編于星期三\22點(diǎn)一、主成分分析的基本思想將原來(lái)眾多具有一定相關(guān)性的指標(biāo)重新組合成一組新的相互無(wú)關(guān)的綜合指標(biāo)來(lái)代替原來(lái)指標(biāo)。以?xún)蓚€(gè)指標(biāo)為例，信息總量以總方差表示：當(dāng)前第3頁(yè)\共有48頁(yè)\編于星期三\22點(diǎn)Principalcomponentin2d當(dāng)前第4頁(yè)\共有48頁(yè)\編于星期三\22點(diǎn)One-dimensionalprojection當(dāng)前第5頁(yè)\共有48頁(yè)\編于星期三\22點(diǎn)其中y1、y2分別都是x1、x2的線(xiàn)性組合，并且信息盡可能地集中在y1上。在以后的分析中舍去y2，只用主成分y1來(lái)分析問(wèn)題，起到了降維的作用。主成分分析就是通過(guò)適當(dāng)?shù)淖兞刻鎿Q，使新變量成為原變量的線(xiàn)性組合，并尋求主成分來(lái)分析事物的一種方法。當(dāng)前第6頁(yè)\共有48頁(yè)\編于星期三\22點(diǎn)二、幾何解釋x1x2y1y2當(dāng)前第7頁(yè)\共有48頁(yè)\編于星期三\22點(diǎn)旋轉(zhuǎn)變換的目的是為了使得n個(gè)樣本點(diǎn)在y1軸方向上的離散程度最大，即y1的方差最大，變量y1代表了原始數(shù)據(jù)的絕大部分信息，在研究某經(jīng)濟(jì)問(wèn)題時(shí)，即使不考慮變量y2也損失不多的信息。y1與y2除起了濃縮作用外，還具有不相關(guān)性。y1稱(chēng)為第一主成分，y2稱(chēng)為第二主成分。當(dāng)前第8頁(yè)\共有48頁(yè)\編于星期三\22點(diǎn)推廣開(kāi)來(lái)，對(duì)于p維總體，尋求正交變換，使得在所有正交變換中，所選正交矩陣U，使最大；與不相關(guān)；并且在所有與不相關(guān)的變量中最大；與、不相關(guān)，同時(shí)在所有與、不相關(guān)的變量中最大；依次類(lèi)推。

為總體的主成分，為第一主成分，為第二主成分…當(dāng)前第9頁(yè)\共有48頁(yè)\編于星期三\22點(diǎn)三、主成分分析的數(shù)學(xué)原理對(duì)原有變量作坐標(biāo)變換，要求滿(mǎn)足：當(dāng)前第10頁(yè)\共有48頁(yè)\編于星期三\22點(diǎn)如果z1=u1’x滿(mǎn)足

則稱(chēng)z1為第一主成分.如果z2=u2’x滿(mǎn)足

則稱(chēng)z2為第二主成分.…當(dāng)前第11頁(yè)\共有48頁(yè)\編于星期三\22點(diǎn)§7.2總體的主成分

設(shè)為一p維隨機(jī)向量，其二階矩存在，記為的特征值，為相應(yīng)的單位特征向量，且相互正交。則yi為第i個(gè)主成分。一、主成分的導(dǎo)出當(dāng)前第12頁(yè)\共有48頁(yè)\編于星期三\22點(diǎn)二、主成分的性質(zhì)1、主成分的均值與協(xié)方差記當(dāng)前第13頁(yè)\共有48頁(yè)\編于星期三\22點(diǎn)

2、主成分的總方差

當(dāng)前第14頁(yè)\共有48頁(yè)\編于星期三\22點(diǎn)3、原始變量與主成分的相關(guān)系數(shù)當(dāng)前第15頁(yè)\共有48頁(yè)\編于星期三\22點(diǎn)4、m個(gè)主成分對(duì)原始變量的貢獻(xiàn)率的復(fù)相關(guān)系數(shù)的平方稱(chēng)為m個(gè)主成分與當(dāng)前第16頁(yè)\共有48頁(yè)\編于星期三\22點(diǎn)當(dāng)前第17頁(yè)\共有48頁(yè)\編于星期三\22點(diǎn)當(dāng)前第18頁(yè)\共有48頁(yè)\編于星期三\22點(diǎn)當(dāng)前第19頁(yè)\共有48頁(yè)\編于星期三\22點(diǎn)其特征值為相應(yīng)的特征向量為當(dāng)前第20頁(yè)\共有48頁(yè)\編于星期三\22點(diǎn)0.0000.8550.0000.9961.0001.000-0.9250.8550.9980.9960.0000.000123I當(dāng)前第21頁(yè)\共有48頁(yè)\編于星期三\22點(diǎn)Proc

iml;X={1-2

0,-2

5

0,0

0

2};Val=eigval(x);Vec=eigvec(x);D=1:2;B=(val)[d,1];c=(vec)[,d];F1=(sqrt(inv(diag(X)))*vec*sqrt(diag(val)))[,d];F2=(f1#f1)[,1];F=diag(c*diag(b)*t(c))*inv(diag(x))*j(3,1);Printvalvecbcf1f2f;當(dāng)前第22頁(yè)\共有48頁(yè)\編于星期三\22點(diǎn)

VALVECBC5.8284271-0.38268300.92387955.8284271-0.382683020.923879500.382683420.923879500.171572901001

F1F2F-0.9238800.85355340.85355340.997484200.99497470.99497470101當(dāng)前第23頁(yè)\共有48頁(yè)\編于星期三\22點(diǎn)Dataw(type=cov);Inputx1x2x3;Cards;1-20-250002;Procprincompcov;Run;當(dāng)前第24頁(yè)\共有48頁(yè)\編于星期三\22點(diǎn)ThePRINCOMPProcedureObservations10000Variables3TotalVariance8EigenvaluesoftheCovarianceMatrixEigenvalueDifferenceProportionCumulative15.828427123.828427120.72860.728622.000000001.828427120.25000.978630.171572880.02141.0000EigenvectorsPrin1Prin2Prin3x1-.3826830.000000.923880x20.9238800.000000.382683x30.0000001.000000.000000當(dāng)前第25頁(yè)\共有48頁(yè)\編于星期三\22點(diǎn)當(dāng)前第26頁(yè)\共有48頁(yè)\編于星期三\22點(diǎn)當(dāng)前第27頁(yè)\共有48頁(yè)\編于星期三\22點(diǎn)當(dāng)前第28頁(yè)\共有48頁(yè)\編于星期三\22點(diǎn)主成分分析在經(jīng)濟(jì)指標(biāo)綜合評(píng)價(jià)中的應(yīng)用核心：通過(guò)主成分分析，選擇m個(gè)主成分y1,y2,…,ym，以每個(gè)主成分yi的方差貢獻(xiàn)率αi作為權(quán)數(shù)，構(gòu)造綜合評(píng)價(jià)函數(shù)，其中為第i個(gè)主成分的得分（求出主成分的表達(dá)式后，將標(biāo)準(zhǔn)化后的數(shù)據(jù)再代入yi中）

當(dāng)把m個(gè)主成分得分代入F函數(shù)后，即可得到每個(gè)樣本的綜合評(píng)價(jià)函數(shù)得分，以得分的大小排序，可排列出每個(gè)樣本的經(jīng)濟(jì)效益的名次。當(dāng)前第29頁(yè)\共有48頁(yè)\編于星期三\22點(diǎn)5、原始變量對(duì)主成分的影響

稱(chēng)為第i主成分在第j個(gè)原始變量上的載荷當(dāng)前第30頁(yè)\共有48頁(yè)\編于星期三\22點(diǎn)

當(dāng)前第31頁(yè)\共有48頁(yè)\編于星期三\22點(diǎn)當(dāng)前第32頁(yè)\共有48頁(yè)\編于星期三\22點(diǎn)分析：y1主要由x3控制，y2主要由x1控制，y3主要由x2

控制Y1的貢獻(xiàn)率為：109.793/117=0.938x1,x2,x3之間的線(xiàn)性關(guān)系當(dāng)前第33頁(yè)\共有48頁(yè)\編于星期三\22點(diǎn)Dataw(type=cov);Inputx1x2x3;Cards;16230214304100;Procprincompcov;Run;當(dāng)前第34頁(yè)\共有48頁(yè)\編于星期三\22點(diǎn)三、從相關(guān)矩陣出發(fā)求主成分當(dāng)前第35頁(yè)\共有48頁(yè)\編于星期三\22點(diǎn)性質(zhì)：當(dāng)前第36頁(yè)\共有48頁(yè)\編于星期三\22點(diǎn)例7.2.3在例中，x的相關(guān)矩陣當(dāng)前第37頁(yè)\共有48頁(yè)\編于星期三\22點(diǎn)相應(yīng)的主成分為：當(dāng)前第38頁(yè)\共有48頁(yè)\編于星期三\22點(diǎn)§7.3樣本的主成分設(shè)數(shù)據(jù)矩陣為當(dāng)前第39頁(yè)\共有48頁(yè)\編于星期三\22點(diǎn)樣本協(xié)方差矩陣為樣本相關(guān)矩陣為當(dāng)前第40頁(yè)\共有48頁(yè)\編于星期三\22點(diǎn)

例

在制定服裝標(biāo)準(zhǔn)的過(guò)程中，對(duì)128名成年男子的身材進(jìn)行了測(cè)量，每人測(cè)得的指標(biāo)中含有：身高(x1)、坐高(x2)、胸圍(x3)、手臂長(zhǎng)(x4)、肋圍(x5)和腰圍(x6)。所的樣本相關(guān)矩陣如下：X1X2X3X4X5X6

X1X2X3X4X5X61.000.791.000.360.311.000.760.550.351.000.250.170.640.161.000.510.350.580.380.631.00表7.3.1男子身材六項(xiàng)指標(biāo)的樣本相關(guān)矩陣當(dāng)前第41頁(yè)\共有48頁(yè)\編于星期三\22點(diǎn)SAS程序dataexamp731(type=corr);inputx1-x6;cards;1.00.....0.791.00....0.360.311.00...0.760.550.351.00..0.250.170.640.161.00.0.510.350.580.380.631.00;procprincomp;Run;當(dāng)前第42頁(yè)\共有48頁(yè)\編于星期三\22點(diǎn)

TheSASSystem08:44Wednesday,November24,20061ThePRINCOMPProcedureObservations10000Variables6EigenvaluesoftheCorrelationMatrixEigenvalueDifferenceProportionCumulative13.287200781.880960730.54790.547921.406240040.947144960.23440.782230.459095080.032753350.07650.858840.426341730.131541600.07110.929850.294800130.168477900.04910.978960.126322230.02111.0000

Eigenvectors

Prin1Prin2Prin3Prin4Prin5Prin6x10.468906-.3647560.092208-.1224270.079696-.785645x20.403726-.3966060.6130110.326444-.0270350.443430x30.3935700.396800-.2788700.655713-.405232-.125342x40.407640-.364842-.704801-.1078290.2345850.370564x50.3374720.5692140.164251-.0192970.7305020.033531x60.4268220.3083690.119265-.660671-.4899410.178828當(dāng)前第43頁(yè)\共有48頁(yè)\編于星期三\22點(diǎn)

特征向量

0.469-0.3650.0920.404-0.3970.6130.3940.397-0.2970.408-0.365-0.7050.3370.5690.1640.4270.3080.119

特征值3.2871.4060.459

貢獻(xiàn)率0.5480.2340.077累計(jì)貢獻(xiàn)率0.5480.7820.859當(dāng)前第44頁(yè)\共有48頁(yè)\編于星期三\22點(diǎn)當(dāng)前第45頁(yè)\共有48頁(yè)\編于星期三\22點(diǎn)

例7.3.3測(cè)得八項(xiàng)男子徑賽運(yùn)動(dòng)紀(jì)錄，樣本相關(guān)矩陣如下：X1X2X3X4X5X6

X7X8X1X2X3X4X5X6

X7X8

1.0000.9231.0000.8410.8511.0000.7560.8070.8701.0000.7000.7750.8350.9181.0000.6190.6950.7790.8640.9281.0000.6330.6970.7870.8690.9350.9751.0000.5200.5960.7050.8060.8660.9320.9431.000當(dāng)前第46頁(yè)\共有48頁(yè)\編于星期三\22點(diǎn)dataexamp733(type=corr);inputx1-x8;cards;1.000.......0.9231.000......0.8410.8511.000.