主成分分析方法與因子分析方法的比較研究物理學(xué)專業(yè)

1、主成分分析方法與因子分析方法的比較研究摘要：主成分分析和因子分析是多元統(tǒng)計中較為關(guān)鍵和常用的兩種方法，二者皆是從變量的方差-協(xié)方差結(jié)構(gòu)著手，盡可能多的保存原始變量的信息。在此基礎(chǔ)上用少量的新變量解釋那些原始變量的統(tǒng)計分析方法。本篇論文對主成分分析與因子分析進行研究討論。這個研究是基于理論和應(yīng)用兩個方面。在原理方面，對主成分方法進行了相關(guān)的證明和推倒，對因子分析估算方法進行了深入的研究。從一些方面比較了兩個方法的相同點和不同點，這些方面包括概念、基本思想數(shù)學(xué)模型和計算方法與過程等。關(guān)鍵詞：主成分分析；因子分析；應(yīng)用分析Comparative of Principal Component Anal

2、ysis Method and Factor Analysis MethodAbstract:Principal component analysis and factor analysis are two key and common methods in multivariate statistics. Both of them are based on the variance-covariance structure of variables and preserve as much raw variable information as possible. On this basis

3、, a small number of new variables are used to explain the statistical analysis methods of those original variables. This article studies the principal component analysis and factor analysis from two aspects of theory and application. The principle of component analysis is connect to mathematical ind

4、uction and certification of properties. The factor loading matrix and factor variance estimation methods in factor analysis are further studied. The similarities and differences of the two methods are compared from the aspects of concepts, basic theory, statistical view, mathematical matrix, and cal

5、culation course.Key words: Principal component analysis; Factor analysis; Application analysis引言現(xiàn)今社會，人們開始關(guān)注信息的全面性。為了更有效得利用信息，應(yīng)該對事物進行客觀、全方面的綜合性的評價。在研究中，為了方便分析以找出規(guī)律，需要把多個反映事物的指標（指標統(tǒng)稱為變量）進行大量的觀察和測試。樣本大變量多會為研究帶來豐富的信息，但是由于這些變量彼此具有關(guān)聯(lián)，使得觀察出的信息出現(xiàn)重復(fù)，問題更加復(fù)雜，帶來不便，給結(jié)果的科學(xué)性帶來不利影響。主成分分析方法是把很多個指標化為少量綜合指標的一個統(tǒng)計方法。這種分

6、析方法是從原始變量里篩選出幾個主要分量，讓它們能盡量保存原始信息。這些信息之間不相關(guān)。這個分析方法有數(shù)據(jù)的壓縮和解釋的目的。因子分析是經(jīng)過探究多數(shù)變量間系數(shù)矩陣的相互依存，篩選出綜合的隨機變量。這些不可測量的隨機變量統(tǒng)稱為因子。這種分析方法的目的為淘汰部分變量，用留下的變量去代替全部變量來解決問題。主成分分析法與因子分析法有很多關(guān)聯(lián)，后者是前者的進一步發(fā)展。由于兩種方法的類似，使用者經(jīng)常在應(yīng)用時把兩種方法混淆。以至于在使用統(tǒng)計軟件時，結(jié)果出現(xiàn)偏差。因此要正確恰當?shù)卣J識兩者的相同點與不同點，使之能夠得到最佳的運用。1主成分分析的原理及其數(shù)學(xué)模型1.1基本概念和意義主成分分析是探究怎樣把多個指標轉(zhuǎn)

7、化為少量綜合性指標的的統(tǒng)計方法之一。該分析法可以把問題從高維空間轉(zhuǎn)換成低維空間去解決，可以使得問題變得更加直觀和簡便，并且這些少量的綜合指標彼此相互不關(guān)聯(lián)，但是又可以表達出原始變量的大部分信息。主成分分析不僅能夠降低多個指標數(shù)據(jù)的維度，而且還能夠簡化變量系統(tǒng)的統(tǒng)計特征。該分析方法除了能夠提供大量的重要系統(tǒng)信息之外，同時可以把多變量數(shù)據(jù)系統(tǒng)簡化成最佳狀態(tài)。如：數(shù)據(jù)變異的最大方向，群點的散布范圍等。主成分分析是多元統(tǒng)計中較為關(guān)鍵和常用的一個方法，在很多領(lǐng)域起著重要作用，如在數(shù)據(jù)壓縮、綜合評價、模式識別等方面都得到了普遍應(yīng)用。1.2基本原理1.2.1統(tǒng)計思想主成分分析的基本思想 ：通過以這個正交變換

8、，使得原始變量（分量相關(guān)的隨機變量）變換成新變量，各分量之間不相關(guān)。從代數(shù)角度，就是把原始變量的協(xié)方差矩陣轉(zhuǎn)化為對角矩陣。從幾何角度，就是把原始變量系統(tǒng)變成新的正交系統(tǒng)，使得此系統(tǒng)指向的正交方向是樣本點散布最開的一個方向，從而對該多維變量系統(tǒng)實施降維措施。1.2.2數(shù)學(xué)模型一般做出數(shù)學(xué)的措施，是把之前的p個指標線性組合為新的指標。把第一個選擇的第線性組合（綜合指標）標為 。通常期待第一個線性指標可以包含更多的原有信息。則越大，說明包含的信息越多。因而在全部的線性組合中選擇的第一主成分的方差是最大的。由于方差最大的是第1主成分在所有線性組合里，用第1主成分的方差去表達信息是最典型的方法。如若第一

9、主成分不能夠完全體現(xiàn)出p個指標的信息，進而再選擇第二個線性組合（主成分），依據(jù)該原則推出第三，第四，第p個主成分。主成分之間的方差是遞減的，他們之間相互不關(guān)聯(lián)。設(shè)有n個樣本，每個樣本由p個指標來描述。得出原始數(shù)據(jù)矩陣：= （1.2.1）其中用數(shù)據(jù)矩陣X的P各向量作線性組合可得 (1.2.2)其中組合系數(shù)滿足 (1.2.3)（2.1.2）中的系數(shù)由下列原則確定 即與不相關(guān)。是的以上組合中方差最大的，其次為即。 （1.2.4）新的綜合指標的總方差保持不變，即 （1.2.5）綜合指標按照順序為原始指標的第1主成分，第2主成分，.，第P主成分。從公式（1.2.4）和（1.2.5）可以看出，用前面的一部

10、分主成分，能夠體現(xiàn)出原始指標所包含的絕大多數(shù)的信息量?？梢岳弥鞒煞窒嗷ゲ魂P(guān)聯(lián)的原理去分析問題。原指標的主成分可以按以下步驟求得。根據(jù)式子（1.2.2）知道組合的系數(shù).設(shè) 的 協(xié) 方 差 矩 陣 為A。這些特 征 根 從 大 到 小 的順序是為。通過證明，原指標的第i個主成分的組合系數(shù)正是A的第i個特征根對應(yīng)的標準化正交特征向量，具有因而前k個主成分的方差貢獻為 （1.2.6）2因子分析的原理及其數(shù)學(xué)模型2.1基本概念和意義因子分析的首次提出是Charles Spearman 在1904年提出的，Charles Spearman花了他整個后半生去研究和發(fā)展該理論，讓該理論成為了現(xiàn)代統(tǒng)計學(xué)最重要

11、的一個理論。主成分分析法與因子分析法有很多關(guān)聯(lián)，后者是前者的進一步研究發(fā)展。因子分析是經(jīng)過探究多數(shù)變量間系數(shù)矩陣的相互依存，篩選出綜合的隨機變量。這些不可測量的隨機變量統(tǒng)稱為因子。這種分析方法的目的為淘汰部分變量，用留下的變量去代替全部變量來解決問題。按照變量的相關(guān)程度進行分類，讓同一組類的相關(guān)程度較高，不同組類的相關(guān)程度低。2.2基本原理2.2.1統(tǒng)計思想因子分析的基礎(chǔ)思想是依據(jù)原變量之間的關(guān)聯(lián)程度，把最初的變量按照關(guān)聯(lián)程度分，讓不同一組間的變量的相關(guān)程度較小，同一組內(nèi)的原變量相關(guān)程度較大。不同的分組代表各個不同的結(jié)構(gòu)，這些結(jié)構(gòu)統(tǒng)稱為公共因子。用不能觀測的綜合變量表示這些結(jié)構(gòu)。例如，對學(xué)生成

12、績的綜合評價。為了體現(xiàn)變量不可以定量描述，需要提取一些能夠反映學(xué)生成績的各科成績，這些科目成績?yōu)樽兞?，具有一定的?lián)系與依賴，通過這些變量能看到學(xué)生的綜合素質(zhì)。 因子分析不僅能夠運用于變量還能夠運用于樣品。第一，得到因子表達式第二，在因子表達式代入相應(yīng)數(shù)據(jù)算出因子得分；第三，依據(jù)因子得分標出樣品的點或者變量的點，使得對他們的分組措施更加直觀。這種方法在研究它們之間的相關(guān)關(guān)系時，不僅可以用于變量之間，而且還能夠用于樣品。稱前者為 R 型因子分析，后者為Q 型因子分析。2.2.2數(shù)學(xué)模型設(shè)有n個樣本，每個樣本由p個已經(jīng)標準化的指標來描述。即每個指標的樣本均值等于0，方差等于1。正交因子模型為 (2.

13、2.1）其中是相互獨立的公共因子,且。它們是從標準化的可觀測評價指標分解出來的含義需要依據(jù)具體情況啦解釋的不可觀測指標。是各個指標特有的因子，含義為指標中公共因子不可以解釋的部分，與公共因子相互獨立，稱為特殊因子。是第 i 個指標在第 j 個公共因子上的系數(shù)，稱為因子載荷。3主成分分析與因子分析的比較3.1相同之處（1）基本思想大致相同 主成分分析與因子分析都能夠解除原變量之間的定性聯(lián)系。這兩個方法造出新的綜合指標，不僅能夠下降原變量的維度，同時還能夠簡略它們的結(jié)構(gòu)。（2）解決問題的步驟相似 兩種方法都是通過相關(guān)系數(shù)陣或協(xié)方差矩陣的特征根和特征向量之 間的不相關(guān)的特性，將原始變量的相關(guān)性綜合成

14、新的綜合指標的不相關(guān)性。兩者的步驟相同，但是后者比前者多了因子旋轉(zhuǎn)、得分兩個步驟。（3）確定權(quán)數(shù)的角度(信息量角度)相同。 主成分分析的方差越大，權(quán)數(shù)越大，信息量越大，反之亦然。因子分析與主成分分析一樣。所以兩者都用方差大小體現(xiàn)信息量。（4）分析結(jié)果形式相似 兩種分析方法都把重點放在變量方差較大的，忽略了方差較小的。出現(xiàn)“大吃小”的現(xiàn)象。3.2不同之處（1） 從概念上看 主成分分析是把多個數(shù)量的指標轉(zhuǎn)化成少量互不相關(guān)的綜合指標的一種統(tǒng)計方法。因子分析把關(guān)系復(fù)雜的變量（樣品）綜合轉(zhuǎn)化為少量的幾個因子，體現(xiàn)原變量和因子之間的關(guān)系，還能依據(jù)因子的不同對變量進行分類。后者是在前者基礎(chǔ)上更加深入研究。（

15、2）從思想方面上看主成分分析是盡可能把原有的有一定程度相關(guān)性的那些指標組成新的互不相關(guān)的綜合指標替代原有指標。因子分析根據(jù)研究變量的相關(guān)系數(shù)矩陣內(nèi)在框架，尋找一些不能觀測的隨機變量。這幾個隨機因子不僅能夠控制全部變量，還可以去刻畫它們。然后按照相關(guān)程度對變量進行分組，讓同一組的變量相關(guān)程度高或者同一組的樣品相似程度高，但是不同組的相關(guān)程度或者相似程度低。（3）從數(shù)學(xué)模型上看 主成分分析實際上是一種變量的轉(zhuǎn)化。經(jīng)由變量的變換把重點放在變差比較大的主成分上，放棄那些主成分變差比較小的。然而因子分析的重點是把注意力放在那些少量不可觀測的公共因子上，放棄那些特殊因子。 主成分分析是把主成分表示為原觀測

16、變量的線性組合。 i=1,p， 實際是原始數(shù)據(jù)的結(jié)構(gòu)不發(fā)生改變，而空間坐標變化因子分析的數(shù)學(xué)模型則是刻畫原始指標的X協(xié)方差陣結(jié)構(gòu)。把原始的觀測變量分解成兩個部分，一部分是公共因子，一部分是特殊因子。 ， j=1,p原始變量的個數(shù)p與公共因子的個數(shù)m相等時，即m=p，則不可以考慮，因此因子分析只與一種變量變換對應(yīng)。然而在實際上公共因子個數(shù)都少于原變量個數(shù)，在經(jīng)濟角度上看，公共因子個數(shù)越少越好。主成分各個系數(shù)是正交的和唯一確定的。主成分和原變量的相關(guān)程度不能用系數(shù)的大小來表示，系數(shù)矩陣不能夠進行旋轉(zhuǎn)。但是因子模型的系數(shù)矩陣可以表示公共因子與原變量的相關(guān)程度，而且系數(shù)矩陣不是唯一的。（4）從計算過程

17、看在主成分分析中，可以根據(jù)可觀測的原變量X求出具有可逆性的主成分F。代表X得協(xié)方差矩陣所對應(yīng)特征值的特征向量。而在因子分析中，載荷矩陣是不可逆的，只有根據(jù)可觀測的原變量估算出不可觀測的公共因子。反映了第i個變量在第j個公共因子上的負荷和相對重要性，也表示第i個變量和第j個公共因子的相關(guān)系數(shù)。代表第j個原始觀測變量的特殊因子，此時和的均值都等于零，方差都等于1.估算的公共因子得分=因子得分系數(shù)矩陣 標準化后的原觀測變量矩陣主成分分析排名通常根據(jù)第1主成分的得分，如果原始變量不能夠完全用第1主成分代替，就要接著依次選擇第2個主成分、第3個等等。在主成分表達式中代入標準化的原始變量值，計算出主成分得

18、分。在因子得分函數(shù)中代入標準化的原始變量值計算出因子得分。4 主成分分析與因子分析的應(yīng)用4.1應(yīng)用SPSS進行主成分分析應(yīng)用SPSS軟件利用主成分綜合評價全國重點企業(yè)的經(jīng)濟效益。數(shù)據(jù)見下表：表4-1 各地企業(yè)經(jīng)濟指標表 編號廠家固定資產(chǎn)利稅率資金利稅率銷售收入利稅率資金利潤率固定資產(chǎn)產(chǎn)值率流動資金周轉(zhuǎn)天數(shù)萬元產(chǎn)值能耗全員勞動生產(chǎn)率1琉璃河16.6826.7532.7419.453.265527.821.752大連16.5429.8232.4820.5550.516937.581.313邯鄲19.828.5532.9418.259.835533.922.874湘鄉(xiāng)32.9542.7847.973

19、3.8766.455032.672.65哈爾濱7.288.9721.34.7834.376239.281.636合肥29.2656.4940.7343.6875.336726.682.137永登21.1335.239.1626.5252.476235.081.738柳州25.4837.8536.6627.5368.186335.782.439耀縣19.8328.7833.4120.0759.257139.121.8310工源16.7528.7229.6219.2355.765930.081.6211溫州22.2454.5931.053767.956332.331.5712撫順15.8328.1

20、326.417.5361.286132.771.513峨嵋15.0519.3827.3214.216.127635.851.514大同15.222.433.9916.2346.786541.681.5215紹興22.2554.5831.053767.936332.331.58資料來源：中國統(tǒng)計年鑒，2004年經(jīng)標準化后，數(shù)據(jù)如下表表2x1x2x3x4x5x6x7x8-0.376748276-0.357945867-0.113558994-0.36669374-0.0387936991.1933473261.426820816-0.277121544-0.399839631-0.12223313

21、5-0.01643617-0.145447246-0.209518035-0.87278621-0.703609613-1.2711444720.08815766-0.2938762980.050802708-0.2873228010.3561566141.1933473260.2890347772.2531186372.1248151220.9099987952.2980754361.1681418010.7553149212.2116559970.3012345641.643150022-1.822267065-1.764312434-1.68844294-1.719968257-1.17

22、25475650.043643988-1.009541818-0.5482187061.5890956991.9944355571.2162765962.1414279451.287926758-0.872786212.1648095860.6039442340.3082952390.3104341950.9801934240.438921295-0.0856827770.043643988-0.204793667-0.3223044040.9640897050.5176715630.6215860740.5421035160.85871135-0.09974305-0.3541002051.

23、2590957090.106630743-0.1973764550.121029981-0.1910855370.321891518-1.101432778-0.98377554-0.096390102-0.365972311-0.202122348-0.445270792-0.284346380.112092950.6666359451.046255417-0.7967244370.4791712621.844148916-0.231600581.4786806010.844885083-0.099743050.435396746-0.683767287-0.507599285-0.2567

24、00129-0.926402321-0.4629310040.4385130720.191732240.330666037-0.615992996-0.627674328-0.932199032-0.805372341-0.782399035-2.871374938-1.620400318-0.347911443-0.277121544-0.604582974-0.6229249430.056779497-0.580995275-0.427732592-0.373281398-1.398099436-0.774133008-0.955571561-0.826998383-1.117659575

25、-0.948085871-0.169842661-0.503833793-0.99238622-0.096390102（2）將表2的數(shù)據(jù)導(dǎo)入SPSS軟件，得到分析結(jié)果表3 相關(guān)矩陣x1x2x3x4x5x6x7x8Correlationx11.000.849.923.902.651.312.489.598x2.8491.000.690.988.723.107.595.265x3.923.6901.000.774.544.366.342.531x4.902.988.7741.000.688.121.596.329x5.651.723.544.6881.000.399.442.359x6.312.1

26、07.366.121.3991.000.343.480 x7.489.595.342.596.442.3431.000.226x8.598.265.531.329.359.480.2261.000表4 總方差解釋ComponentInitial EigenvaluesExtraction Sums of Squared LoadingsTotal% of VarianceCumulative %Total% of VarianceCumulative %14.85860.76160.7594.85860.76160.75921.25915.87176.6311.25915.87176.6313

27、.84110.45987.0614.5266.32593.6575.3864.63898.3566.1161.43399.7287.021.25699.8388.001.024100.000從上表可以看出，前三個主成分解釋了所有方差的87.061%。說明這按個主成分代表了87.061%原始數(shù)據(jù)的信息。確認前三個主成有有足夠資格代表原來的8個指標來評價企業(yè)的經(jīng)濟效益。這三個主成分分別用來表示。得到因子載荷矩陣，即相關(guān)矩陣的前3個特征根的特征向量，輸出結(jié)果如表5所示：表5Component123x1.959-.018-.238x2.898-.395.038x3-.863.081-.042x4.93

28、1-.349-.0.41x5.790.000.179x6.426.769.351x7.653-.068.642x8.572.615-.312對表5-3的第n列的每個元素分別除以第n個特征根的平方根，就得到主成分分析的第n個主成分系數(shù)。結(jié)果如表6表6主成分1主成分2主成分3x10.434 067-0.016 487-0.261 167x20.407 766-0.351 1630.040 662x30.390 8110.072 2408-0.369 59x40.420 727-0.311 087-0.041 32x50.356 8340.000 23140.198 903x60.191 6310.

29、686 4530.377 486x70.290 517-0.069 1510.701 934x80.258 7890.546 3096-0.341 87由上表可得3個主成分的線性組合如下：主成分的經(jīng)濟意義由各線性組合中權(quán)數(shù)較大的幾個指標的綜合意義來確定。固定資產(chǎn)利稅率、資金利稅率、銷售收入利稅率、資金利潤率這4個指標的綜合反映是這個綜合因子。有60.759%的把握去評價企業(yè)的經(jīng)濟效益，可以看出這個綜合因子代表了經(jīng)濟效益的盈利方面，表達了企業(yè)的盈利能力。因此可以確定這四個指標是反映企業(yè)經(jīng)濟效益的主要指標。主要是流動資金周轉(zhuǎn)天數(shù)和全員勞動生產(chǎn)率的綜合反映，代表企業(yè)的資金和人力資源的利用程度。主要反

30、映萬元產(chǎn)值能耗。這3個綜合因子在三個方面影響和刻畫著企業(yè)經(jīng)濟效益，用它們來考核企業(yè)經(jīng)濟效益具有87.061%的可靠性。（4）依據(jù)第一主成分得分對各企業(yè)經(jīng)濟效益做綜合評價。將標準化后的原始數(shù)據(jù)代入的線性表達式，計算出各個樣品的第一主成分得分并排名。如表7所示表7名次琉璃河0.049 4487大連-1.066 5211邯鄲0.840 475湘鄉(xiāng)3.889 4612哈爾濱-0.752 1110合肥3.957 0571永登0.663 0816柳州1.611 0514耀縣-0.474 259工源-0.269 528溫州1.723 4233撫順-3.739 3715峨嵋-2.804 5814大同-1.56

31、9 4312紹興-2.058 2113從上表看出，合肥排第一，綜合效益最好。湘鄉(xiāng)的綜合效益為第二名；撫順的綜合效益最差。按照公司的主成分得分對運營情況進行比較分析不算合理準確。因此需要進行深入研究。4.2應(yīng)用SPSS進行因子分析（1）同樣用圖5-1的數(shù)據(jù)，對企業(yè)經(jīng)濟效益指標體系的八項指標建立因子分析模型。SPSS輸出結(jié)果。如表8所示：表8 總方差解釋ComponentInitial EigenvaluesExtraction Sums of Squared LoadingsTotal% of VarianceCumulative %Total% of VarianceCumulative %1

32、4.85860.76160.7594.85860.76160.75921.25915.87176.6311.25915.87176.6313.84110.45987.061.84110.45987.0614.5266.32593.6575.3864.63898.3566.1161.43399.7287.021.25699.8388.001.024100.000由上表可看出，前3個特征根較大，其余5個特征根較小。前3個公共因子對樣本方差的貢獻和為87.061%，選取前3個公共因子建立因子載荷陣。（2）對因子載荷陣進行方差最大化正交旋轉(zhuǎn)，得到結(jié)果如表9所示：表9 旋轉(zhuǎn)分量矩陣Component123x1.914-.332.187x2.881-.053.421x3.839.397.029x4.921.000.372x5.593.268.483x6-.047.851.421x7.309-.115.848x8.398.795-.116由上表可得出企業(yè)經(jīng)濟效益指標體系的因子分析模型：由上述模型可知，固定資產(chǎn)利稅率、資金