第九章因子分析

1FactorAnalysis因子分析

andInferenceforStructuredCovarianceMatrices信息管理學院朱永軍2HistoryEarly20th-centuryattempttodefineandmeasureintelligenceDevelopedprimarilybyscientistsinterestedinpsychometricsAdventofcomputersgeneratedarenewedinterestEachapplicationmustbeexaminedonitsownmerits2/2/2023中國人民大學六西格瑪質(zhì)量管理研究中心3

因子分分析

目錄上頁下頁返回結束

因子分析（factoranalysis）模型是主成分分析的推廣。它也是利用降維的思想，由研究原始變量相關矩陣內(nèi)部的依賴關系出發(fā)，把一些具有錯綜復雜關系的變量歸結為少數(shù)幾個綜合因子的一種多變量統(tǒng)計分析方法。相對于主成分分析，因子分析更傾向于描述原始變量之間的相關關系；因此，因子分析的出發(fā)點是原始變量的相關矩陣。因子分析的思想始于1904年CharlesSpearman對學生考試成績的研究。近年來，隨著電子計算機的高速發(fā)展，人們將因子分析的理論成功地應用于心理學、醫(yī)學、氣象、地質(zhì)、經(jīng)濟學等各個領域，也使得因子分析的理論和方法更加豐富。本章主要介紹因子分析的基本理論及方法，運用因子分析方法分析實際問題的主要步驟及因子分析的上機實現(xiàn)等內(nèi)容。

因子分析的基本思想是根據(jù)相關性大小把原始變量分組，使得同組內(nèi)的變量之間相關性較高，而不同組的變量間的相關性則較低。每組變量代表一個基本結構，并用一個不可觀測的綜合變量表示，這個基本結構就稱為公共因子。對于所研究的某一具體問題，原始變量就可以分解成兩部分之和的形式，一部分是少數(shù)幾個不可測的所謂公共因子的線性函數(shù)，另一部分是與公共因子無關的特殊因子。在經(jīng)濟統(tǒng)計中，描述一種經(jīng)濟現(xiàn)象的指標可以有很多，比如要反映物價的變動情況，對各種商品的價格做全面調(diào)查固然可以達到目的，但這樣做顯然耗時耗力，為實際工作者所不取。實際上，某一類商品中很多商品的價格之間存在明顯的相關性或相互依賴性，只要選擇幾種主要商品的價格或進而對這幾種主要商品的價格進行綜合，得到某一種假想的“綜合商品”的價格，就足以反映某一類物價的變動情況，這里，“綜合商品”的價格就是提取出來的因子。2/2/2023中國人民大學六西格瑪質(zhì)量管理研究中心4

目錄上頁下頁返回結束

因子分析的基本思想2/2/2023中國人民大學六西格瑪質(zhì)量管理研究中心5

目錄上頁下頁返回結束

這樣，對各類商品物價或僅對主要類別商品的物價進行類似分析然后加以綜合，就可以反映出物價的整體變動情況。這一過程也就是從一些有錯綜復雜關系的經(jīng)濟現(xiàn)象中找出少數(shù)幾個主要因子，每一個主要因子就代表經(jīng)濟變量間相互依賴的一種經(jīng)濟作用。抓住這些主要因子就可以幫助我們對復雜的經(jīng)濟問題進行分析和解釋。因子分析還可用于對變量或樣品的分類處理，我們在得出因子的表達式之后，就可以把原始變量的數(shù)據(jù)代入表達式得出因子得分值，根據(jù)因子得分在因子所構成的空間中把變量或樣品點畫出來，形象直觀地達到分類的目的。

因子分析不僅僅可以用來研究變量之間的相關關系，還可以用來研究樣品之間的相關關系，通常將前者稱之為R型因子分析，后者稱之為Q型因子分析。我們下面著重介紹型因子分析。2/2/2023中國人民大學六西格瑪質(zhì)量管理研究中心6

目錄上頁下頁返回結束

CharlesSpearman提出因子分析時用到的例子為了對因子分析的基本理論有一個完整的認識，我們先給出CharlesSpearman1904年用到的例子。在該例中Spearman研究了33名學生在古典語（C）、法語（F）、英語（E）、數(shù)學（M）、判別（D）和音樂（Mu）六門考試成績之間的相關性并得到如下相關陣：2/2/20237

目錄上頁下頁返回結束

式中，為第門科目標準化后的考試成績，均值為0，方差為1。為公共因子，對各科考試成績均有影響，是均值為0，方差為1。為僅對第門科目考試成績有影響的特殊因子，與相互獨立。也就是說，每一門科目的考試成績都可以看作是由一個公共因子（可以認為是一般智力）與一個特殊因子的和。

Spearman注意到上面相關陣中一個有趣的規(guī)律，這就是如果不考慮對角元素的話，任意兩列的元素大致成比例，對C列和E列有：于是Spearman指出每一科目的考試成績都遵從以下形式：（6.1）

2/2/2023中國人民大學六西格瑪質(zhì)量管理研究中心8

目錄上頁下頁返回結束

(6.2)式與無關，也正與在相關矩陣中所觀察到的比例關系相一致。在滿足以上假定的條件下，就有：

于是，有

（6.2）除此之外，還可以得到如下有關方差的關系式：

2/2/2023中國人民大學六西格瑪質(zhì)量管理研究中心9

目錄上頁下頁返回結束

因此，常數(shù)的意義就在于其平方表示了公共因子解釋的方差的比例，因此被稱之為因子載荷，而被稱作共同度。對Spearman的例子進行推廣，假定每一門科目的考試成績都受到個公共因子的影響及一個特殊因子的影響，于是（6.1）就變成了如下因子分析模型的一般形式：(6.4)因為是一個常數(shù)，與相互獨立且與的方差均被假定為1。于是有（6.3）2/2/2023中國人民大學六西格瑪質(zhì)量管理研究中心10

目錄上頁下頁返回結束

式中，為標準化后的第門科目的考試成績，均值為0，方差為1。是彼此獨立的公共因子，都滿足均值為0，方差為1。為特殊因子，與每一個公共因子均不相關且均值為0。則為對第門科目考試成績的因子載荷。對該模型，有：（6.5）式中，表示公共因子解釋方差的比例，稱為的共同度，相對的可稱為的特殊度或剩余方差，表示的方差中與公共因子無關的部分。因為共同度不會大于1，因此，。由模型(6.4)還可以很容易地得到如下與相關系數(shù)的關系式：

（6.6）所以當與在某一公共因子上的載荷均較大時，也就表明了與的相關性較強。11因子分析的本質(zhì)用少數(shù)潛在的，不可觀測的隨機因素來描述多個變量之間的相關關系.數(shù)據(jù)應該是高度相關，但是使用相關性比較小的因素來表示12例題

9.8

ExaminationScores13正交因子模型14其中15正交因子模型假設16OrthogonalFactorModel1718Example9.1:Verification19例題

9.2:無解情況20當m>1時，L的不確定性2/2/2023中國人民大學六西格瑪質(zhì)量管理研究中心21

目錄上頁下頁返回結束

主成分法用主成分法確定因子載荷是在進行因子分析之前先對數(shù)據(jù)進行一次主成分分析，然后把前面幾個主成分作為未旋轉(zhuǎn)的公因子。相對于其它確定因子載荷的方法而言，主成分法比較簡單。但是由于用這種方法所得的特殊因子之間并不相互獨立，因此，用主成分法確定因子載荷不完全符合因子模型的假設前提，也就是說所得的因子載荷并不完全正確。但是當共同度較大時，特殊因子所起的作用較小，因而特殊因子之間的相關性所帶來的影響就幾乎可以忽略。事實上，很多有經(jīng)驗的分析人員在進行因子分析時，總是先用主成分法進行分析，然后再嘗試其他的方法。2/2/2023中國人民大學六西格瑪質(zhì)量管理研究中心22

目錄上頁下頁返回結束

式中，為隨機向量的相關矩陣的特征值所對應的特征向量的分量，因為特征向量之間彼此正交，從到的轉(zhuǎn)換關系是可逆的，很容易得出由到的轉(zhuǎn)換關系為：

用主成分法尋找公因子的方法如下：假定從相關陣出發(fā)求解主成分，設有個變量，則我們可以找出個主成分。將所得的個主成分按由大到小的順序排列，記為，則主成分與原始變量之間存在如下關系式:（9.11）

2/2/2023中國人民大學六西格瑪質(zhì)量管理研究中心23

目錄上頁下頁返回結束

(6.12)我們對上面每一等式只保留前個主成分而把后面的部分用代替，則（6.12）式變?yōu)椋?/p>

(6.13)2/2/2023中國人民大學六西格瑪質(zhì)量管理研究中心24

目錄上頁下頁返回結束

式（6.13）在形式上已經(jīng)與因子模型(6.7)相一致，且（）之間相互獨立，且與之間相互獨立，為了把轉(zhuǎn)化成合適的公因子，現(xiàn)在要做的工作只是把主成分變?yōu)榉讲顬?的變量。為完成此變換，必須將除以其標準差，由上一章主成分分析的知識知其標準差即為特征根的平方根。于是，令，，則(6.13)式變?yōu)椋哼@與因子模型（6.7）完全一致，這樣，就得到了載荷矩陣和一組初始公因子（未旋轉(zhuǎn)）。2/2/2023中國人民大學六西格瑪質(zhì)量管理研究中心25

目錄上頁下頁返回結束

一般設為樣本相關陣的特征根，為對應的標準正交化特征向量。設，則因子載荷矩陣的一個解為：(6.14)

共同度的估計為：(6.15)

那么如何確定公因子的數(shù)目呢？一般而言，這取決于問題的研究者本人，對于同一問題進行因子分析時，不同的研究者可能會給出不同的公因子數(shù)；當然，有時候由數(shù)據(jù)本身的特征可以很明確地確定出因子數(shù)目。當用主成分法進行因子分析時，也可以借鑒確定主成分個數(shù)的準則，如所選取的公因子的信息量的和達到總體信息量的一個合適比例為止。但對這些準則不應生搬硬套，應按具體問題具體分析，總之要使所選取的公因子能夠合理地描述原始變量相關陣的結構，同時要有利于因子模型的解釋。26PrincipalComponentSolution27PrincipalComponentSolution28殘差矩陣29確定因子數(shù)目30例題

9.3

消費者偏好數(shù)據(jù)31Example9.3

確定公因子數(shù)

m32Example9.3

PrincipalComponentSolution33Example9.3

Factorization34例題

9.4

股票價格數(shù)據(jù)WeeklyratesofreturnforfivestocksX1:AlliedChemicalX2:duPontX3:UnionCarbideX4:ExxonX5:Texaco35Example9.4

StockPriceData36Example9.4

PrincipalComponentSolution37Example9.4

殘差矩陣

m=2時38最大似然方法39結論

9.1相關系數(shù)矩陣的分解Example9.5:Factorizationof

StockPriceDataExample9.5

MLResidualMatrixExample9.6

OlympicDecathlonDataExample9.6

FactorizationExample9.6

PCResidualMatrixExample9.6

MLResidualMatrix大樣本檢驗公因子數(shù)的大樣本檢驗Example9.7

股票價格模型檢驗Example9.8

ExaminationScoresExample9.8

MaximumLikelihoodSolutionExample9.8

FactorRotationExample9.8

RotatedFactorLoading方差最大化Varimax準則Example9.9:Consumer-PreferenceFactorAnalysisExample9.9

FactorRotationExample9.10

股票價格因子分析Example9.11

奧運十項全能數(shù)據(jù)因子分析Example9.11

RotatedMLLoadings因子得分加權最小二乘方法主成分方法計算因子得分正交因子模型回歸模型用回歸方法計算因子得分Example9.12

StockPriceDataExample9.12

FactorScoresbyRegressionExample9.13:SimpleSummaryScoresforStockPriceData因子分析的步驟1.采用主成分方法進行因子分析LookforsuspiciousobservationsbyplottingthefactorscoresTryavarimaxrotation2.使用最大似然方法計算因子分析，包括采用方差最大方法進行旋轉(zhuǎn)AStrategyforFactorAnalysis3.比較上述兩種方法的結果Dotheloadingsgroupinthesamemanner?PlotfactorscoresobtainedforPCagainstscoresfromMLanalysis4.對其他的公因子重復第三步。5.對于大型數(shù)據(jù)，可以分成兩半對每一部分進行因子分析.比較兩類結果，及其同完全數(shù)據(jù)的結果。Example9.14

Chicken-BoneDataExample9.14:PrincipalComponentFactorAnalysisResultsExample9.14:MaximumLikelihoodFactorAnalysisResultsExample9.14

ResidualMatrixforMLEstimatesExample9.14

FactorScoresforFactors1&2Example9.14

PairsofFactorScores:Fac