主成分分析和因子分析

1、1,第十三章 主成分分析和因子分析,在建立多元回歸模型時，為了更準確地反映事物的特征，人們經(jīng)常會在模型中包含較多相關解釋變量，這不僅使得問題分析變得復雜，而且變量之間可能存在多重共線性，使得數(shù)據(jù)提供的信息發(fā)生重疊，甚至會抹殺事物的真正特征。為了解決這些問題，需要采用降維的思想，將所有指標的信息通過少數(shù)幾個指標來反映，在低維空間將信息分解為互不相關的部分以獲得更有意義的解釋。本章介紹的主成分分析和因子分析可用于解決這類問題。,2,主成分分析（principal components analysis，簡稱PCA）是由霍特林（Hotelling）于1933年首先提出的。它通過投影的方法，實現(xiàn)數(shù)據(jù)的

2、降維，在損失較少數(shù)據(jù)信息的基礎上把多個指標轉(zhuǎn)化為幾個有代表意義的綜合指標。,13.1 主成分分析,3,13.1.1 主成分分析的基本思想 假如對某一問題的研究涉及 p 個指標，記為X1，X2, , Xp，由這 p 個隨機變量構成的隨機向量為X=(X1, X2, , Xp)，設 X 的均值向量為，協(xié)方差矩陣為。設Y=(Y1, Y2 , , Yp)為對 X 進行線性變換得到的合成隨機向量，即 （13.1.1） 設i=(i1, i2 , , ip)，( ), A=(1 , 2 , p)，則有 （13.1.2）,4,且 （13.1.3） 由式（13.1.1）和式（13.1.2）可以看出，可以對原始變量

3、進行任意的線性變換，不同線性變換得到的合成變量Y的統(tǒng)計特征顯然是不一樣的。每個Yi 應盡可能多地反映 p 個原始變量的信息，通常用方差來度量“信息”，Yi 的方差越大表示它所包含的信息越多。由式（13.1.3）可以看出將系數(shù)向量i 擴大任意倍數(shù)會使Yi 的方差無限增大，為了消除這種不確定性，增加約束條件：,5,為了有效地反映原始變量的信息，Y的不同分量包含的信息不應重疊。綜上所述，式（13.1.1）的線性變換需要滿足下面的約束： (1) ，即 ，i =1, 2, , p。 (2) Y1在滿足約束 (1) 即的情況下，方差最大；Y2是在滿足約束(1) ，且與Y1不相關的條件下，其方差達到最大；Y

4、p是在滿足約束(1) ，且與Y1，Y2，Y p-1不相關的條件下，在各種線性組合中方差達到最大者。 滿足上述約束得到的合成變量Y1, Y2, , Yp分別稱為原始變量的第一主成分、第二主成分、第 p 主成分，而且各成分方差在總方差中占的比重依次遞減。在實際研究工作中，僅挑選前幾個方差較大的主成分，以達到簡化系統(tǒng)結構的目的。,6,13.1.2 總體主成分求解及其性質(zhì) 13.1.1節(jié)中提到主成分分析的基本思想是考慮合成變量的方差大小及其對原始變量波動(方差)的貢獻大小，而對于原始隨機變量X1，X2，Xp，其協(xié)方差矩陣或相關矩陣正是對各變量離散程度和相關程度的度量。在實際求解主成分時，一般從原始變量

5、的協(xié)方差矩陣或相關矩陣的結構分析出發(fā)。,7,1從協(xié)方差矩陣出發(fā)求解主成分 設1是任意 p1向量，求解主成份就是在約束條件 下，求 X 的線性函數(shù) 使其方差 達到最大，即達到最大，且 ，其中 是隨機變量向量X =(X1, X2, , Xp)的協(xié)方差矩陣。設1 2 p 0 為 的特征值，e1 , e2 , ep為 矩陣各特征值對應的標準正交特征向量，則對于任意的ei 和 ej，有 （13.1.4） 且 （13.1.5）,8,因此 （13.1.6） 當1 = e1 時有 （13.1.7） 此時 達到最大值為1。同理有 并且 （13.1.8）,9,由上述推導得 （13.1.9） 可見Y1, Y2, ,

6、 Yp 即為原始變量的 p 個主成份。因此，主成分的求解轉(zhuǎn)變?yōu)榍?X1, X2, , Xp 協(xié)方差矩陣 的特征值和特征向量的問題。,10,主成份的性質(zhì) 性質(zhì)1 Y的協(xié)方差矩陣為對角陣，即 （13.1.10） 性質(zhì)2 設=(ij)pp是隨機變量向量 X 的協(xié)方差矩陣，可得 即,11,由此可見，主成分分析是把 p 個隨機變量的總方差分解為 p 個不相關隨機變量的方差之和1 2 P，則總方差中屬于第 i 個主成分（被第 i 個主成分所解釋）的比例為 （13.1.12） 稱為第 i 個主成分的貢獻度。定義 （13.1.13） 稱為前 m 個主成分的累積貢獻度，衡量了前 m 個主成份對原始變量的解釋程度

7、。,12,性質(zhì)3記第k個主成分 Yk 與原始變量 Xi 的相關系數(shù)為r(Yk，Xi)，稱為因子載荷，或者因子負荷量，則有 （13.1.14）,13,3從相關矩陣出發(fā)求解主成分 在實際應用時，為了消除原始變量量綱的影響，通常將數(shù)據(jù)標準化?？紤]下面的標準化變化，令 （13.1.15） 其中i，ii 分別表示隨機變量 Xi 的期望與方差，則,14,原始變量的相關矩陣就是原始變量標準化后的協(xié)方差矩陣，因此，由相關矩陣求主成分的過程與由協(xié)方差矩陣求主成分的過程是一致的。如果仍然采用（i ，ei）表示相關矩陣R對應的特征值和標準正交特征向量，根據(jù)式（13.1.9）有： （13.1.17） 由相關矩陣求得的

8、主成分仍然滿足性質(zhì)13。性質(zhì)3可以進一步表示為： （13.1.18）,15,13.1.3 樣本的主成分 1樣本統(tǒng)計量 在實際工作中，我們通常無法獲得總體的協(xié)方差矩陣和相關矩陣R。因此，需要采用樣本數(shù)據(jù)來估計。設從均值向量為，協(xié)方差矩陣為 的 p 維總體中得到的 n 個樣本，且樣本數(shù)據(jù)矩陣為 （13.1.19）,16,則樣本協(xié)方差矩陣為： （13.1.20） 其中: （13.1.21） 樣本相關矩陣為： （13.1.22） 樣本協(xié)方差矩陣 S 是總體協(xié)方差矩陣 的無偏估計量，樣本相關矩陣 是總體相關矩陣 R 的估計量。,17,2樣本主成份及其性質(zhì) 由于采用相關矩陣和協(xié)方差矩陣求解主成分的過程基本

9、一致，因此本節(jié)僅介紹基于樣本相關矩陣求解主成分的過程。設樣本相關矩陣 的特征值為 ，且 與特征值相對應的標準正交特征向量為 ，根據(jù)式（13.1.17）第 i 個樣本主成分可表示為： （13.1.23） 而且 （13.1.24） （13.1.25）,18,且由式（13.1.16）和性質(zhì)2可得 （13.1.26） 則第i個樣本主成分的貢獻度為 ，前m個樣本主成份的累計貢獻度為 另外 （13.1.27）,19,3主成份個數(shù)的確定 主成分分析的目的之一是減少變量的個數(shù)，但是對于應保留多少個主成分沒有確切的回答。通常需要綜合考慮樣本總方差的量、特征值的相對大小以及各成分對現(xiàn)實的闡述。一般所取 m 使得累

10、積貢獻率達到85%以上為宜。 另一個比較常用的可視的方法是碎石圖，首先將特征值 按照從大到小的順序進行排列，碎石圖是特征值與相應序號i的（i， ）圖形，其中橫軸表示序號，縱軸表示特征值 。為了確定主成分的合適個數(shù)，選擇碎石圖斜率變化較大的拐彎點，通常在此序號之后的特征值取值比較小，則此序號作為主成分的個數(shù)。例如，圖13.1所示的碎石圖在 i=2 處拐彎，則 m 選擇2。第三個經(jīng)驗的判斷方法是只保留那些方差大于1的主成分。,20,例13.1 宏觀經(jīng)濟景氣波動的主成分分析,本例從一批對景氣變動敏感，有代表的指標中篩選出5個反應宏觀經(jīng)濟波動的一致指標組：工業(yè)增加值增速（iva）、工業(yè)行業(yè)產(chǎn)品銷售收入

11、增速（sr）、固定資產(chǎn)投資增速（if）、發(fā)電量增速（elec）和貨幣供應量M1增速（m1），樣本區(qū)間從1998年1月2006年12月，為了消除季節(jié)性因素和不規(guī)則因素，采用X-12方法進行季節(jié)調(diào)整。常用的方法是美國商務部采用的計算合成指數(shù)CI的方法。特別的，本例利用主成分分析降維的思想，提取主成分（PCA），并與合成指數(shù)CI的結果進行比較。,21,13.3.1 EViews軟件中主成分分析的計算,本節(jié)以例13.1的數(shù)據(jù)為例，介紹EViews軟件中主成分分析的實現(xiàn)過程。首先將所涉及的變量建成一個組(g1)，選擇組菜單的View/Principal Components.，出現(xiàn)如圖13.6所示的窗口

12、。在窗口中有兩個切換鈕：第一個鈕標著Components，第二個鈕標著Calculation，控制著組中各序列離差矩陣的計算和估計。默認的，EViews完成主成分分析使用普通的（Pearson）相關矩陣，也可以在這個菜單下重新設定主成分的計算。,22,1Components選擇紐 Components按鈕用于設定顯示主成分和保存方差的特征值和特征向量。在Display對話框中可以以表的形式顯示特征值和特征向量，或者按照特征值的大小以線性圖的形式顯示，或者是載荷、得分的散點圖，或者兩個都顯示（biplot）。選擇不同的顯示方式，對話框中其余的內(nèi)容也會發(fā)生相應的改變。,23,圖13.6 主成分估計

13、對話框(1),24,25,表頭描述了觀測值的樣本區(qū)間、計算離差矩陣的方法以及保留成分的個數(shù)（在這個例子中顯示了所有的5個主成分）。 表的第一部分概括了特征值（Value）、相應特征值與后一項的差（Difference）、對總方差的累積解釋比例（Cumulative Proportion）等等。由于上述結果的計算采用相關矩陣，所以5個特征值之和等于5。第一個成分占總方差的72.94%，第二個成分占總方差的19.22%。前兩個成分占總方差的92.16%。 表的第二部分描述了線性組合的系數(shù)，第一個主成分（標為“PC1”）大約等于所有5個一致指標的線性組合，它可以解釋為一般的經(jīng)濟景氣指數(shù)。 輸出的第三

14、部分表示計算的相關矩陣。,26,表13.1 一致指標組的主成分分析結果,27,由表13.1可以看出，第1主成分的貢獻率為72.1%，已能較好地反映5個一致指標的總體變動情況，而且根據(jù)它們的特征值可以發(fā)現(xiàn)第2個特征值開始明顯變小(小于1)，碎石圖出現(xiàn)明顯的拐彎，同時為了討論方便，僅選擇m=1，提取第一個主成分反映經(jīng)濟變動。表13.1中已經(jīng)給出對應的特征向量，根據(jù)式（13.1.23）可以得到對應的主成分序列。,28,圖13.7 主成分估計對話框（2）,如果在主對話框的Display部分選擇Eigenvalues plots，則顯示按順序排列的特征值的線性圖（碎石圖）。在對話框的下面將發(fā)生改變，可以

15、選擇顯示特征值（碎石圖）、特征值的差、方差累積貢獻率其中之一，或是全部。如圖13.7所示可以選擇任意的復選框。默認的EViews僅顯示特征值排序的碎石圖。,29,30,圖13.8 主成分估計對話框（3）,變量載荷圖（Variable loadings plot）給出對應主成分的變量載荷系數(shù)，從圖中可以看出如何根據(jù)原始變量合成新的主成分；成分得分圖（Component scores plot）顯示對應于樣本區(qū)間內(nèi)的觀測值成分的得分值；biplot (Biplots (scores & loadings)則表示在一個圖中同時顯示載荷系數(shù)和得分值。,31,32,圖13.10 計算得分序列的設置對話框

16、,2. Calculation選擇鈕 在Type下拉菜單中選擇使用相關(Correlation)還是協(xié)方差(Covariance)矩陣。在Method下拉菜單中選擇計算方法：Ordinary, Ordinary (uncentered), Spearman rank-order or Kendalls tau-a, or Kendalls tau-b。在該對話框中，還可以設定計算使用的觀測值樣本。,33,圖13.9 保存得分序列的對話框,3保存得分序列 如果想保存主成分得分序列，直接從組（Group）菜單中選擇Proc/Make Principal Components.，則出現(xiàn)圖13.9所示

17、的對話框。,34,第一個選項是Scaling，用于選擇得分序列和載荷計算的權重。有4個選項： Normalize loadings，Normalize scores，Symmetric weights和User loading weight，默認的Normalize loadings，表示標準化載荷，使得所有觀測值得分對特征值有標準的比例；選擇Normalize scores，所有變量標準化為1；選擇Symmetric weights，將會有對稱的權重；選擇User loading weight，可以用戶自己定義權重。 然后需要輸入得分序列的名稱，在例13.1中，我們輸入第一主成分的名字“PA

18、C1”，用于保存第一個主成分。也可以根據(jù)需要保存對應得分的載荷、特征值和特征向量。,35,圖13.2中的實線給出了由主成分分析的第一主成分表示的一致景氣指數(shù)（PCA），虛線給出的是由國際上常用的美國商務部計算合成指數(shù)的方法給出的一致合成指數(shù)（CI），可以發(fā)現(xiàn)二者的變化趨勢和轉(zhuǎn)折點幾乎完全相同，只是波動的幅度略有差異。進一步表明：PCA指數(shù)不僅能夠反映景氣波動的變化趨勢和峰谷的轉(zhuǎn)折點，而且還能反映波動的幅度。,圖13.2 第一主成分 (PCA，左坐標), 一致合成指數(shù)(CI，右坐標),36,13.2 因子分析,因子分析（factor analysis，簡稱FA）是主成分分析的推廣，相對于主成分分

19、析，因子分析更側重于解釋被觀測變量之間的相關關系或協(xié)方差之間的結構。因子分析的思想源于1904年查爾斯斯皮爾曼（Charles Spearman）對學生考試成績的研究。研究多指標問題時常常會發(fā)現(xiàn)，這些指標相關性形成的背景原因是各種各樣的，其中共同的原因稱為公共因子；每一個變量也含有其特定的原因，成為特定（特殊）因子。因子分析的實質(zhì)就是用幾個潛在的但不能觀察的互不相關的隨機變量去描述許多變量之間的相關關系（或者協(xié)方差關系），這些隨機變量被稱為因子。為了使得這些因子能很好的替代原始數(shù)據(jù)，需要對這些因子給出合理的解釋。同時為了使用這些因子，還需要對提取結果進行評價。,37,因此，可以簡單將因子分析的

20、目標概括為以下幾方面： （1）首先考慮是否存在較少的不相關的隨機變量可用于描述原始變量之間的關系； （2）如果存在公共因子，那么究竟應該選擇幾個； （3）對提取的公共因子的含義進行解釋； （4）評價每一個原始變量與公共因子之間的關系； （5）可以將這些公共因子用于其他的統(tǒng)計分析。 本節(jié)將從這幾個角度給出詳細的介紹。需要注意的是因子分析從一系列高度相關的原始變量矩陣X=(X1, X2 , , Xp)中提取少數(shù)幾個不相關的因子，所以如果原始變量之間不相關則沒有必要進行因子分析。在實際研究和應用中，為了消除觀察值之間由于量綱的差異而造成的影響，需要將觀測值按照式（13.1.15）進行標準化處理。本節(jié)

21、的討論都是基于標準化后的序列，為了方便，把標準化后的隨機變量矩陣仍記為Z = (Z1, Z 2, , Zp)。,38,13.2.1 基本的因子分析模型,假如對某一問題的研究涉及 p 個指標，且這 p 個指標之間存在較強的相關性，則基本的因子模型可以表示為 （13.2.1） 稱式（13.2.1）中F1, F2, , Fm為公共因子，1, 2, , p 表示特殊因子，其中包含了隨機誤差， i 只與第 i 個變量 Zi 有關， lij 稱為第 i 個變量 Zi 在第 j 個因子 Fj 上的載荷（因子載荷），由其構成的矩陣 L 稱為因子載荷矩陣。,39,式（13.2.1）進一步可以表示為下面的矩陣形式

22、 （13.2.2） 其中，F(xiàn) = (F1, F2 , , Fm)； = (1, 2 , , p)。注意式（13.2.1）中的F1, F2 , , Fm 是不可觀測的隨機變量，因此，必須對隨機變量 F 和 做一些假定，使得模型具有特定的且能驗證的協(xié)方差結構。,40,假設 （13.2.3） （13.2.4） 且 F 與 獨立，即 （13.2.5） 滿足式（13.2.3）式（13.2.5）假定的模型（13.2.1）（或（13.2.2）稱為正交因子模型。,41,13.2.2 正交因子模型的性質(zhì),1正交因子模型的協(xié)方差結構 假定隨機變量Z的協(xié)方差矩陣為，則有 (13.2.6) (13.2.7),42,2

23、因子載荷 lij 的意義 由式（13.2.7）可得 （13.2.8） 由于假定 Zi 和 Fj 都是方差為1的隨機變量，因此 lij 即為變量 Zi 與因子Fj 的相關系數(shù)。,43,3共同度與公因子的方差貢獻 由式（13.2.6）可得 令 則有 (13.2.9) 其中 hi2 反映了公共因子對 Zi 方差的貢獻，稱為共性方差，或者變量共同度。i 稱為特殊方差，或者剩余方差。,44,式（13.2.9）表明， hi2 接近1時，i 接近 0，說明 Zi 包含的幾乎全部信息都可以被公因子解釋；當 hi2 接近 0 時，表明公共因子對 的影響不大，主要由特殊因子描述。因此， hi2 也反映了變量 Zi

24、 對公共因子的依賴程度。與此類似，矩陣 L 的第 j 列元素反映了第 j 個因子 Fj 對所有變量 Z 的影響，記為 (13.2.10) 稱為公共因子Fj 對原始變量向量 Z 的方差貢獻，是衡量公共因子相對重要性的一個尺度，其值越大反映 Fj 對原始變量向量 Z 的方差貢獻也越大。,45,13.2.3 因子載荷的估計方法,因子分析的首要步驟是先確定因子載荷，或估計得到因子載荷矩陣L，注意在式（13.2.1）和式（13.2.2）中的F1, F2, , Fm是不可觀測的隨機變量，因此因子載荷矩陣L的估計方法都比較復雜，常用的方法有極大似然法、主成分法、迭代主成分方法、最小二乘法、 因子提取法等。,

25、46,1極大似然法 如果假設公共因子 F 和特殊因子 服從正態(tài)分布，即F Nm(0, I)， Np(0, )，X1, X2, , Xp 的均值為 = (1, 2 , , p) ，則觀測值 X1, X2, , Xp 為來自正態(tài)總體 Np(, ) 的樣本，可以采用極大似然法估計因子載荷矩陣和特殊方差，似然函數(shù)是 和 的函數(shù) L( , )。 由于 ，因此似然函數(shù)可以更清楚地表示為L( , L, )，記( , L, )的估計量為 ，則有 （13.2.11）,47,2主成分方法 用主成分法確定因子載荷，就是對隨機變量進行主成分分析，把前面幾個主成分作為原始公共因子。其具體過程如下，設有 p 個變量 Z

26、= (Z1, Z2 , , Zp)，可以求得從大到小排序的 p 個主成分Y1，Y2，Yp，根據(jù)13.1節(jié)的內(nèi)容可知，原始變量與主成分之間存在如下的關系： （13.2.13）,48,由于A =(1, , , p)= (e1, e2, , ep) 為正交矩陣，則有 (13.2.14) 如果在式（13.2.13）中僅取前m個主成分，把其余的 p-m 個主成分用特殊因子i 代替，則式（13.2.13）可以表示為 （13.2.15） 式（13.2.15）與式（13.2.1）的形式一致，Yi 表示主成分，因此相互獨立。,49,為了使 Yi 符合式（13.2.3）假設的公共因子，需要將主成分Yi 的方差轉(zhuǎn)變

27、為1。由13.1節(jié)的介紹可知，主成分方差為特征根 i，只需要將 Yi 除以標準差 即可，令 ， （13.2.16） 則式（13.2.15）轉(zhuǎn)變?yōu)椋?（13.2.17） 式（13.2.15）已與式（13.2.1）不僅在形式上一致，而且完全符合式（13.2.3）式（13.2.5）的假設。由此就得到因子載荷矩陣和一組初始公共因子。,50,3迭代主成分方法（Iterated Principal Factors） 迭代主成分方法也叫主因子法，或主軸因子方法，是對主成分法的一種修正。首先對原始變量進行標準化處理，其相關矩陣與協(xié)方差矩陣一致，使其因子模型滿足式（13.2.1），根據(jù)式（13.2.6）有 (1

28、3.2.18) 令 (13.2.19) 稱R*為調(diào)整相關矩陣，或約相關矩陣。不妨設特殊因子i 的方差的初始估計為i*，則有hi*2 = 1- i* ，且相應的樣本相關矩陣為 ，則對應的約相關矩陣為 (13.2.20),51,設 的前m個特征值依次為1* 2* m* 0，相應的正交單位特征向量為e1* , e2*, em*，則對應的因子載荷矩陣 L 的解為 (13.2.21） 根據(jù)式（13.2.21）和式（13.2.18），可以進一步得到特殊因子方差的最終估計量為 , (13.2.22) 如果希望得到擬合程度更好的解，則可以采用迭代的方法，即利用式（13.2.22）得到的特殊因子方差估計量帶入式

29、（13.2.20）重復上述步驟，直到所求解比較穩(wěn)定為止。,52,下面介紹幾種求特殊因子方差和公共因子方差初始估計的幾種常用方法： （1）復合相關系數(shù)（squared multiple correlations，簡稱SMC）方法 SMC是比較常用的一種方法，令 ，其中rii是 的第i個對角元素，此時公共因子方差的估計值為 它表示 Xi 與其他 p-1 個解釋變量之間的復相關系數(shù)。 （2）最大相關系數(shù)方法（max absolute correlation） 最大相關系數(shù)方法是用第 i 個變量 Xi 與其他變量相關系數(shù)絕對值的最大值來估計，即令 ，其中 rij 表示第 i 個變量 Xi 與第 j 個

30、變量 Xj 的相關系數(shù)。,53,（3）對角線比例方法（fraction of diagonals） 該方法使用相關矩陣（或協(xié)方差矩陣）對角線元素的固定比例 。特殊的可以取 =1，此時結果等同于主成分求解得到的結果。 （4）分塊的協(xié)方差矩陣估計方法（partitioned covariance，簡稱PACE） 由于第3種方法PACE的估計量是非迭代的，因此，比較適合為迭代估計方法提供初值。 （5）特殊的直接取 ，則 i*=0，此時得到的 也是一個主成分解。,54,13.2.4 因子數(shù)目的確定方法及檢驗 上述求解過程中重要的是如何確定公因子數(shù)目m，這是因子分析中最重要的一步。本小節(jié)將列出其中幾種常

31、用的方法 1因子數(shù)目的確定方法 (1) 最小特征值（Kaiser-Guttman Minimum Eigenvalue） Kaiser-Guttman規(guī)則也叫做“特征值大于1”方法，是最常用的一種方法。只需要計算離差矩陣（相關矩陣、協(xié)方差矩陣）的特征值，特征值超過平均值的個數(shù)作為因子個數(shù)。特別地，對于相關矩陣，特征值的均值為1，所以通常取特征值大于1的數(shù)作為公因子數(shù)。,55,(2) 總方差比例（Fraction of Total Variance） 選擇公因子個數(shù)m使得前m個特征值的和超過公因子總方差的某一門限值。這種方法多用于主成分分析方法，比較典型的是這些成分構成總方差的95%（Jacks

32、on, 1993）。 (3) MAP方法（Minimum Average Partial） Velicer (1976) 提出的最小平均偏相關(簡稱MAP)方法原理是：給定m個成分（m = 0，1，p-1），計算偏相關系數(shù)平方的平均值，應保留因子的個數(shù)是使得平均值最小化的個數(shù),56,(4) 分割線段（Broken Stick） 分割線段模型的基本原理是：首先，計算離差矩陣中第j個最大特征值對方差的貢獻度，然后計算從分割線段分布得到的相應的期望值 。當前者超過后者時，所對應的j即為應該保留的因子個數(shù)（Jackson, 1993）。 (5) 平行分析（Parallel Analysis） 平行分析

33、模擬使用的數(shù)據(jù)與原始數(shù)據(jù)有著相同方差和觀測值個數(shù)，是由隨機生成器生成的獨立隨機變量數(shù)據(jù)集。計算模擬數(shù)據(jù)的Pearson協(xié)方差和相關矩陣及其特征值。只要原始數(shù)據(jù)的特征值超過模擬數(shù)據(jù)的對應值，相應的個數(shù)將作為保留因子數(shù),57,2公共因子個數(shù)的大樣本檢驗 采用極大似然估計模型時，假設公共因子和特殊因子均服從正態(tài)分布，而正態(tài)分布的假定，可以幫助我們構造模型充分性的檢驗。設提取m個公共因子的模型成立，則檢驗m個公共因子的充分性等價于檢驗 （13.2.27） 對應的備擇假設 H1 為 是任意其他的正定矩陣。,58,在原假設成立的條件下可以構造下面的似然比統(tǒng)計量 （13.2.28） 其中 Sn 表示協(xié)方差矩

34、陣的極大似然估計； ，其中 和 分別表示 L 和 的極大似然估計量，而 是 的極大似然估計量。式（13.2.28）的統(tǒng)計量服從2分布。 特別的，Bartlett在1954年證明了-2ln抽樣分布的 2近似可以用多重因子（n-1- (2p+4m+5)/6）代替式（13.2.28）中的n。,59,利用Bartlett修正，只要n和n- p大，若 （13.2.29） 則在顯著性水平 下拒絕原假設 H0，認為 m 個因子是不充分的。式（13.2.29）表示的2統(tǒng)計量也稱為Bartlett2統(tǒng)計量。由于式（13.2.29）中的自由度必須大于0，進一步化簡可以得到 （13.2.30） 在選擇 m 時，必須

35、根據(jù)上述方法進行判斷模型的充分性。,60,例13.2 紐約股票交易所股票收益率的因子分析（1）,曾有學者研究了紐約票股交易所的5只股票（阿萊德化學（allied）、杜邦(dupont)、聯(lián)合碳化物(union)、?？松?exxon)和德士古(texaco)）從1975年1月到1976年12月期間周回報率之間的關系（數(shù)據(jù)見本章附錄）。周回報率定義為（本周五收盤價-上周五收盤價）/上周五收盤價，如有拆股或支付股息時進行相應調(diào)整。連續(xù)100周的觀測值表現(xiàn)出獨立同分布，但是各股之間的回報率受總體經(jīng)濟狀況的影響，也存在相關關系。表13.2給出各指標的相關矩陣。,61,表13.2 各指標的相關矩陣,從表1

36、3.2可以看出各股收益率之間存在一定的相關性，本例采用因子分析計算其因子載荷矩陣、公共方差、剩余方差以及相應的貢獻度。,62,13.3.2 因子分析的實現(xiàn) EViews中因子分析的實現(xiàn)是通過因子對象完成的。從工作文件的窗口選擇Object/New Object，選中Factor；或者選中相應的序列，單擊右鍵，選擇Open/as Factor.；或者打開一個已經(jīng)存在的組對象，選擇Proc/Make Factor.；或者在命令窗口輸入關鍵詞factor，都會彈出圖13.12所示的因子分析設定對話框。從圖中可以看出，因子設定對話框也包含兩個切換鈕：Data和Estimation。,63,圖13.12

37、 因子設定對話框,64,1Estimation 選擇鈕 Estimation標簽用于控制主要的估計設置（圖13.11），其中主要包括估計方法、因子個數(shù)設定、初始貢獻率以及其他屬性4個方面的設置。 (1) 估計方法（Method） 在Method的下拉菜單中，EViews提供了多種估計方法：極大似然估計法、廣義最小二乘法、不加權最小二乘法、主成分分析法、迭代主成分分析法以及非迭代的分區(qū)協(xié)方差估計方法（PACE）。選擇不同的方法，在右邊的屬性部分將會顯示不同的設置。,65,(2) 因子數(shù)（Number of factors） EViews提供了很多的方法選擇因子數(shù)，各種方法的簡要概括可參考13.2

38、.4節(jié)的介紹。默認的，EViews使用Velicer的minimum average partial（MAP）方法。實證模擬結果表明：MAP和平行分析方法比起其他常用的方法來更精確?？梢愿鶕?jù)需要選擇不同的方法，但是頁面也會發(fā)生相應的改變。 (3) 公共方差的初值 （Initial Communalities） 大部分估計方法都需要公共方差的原始估計。例如，對主成分估計方法，初始的公共方差是構建估計的基礎。在EViews中可以從Initial communalities的下拉菜單中選擇不同的方法。,66,(4) 估計選項（Opition）,估計屬性主要包括對迭代控制、scaling、隨機數(shù)生成器

39、以及Heywood情況的選擇和設置。選中Scale estimates to match observed variances復選框，可控制剩余方差和公共方差之和等于離差矩陣的對角元素。 在迭代主因子估計的過程中，可能會遇到被估計公因子方差暗含至少一個剩余方差小于等于0，這種情況就是通常所說的Heywood情況。當EViews在計算中遇到Heywood情況時，有幾種方法是可選擇的。默認的，EViews將停止迭代，并給出最后的估計(Stop and report final)，同時指出結果可能是不適合的；或者EViews報告前一次的迭代結果（Stop and report last）；或者結果為

40、0，繼續(xù)（Set to zero, continue）；或者忽略負的方差，繼續(xù)（Ignore and continue）。,67,2Data 選擇鈕,點擊Data按鈕，出現(xiàn)圖13.13所示的窗口，該窗口分為兩部分協(xié)方差設置和協(xié)方差屬性。,圖13.13 因子分析的數(shù)據(jù)設定對話框,68,(1) 類型（Type） 協(xié)方差設置的第一項是Type下拉菜單，主要用于確定因子分析是基于協(xié)方差矩陣還是相關矩陣，或者采用用戶已經(jīng)根據(jù)相關測量方法定義的矩陣（User-matrix） (2) 方法（Method） 可以用Method下拉菜單設定計算相關矩陣（或協(xié)方差矩陣）的方法：普通Pearson協(xié)方差、非中心協(xié)方

41、差、斯皮爾曼秩協(xié)方差（Spearman rank-order covariances）和Kendalls tau（肯德爾）相關測量。,69,(3) 變量（Variables） 在該框中應列出用于因子分析的序列名稱，或包含這些序列的組名。 (4) 樣本（Sample） 該項主要用于設定用于分析的觀測值的樣本，同時表明是否希望樣本是均衡的。默認的，如果遇到缺失數(shù)據(jù)，EViews將刪除相關變量中的缺失數(shù)據(jù)。,70,(5) 偏相關或偏協(xié)方差（Partialing） 偏相關和偏協(xié)方差可用于一對變量的分析，只需在相應的編輯框中列出變量名稱。偏協(xié)方差或偏相關的分析不支持因子得分的計算，在這種選擇下要計算因子

42、得分，同樣也需要使用用戶設定矩陣估計模型。 (6) 權重（Weighting） 當選擇使用加權方法時，將會提示需要輸入權重序列的名稱。有5種不同的權重選擇：頻率、方差、標準偏差、比例方差和比例標準偏差。 (7) 自由度修正 可以選擇使用極大似然估計量或者自由度修正規(guī)則計算協(xié)方差。默認的，EViews計算（沒有自由度修正的）ML估計的協(xié)方差。,71,(8) 用戶設定矩陣 如果在Type下拉菜單中選擇User-matrix，對話框?qū)l(fā)生改變。依次輸入矩陣名稱，這個矩陣應該是方陣，并且是對稱的，但是對稱不是必須的；然后輸入一個標量表示觀測值的數(shù)，或者一個矩陣，它包含表示觀測值數(shù)目的一對數(shù)；最后，列

43、名（C）主要是為結果提供標簽，如果不填寫此項，變量將以“V1”, “V2”的形式顯示，不需要為所有的列提供名字，默認地名字將按照提供的順序被替代。,72,下面給出例13.2采用主成分方法求解m=2時的結果，因子個數(shù)設置為2，其他選項都采用默認設置，其結果如下：,公共方差 ，剩余方差 =1-0.50 =0.50。其它相對應的公共方差和剩余方差以此類推。從表13.3中可以發(fā)現(xiàn)所有股票都高度依賴于F 1 ，且載荷都差不多相等，可稱之為市場因子，代表總的經(jīng)濟條件。而在因子F 2上，化學類股票在此因子上均有負載荷，石油類股票在此因子上有正的載荷，表明因子F2 將不同行業(yè)股票加以區(qū)分，稱為行

44、業(yè)因子。,73,同時比較極大似然估計和主成分估計的結果可以發(fā)現(xiàn)：同樣在因子F1上有大的正的載荷，稱為市場因子；而因子F2的結果與主成分分析載荷的符號正好相反，同樣也是區(qū)分了行業(yè)，因此也稱為行業(yè)因子。我們需要進一步通過因子旋轉(zhuǎn)才能發(fā)現(xiàn)有用的因子模式。,例13.3 影響我國物價波動多因素的因子分析（1）,隨著我國市場化程度的深化以及經(jīng)濟全球化進程的加快，我國物價的波動不僅反映了國內(nèi)市場中總供給和總需求的矛盾，而且受國際經(jīng)濟的影響，尤其是國際市場價格的影響也越來越大。受國內(nèi)經(jīng)濟波動、居民收入及財富變化、生產(chǎn)成本價格上漲、國際石油、糧食等原材料價格的影響使得我國物價的波動變得極其復雜。由于物價的波動不

45、是取決于某一種因素，或某幾個指標，而是受多方面因素的影響，此時簡單的多元回歸分析已經(jīng)無法滿足分析的需要。 本例選擇15個經(jīng)濟變量，采用因子分析方法分析各因素對物價波動的影響，樣本區(qū)間為2000年1季度2008年3季度。采用主成分方法（Principal Factors）求解，按照特征根大于1的準則，選取因子數(shù)目 m=4，求解結果如表13.5。,剩余 方差,表13.5 影響物價波動多因素的因子分析結果,從表13.5中可以看出：4個公因子對原始變量方差的累計貢獻率為85.89%，可見通過因子分析實現(xiàn)了將15維數(shù)據(jù)變量降至4維的目的。采用表13.5的信息還可以得到各變量對應的公共方差和剩余方差，如對

46、于第一個變量， =1-0.91 =0.09。其它變量相對應的公共方差和剩余方差以此類推。同時，通過表13.5各公因子的載荷可以看出：代表成本因素的各上游價格指數(shù)在公因子F1上有較高的載荷，可稱為成本因子；而代表居民需求增長的兩個收入變量在公因子F3上有較高的載荷，可稱為需求因子；而表示貨幣因素的3個變量在公因子F2上有較高的載荷，可稱為貨幣因子；而代表財富變化的股票指數(shù)在公因子F4上有較高的載荷，稱為財富因子。但還有一些變量的載荷并不是很明確，我們可以通過因子旋轉(zhuǎn)得到實際意義更加明確的因子模式。,77,13.2.5 因子旋轉(zhuǎn),因子分析的目的不僅是求出公共因子，更重要的是知道每個公共因子的實際意

47、義，以便對所研究的問題作出進一步的分析。公共因子是否容易解釋，很大程度上取決于因子載荷矩陣 L 的元素結構。假設因子載荷矩陣 L 是基于相關矩陣得到的，則其所有元素均在 -1 到 1 之間，如果 L 的所有元素都接近 0 或1，公共因子的含義就容易解釋了，否則公因子含義將含糊不清。,78,設L是通過某種方法估計得到的因子載荷矩陣，令 且 (13.2.31) (13.2.32) 式（13.2.31）和式（13.2.32）表明因子載荷矩陣是不唯一的，對一任意正交陣 T， 也是一個因子載荷矩陣。因此，實際中求得一個載荷矩陣 之后，可通過右乘正交陣 T，使 更具有實際意義，這種變換載荷矩陣的方法稱為因

48、子軸旋轉(zhuǎn)。因子的旋轉(zhuǎn)方法有正交旋轉(zhuǎn)和斜交旋轉(zhuǎn)。正交旋轉(zhuǎn)與斜交旋轉(zhuǎn)區(qū)別就在于：正交旋轉(zhuǎn)得到的新公共因子仍然是相互獨立的，但斜交旋轉(zhuǎn)則放寬了這一限制。,79,正交矩陣 T 的不同選取法構成了正交旋轉(zhuǎn)的各種不同方法，如最大方差旋轉(zhuǎn)法（Varimax）、全體旋轉(zhuǎn)（變量和因子同時旋轉(zhuǎn)，Equamax）、四分旋轉(zhuǎn)（Quartimax）等。最常采用的是最大方差旋轉(zhuǎn)法，其旋轉(zhuǎn)目的是使得因子載荷矩陣的元素取值盡可能地向兩極分化，部分元素取盡可能大的值，部分元素盡量接近零值。 本節(jié)主要介紹最大方差旋轉(zhuǎn)法，其基本思想如下：,80,先考慮兩個因子（m=2）的平面正交旋轉(zhuǎn)，設因子載荷矩陣為 （13.2.33） 取正交矩

49、陣為 其中 表示坐標平面上因子軸旋轉(zhuǎn)的角度，則 （13.2.34）,81,當公共因子個數(shù)大于2時，可以逐次對每兩個進行上述的旋轉(zhuǎn)，如果存在m個公共因子，則需要進行 次變換，這樣就完成一輪旋轉(zhuǎn)。如果旋轉(zhuǎn)完畢，并不能認為已經(jīng)達到預期的效果，可以在第一輪所得結果基礎上繼續(xù)上述旋轉(zhuǎn)過程，可得第二輪旋轉(zhuǎn)結果。每一次旋轉(zhuǎn)以后，所得載荷矩陣各列平方的相對方差之和總會比上一次有所增加，而另一方面由于載荷矩陣每一個元素的絕對值均不大于1，因此，其方差最終一定會收斂于某一個極限。實際中，通常經(jīng)過若干次旋轉(zhuǎn)以后，如果總方差改變不大，則可以停止旋轉(zhuǎn)。,82,13.3.3 因子旋轉(zhuǎn)的操作,為了使得因子具有實際的意義，可

50、以對初始回歸的結果進行因子旋轉(zhuǎn)。在EViews中簡單地點擊因子對象工具條中的Rotate按鈕，或者選擇Proc/Rotate.，都可以調(diào)用Factor Rotation對話框，如圖13.14。,圖13.14 因子旋轉(zhuǎn)設定對話框,83,Type和Method下拉菜單可用于設定基本的選轉(zhuǎn)類型和方法，其中的一些方法，可能需要輸入一些參數(shù)值。默認的，在旋轉(zhuǎn)前，EViews不列出載荷權重。為了標準化數(shù)據(jù)，可以點擊Row weight下拉菜單選擇Kaiser或者Cureton-Mulaik。 另外，如果沒有旋轉(zhuǎn)載荷，EViews自動使用單位矩陣作為旋轉(zhuǎn)迭代的初值。也可以在Starting values下拉

51、菜單中選擇合適的方式，如Random或User-specified。如果已經(jīng)完成一次旋轉(zhuǎn)，也可以使用已經(jīng)存在的結果作為下一次旋轉(zhuǎn)的初值。 設置完畢單擊OK即可。EViews的估計結果將列出旋轉(zhuǎn)的載荷、因子相關關系、因子旋轉(zhuǎn)矩陣、旋轉(zhuǎn)后的載荷矩陣和旋轉(zhuǎn)目標函數(shù)值。EViews會把結果保存在因子對象中，從因子對象中選擇View/Rotation Results，可以隨時查看旋轉(zhuǎn)結果的輸出表。,84,例13.4 紐約股票交易所股票收益率的因子分析（2）,從因子旋轉(zhuǎn)后結果可以看出石油股票（德士古和?？松┰谝蜃覨1有較高的載荷，而化學股票（阿萊德化學、杜邦、聯(lián)合碳化物）在因子 F2有較高的載荷。進一步

52、表明正交化的因子旋轉(zhuǎn)將行業(yè)區(qū)分開，因子 F1 代表引起石油股票波動的獨特的經(jīng)濟力量，因子F2 代表引起化學股票波動的獨特的經(jīng)濟力量。在例13.3中表示一般市場因子的 F1被破壞了。,例13.5 影響我國物價波動多因素的因子分析（2）,本例對例13.3的結果采用方差最大化的正交旋轉(zhuǎn)方法進行因子旋轉(zhuǎn)，希望得到更好的結果，本例進行了兩次旋轉(zhuǎn)以后，總方差變化不大，結束旋轉(zhuǎn)。旋轉(zhuǎn)后的公共因子記為 （i=1，2，4），相應的載荷記為 ，其結果如表13.7所示。,表13.7 影響物價波動多因素的因子分析旋轉(zhuǎn)后的結果,從表13.7旋轉(zhuǎn)后的各公因子的載荷可以看出各因子所代表的意義更明確：代表成本因素的各上游價格

53、指數(shù)和G7_ PPI的變化在公因子F1上有較高的載荷，可稱 F1為成本因子，同時也表明我國價格的變化，尤其是原材料類價格的變化和國際PPI的變化有較高的相關性；而代表居民需求增長的兩個收入變量在公因子F3上有最高的載荷，可稱 F3為需求因子；而表示包括GDP增長率在內(nèi)的貨幣因素在公因子F2上的載荷都是最大的，可稱 F2為貨幣因子；而代表財富變化的股票指數(shù)和表示國際經(jīng)濟形勢的G7_GDP指數(shù)同比增速在公因子F4上載荷最大，稱為財富因子和國際經(jīng)濟因子。通過觀察旋轉(zhuǎn)后的因子載荷，可以發(fā)現(xiàn)各因子所代表實際意義更明確。 本例主要考察物價波動，通過觀察可以發(fā)現(xiàn)CPI在各公因子的載荷分別為0.77、0.08

54、、0.54和0.12，可見代表成本和需求變動的因子和對CPI變化的解釋能力是最強。,88,13.2.6 因子得分,前面介紹了如何獲得公共因子和估計因子載荷矩陣，但有時候需要把公共因子表示成原始變量的線性組合，對每個樣本計算公共因子的估計值，也就是求因子得分，因子得分可以作為進一步分析的原始數(shù)據(jù)。例如：對學生的各科成績進行分析，可發(fā)現(xiàn)依賴于兩個因子全面智力和適應開閉卷的能力，實際中我們不僅僅希望歸納出影響學生成績的因子，而且希望知道每一個學生對這兩種能力作出什么評價，或者說他在這兩個公共因子上應打多少分。這就需要求解個體在公共因子上的得分。下面介紹兩種常用的因子得分估計方法。,89,1加權最小二

55、乘法 對于因子模型 （13.2.40） 因子載荷矩陣L及特殊因子方差陣是已知的，可以假定特殊因子 是誤差。如果 var(i) = i 對于i = 1, 2, , p 不全相等，巴特萊特（Bartlett，1937）建議采用加權最小二乘法。采用誤差方差的倒數(shù)作為權系數(shù)，則誤差平方的加權和可以表示為： （13.2.41）,90,選擇F的估計值使得式（13.2.41）最小化，其解為： （13.2.42） 當采用極大似然法求解因子載荷矩陣時，需要滿足唯一性條件： L L是對角矩陣。若對原載荷矩陣改用旋轉(zhuǎn)后的載荷矩陣L*=LT，則相應的因子得分可表示為 。 如果采用主成分分析方法估計因子載荷矩陣，習慣上

56、采用未加權的最小二乘過程生成因子得分，則因子得分為 （13.2.43）,91,2回歸法 仍然考慮因子模型（13.2.2） （13.2.44） 假設原始變量已標準化。在因子模型中也可以反過來將公共因子表示為變量的線性組合，建立公因子 F 對變量 Z 的回歸方程： （13.2.45） 令 則 B 是需要估計的回歸系數(shù)，但是 Fj 是不可觀測的。,92,由因子載荷的意義有： （13.2.46） 即 則有 ，其中R為樣本相關矩陣，于是公共因子的估計為： （13.2.47） 由樣本計算相關矩陣，并估計因子載荷矩陣即可求得因子得分的估計值。,93,3因子得分的評價 由于因子的不確定性，使得大量學者關注模型

57、估計結果評價的問題。Gorsuch (1983) 和 Grice(2001) 給出了關于下述測量方法的詳細討論。 （1）不確定性指標（Indeterminacy Indices） 度量不確定性的指標可以分為截然不同的兩類。第一類指標測量每一個因子和被觀測變量之間的多元相關系數(shù)r和它的平方r2。多元相關系數(shù)的平方是矩陣P = -1L的對角線元素，其中 可觀測的離差矩陣。這些指標的取值在0和1之間，數(shù)值越大越好。 第二類不確定性指標給出可供選擇的因子得分之間的最小相關系數(shù)r*，r* = 2r2-1。最小相關系數(shù)取值范圍為-1 到1。較大的正值是比較滿意，因為它表明不同的得分集合將會產(chǎn)生相似的結果。

58、,94,（2）有效性、單一性和相關精確性指標 定義Rff 作為總體因子相關矩陣，Rss 作為因子得分相關矩陣，Rfs作為已知因子與被估計得分的相關矩陣。一般來說，希望這些矩陣是相似的。 Rfs 的對角元素被稱為有效性系數(shù)，這些系數(shù)在-1到1之間，較高的正值是理想的。有效性系數(shù)和多元相關系數(shù)r存在差異，表明計算得到的因子得分的確定性較低。一般獲得的有效性值至少為0.80，如果希望使用得分序列作為替代變量，則有效系數(shù)需要大于0.90。 Rfs 的非對角線元素稱為單一性，用于測量被估計的因子得分與其他因子的相關程度。,95,1顯示形式 為了獲得得分系數(shù)和得分序列，在因子對象的工具條中單擊Score，

59、或者從因子對象菜單選擇View/Scores.，可得到因子得分設定對話框。,13.3.4 計算因子得分,圖13.14 因子得分設定對話框,96,在圖13.14中可以選擇顯示形式（Display）： （1）Table summary，以表的形式顯示因子得分系數(shù)、不確定性指標、有效系數(shù)和單一性測量； （2）Spreadsheet，因子得分值表； （3）Line graph，得分線性圖； （4）Scatterplot，成對因子的得分散點圖； （5）Biplot graph，成對因子得分和載荷的雙標圖。,97,2得分系數(shù) 估計得分，需要先設定一個計算得分系數(shù)的方法，確定是使用精確系數(shù)（Exact coefficients）、還是粗略系數(shù)（Coarse coefficients）、或者基于因子載荷計算的粗略系數(shù)（Coarse loadings）。默認的，EViews采用精確系數(shù)估計得分。根據(jù)相應的選擇，還需要提供其他的信息： （1）如果選擇Exact coefficients或者Coarse coefficients，將提示選擇估計方法（Coef Method），在其下拉菜單中可以選擇：回歸 (Thurst ones regression)、Bartlett加權最小二乘 (Bartlett