怎樣用做主成分分析和因子分析

1、現(xiàn)在學(xué)習(xí)的是第一頁，共108頁2 主成分分析（主成分分析（principal components analysis，簡稱，簡稱PCA）是由霍特林（）是由霍特林（Hotelling）于）于1933年首先提出的。它年首先提出的。它通過投影的方法，實(shí)現(xiàn)數(shù)據(jù)的降維，在損失較少數(shù)據(jù)信通過投影的方法，實(shí)現(xiàn)數(shù)據(jù)的降維，在損失較少數(shù)據(jù)信息的基礎(chǔ)上把多個(gè)指標(biāo)轉(zhuǎn)化為幾個(gè)有代表意義的綜合指息的基礎(chǔ)上把多個(gè)指標(biāo)轉(zhuǎn)化為幾個(gè)有代表意義的綜合指標(biāo)。標(biāo)。現(xiàn)在學(xué)習(xí)的是第二頁，共108頁3 假如對(duì)某一問題的研究涉及假如對(duì)某一問題的研究涉及 p 個(gè)指標(biāo)，記為個(gè)指標(biāo)，記為X1，X2, , Xp，由這由這 p 個(gè)隨機(jī)變量構(gòu)成的隨機(jī)向

2、量為個(gè)隨機(jī)變量構(gòu)成的隨機(jī)向量為X=(X1, X2, , Xp) ，設(shè)，設(shè) X 的均的均值向量為值向量為 ，協(xié)方差矩陣為，協(xié)方差矩陣為 。設(shè)。設(shè)Y=(Y1, Y2 , , Yp) 為對(duì)為對(duì) X 進(jìn)行線性進(jìn)行線性變換得到的合成隨機(jī)向量，即變換得到的合成隨機(jī)向量，即 （13.1.1） 設(shè)設(shè) i=( i1, i2 , , ip) ，( ), A=( 1 , 2 , p) ，則有，則有 （13.1.2）ppppppppXXXYYY2121222211121121AXY pi,2,1現(xiàn)在學(xué)習(xí)的是第三頁，共108頁4且且 （13.1.3） 由式（由式（13.1.1）和式（）和式（13.1.2）可以看出，可以

3、對(duì)原始變量）可以看出，可以對(duì)原始變量進(jìn)行任意的線性變換，不同線性變換得到的合成變量進(jìn)行任意的線性變換，不同線性變換得到的合成變量Y的統(tǒng)計(jì)特的統(tǒng)計(jì)特征顯然是不一樣的。每個(gè)征顯然是不一樣的。每個(gè)Yi 應(yīng)盡可能多地反映應(yīng)盡可能多地反映 p 個(gè)原始變量的信息個(gè)原始變量的信息，通常用方差來度量，通常用方差來度量“信息信息”，Yi 的方差越大表示它所包含的信息的方差越大表示它所包含的信息越多。由式（越多。由式（13.1.3）可以看出將系數(shù)向量）可以看出將系數(shù)向量 i 擴(kuò)大任意倍數(shù)會(huì)使擴(kuò)大任意倍數(shù)會(huì)使Yi 的方差無限增大，為了消除這種不確定性，增加約束條件：的方差無限增大，為了消除這種不確定性，增加約束條件

4、：pjiYYpiYjijiii,2,1,),cov(,2,1)var(i1iaai現(xiàn)在學(xué)習(xí)的是第四頁，共108頁5 為了有效地反映原始變量的信息，為了有效地反映原始變量的信息，Y的不同分量包含的信息不的不同分量包含的信息不應(yīng)重疊。綜上所述，式（應(yīng)重疊。綜上所述，式（13.1.1）的線性變換需要滿足下面的約束：）的線性變換需要滿足下面的約束： (1) ，即，即 ，i =1, 2, , p。 (2) Y1在滿足約束在滿足約束 (1) 即的情況下，方差最大；即的情況下，方差最大；Y2是在滿足約束是在滿足約束(1) ，且與，且與Y1不相關(guān)的條件下，其方差達(dá)到最大；不相關(guān)的條件下，其方差達(dá)到最大；Yp是

5、在是在滿足約束滿足約束(1) ，且與，且與Y1，Y2，Y p-1不相關(guān)的條件下，在各種線不相關(guān)的條件下，在各種線性組合中方差達(dá)到最大者。性組合中方差達(dá)到最大者。 滿足上述約束得到的合成變量滿足上述約束得到的合成變量Y1, Y2, , Yp分別稱為原始變量的分別稱為原始變量的第一主成分、第二主成分、第一主成分、第二主成分、第、第 p 主成分，而且各成分方差在主成分，而且各成分方差在總方差中占的比重依次遞減。在實(shí)際研究工作中，僅挑選前幾個(gè)總方差中占的比重依次遞減。在實(shí)際研究工作中，僅挑選前幾個(gè)方差較大的主成分，以達(dá)到簡化系統(tǒng)結(jié)構(gòu)的目的。方差較大的主成分，以達(dá)到簡化系統(tǒng)結(jié)構(gòu)的目的。122221ipi

6、iaaa1iaai現(xiàn)在學(xué)習(xí)的是第五頁，共108頁6 13.1.1節(jié)中提到主成分分析的基本思想是考慮合成變量的節(jié)中提到主成分分析的基本思想是考慮合成變量的方差大小及其對(duì)原始變量波動(dòng)方差大小及其對(duì)原始變量波動(dòng)(方差方差)的貢獻(xiàn)大小，而對(duì)于原的貢獻(xiàn)大小，而對(duì)于原始隨機(jī)變量始隨機(jī)變量X1，X2，Xp，其協(xié)方差矩陣或相關(guān)矩陣正是，其協(xié)方差矩陣或相關(guān)矩陣正是對(duì)各變量離散程度和相關(guān)程度的度量。在實(shí)際求解主成分時(shí)對(duì)各變量離散程度和相關(guān)程度的度量。在實(shí)際求解主成分時(shí)，一般從原始變量的協(xié)方差矩陣或相關(guān)矩陣的結(jié)構(gòu)分析出發(fā)，一般從原始變量的協(xié)方差矩陣或相關(guān)矩陣的結(jié)構(gòu)分析出發(fā)?，F(xiàn)在學(xué)習(xí)的是第六頁，共108頁7 設(shè)設(shè) 1

7、是任意是任意 p 1向量，求解主成份就是在約束條件向量，求解主成份就是在約束條件 下，求下，求 X 的線性函數(shù)的線性函數(shù) 使其方差使其方差 達(dá)到最大，即達(dá)到最大達(dá)到最大，即達(dá)到最大，且，且 ，其中，其中 是隨機(jī)變量向量是隨機(jī)變量向量X =(X1, X2, , Xp) 的協(xié)方差矩的協(xié)方差矩陣。設(shè)陣。設(shè) 1 2 p 0 為為 的特征值，的特征值，e1 , e2 , ep為為 矩陣各矩陣各特征值對(duì)應(yīng)的標(biāo)準(zhǔn)正交特征向量，則對(duì)于任意的特征值對(duì)應(yīng)的標(biāo)準(zhǔn)正交特征向量，則對(duì)于任意的ei 和和 ej，有，有 （13.1.4）且且 （13.1.5）Xa11Y1iaai111)var(aaY1iaaijijiji,

8、 0, 1ee,1piiiieeIeeipii1現(xiàn)在學(xué)習(xí)的是第七頁，共108頁8因此因此 （13.1.6）當(dāng)當(dāng) 1 = e1 時(shí)有時(shí)有 （13.1.7）此時(shí)此時(shí) 達(dá)到最大值為達(dá)到最大值為 1。同理有。同理有 并并且且 （13.1.8）1111111111111)()(Iaaaeeaaeeaaapiiipiiii111111111eeeeee111)var(aaYii)var(Xepjijijjiji, 2, 1, 0),cov(eeeeXeXe現(xiàn)在學(xué)習(xí)的是第八頁，共108頁9 由上述推導(dǎo)得由上述推導(dǎo)得 （13.1.9） 可見可見Y1, Y2, , Yp 即為原始變量的即為原始變量的 p 個(gè)主成

9、份。因此，主成分個(gè)主成份。因此，主成分的求解轉(zhuǎn)變?yōu)榍蟮那蠼廪D(zhuǎn)變?yōu)榍?X1, X2, , Xp 協(xié)方差矩陣協(xié)方差矩陣 的特征值和特征向量的的特征值和特征向量的問題。問題。 XeXeXeppYYY,2211現(xiàn)在學(xué)習(xí)的是第九頁，共108頁10 Y的協(xié)方差矩陣為對(duì)角陣的協(xié)方差矩陣為對(duì)角陣 ，即，即 （13.1.10） 設(shè)設(shè) =( ij)pp是隨機(jī)變量向量是隨機(jī)變量向量 X 的協(xié)方差矩陣，可得的協(xié)方差矩陣，可得即即 p00)var(1YpiipiiYX11)var()var(piipiii11現(xiàn)在學(xué)習(xí)的是第十頁，共108頁11 由此可見，主成分分析是把由此可見，主成分分析是把 p 個(gè)隨機(jī)變量的總方差分解

10、為個(gè)隨機(jī)變量的總方差分解為 p 個(gè)不個(gè)不相關(guān)隨機(jī)變量的方差之和相關(guān)隨機(jī)變量的方差之和 1 2 P，則總方差中屬于第，則總方差中屬于第 i 個(gè)個(gè)主成分（被第主成分（被第 i 個(gè)主成分所解釋）的比例為個(gè)主成分所解釋）的比例為 （13.1.12）稱為第稱為第 i 個(gè)主成分的貢獻(xiàn)度。定義個(gè)主成分的貢獻(xiàn)度。定義 （13.1.13）稱為前稱為前 m 個(gè)主成分的累積貢獻(xiàn)度，衡量了前個(gè)主成分的累積貢獻(xiàn)度，衡量了前 m 個(gè)主成份對(duì)原始變個(gè)主成份對(duì)原始變量的解釋程度。量的解釋程度。pi21pmpiimjj11現(xiàn)在學(xué)習(xí)的是第十一頁，共108頁12記第記第k個(gè)主成分個(gè)主成分 Yk 與原始變量與原始變量 Xi 的相關(guān)系

11、數(shù)為的相關(guān)系數(shù)為r(Yk，Xi)，稱為因子載荷，或者因子負(fù)荷量，則有，稱為因子載荷，或者因子負(fù)荷量，則有 （13.1.14）pkieeXYXYXYriikkiiikkikikikik,2, 1,)var()var(),cov(),(現(xiàn)在學(xué)習(xí)的是第十二頁，共108頁13 在實(shí)際應(yīng)用時(shí)，為了消除原始變量量綱的影響，通常將數(shù)在實(shí)際應(yīng)用時(shí)，為了消除原始變量量綱的影響，通常將數(shù)據(jù)標(biāo)準(zhǔn)化。考慮下面的標(biāo)準(zhǔn)化變化，令據(jù)標(biāo)準(zhǔn)化。考慮下面的標(biāo)準(zhǔn)化變化，令 （13.1.15）其中其中 i， ii 分別表示隨機(jī)變量分別表示隨機(jī)變量 Xi 的期望與方差，則的期望與方差，則 piXZiiiii,2, 1,1)var(,0

12、)(iiZZE現(xiàn)在學(xué)習(xí)的是第十三頁，共108頁14 原始變量的相關(guān)矩陣就是原始變量標(biāo)準(zhǔn)化后的協(xié)方差矩陣，因原始變量的相關(guān)矩陣就是原始變量標(biāo)準(zhǔn)化后的協(xié)方差矩陣，因此，由相關(guān)矩陣求主成分的過程與由協(xié)方差矩陣求主成分的過程是一此，由相關(guān)矩陣求主成分的過程與由協(xié)方差矩陣求主成分的過程是一致的。如果仍然采用（致的。如果仍然采用（i ，ei）表示相關(guān)矩陣）表示相關(guān)矩陣R對(duì)應(yīng)的特征值和標(biāo)對(duì)應(yīng)的特征值和標(biāo)準(zhǔn)正交特征向量，根據(jù)式（準(zhǔn)正交特征向量，根據(jù)式（13.1.9）有：）有： （13.1.17） 由相關(guān)矩陣求得的主成分仍然滿足性質(zhì)由相關(guān)矩陣求得的主成分仍然滿足性質(zhì)13。性質(zhì)。性質(zhì)3可以進(jìn)可以進(jìn)一步表示為：一步

13、表示為： （13.1.18）)()(12/1XVeZeiiiYpi,2,1pkieZYrkkiik,2, 1,),(現(xiàn)在學(xué)習(xí)的是第十四頁，共108頁15 在實(shí)際工作中，我們通常無法獲得總體的協(xié)方差矩陣在實(shí)際工作中，我們通常無法獲得總體的協(xié)方差矩陣 和相關(guān)矩和相關(guān)矩陣陣R。因此，需要采用樣本數(shù)據(jù)來估計(jì)。設(shè)從均值向量為。因此，需要采用樣本數(shù)據(jù)來估計(jì)。設(shè)從均值向量為 ，協(xié)方差，協(xié)方差矩陣為矩陣為 的的 p 維總體中得到的維總體中得到的 n 個(gè)樣本，且樣本數(shù)據(jù)矩陣為個(gè)樣本，且樣本數(shù)據(jù)矩陣為 （13.1.19）npnnppnxxxxxxxxx21222211121121),(xxxx現(xiàn)在學(xué)習(xí)的是第十五頁

14、，共108頁16則樣本協(xié)方差矩陣為：則樣本協(xié)方差矩陣為： （13.1.20）其中其中: （13.1.21）樣本相關(guān)矩陣為：樣本相關(guān)矩陣為： （13.1.22） 樣本協(xié)方差矩陣樣本協(xié)方差矩陣 S 是總體協(xié)方差矩陣是總體協(xié)方差矩陣 的無偏估計(jì)量，樣本相的無偏估計(jì)量，樣本相關(guān)矩陣關(guān)矩陣 是總體相關(guān)矩陣是總體相關(guān)矩陣 R 的估計(jì)量。的估計(jì)量。ppijnkkksn)()(111xxxxSjkjnkikiijnkkiipxxxxnspixnxxxx1121)(11,2, 11),(x,)(ppijrRjjiiijijsssr R現(xiàn)在學(xué)習(xí)的是第十六頁，共108頁17 由于采用相關(guān)矩陣和協(xié)方差矩陣求解主成分的

15、過程基本一由于采用相關(guān)矩陣和協(xié)方差矩陣求解主成分的過程基本一致，因此本節(jié)僅介紹基于樣本相關(guān)矩陣求解主成分的過程。設(shè)致，因此本節(jié)僅介紹基于樣本相關(guān)矩陣求解主成分的過程。設(shè)樣本相關(guān)矩陣樣本相關(guān)矩陣 的特征值為的特征值為 ，且，且與特征值相對(duì)應(yīng)的標(biāo)準(zhǔn)正交特征向量為與特征值相對(duì)應(yīng)的標(biāo)準(zhǔn)正交特征向量為 ，根據(jù)式，根據(jù)式（13.1.17）第）第 i 個(gè)樣本主成分可表示為：個(gè)樣本主成分可表示為： （13.1.23）而且而且 （13.1.24） （13.1.25） Rp,21021ppeee,21pipiieeexxxxeyii2211pi,2,1pkikik,2,1,0),cov(yyipii,2,1,)v

16、ar(iy現(xiàn)在學(xué)習(xí)的是第十七頁，共108頁18且由式（且由式（13.1.16）和性質(zhì)）和性質(zhì)2可得可得 （13.1.26） 則第則第i個(gè)樣本主成分的貢獻(xiàn)度為個(gè)樣本主成分的貢獻(xiàn)度為 ，前，前m個(gè)樣本主成份的累計(jì)貢獻(xiàn)個(gè)樣本主成份的累計(jì)貢獻(xiàn)度為度為 另外另外 （13.1.27）piiipiisp11iikkiiksexyr),(pipmii/1現(xiàn)在學(xué)習(xí)的是第十八頁，共108頁19 主成分分析的目的之一是減少變量的個(gè)數(shù)，但是對(duì)于應(yīng)保主成分分析的目的之一是減少變量的個(gè)數(shù)，但是對(duì)于應(yīng)保留多少個(gè)主成分沒有確切的回答。通常需要綜合考慮樣本總方留多少個(gè)主成分沒有確切的回答。通常需要綜合考慮樣本總方差的量、特征值

17、的相對(duì)大小以及各成分對(duì)現(xiàn)實(shí)的闡述。一般所差的量、特征值的相對(duì)大小以及各成分對(duì)現(xiàn)實(shí)的闡述。一般所取取 m 使得累積貢獻(xiàn)率達(dá)到使得累積貢獻(xiàn)率達(dá)到85%以上為宜。以上為宜。 另一個(gè)比較常用的可視的方法是碎石圖，首先將特征值另一個(gè)比較常用的可視的方法是碎石圖，首先將特征值 按照從大到小的順序進(jìn)行排列，碎石圖是特征值與相應(yīng)序號(hào)按照從大到小的順序進(jìn)行排列，碎石圖是特征值與相應(yīng)序號(hào)i的的（i， ）圖形，其中橫軸表示序號(hào)，縱軸表示特征值）圖形，其中橫軸表示序號(hào)，縱軸表示特征值 。為了確。為了確定主成分的合適個(gè)數(shù)，選擇碎石圖斜率變化較大的拐彎點(diǎn)，通常定主成分的合適個(gè)數(shù)，選擇碎石圖斜率變化較大的拐彎點(diǎn)，通常在此序

18、號(hào)之后的特征值取值比較小，則此序號(hào)作為主成分的個(gè)數(shù)在此序號(hào)之后的特征值取值比較小，則此序號(hào)作為主成分的個(gè)數(shù)。例如，圖。例如，圖13.1所示的碎石圖在所示的碎石圖在 i=2 處拐彎，則處拐彎，則 m 選擇選擇2。第三個(gè)。第三個(gè)經(jīng)驗(yàn)的判斷方法是只保留那些方差大于經(jīng)驗(yàn)的判斷方法是只保留那些方差大于1的主成分。的主成分。iii現(xiàn)在學(xué)習(xí)的是第十九頁，共108頁20 本例從一批對(duì)景氣變動(dòng)敏感，有代表的指標(biāo)中篩選出本例從一批對(duì)景氣變動(dòng)敏感，有代表的指標(biāo)中篩選出5個(gè)反應(yīng)宏觀個(gè)反應(yīng)宏觀經(jīng)濟(jì)波動(dòng)的一致指標(biāo)組：工業(yè)增加值增速（經(jīng)濟(jì)波動(dòng)的一致指標(biāo)組：工業(yè)增加值增速（iva）、工業(yè)行業(yè)產(chǎn)品銷售收入）、工業(yè)行業(yè)產(chǎn)品銷售收

19、入增速（增速（sr）、固定資產(chǎn)投資增速（）、固定資產(chǎn)投資增速（if）、發(fā)電量增速（）、發(fā)電量增速（elec）和貨幣供）和貨幣供應(yīng)量應(yīng)量M1增速（增速（m1），樣本區(qū)間從），樣本區(qū)間從1998年年1月月2006年年12月，為了消月，為了消除季節(jié)性因素和不規(guī)則因素，采用除季節(jié)性因素和不規(guī)則因素，采用X-12方法進(jìn)行季節(jié)調(diào)整。常用的方方法進(jìn)行季節(jié)調(diào)整。常用的方法是美國商務(wù)部采用的計(jì)算合成指數(shù)法是美國商務(wù)部采用的計(jì)算合成指數(shù)CI的方法。特別的，本例利用的方法。特別的，本例利用主成分分析降維的思想，提取主成分（主成分分析降維的思想，提取主成分（PCA），并與合成指數(shù)），并與合成指數(shù)CI的結(jié)的結(jié)果進(jìn)行比較

20、。果進(jìn)行比較?，F(xiàn)在學(xué)習(xí)的是第二十頁，共108頁21 本節(jié)以例本節(jié)以例13.1的數(shù)據(jù)為例，介紹的數(shù)據(jù)為例，介紹EViews軟件中主成分分析軟件中主成分分析的實(shí)現(xiàn)過程。首先將所涉及的變量建成一個(gè)組的實(shí)現(xiàn)過程。首先將所涉及的變量建成一個(gè)組(g1)，選擇組菜，選擇組菜單的單的View/Principal Components.，出現(xiàn)如圖，出現(xiàn)如圖13.6所示的窗口所示的窗口。在窗口中有兩個(gè)切換鈕：第一個(gè)鈕標(biāo)著。在窗口中有兩個(gè)切換鈕：第一個(gè)鈕標(biāo)著Components，第二，第二個(gè)鈕標(biāo)著個(gè)鈕標(biāo)著Calculation，控制著組中各序列離差矩陣的計(jì)算和，控制著組中各序列離差矩陣的計(jì)算和估計(jì)。默認(rèn)的，估計(jì)。默

21、認(rèn)的，EViews完成主成分分析使用普通的（完成主成分分析使用普通的（Pearson）相關(guān)矩陣，也可以在這個(gè)菜單下重新設(shè)定主成分）相關(guān)矩陣，也可以在這個(gè)菜單下重新設(shè)定主成分的計(jì)算。的計(jì)算。 現(xiàn)在學(xué)習(xí)的是第二十一頁，共108頁22 Components按鈕用于設(shè)定顯示主成分和保存方差的特按鈕用于設(shè)定顯示主成分和保存方差的特征值和特征向量。在征值和特征向量。在Display對(duì)話框中可以以表的形式顯示特對(duì)話框中可以以表的形式顯示特征值和特征向量，或者按照特征值的大小以線性圖的形式顯示征值和特征向量，或者按照特征值的大小以線性圖的形式顯示，或者是載荷、得分的散點(diǎn)圖，或者兩個(gè)都顯示（，或者是載荷、得分的

22、散點(diǎn)圖，或者兩個(gè)都顯示（biplot）。）。選擇不同的顯示方式，對(duì)話框中其余的內(nèi)容也會(huì)發(fā)生相應(yīng)的改變。選擇不同的顯示方式，對(duì)話框中其余的內(nèi)容也會(huì)發(fā)生相應(yīng)的改變?，F(xiàn)在學(xué)習(xí)的是第二十二頁，共108頁23現(xiàn)在學(xué)習(xí)的是第二十三頁，共108頁24現(xiàn)在學(xué)習(xí)的是第二十四頁，共108頁25 表頭描述了觀測值的樣本區(qū)間、計(jì)算離差矩陣的方法以及保表頭描述了觀測值的樣本區(qū)間、計(jì)算離差矩陣的方法以及保留成分的個(gè)數(shù)（在這個(gè)例子中顯示了所有的留成分的個(gè)數(shù)（在這個(gè)例子中顯示了所有的5個(gè)主成分）。個(gè)主成分）。 表的第一部分概括了特征值（表的第一部分概括了特征值（Value）、相應(yīng)特征值與后一項(xiàng)）、相應(yīng)特征值與后一項(xiàng)的差（的差

23、（Difference）、對(duì)總方差的累積解釋比例（）、對(duì)總方差的累積解釋比例（Cumulative Proportion）等等。由于上述結(jié)果的計(jì)算采用相關(guān)矩陣，所以）等等。由于上述結(jié)果的計(jì)算采用相關(guān)矩陣，所以5個(gè)個(gè)特征值之和等于特征值之和等于5。第一個(gè)成分占總方差的。第一個(gè)成分占總方差的72.94%，第二個(gè)成分占，第二個(gè)成分占總方差的總方差的19.22%。前兩個(gè)成分占總方差的。前兩個(gè)成分占總方差的92.16%。 表的第二部分描述了線性組合的系數(shù)，第一個(gè)主成分（標(biāo)表的第二部分描述了線性組合的系數(shù)，第一個(gè)主成分（標(biāo)為為“PC1”）大約等于所有）大約等于所有5個(gè)一致指標(biāo)的線性組合，它可以解釋為個(gè)一致

24、指標(biāo)的線性組合，它可以解釋為一般的經(jīng)濟(jì)景氣指數(shù)。一般的經(jīng)濟(jì)景氣指數(shù)。 輸出的第三部分表示計(jì)算的相關(guān)矩陣。輸出的第三部分表示計(jì)算的相關(guān)矩陣。 現(xiàn)在學(xué)習(xí)的是第二十五頁，共108頁26第第1主成分主成分第第2主成分主成分第第3主成分主成分 第第4主成分主成分第第5主成分主成分特特征征向向量量固定資產(chǎn)投資增速（固定資產(chǎn)投資增速（if）0.449-0.3670.6960.2000.374工業(yè)增加值增速（工業(yè)增加值增速（iva）0.510-0.153-0.0780.312-0.783貨幣供應(yīng)量增速（貨幣供應(yīng)量增速（m1r）0.2040.9130.2850.2080.009產(chǎn)品銷售收入增速（產(chǎn)品銷售收入增速

25、（sr）0.4900.023-0.6540.2930.496發(fā)電量增速（發(fā)電量增速（elec）0.5080.088-0.020-0.857-0.026特特 征征 值值3.6030.9880.2700.0870.051貢貢 獻(xiàn)獻(xiàn) 率率0.7210.1970.0540.0180.01累積貢獻(xiàn)率累積貢獻(xiàn)率0.7210.9180.9720.9901.000 現(xiàn)在學(xué)習(xí)的是第二十六頁，共108頁27 由表由表13.1可以看出，第可以看出，第1主成分的貢獻(xiàn)率為主成分的貢獻(xiàn)率為72.1%，已能較，已能較好地反映好地反映5個(gè)一致指標(biāo)的總體變動(dòng)情況，而且根據(jù)它們的特征值可以個(gè)一致指標(biāo)的總體變動(dòng)情況，而且根據(jù)它們的

26、特征值可以發(fā)現(xiàn)第發(fā)現(xiàn)第2個(gè)特征值開始明顯變小個(gè)特征值開始明顯變小(小于小于1)，碎石圖出現(xiàn)明顯的拐彎，碎石圖出現(xiàn)明顯的拐彎，同時(shí)為了討論方便，僅選擇同時(shí)為了討論方便，僅選擇m=1，提取第一個(gè)主成分反映經(jīng)濟(jì)變，提取第一個(gè)主成分反映經(jīng)濟(jì)變動(dòng)。表動(dòng)。表13.1中已經(jīng)給出對(duì)應(yīng)的特征向量，根據(jù)式（中已經(jīng)給出對(duì)應(yīng)的特征向量，根據(jù)式（13.1.23）可以得）可以得到對(duì)應(yīng)的主成分序列。到對(duì)應(yīng)的主成分序列。 現(xiàn)在學(xué)習(xí)的是第二十七頁，共108頁28 如果在主對(duì)話框的如果在主對(duì)話框的Display部分選擇部分選擇Eigenvalues plots，則顯示按順序排列的特，則顯示按順序排列的特征值的線性圖（碎石圖）。在

27、對(duì)話框的下面將發(fā)生改變，可以選擇顯示特征值（碎石圖）征值的線性圖（碎石圖）。在對(duì)話框的下面將發(fā)生改變，可以選擇顯示特征值（碎石圖）、特征值的差、方差累積貢獻(xiàn)率其中之一，或是全部。如圖、特征值的差、方差累積貢獻(xiàn)率其中之一，或是全部。如圖13.7所示可以選擇任意的所示可以選擇任意的復(fù)選框。默認(rèn)的復(fù)選框。默認(rèn)的EViews僅顯示特征值排序的碎石圖。僅顯示特征值排序的碎石圖?，F(xiàn)在學(xué)習(xí)的是第二十八頁，共108頁29現(xiàn)在學(xué)習(xí)的是第二十九頁，共108頁30 變量載荷圖（變量載荷圖（Variable loadings plot）給出對(duì)應(yīng)主成分的變量載荷系數(shù)，）給出對(duì)應(yīng)主成分的變量載荷系數(shù)，從圖中可以看出如何根

28、據(jù)原始變量合成新的主成分；成分得分圖（從圖中可以看出如何根據(jù)原始變量合成新的主成分；成分得分圖（Component scores plot）顯示對(duì)應(yīng)于樣本區(qū)間內(nèi)的觀測值成分的得分值；）顯示對(duì)應(yīng)于樣本區(qū)間內(nèi)的觀測值成分的得分值；biplot (Biplots (scores & loadings)則表示在一個(gè)圖中同時(shí)顯示載荷系數(shù)和得分值。則表示在一個(gè)圖中同時(shí)顯示載荷系數(shù)和得分值。 現(xiàn)在學(xué)習(xí)的是第三十頁，共108頁31現(xiàn)在學(xué)習(xí)的是第三十一頁，共108頁32 在在Type下拉菜單中選擇使用相關(guān)下拉菜單中選擇使用相關(guān)(Correlation)還是協(xié)方差還是協(xié)方差(Covariance)矩陣。在

29、矩陣。在Method下拉菜單中選擇計(jì)算方法：下拉菜單中選擇計(jì)算方法：Ordinary, Ordinary (uncentered), Spearman rank-order or Kendalls tau-a, or Kendalls tau-b。在該對(duì)話框中。在該對(duì)話框中，還可以設(shè)定計(jì)算使用的觀測值樣本。，還可以設(shè)定計(jì)算使用的觀測值樣本。 現(xiàn)在學(xué)習(xí)的是第三十二頁，共108頁33 如果想保存主成分得分序列，直接從組（如果想保存主成分得分序列，直接從組（Group）菜單中選）菜單中選擇擇Proc/Make Principal Components.，則出現(xiàn)圖，則出現(xiàn)圖13.9所示的所示的對(duì)話框。

30、對(duì)話框?，F(xiàn)在學(xué)習(xí)的是第三十三頁，共108頁34 第一個(gè)選項(xiàng)是第一個(gè)選項(xiàng)是Scaling，用于選擇得分序列和載荷計(jì)算的權(quán)重，用于選擇得分序列和載荷計(jì)算的權(quán)重。有。有4個(gè)選項(xiàng)：個(gè)選項(xiàng)： Normalize loadings，Normalize scores，Symmetric weights和和User loading weight，默認(rèn)的，默認(rèn)的Normalize loadings，表示標(biāo)準(zhǔn)化載荷，使得所有觀測值得分對(duì)，表示標(biāo)準(zhǔn)化載荷，使得所有觀測值得分對(duì)特征值有標(biāo)準(zhǔn)的比例；選擇特征值有標(biāo)準(zhǔn)的比例；選擇Normalize scores，所有變量標(biāo)準(zhǔn)化，所有變量標(biāo)準(zhǔn)化為為1；選擇；選擇Symmet

31、ric weights，將會(huì)有對(duì)稱的權(quán)重；選擇，將會(huì)有對(duì)稱的權(quán)重；選擇User loading weight，可以用戶自己定義權(quán)重。，可以用戶自己定義權(quán)重。 然后需要輸入得分序列的名稱，在例然后需要輸入得分序列的名稱，在例13.1中，我們輸入中，我們輸入第一主成分的名字第一主成分的名字“PAC1”，用于保存第一個(gè)主成分。也可以根據(jù)，用于保存第一個(gè)主成分。也可以根據(jù)需要保存對(duì)應(yīng)得分的載荷、特征值和特征向量。需要保存對(duì)應(yīng)得分的載荷、特征值和特征向量?，F(xiàn)在學(xué)習(xí)的是第三十四頁，共108頁35 圖圖13.2中的實(shí)線給出了由主成分分析的第一主成分表示的一致景氣指數(shù)（中的實(shí)線給出了由主成分分析的第一主成分表

32、示的一致景氣指數(shù)（PCA），虛線給出的是由國際上常用的美國商務(wù)部計(jì)算合成指數(shù)的方法給出的一），虛線給出的是由國際上常用的美國商務(wù)部計(jì)算合成指數(shù)的方法給出的一致合成指數(shù)（致合成指數(shù)（CI），可以發(fā)現(xiàn)二者的變化趨勢和轉(zhuǎn)折點(diǎn)幾乎完全相同，只是波動(dòng)的幅），可以發(fā)現(xiàn)二者的變化趨勢和轉(zhuǎn)折點(diǎn)幾乎完全相同，只是波動(dòng)的幅度略有差異。進(jìn)一步表明：度略有差異。進(jìn)一步表明：PCA指數(shù)不僅能夠反映景氣波動(dòng)的變化趨勢和峰谷的轉(zhuǎn)折指數(shù)不僅能夠反映景氣波動(dòng)的變化趨勢和峰谷的轉(zhuǎn)折點(diǎn)，而且還能反映波動(dòng)的幅度。點(diǎn)，而且還能反映波動(dòng)的幅度。 現(xiàn)在學(xué)習(xí)的是第三十五頁，共108頁36 因子分析（因子分析（factor analysis，

33、簡稱，簡稱FA）是主成分分析的推廣）是主成分分析的推廣，相對(duì)于主成分分析，因子分析更側(cè)重于解釋被觀測變量之間的相，相對(duì)于主成分分析，因子分析更側(cè)重于解釋被觀測變量之間的相關(guān)關(guān)系或協(xié)方差之間的結(jié)構(gòu)。因子分析的思想源于關(guān)關(guān)系或協(xié)方差之間的結(jié)構(gòu)。因子分析的思想源于1904年查爾斯年查爾斯斯皮爾曼（斯皮爾曼（Charles Spearman）對(duì)學(xué)生考試成績的研究。研究多）對(duì)學(xué)生考試成績的研究。研究多指標(biāo)問題時(shí)常常會(huì)發(fā)現(xiàn)，這些指標(biāo)相關(guān)性形成的背景原因是各種各指標(biāo)問題時(shí)常常會(huì)發(fā)現(xiàn)，這些指標(biāo)相關(guān)性形成的背景原因是各種各樣的，其中共同的原因稱為公共因子；每一個(gè)變量也含有其特定的樣的，其中共同的原因稱為公共因子

34、；每一個(gè)變量也含有其特定的原因，成為特定（特殊）因子。因子分析的實(shí)質(zhì)就是用幾個(gè)潛在的原因，成為特定（特殊）因子。因子分析的實(shí)質(zhì)就是用幾個(gè)潛在的但不能觀察的互不相關(guān)的隨機(jī)變量去描述許多變量之間的相關(guān)關(guān)系但不能觀察的互不相關(guān)的隨機(jī)變量去描述許多變量之間的相關(guān)關(guān)系（或者協(xié)方差關(guān)系），這些隨機(jī)變量被稱為因子。為了使得這些因（或者協(xié)方差關(guān)系），這些隨機(jī)變量被稱為因子。為了使得這些因子能很好的替代原始數(shù)據(jù)，需要對(duì)這些因子給出合理的解釋。同時(shí)子能很好的替代原始數(shù)據(jù)，需要對(duì)這些因子給出合理的解釋。同時(shí)為了使用這些因子，還需要對(duì)提取結(jié)果進(jìn)行評(píng)價(jià)。為了使用這些因子，還需要對(duì)提取結(jié)果進(jìn)行評(píng)價(jià)。 現(xiàn)在學(xué)習(xí)的是第三十六

35、頁，共108頁37 因此，可以簡單將因子分析的目標(biāo)概括為以下幾方面：因此，可以簡單將因子分析的目標(biāo)概括為以下幾方面： （1）首先考慮是否存在較少的不相關(guān)的隨機(jī)變量可用于描述原）首先考慮是否存在較少的不相關(guān)的隨機(jī)變量可用于描述原始變量之間的關(guān)系；始變量之間的關(guān)系； （2）如果存在公共因子，那么究竟應(yīng)該選擇幾個(gè)；）如果存在公共因子，那么究竟應(yīng)該選擇幾個(gè)； （3）對(duì)提取的公共因子的含義進(jìn)行解釋；）對(duì)提取的公共因子的含義進(jìn)行解釋； （4）評(píng)價(jià)每一個(gè)原始變量與公共因子之間的關(guān)系；）評(píng)價(jià)每一個(gè)原始變量與公共因子之間的關(guān)系； （5）可以將這些公共因子用于其他的統(tǒng)計(jì)分析。）可以將這些公共因子用于其他的統(tǒng)計(jì)分析

36、。 本節(jié)將從這幾個(gè)角度給出詳細(xì)的介紹。需要注意的是因子分析從本節(jié)將從這幾個(gè)角度給出詳細(xì)的介紹。需要注意的是因子分析從一系列高度相關(guān)的原始變量矩陣一系列高度相關(guān)的原始變量矩陣X=(X1, X2 , , Xp) 中提取少數(shù)幾個(gè)不中提取少數(shù)幾個(gè)不相關(guān)的因子，所以如果原始變量之間不相關(guān)則沒有必要進(jìn)行因子分相關(guān)的因子，所以如果原始變量之間不相關(guān)則沒有必要進(jìn)行因子分析。在實(shí)際研究和應(yīng)用中，為了消除觀察值之間由于量綱的差異而析。在實(shí)際研究和應(yīng)用中，為了消除觀察值之間由于量綱的差異而造成的影響，需要將觀測值按照式（造成的影響，需要將觀測值按照式（13.1.15）進(jìn)行標(biāo)準(zhǔn)化處理。本節(jié)）進(jìn)行標(biāo)準(zhǔn)化處理。本節(jié)的討論

37、都是基于標(biāo)準(zhǔn)化后的序列，為了方便，把標(biāo)準(zhǔn)化后的隨機(jī)變量矩陣仍的討論都是基于標(biāo)準(zhǔn)化后的序列，為了方便，把標(biāo)準(zhǔn)化后的隨機(jī)變量矩陣仍記為記為Z = (Z1, Z 2, , Zp) 。 現(xiàn)在學(xué)習(xí)的是第三十七頁，共108頁38 假如對(duì)某一問題的研究涉及假如對(duì)某一問題的研究涉及 p 個(gè)指標(biāo)，且這個(gè)指標(biāo)，且這 p 個(gè)指標(biāo)之間存在個(gè)指標(biāo)之間存在較強(qiáng)的相關(guān)性，則基本的因子模型可以表示為較強(qiáng)的相關(guān)性，則基本的因子模型可以表示為 （13.2.1）稱式（稱式（13.2.1）中）中F1, F2, , Fm為公共因子，為公共因子， 1, 2, , p 表示特殊表示特殊因子，其中包含了隨機(jī)誤差，因子，其中包含了隨機(jī)誤差，

38、i 只與第只與第 i 個(gè)變量個(gè)變量 Zi 有關(guān)，有關(guān)， lij 稱為第稱為第 i 個(gè)變量個(gè)變量 Zi 在第在第 j 個(gè)因子個(gè)因子 Fj 上的載荷（因子載荷），由其構(gòu)成的矩上的載荷（因子載荷），由其構(gòu)成的矩陣陣 L 稱為因子載荷矩陣。稱為因子載荷矩陣。pmpmpppmmmmFlFlFlZFlFlFlZFlFlFlZ2211222221212112121111現(xiàn)在學(xué)習(xí)的是第三十八頁，共108頁39 式（式（13.2.1）進(jìn)一步可以表示為下面的矩陣形式）進(jìn)一步可以表示為下面的矩陣形式 （13.2.2）其中，其中，F(xiàn) = (F1, F2 , , Fm) ； = ( 1, 2 , , p) 。注意式（。

39、注意式（13.2.1）中的中的F1, F2 , , Fm 是不可觀測的隨機(jī)變量，因此，必須對(duì)隨機(jī)是不可觀測的隨機(jī)變量，因此，必須對(duì)隨機(jī)變量變量 F 和和 做一些假定，使得模型具有特定的且能驗(yàn)證的協(xié)方差結(jié)構(gòu)做一些假定，使得模型具有特定的且能驗(yàn)證的協(xié)方差結(jié)構(gòu)。 LFZ現(xiàn)在學(xué)習(xí)的是第三十九頁，共108頁40假設(shè)假設(shè) （13.2.3） （13.2.4）且且 F 與與 獨(dú)立，即獨(dú)立，即 （13.2.5）滿足式（滿足式（13.2.3）式（）式（13.2.5）假定的模型（）假定的模型（13.2.1）（或（）（或（13.2.2）稱為正交因子模型。）稱為正交因子模型。 IFFFF0F)(),cov(,)(EEp

40、E000000)(),cov(21,)(0 E0FF,)()cov(E現(xiàn)在學(xué)習(xí)的是第四十頁，共108頁41 假定隨機(jī)變量假定隨機(jī)變量Z的協(xié)方差矩陣為的協(xié)方差矩陣為，則有，則有 (13.2.6) (13.2.7)LFFFLFLFFZFZ)()()()(),cov(EEEELLFLLFLFFLLFLFLFLFLFLFLFLFZZZZ)()()()()()()()()(),cov(EEEEEEEE現(xiàn)在學(xué)習(xí)的是第四十一頁，共108頁42 由式（由式（13.2.7）可得）可得 （13.2.8） 由于假定由于假定 Zi 和和 Fj 都是方差為都是方差為1的隨機(jī)變量，因此的隨機(jī)變量，因此 lij 即為變量即

41、為變量 Zi 與因子與因子Fj 的相關(guān)系數(shù)。的相關(guān)系數(shù)。ijjijmjjijjimjjijjilFFFlFFlFZ),cov(),cov(),cov(),cov(11現(xiàn)在學(xué)習(xí)的是第四十二頁，共108頁43 由式（由式（13.2.6）可得）可得令令 則有則有 (13.2.9)其中其中 hi2 反映了公共因子對(duì)反映了公共因子對(duì) Zi 方差的貢獻(xiàn)，稱為共性方差，或者變量方差的貢獻(xiàn)，稱為共性方差，或者變量共同度。共同度。 i 稱為特殊方差，或者剩余方差。稱為特殊方差，或者剩余方差。 iimiiilllZ22221)var(21222221imjijimiihllll1)var(2iiihZ現(xiàn)在學(xué)習(xí)的是

42、第四十三頁，共108頁44 式（式（13.2.9）表明，）表明， hi2 接近接近1時(shí)，時(shí)， i 接近接近 0，說明，說明 Zi 包含的幾包含的幾乎全部信息都可以被公因子解釋；當(dāng)乎全部信息都可以被公因子解釋；當(dāng) hi2 接近接近 0 時(shí)，表明公共因子時(shí)，表明公共因子對(duì)對(duì) 的影響不大，主要由特殊因子描述。因此，的影響不大，主要由特殊因子描述。因此， hi2 也反映了變量也反映了變量 Zi 對(duì)公共因子的依賴程度。與此類似，矩陣對(duì)公共因子的依賴程度。與此類似，矩陣 L 的第的第 j 列元素反映了列元素反映了第第 j 個(gè)因子個(gè)因子 Fj 對(duì)所有變量對(duì)所有變量 Z 的影響，記為的影響，記為 (13.2.

43、10)稱為公共因子稱為公共因子Fj 對(duì)原始變量向量對(duì)原始變量向量 Z 的方差貢獻(xiàn)，是衡量公共因的方差貢獻(xiàn)，是衡量公共因子相對(duì)重要性的一個(gè)尺度，其值越大反映子相對(duì)重要性的一個(gè)尺度，其值越大反映 Fj 對(duì)原始變量向量對(duì)原始變量向量 Z 的方差貢獻(xiàn)也越大。的方差貢獻(xiàn)也越大。piijjlg122現(xiàn)在學(xué)習(xí)的是第四十四頁，共108頁45 因子分析的首要步驟是先確定因子載荷，或估計(jì)得到因因子分析的首要步驟是先確定因子載荷，或估計(jì)得到因子載荷矩陣子載荷矩陣L，注意在式（，注意在式（13.2.1）和式（）和式（13.2.2）中的）中的F1, F2, , Fm是不可觀測的隨機(jī)變量，因此因子載荷矩陣是不可觀測的隨機(jī)

44、變量，因此因子載荷矩陣L的估計(jì)方法都的估計(jì)方法都比較復(fù)雜，常用的方法有極大似然法、主成分法、迭代主成比較復(fù)雜，常用的方法有極大似然法、主成分法、迭代主成分方法、最小二乘法、分方法、最小二乘法、 因子提取法等。因子提取法等?，F(xiàn)在學(xué)習(xí)的是第四十五頁，共108頁46 如果假設(shè)公共因子如果假設(shè)公共因子 F 和特殊因子和特殊因子 服從正態(tài)分布，即服從正態(tài)分布，即F Nm(0, I)， Np(0, )，X1, X2, , Xp 的均值為的均值為 = ( 1, 2 , , p) ，則觀測值，則觀測值 X1, X2, , Xp 為來自正態(tài)總體為來自正態(tài)總體 Np( , ) 的樣本的樣本，可以采用極大似然法估計(jì)

45、因子載荷矩陣和特殊方差，似然函，可以采用極大似然法估計(jì)因子載荷矩陣和特殊方差，似然函數(shù)是數(shù)是 和和 的函數(shù)的函數(shù) L( , )。 由于由于 ，因此似然函數(shù)可以更清楚地表示為，因此似然函數(shù)可以更清楚地表示為L( , L, )，記，記( , L, )的估計(jì)量為 ，則有 （13.2.11）LL)(,L,),(max),(LLLL現(xiàn)在學(xué)習(xí)的是第四十六頁，共108頁47 用主成分法確定因子載荷，就是對(duì)隨機(jī)變量進(jìn)行主成分分用主成分法確定因子載荷，就是對(duì)隨機(jī)變量進(jìn)行主成分分析，把前面幾個(gè)主成分作為原始公共因子。其具體過程如下，析，把前面幾個(gè)主成分作為原始公共因子。其具體過程如下，設(shè)有設(shè)有 p 個(gè)變量個(gè)變量

46、Z = (Z1, Z2 , , Zp) ，可以求得從大到小排序的，可以求得從大到小排序的 p 個(gè)主成分個(gè)主成分Y1，Y2，Yp，根據(jù)，根據(jù)13.1節(jié)的內(nèi)容可知，原始變節(jié)的內(nèi)容可知，原始變量與主成分之間存在如下的關(guān)系：量與主成分之間存在如下的關(guān)系： （13.2.13）ppppppppZZZYYY2121222211121121現(xiàn)在學(xué)習(xí)的是第四十七頁，共108頁48 由于由于A =( 1, , , p) = (e1, e2, , ep) 為正交矩陣，則有為正交矩陣，則有 (13.2.14)如果在式（如果在式（13.2.13）中僅取前）中僅取前m個(gè)主成分，把其余的個(gè)主成分，把其余的 p-m 個(gè)主成分

47、用個(gè)主成分用特殊因子特殊因子 i 代替，則式（代替，則式（13.2.13）可以表示為）可以表示為 （13.2.15）式（式（13.2.15）與式（）與式（13.2.1）的形式一致，）的形式一致，Yi 表示主成分，因此相互表示主成分，因此相互獨(dú)立。獨(dú)立。 YAZpmmppppmmmmYYYZYYYZYYYZ2211222221122112211111現(xiàn)在學(xué)習(xí)的是第四十八頁，共108頁49 為了使為了使 Yi 符合式（符合式（13.2.3）假設(shè)的公共因子，需要將主成分）假設(shè)的公共因子，需要將主成分Yi 的方差轉(zhuǎn)變?yōu)榈姆讲钷D(zhuǎn)變?yōu)?。由。由13.1節(jié)的介紹可知，主成分方差為特征根節(jié)的介紹可知，主成分方

48、差為特征根 i，只，只需要將需要將 Yi 除以標(biāo)準(zhǔn)差除以標(biāo)準(zhǔn)差 即可，令即可，令， （13.2.16）則式（則式（13.2.15）轉(zhuǎn)變?yōu)椋海┺D(zhuǎn)變?yōu)椋?（13.2.17） 式（式（13.2.15）已與式（）已與式（13.2.1）不僅在形式上一致，而且完全）不僅在形式上一致，而且完全符合式（符合式（13.2.3）式（）式（13.2.5）的假設(shè)。由此就得到因子載荷矩）的假設(shè)。由此就得到因子載荷矩陣和一組初始公共因子。陣和一組初始公共因子。 iiiiYF/jiiijlpmpmpppmmmmFlFlFlZFlFlFlZFlFlFlZ2211222221212112121111現(xiàn)在學(xué)習(xí)的是第四十九頁，共1

49、08頁50 迭代主成分方法也叫主因子法，或主軸因子方法迭代主成分方法也叫主因子法，或主軸因子方法，是對(duì)主成分是對(duì)主成分法的一種修正。首先對(duì)原始變量進(jìn)行標(biāo)準(zhǔn)化處理，其相關(guān)矩陣與協(xié)方法的一種修正。首先對(duì)原始變量進(jìn)行標(biāo)準(zhǔn)化處理，其相關(guān)矩陣與協(xié)方差矩陣一致，使其因子模型滿足式（差矩陣一致，使其因子模型滿足式（13.2.1），根據(jù)式（），根據(jù)式（13.2.6）有）有 (13.2.18)令令 (13.2.19)稱稱R*為調(diào)整相關(guān)矩陣，或約相關(guān)矩陣。不妨設(shè)特殊因子為調(diào)整相關(guān)矩陣，或約相關(guān)矩陣。不妨設(shè)特殊因子 i 的方差的初的方差的初始估計(jì)為始估計(jì)為 i*，則有，則有hi*2 = 1- i* ，且相應(yīng)的樣本相

50、關(guān)矩陣為，且相應(yīng)的樣本相關(guān)矩陣為 ，則對(duì)應(yīng)，則對(duì)應(yīng)的約相關(guān)矩陣為的約相關(guān)矩陣為 (13.2.20)LLRLLRR*2*2122*2121122*1*ppppphrrrhrrrhRRR現(xiàn)在學(xué)習(xí)的是第五十頁，共108頁51 設(shè)設(shè) 的前的前m個(gè)特征值依次為個(gè)特征值依次為 1* 2* m* 0，相應(yīng)的正交單，相應(yīng)的正交單位特征向量為位特征向量為e1* , e2*, em*，則對(duì)應(yīng)的因子載荷矩陣，則對(duì)應(yīng)的因子載荷矩陣 L 的解為的解為 (13.2.21）根據(jù)式（根據(jù)式（13.2.21）和式（）和式（13.2.18），可以進(jìn)一步得到特殊因子方），可以進(jìn)一步得到特殊因子方差的最終估計(jì)量為差的最終估計(jì)量為 ,

51、 (13.2.22)如果希望得到擬合程度更好的解，則可以采用迭代的方法，即如果希望得到擬合程度更好的解，則可以采用迭代的方法，即利用式（利用式（13.2.22）得到的特殊因子方差估計(jì)量帶入式（）得到的特殊因子方差估計(jì)量帶入式（13.2.20）重）重復(fù)上述步驟，直到所求解比較穩(wěn)定為止。復(fù)上述步驟，直到所求解比較穩(wěn)定為止。*R*2*2*1*1,mmeeeLmjijiilh12211pi,2,1現(xiàn)在學(xué)習(xí)的是第五十一頁，共108頁52 下面介紹幾種求特殊因子方差和公共因子方差初始估計(jì)的幾種常用下面介紹幾種求特殊因子方差和公共因子方差初始估計(jì)的幾種常用方法：方法： （squared multiple c

52、orrelations，簡稱，簡稱SMC）方法）方法 SMC是比較常用的一種方法，令是比較常用的一種方法，令 ，其中，其中rii是是 的第的第i個(gè)對(duì)角元素，此時(shí)公共因子方差的估計(jì)值為個(gè)對(duì)角元素，此時(shí)公共因子方差的估計(jì)值為 它表示它表示 Xi 與其他與其他 p-1 個(gè)解釋變量之間的復(fù)相關(guān)系數(shù)。個(gè)解釋變量之間的復(fù)相關(guān)系數(shù)。 最大相關(guān)系數(shù)方法是用第最大相關(guān)系數(shù)方法是用第 i 個(gè)變量個(gè)變量 Xi 與其他變量相關(guān)系數(shù)絕與其他變量相關(guān)系數(shù)絕對(duì)值的最大值來估計(jì)，即令對(duì)值的最大值來估計(jì)，即令 ，其中，其中 rij 表示第表示第 i 個(gè)變個(gè)變量量 Xi 與第與第 j 個(gè)變量個(gè)變量 Xj 的相關(guān)系數(shù)。的相關(guān)系數(shù)。

53、iiir/1*1Riiiirh/111*2ijjiirh max2現(xiàn)在學(xué)習(xí)的是第五十二頁，共108頁53 該方法使用相關(guān)矩陣（或協(xié)方差矩陣）對(duì)角線元素的固定比例該方法使用相關(guān)矩陣（或協(xié)方差矩陣）對(duì)角線元素的固定比例 。特殊的可以取。特殊的可以取 =1，此時(shí)結(jié)果等同于主成分求解得到的結(jié)果。，此時(shí)結(jié)果等同于主成分求解得到的結(jié)果。 （partitioned covariance，簡稱簡稱PACE） 由于第由于第3種方法種方法PACE的估計(jì)量是非迭代的，因此，比較適合為的估計(jì)量是非迭代的，因此，比較適合為迭代估計(jì)方法提供初值。迭代估計(jì)方法提供初值。 特殊的直接取特殊的直接取 ，則，則 i*=0，此時(shí)得

54、到的，此時(shí)得到的 也是一個(gè)也是一個(gè)主成分解。主成分解。12*ihL現(xiàn)在學(xué)習(xí)的是第五十三頁，共108頁54 上述求解過程中重要的是如何確定公因子數(shù)目上述求解過程中重要的是如何確定公因子數(shù)目m，這是因子分，這是因子分析中最重要的一步。本小節(jié)將列出其中幾種常用的方法析中最重要的一步。本小節(jié)將列出其中幾種常用的方法 （Kaiser-Guttman Minimum Eigenvalue） Kaiser-Guttman規(guī)則也叫做規(guī)則也叫做“特征值大于特征值大于1”方法，是最常用的方法，是最常用的一種方法。只需要計(jì)算離差矩陣（相關(guān)矩陣、協(xié)方差矩陣）的特征值，一種方法。只需要計(jì)算離差矩陣（相關(guān)矩陣、協(xié)方差矩陣

55、）的特征值，特征值超過平均值的個(gè)數(shù)作為因子個(gè)數(shù)。特別地，對(duì)于相關(guān)矩陣，特征特征值超過平均值的個(gè)數(shù)作為因子個(gè)數(shù)。特別地，對(duì)于相關(guān)矩陣，特征值的均值為值的均值為1，所以通常取特征值大于，所以通常取特征值大于1的數(shù)作為公因子數(shù)。的數(shù)作為公因子數(shù)?，F(xiàn)在學(xué)習(xí)的是第五十四頁，共108頁55（Fraction of Total Variance） 選擇公因子個(gè)數(shù)選擇公因子個(gè)數(shù)m使得前使得前m個(gè)特征值的和超過公因子總方差的個(gè)特征值的和超過公因子總方差的某一門限值。這種方法多用于主成分分析方法，比較典型的是某一門限值。這種方法多用于主成分分析方法，比較典型的是這些成分構(gòu)成總方差的這些成分構(gòu)成總方差的95%（Ja

56、ckson, 1993）。）。（Minimum Average Partial） Velicer (1976) 提出的最小平均偏相關(guān)提出的最小平均偏相關(guān)(簡稱簡稱MAP)方法原理是方法原理是：給定：給定m個(gè)成分（個(gè)成分（m = 0，1，p-1），計(jì)算偏相關(guān)系數(shù)平方的平），計(jì)算偏相關(guān)系數(shù)平方的平均值，應(yīng)保留因子的個(gè)數(shù)是使得平均值最小化的個(gè)數(shù)均值，應(yīng)保留因子的個(gè)數(shù)是使得平均值最小化的個(gè)數(shù)現(xiàn)在學(xué)習(xí)的是第五十五頁，共108頁56（Broken Stick） 分割線段模型的基本原理是：首先，計(jì)算離差矩陣中第分割線段模型的基本原理是：首先，計(jì)算離差矩陣中第j個(gè)最大個(gè)最大特征值對(duì)方差的貢獻(xiàn)度，然后計(jì)算從分割

57、線段分布得到的相特征值對(duì)方差的貢獻(xiàn)度，然后計(jì)算從分割線段分布得到的相應(yīng)的期望值應(yīng)的期望值 。當(dāng)前者超過后者時(shí)，所對(duì)應(yīng)的。當(dāng)前者超過后者時(shí)，所對(duì)應(yīng)的j即為應(yīng)該保留的因即為應(yīng)該保留的因子個(gè)數(shù)（子個(gè)數(shù)（Jackson, 1993）。）。（Parallel Analysis） 平行分析模擬使用的數(shù)據(jù)與原始數(shù)據(jù)有著相同方差和觀測值個(gè)數(shù)平行分析模擬使用的數(shù)據(jù)與原始數(shù)據(jù)有著相同方差和觀測值個(gè)數(shù)，是由隨機(jī)生成器生成的獨(dú)立隨機(jī)變量數(shù)據(jù)集。計(jì)算模擬數(shù)據(jù)的，是由隨機(jī)生成器生成的獨(dú)立隨機(jī)變量數(shù)據(jù)集。計(jì)算模擬數(shù)據(jù)的Pearson協(xié)方差和相關(guān)矩陣及其特征值。只要原始數(shù)據(jù)的特征協(xié)方差和相關(guān)矩陣及其特征值。只要原始數(shù)據(jù)的特征

58、值超過模擬數(shù)據(jù)的對(duì)應(yīng)值，相應(yīng)的個(gè)數(shù)將作為保留因子數(shù)值超過模擬數(shù)據(jù)的對(duì)應(yīng)值，相應(yīng)的個(gè)數(shù)將作為保留因子數(shù)現(xiàn)在學(xué)習(xí)的是第五十六頁，共108頁57 采用極大似然估計(jì)模型時(shí)，假設(shè)公共因子和特殊因子均采用極大似然估計(jì)模型時(shí)，假設(shè)公共因子和特殊因子均服從正態(tài)分布，而正態(tài)分布的假定，可以幫助我們構(gòu)造模型服從正態(tài)分布，而正態(tài)分布的假定，可以幫助我們構(gòu)造模型充分性的檢驗(yàn)。設(shè)提取充分性的檢驗(yàn)。設(shè)提取m個(gè)公共因子的模型成立，則檢驗(yàn)個(gè)公共因子的模型成立，則檢驗(yàn)m個(gè)公共因子的充分性等價(jià)于檢驗(yàn)個(gè)公共因子的充分性等價(jià)于檢驗(yàn) （13.2.27） 對(duì)應(yīng)的備擇假設(shè)對(duì)應(yīng)的備擇假設(shè) H1 為為 是任意其他的正定矩陣。是任意其他的正定矩

59、陣。LL:0H現(xiàn)在學(xué)習(xí)的是第五十七頁，共108頁58 在原假設(shè)成立的條件下可以構(gòu)造下面的似然比統(tǒng)計(jì)量在原假設(shè)成立的條件下可以構(gòu)造下面的似然比統(tǒng)計(jì)量 （13.2.28）其中其中 Sn 表示協(xié)方差矩陣的極大似然估計(jì)；表示協(xié)方差矩陣的極大似然估計(jì)； ，其，其中中 和和 分別表示分別表示 L 和和 的極大似然估計(jì)量，而的極大似然估計(jì)量，而 是是 的極大似然估計(jì)量。式（的極大似然估計(jì)量。式（13.2.28）的統(tǒng)計(jì)量服從）的統(tǒng)計(jì)量服從 2分布。分布。 特別的，特別的，Bartlett在在1954年證明了年證明了-2ln 抽樣分布的抽樣分布的 2近似近似可以用多重因子（可以用多重因子（n-1- (2p+4m

60、+5)/6）代替式（）代替式（13.2.28）中的）中的n。nnSlnln2LLLLLLL現(xiàn)在學(xué)習(xí)的是第五十八頁，共108頁59 利用利用Bartlett修正，只要修正，只要n和和n- p大，若大，若 （13.2.29） 則在顯著性水平則在顯著性水平 下拒絕原假設(shè)下拒絕原假設(shè) H0，認(rèn)為，認(rèn)為 m 個(gè)因子是不充個(gè)因子是不充分的。式（分的。式（13.2.29）表示的）表示的 2統(tǒng)計(jì)量也稱為統(tǒng)計(jì)量也稱為Bartlett 2統(tǒng)計(jì)量。由統(tǒng)計(jì)量。由于式（于式（13.2.29）中的自由度必須大于）中的自由度必須大于0，進(jìn)一步化簡可以得到，進(jìn)一步化簡可以得到 （13.2.30）在選擇在選擇 m 時(shí)，必須根據(jù)上述方法