多元統(tǒng)計分析-因子分析

1、多元統(tǒng)計分析-因子分析1第四章 因子分析多元統(tǒng)計分析-因子分析2第一節(jié) 因子分析的基本思想多元統(tǒng)計分析-因子分析3因子分析的基本思想因子分析的基本思想n因子分析是根據(jù)相關矩陣內(nèi)部的依賴關系，把一些具有錯綜復雜關系的變量綜合為數(shù)量較少的幾個因子。通過不同因子來分析決定某些變量的本質(zhì)及其分類的一種統(tǒng)計方法。n簡單地說，就是根據(jù)相關性大小把變量分組，使得同組內(nèi)的變量之間相關性較高，不同組的變量相關性較低。每組變量代表一個基本結構，這個基本結構稱為因子。多元統(tǒng)計分析-因子分析4例如n某機關對其職員就以下6個方面進行考核，這6個方面是職員的詞匯、閱讀、寫作能力，以及數(shù)字、代數(shù)、微積分的運算能力。而這6個

2、方面可歸結為職員的語文能力和數(shù)學能力兩個方面。多元統(tǒng)計分析-因子分析5例如n某公司與48名申請工作的人進行面談，然后就申請人十五個方面進行打分，這十五個方面分別是：申請書的形式、外貌、學術能力、討人申請書的形式、外貌、學術能力、討人喜歡的能力、自信心、洞察力、誠實、推銷能喜歡的能力、自信心、洞察力、誠實、推銷能力、經(jīng)驗、工作積極性、抱負、理解能力、潛力、經(jīng)驗、工作積極性、抱負、理解能力、潛力、入圍公司的強烈程度、適應性。力、入圍公司的強烈程度、適應性。這15個方面可歸結為應聘者的外露能力、討人喜歡的能外露能力、討人喜歡的能力、經(jīng)驗、專業(yè)能力力、經(jīng)驗、專業(yè)能力這4個方面。多元統(tǒng)計分析-因子分析6

3、因子分析(factor analysis)是一種數(shù)據(jù)簡化的技術。它通過研究眾多變量之間的內(nèi)部依賴關系，探求觀測數(shù)據(jù)中的基本結構，并用少數(shù)幾個假想變量來表示其基本的數(shù)據(jù)結構。這幾個假想變量能夠反映原來眾多變量的主要信息。原始的變量是可觀測的顯在變量，而假想變量是不可觀測的潛在變量，稱為因子。 例如，在企業(yè)形象或品牌形象的研究中，消費者可以通過一個有24個指標構成的評價體系，評價百貨商場的24個方面的優(yōu)劣。多元統(tǒng)計分析-因子分析7但消費者主要關心的是三個方面，即商店的環(huán)境環(huán)境、商店的服務服務和商品的價格商品的價格。因子分析方法可以通過24個變量，找出反映商店環(huán)境、商店服務水平和商品價格的三個潛在的

4、因子，對商店進行綜合評價。而這三個公共因子可以表示為： iiiiiFFFX33221124, 1i 稱 是不可觀測的潛在因子潛在因子。24個變量共享這三個因子，但是每個變量又有自己的個性，不被包含的部分 ，稱為特殊因子特殊因子。321FFF、i多元統(tǒng)計分析-因子分析8注意：注意：n因子分析與回歸分析不同，因子分析中的因子是一個比較抽象的概念，而回歸因子有非常明確的實際意義。n主成分分析分析與因子分析也有不同，主成分分析僅僅是變量變換，而因子分析需要構造因子模型。n主成分分析：原始變量的線性組合表示新的綜合變量，即主成分。n因子分析：潛在的假想變量和隨機影響變量的線性組合表示原始變量。多元統(tǒng)計分

5、析-因子分析9第二節(jié)第二節(jié) 因子分析模型因子分析模型 一、數(shù)學模型一、數(shù)學模型)(2211pmFaFaFaXimimiii 設 個變量，如果表示為iX), 2 , 1(pippmpmppmmpFFFaaaaaaaaaXXX212121222211121121 AFX多元統(tǒng)計分析-因子分析10 稱為 公共因子，是不可觀測的變量，他們的系數(shù)稱為因子載荷。 是特殊因子，是不能被前m個公共因子包含的部分。并且滿足：mFFF,21icov( , )0,F,F即不相關；1 11212 122212()()()()()()cov()()()()()ppppppE FE FE FE FE FE FEE FE

6、FE FF,F0多元統(tǒng)計分析-因子分析11IFD111)(mFFF,21即 互不相關，方差為1。多元統(tǒng)計分析-因子分析1222221)(pD即互不相關，方差不一定相等， 。), 0(2iiN多元統(tǒng)計分析-因子分析13用矩陣的表達方式 AFXIFDFE)(, 0)(1 ）（),()(, 0)()2(22221pdiagDE0),cov()3(F多元統(tǒng)計分析-因子分析14 1 1、因子載荷、因子載荷 aij 的統(tǒng)計意義的統(tǒng)計意義 因子載荷因子載荷 是第是第i i個變量與第個變量與第j j個公共因子的相關系數(shù)個公共因子的相關系數(shù) ija模型為模型為 imimiiFaFaX11),cov(),cov(

7、1jikmkikjiFFaFXijFxaji （載荷矩陣中第（載荷矩陣中第i i行，第行，第j j列的元素）反映了列的元素）反映了第第i i個變量與第個變量與第j j個公共因子的相關性。絕對值越大，個公共因子的相關性。絕對值越大，相關的密切程度越高。相關的密切程度越高。),cov(),cov(1jijkmkikFFFaija 根據(jù)公共因子的模型性質(zhì)，有根據(jù)公共因子的模型性質(zhì)，有 三、三、 因子載荷矩陣中的幾個統(tǒng)計特征因子載荷矩陣中的幾個統(tǒng)計特征多元統(tǒng)計分析-因子分析15n 因子載荷不是惟一的 AFX*cov()()EF ,F 0且滿足因子模型的條件*FA)(FTATFTF*設T為一個pp 的正

8、交矩陣，令A*=AT， ，則模型可以表示為0)()()(*FETFTEFEITFDTFTDFD)()()(*),()(, 0)(22221pdiagDE多元統(tǒng)計分析-因子分析162 2、變量共同度的統(tǒng)計意義、變量共同度的統(tǒng)計意義統(tǒng)計意義統(tǒng)計意義：imimiiFaFaX11兩邊求方差兩邊求方差 )()()()(2121imimiiVarFVaraFVaraXVarmjiija1221 所有的公共因子和特殊因子對變量所有的公共因子和特殊因子對變量 的貢獻為的貢獻為1 1。如果。如果 非常非?？拷拷? 1， 非常小，則因子分析的效果好，從原變量空間到公共因非常小，則因子分析的效果好，從原變量空間到

9、公共因子空間的轉化性質(zhì)好。子空間的轉化性質(zhì)好。iXmjija122imjija12定義：變量定義：變量 的共同度是因子載荷矩陣的第的共同度是因子載荷矩陣的第i i行的元行的元素的平方和。記為素的平方和。記為iX。mjijiah122多元統(tǒng)計分析-因子分析17 3 3、公共因子、公共因子 方差貢獻的統(tǒng)計意義方差貢獻的統(tǒng)計意義jF因子載荷矩陣中各列元素的平方和 稱為所有的 對 的方差貢獻和。衡量的相對重要性。piijjag122), 1(mjjFiXjF多元統(tǒng)計分析-因子分析18第三節(jié)第三節(jié) 因子載荷矩陣的估計方法因子載荷矩陣的估計方法 設隨機向量 的均值為 ，協(xié)方差為 , 為的特征根， 為對應的

10、標準化特征向量，則pxxx,21x021pp21u,u,ul 主成分分析法主成分分析法UUp21多元統(tǒng)計分析-因子分析19 上式給出的 表達式是精確的，然而，它實際上是毫無價值的，因為我們的目的是尋求用少數(shù)幾個公共因子解釋，故略去后面的p-m項的貢獻，有21111mmmmmmp1122ppu uu uu uuuu up2uuuuuuppp21122111100p212ppuuuuuu多元統(tǒng)計分析-因子分析20 12 mmm1122AA +Du uu uu uD1121122 mmp mpmm p2uuuuuDAADu 上式有一個假定，模型中的特殊因子是不重要的，因而從 的分解中忽略了特殊因子的

11、方差。22212(,)pdiagD其中221miiiijjsa多元統(tǒng)計分析-因子分析21 AFX)()()(DAFADXD),(22221pdiagAA多元統(tǒng)計分析-因子分析22 例例 假定某地固定資產(chǎn)投資率假定某地固定資產(chǎn)投資率 ，通貨膨脹率，通貨膨脹率 ，失業(yè)，失業(yè)率率 ，相關系數(shù)矩陣為，相關系數(shù)矩陣為試用主成分分析法求因子分析模型。試用主成分分析法求因子分析模型。1x2x3x15/25/15/215/15/15/11多元統(tǒng)計分析-因子分析23 特征根為： 55. 11 85. 02 6 . 03 6 . 0707. 085. 0331. 055. 1629. 06 . 0707. 085

12、. 0331. 055. 1629. 0085. 0883. 055. 1475. 0A707. 0331. 0629. 0707. 0331. 0629. 00883. 0475. 0U548. 0305. 0783. 0548. 0305. 0783. 00814. 0569. 0多元統(tǒng)計分析-因子分析24 可取前兩個因子F1和F2為公共因子，第一公因子F1物價就業(yè)因子，對X的貢獻率為51.67%。第二公因子F2為投資因子，對X的貢獻為28.33%。共同度分別為1，。211814. 0569. 0FFx3212548. 0305. 0783. 0FFFx3213548. 0305. 078

13、3. 0FFFx多元統(tǒng)計分析-因子分析25第四節(jié)第四節(jié) 因子旋轉（正交變換）因子旋轉（正交變換） 因子分析的數(shù)學目的不僅僅要找出公共因子以及對變量進行分組，更重要的要知道每個公共因子的含義，以便進行進一步的分析。如果每個公共因子的含義不清，則不便于進行實際背景的解釋。由于因子載荷陣是不惟一的，所以應該對因子載荷陣進行旋轉。目的是使因子載荷陣的結構簡化，使載荷矩陣每列或行的元素平方值平方值向0和1兩極分化。主要的正交旋轉法有方差最大法和四次方最大法方差最大法和四次方最大法。（一）為什么要旋轉因子（一）為什么要旋轉因子多元統(tǒng)計分析-因子分析26 百米跑成績 跳遠成績 鉛球成績 跳高成績 400米跑

14、成績 百米跨欄 鐵餅成績 撐桿跳遠成績 標槍成績 1500米跑成績 1X2X3X4X5X6X7X8X9X10X奧運會十項全能運動項目奧運會十項全能運動項目得分數(shù)據(jù)的因子分析得分數(shù)據(jù)的因子分析 多元統(tǒng)計分析-因子分析27 因子載荷矩陣可以看出，除第一因子中所有的變量在公共因子上有較大的正載荷，可以稱為一般運動因子。其他的3個因子不太容易解釋。似乎是跑和投擲的能力對比，似乎是長跑耐力和短跑速度的對比。于是考慮旋轉因子，得下表 多元統(tǒng)計分析-因子分析28變量F1F2F3F4共同度X1X2X3X4X5X6X7X8X9X100.8840.6310.2450.2390.7970.4040.186-0.03

15、6-0.0480.0450.1360.1940.8250.1500.0750.1530.8140.1760.735-0.0410.1560.5150.2230.7500.1020.6350.1470.7620.1100.112-0.113-0.006-0.1480.0760.468-0.17-0.0790.2170.1410.9340.840.700.810.650.870.620.720.660.570.89多元統(tǒng)計分析-因子分析29 通過旋轉，因子有了較為明確的含義。通過旋轉，因子有了較為明確的含義。 百米跑，百米跑， 跳遠和跳遠和 400米跑，需要爆發(fā)力的項目在米跑，需要爆發(fā)力的項目在

16、有較大的有較大的載荷，載荷， 可以稱為短跑速度因子；可以稱為短跑速度因子； 鉛球，鉛球， 鐵餅和鐵餅和 標槍在標槍在 上有較大的載荷，可以上有較大的載荷，可以稱為爆發(fā)性臂力因子；稱為爆發(fā)性臂力因子； 百米跨欄，百米跨欄， 撐桿跳遠，撐桿跳遠， 跳遠和為跳遠和為 跳高在跳高在 上上有較大的載荷，有較大的載荷， 爆發(fā)腿力因子；爆發(fā)腿力因子； 為長跑耐力因子。為長跑耐力因子。2X5X1F1F3X7X9X2F6X8X2X4X3F3F4F1X多元統(tǒng)計分析-因子分析30（二）旋轉方法（二）旋轉方法 1、方差最大法方差最大法2、四次方最大旋轉四次方最大旋轉多元統(tǒng)計分析-因子分析31 1 1、方差最大法、方差

17、最大法 方差最大法從簡化因子載荷矩陣的每一列出發(fā)，使和每個因方差最大法從簡化因子載荷矩陣的每一列出發(fā)，使和每個因子有關的載荷值平方的方差最大。當只有少數(shù)幾個變量在某個子有關的載荷值平方的方差最大。當只有少數(shù)幾個變量在某個因子上有較高的載荷值時，對因子的解釋最簡單。因子上有較高的載荷值時，對因子的解釋最簡單。方差最大的直觀意義是希望通過因子旋轉后，使每個因子上的載荷值盡量拉開距離，一部分的載荷趨于1，另一部分趨于0。2122211211ppaaaaaaAppppFaFaXFaFaXFaFaX22112222121212121111多元統(tǒng)計分析-因子分析32cossinsincosT設旋轉矩陣為：

18、cossinsincosAATB則cossinsincoscossinsincos112112111211ppppaaaaaaaa211211ppbbbb多元統(tǒng)計分析-因子分析332221212211ppbbbb 21221222212112211111piipiipiipiibpbpbpbpVmax根據(jù)求極值的原理，使根據(jù)求極值的原理，使 0V，由此可求出因子軸旋轉角度，由此可求出因子軸旋轉角度多元統(tǒng)計分析-因子分析34當公共因子個數(shù)m2時，可以將上述m=2的方法用于21mm逐次對每兩個公共因子進行旋轉。每旋轉一次，V值就會增大，即V是單調(diào)不減的，并且V是有界的，因為因子載荷的絕對值不大于1

19、。因此，經(jīng)過若干次旋轉后，V變化相對就不大了，即可停止旋轉。對兩因子的旋轉，多元統(tǒng)計分析-因子分析35 2 2、四次方最大旋轉、四次方最大旋轉 四次方最大旋轉是從簡化載荷矩陣的行出發(fā)，通過四次方最大旋轉是從簡化載荷矩陣的行出發(fā)，通過旋轉初始因子，使每個變量只在一個因子上有較高的旋轉初始因子，使每個變量只在一個因子上有較高的載荷，而在其它的因子上盡可能低的載荷。載荷，而在其它的因子上盡可能低的載荷。如果每個變量只在一個因子上有非零的載荷，這時的因子解釋是最簡單的。 四次方最大法通過使因子載荷矩陣中每一行每一行的因子載荷平方的方差達到最大。多元統(tǒng)計分析-因子分析36max)(21122pimjii

20、jmhbQ簡化準則為：pimjiijiijpimjiijmhbmhbmhbQ112422421122)2()(pimjpimjiijpimjiijmhbmhb111124211242max114pimjijbQ最終的簡化準則為：pimjpiipiiijmhhmb11141442pimjpiiijhmb111441多元統(tǒng)計分析-因子分析37旋轉后因子的共同度旋轉后因子的共同度設 正交矩陣，做正交變換正交矩陣，做正交變換 AB )()(1mlljilppijabBmjmjmlljilijiabh111222)()(Bmjmlmjmlmltttjljitilljilaaa1111122)(21112

21、22Aimlmjmlilljilhaa旋轉后因子的共同度沒有發(fā)生變化！旋轉后因子的共同度沒有發(fā)生變化！多元統(tǒng)計分析-因子分析38旋轉后公共因子的方差貢獻旋轉后公共因子的方差貢獻設 正交矩陣，做正交變換正交矩陣，做正交變換 AB )()(1mlljilppijabB pipimlljilijjabS111222)()(Bpimlpimlmltttjljitilljilaaa1111122 pimlmlljjljilSa1112222)(A旋轉后公共因子的方差貢獻發(fā)生了變化！旋轉后公共因子的方差貢獻發(fā)生了變化！多元統(tǒng)計分析-因子分析39第五節(jié)第五節(jié) 因子得分因子得分 （一）因子得分的概念（一）因子

22、得分的概念 前面我們主要解決了用公共因子的線性組合來表示一組觀測變量的有關問題。如果我們要使用這些因子做其他的研究，比如把得到的因子作為自變量來做回歸分析，對樣本進行分類或評價，這就需要我們對公共因子進行測度，即給出公共因子的值。多元統(tǒng)計分析-因子分析40 因子分析的數(shù)學模型為： pmpmppmmpFFFaaaaaaaaaXXX212121222211121121 因子得分函數(shù)： pjpjjXXF11mj, 1可見，要求得每個因子的得分，必須求得分函數(shù)的系數(shù)，而由于pm，所以不能得到精確的得分，只能通過估計。多元統(tǒng)計分析-因子分析41 2、回歸、回歸法法 pmpmppmmpFFFaaaaaaa

23、aaXXX212121222211121121pjpjjxbxbF11mj, 1 pjpjjxxxbbb2121,1) 思想xbj jpjjjbbbb21其中其中多元統(tǒng)計分析-因子分析42),cov(jiFxijFxajipjpjixbxbx11,covipjpijijrbrbrb2211jpjjipiibbbrrr2121pjjjjpjjppppppaaabbbrrrrrrrrr2121212222111211mj, 1 多元統(tǒng)計分析-因子分析43pjjjjpjjppppppaaabbbrrrrrrrrr2121212222111211mj, 1 簡記為簡記為 jjaRb pjjjjaaaa

24、,21其中其中jjaRb1因此因此多元統(tǒng)計分析-因子分析44mmpmmppbbbbbbbbbbbbB21212222111211xRABxxbxbxbFFFFmm12121mpmppmmaaaaaaaaaaaaA21212222111211而因子載荷陣而因子載荷陣112112111RARaaaamRaRaRBm故故多元統(tǒng)計分析-因子分析45 人均要素變量因子分析人均要素變量因子分析。對我國31個省市自治區(qū)的要素狀況作因子分析。指標體系中有如下指標：X1 ：人口（萬人） X2 ：面積（萬平方公里）X3 ：GDP（億元） X4 ：人均水資源（立方米/人）X5：人均生物量（噸/人） X6：萬人擁有的

25、大學生數(shù)（人）X7：萬人擁有科學家、工程師數(shù)（人） Rotated Factor Pattern FACTOR1 FACTOR2 FACTOR3 X1 -0.21522 -0.27397 X2 X3 -0.15791 0.06334 X4 X5 X6 -0.11416 X7 -0.11041 多元統(tǒng)計分析-因子分析46 高載荷指標因子命名因子1X2；面積（萬平方公里）X4:人均水資源（立方米/人）X5:人均生物量（噸/人）自然資源因子因子2X6：萬人擁有的大學生數(shù)（人）X7：萬人擁有的科學家、工程師數(shù)（人） 人力資源因子 因子3 X1;人口（萬人）X3:GDP(億元)經(jīng)濟發(fā)展總量因子 X1=-

26、0.21522F1-0.27397F2+0.89092F3+ X2=0.63973F1-0.28739F2-0.28755F3+ X3=-0.15791F1+0.06334F2+0.94855F3+ X4=0.95898F1-0.01501F2-0.07556F3 X5=0.97224F1-0.06778F2-0.17535F3 X6=-0.11416F1+0.98328F2-0.08300F3 X7=-0.11041F1+0.97851F2-0.07246F31234567多元統(tǒng)計分析-因子分析47 Standardized Scoring Coefficients FACTOR1 FACT

27、OR2 FACTOR3 X2 0.22724 X3 0.14635 X4 0.47920 X5 0.45583 X6 0.05416 X7 0.05790 多元統(tǒng)計分析-因子分析48REGION FACTOR1FACTOR2FACTOR3beijing-0.081694.23473-0.37983tianjin-0.474221.31789-0.87891hebei-0.22192-0.358020.86263shanxi1-0.48214-0.32643-0.54219neimeng0.54446-0.66668-0.92621liaoning-0.205110.463770.34087ji

28、lin-0.214990.10608-0.57431heilongj 0.10839-0.11717-0.02219shanghai-0.200692.38962-0.04259前三個因子得分多元統(tǒng)計分析-因子分析49國民生活質(zhì)量的因素分析國民生活質(zhì)量的因素分析 國家發(fā)展的最終目標，是為了全面提高全體國民的生活質(zhì)量，滿足廣大國民日益增長的物質(zhì)和文化的合理需求。在可持續(xù)發(fā)展消費的統(tǒng)一理念下，增加社會財富，創(chuàng)自更多的物質(zhì)文明和精神文明，保持人類的健康延續(xù)和生生不息，在人類與自然協(xié)同進化的基礎上，維系人類與自然的平衡，達到完整的代際公平和區(qū)際公平(即時間過程的最大合理性與空間分布的最大合理化)。 從

29、1990年開始，聯(lián)合國開發(fā)計劃署(UYNP)首次采用“人文發(fā)展系數(shù)”指標對于國民生活質(zhì)量進行測度。人文發(fā)展系數(shù)利用三類內(nèi)涵豐富的指標組合，即人的健康狀況(使用出生時的人均預期壽命表達)、人的智力程度(使用組合的教育成就表達)、人的福利水平(使用人均國民收入或人均GDP表達)，并且特別強調(diào)三類指標組合的整體表達內(nèi)涵，去衡量一個國家或地區(qū)的社會發(fā)展總體狀況以及國民生活質(zhì)量的總水平。多元統(tǒng)計分析-因子分析50在這個指標體系中有如下的指標：在這個指標體系中有如下的指標：X1預期壽命預期壽命X2成人識字率成人識字率X3綜合入學率綜合入學率X4人均人均GDP（美元）（美元）X5預期壽命指數(shù)預期壽命指數(shù)X6

30、教育成就指數(shù)教育成就指數(shù)X7人均人均GDP指數(shù)指數(shù)多元統(tǒng)計分析-因子分析51 旋轉后的因子結構旋轉后的因子結構 Rotated Factor Pattern FACTOR1 FACTOR2 FACTOR3 X1 0.38129 X2 X3 X4 X5 0.43295 X6 X7 FACTOR1為經(jīng)濟發(fā)展因子經(jīng)濟發(fā)展因子 FACTOR2為教育成就因子教育成就因子 FACTOR3為健康水平因子健康水平因子多元統(tǒng)計分析-因子分析52被每個因子解釋的方差和共同度 Variance explained by each factor FACTOR1 FACTOR2 FACTOR3 X1 X2 X3 X4

31、X5 X6 X7 多元統(tǒng)計分析-因子分析53 Standardized Scoring Coefficients標準化得分系數(shù) FACTOR1 FACTOR2 FACTOR3 X6 -0.09230 0.62258 -0.24876 *6*5*4*3*2*109230. 017918. 05399. 035462. 024109. 018875. 01xxxxxxf*6*5*4*3*2*162258.031604.017336.050232.060335.034397.02xxxxxxf*6*5*4*3*2*124876. 081490. 010335. 059895. 010234. 085

32、077. 03xxxxxxf多元統(tǒng)計分析-因子分析54第六節(jié)第六節(jié) 因子分析的步驟、展望和建議因子分析的步驟、展望和建議 計算所選原始變量的相關系數(shù)矩陣計算所選原始變量的相關系數(shù)矩陣 相關系數(shù)矩陣描述了原始變量之間的相關關系。可以幫助判斷原始變量之間是否存在相關關系，這對因子分析是非常重要的，因為如果所選變量之間無關系，做因子分析是不恰當?shù)?。并且相關系數(shù)矩陣是估計因子結構的基礎。 選擇分析的變量選擇分析的變量 用定性分析和定量分析的方法選擇變量，因子分析的前提條件是觀測變量間有較強的相關性，因為如果變量之間無相關性或相關性較小的話，他們不會有共享因子,所以原始變量間應該有較強的相關性。一、因子分析通常包括以下五個步驟一、因子分析通常包括以下五個步驟多元統(tǒng)計分析-因子分析55 提取公共因子提取公共因子 這一步要確定因子求解的方法和因子的個數(shù)。需要根據(jù)研究者的設計方案或有關的經(jīng)驗或知識事先確定。因子個數(shù)的確定可以根據(jù)因子方差的大小。只取方差大于1(或特征值大于1)的那些因子，因為方差小于1的因子其貢獻可能很??；按照因子的累計方差貢獻率來確定，一般認為要達到70才能符合要求； 因子旋轉因子旋轉 通過坐標變換使每個原始變