多元統(tǒng)計學因子分析

多元統(tǒng)計學因子分析第一頁，共二十六頁，編輯于2023年，星期五1.用較少的因子表示原來的變量；2.目的是盡可能保持原變量相互關系(結(jié)構(gòu))原則下;尋找變量的公共因子。3.參數(shù)估計，指定幾個公因子，將其還原成相關系數(shù)矩陣，在和原樣本相關矩陣最相似（最大似然法）原則下，估計各個公因子的估計值。4.應用：找到具有本質(zhì)意義的少量因子來歸納原來變量的特征（因子降維、潛在因子）2第二頁，共二十六頁，編輯于2023年，星期五3因子分析是指研究從變量群中提取共性因子的統(tǒng)計技術(shù)。最早由英國心理學家C.E.斯皮爾曼提出。他發(fā)現(xiàn)學生的各科成績之間存在著一定的相關性，一科成績好的學生，往往其他各科成績也比較好，從而推想是否存在某些潛在的共性因子，或稱某些一般智力條件影響著學生的學習成績。因子分析可在許多變量中找出隱藏的具有代表性的因子。將相同本質(zhì)的變量歸入一個因子，可減少變量的數(shù)目，還可檢驗變量間關系的假設。第三頁，共二十六頁，編輯于2023年，星期五例子：稻米品質(zhì)評價

例如，在作物的產(chǎn)量、品質(zhì)性狀研究中，我們可以通過一些指標構(gòu)成的評價體系，評價作物在各個方面（每個方面可能含有幾個指標、或變量）的優(yōu)劣。加工精度、水分、雜質(zhì)、糠粉、礦物質(zhì)、稗粒、谷粒、小碎米、不完善粒、氣味、色澤、籽粒長、長寬比、陰糯率、白度、堊白率、堊白度、透明度、堿消值、膠稠度、直鏈淀粉、蛋白質(zhì)、氣味、色澤、形態(tài)、適口性、滋味、食味評價4這么多的指標，能否歸納為若干個方面(公因子)第四頁，共二十六頁，編輯于2023年，星期五5第五頁，共二十六頁，編輯于2023年，星期五6

因子分析的數(shù)學模型為：

原變量被表示為公共因子的線性組合，當載荷矩陣旋轉(zhuǎn)之后，公共因子可以做出解釋，通常的情況下，我們還想反過來把公共因子表示為原變量的線性組合。

因子得分函數(shù)：可見，要求得每個因子的得分，必須求得分函數(shù)的系數(shù)，而由于p>m，所以不能得到精確的得分，只能通過估計。第六頁，共二十六頁，編輯于2023年，星期五

7

如果有3個公因子，稱它們是不可觀測的潛在因子（假想變量）。我們研究的多個變量共享這三個因子，但是每個變量又有自己的個性，不被包含的部分，稱為特殊因子：第七頁，共二十六頁，編輯于2023年，星期五8

因子分析與主成分分析區(qū)別主成分分析僅僅是變量變換，而因子分析需要構(gòu)造（假想變量）的因子模型。主成分分析:原始變量的線性組合表示新的綜合變量，即主成分；因子分析：潛在的假想變量和隨機影響變量的線性組合表示原始變量。第八頁，共二十六頁，編輯于2023年，星期五

常用的公共因子參數(shù)估計方法9（一）主成分分析法

（二）主因子法（三）極大似然估計法（正態(tài)分布）（四）最小二乘法哪個方法好，不同數(shù)據(jù)不一樣，須根據(jù)DPS提供的統(tǒng)計檢驗來確定。第九頁，共二十六頁，編輯于2023年，星期五因子旋轉(zhuǎn)

因子分析不僅僅要找出公共因子以及對變量進行分組，更重要的要知道每個公共因子的意義，以便進一步分析，如果每個公共因子含義不清，則不便于實際背景解釋。由于因子載荷陣是不惟一的，所以應該對因子載荷陣進行旋轉(zhuǎn)－－使因子載荷陣結(jié)構(gòu)簡化，即載荷矩陣每列或行的元素平方值向0和1兩極分化。10第十頁，共二十六頁，編輯于2023年，星期五什么時候使用斜交旋轉(zhuǎn)一般情況下，對因子載荷實施正交旋轉(zhuǎn)；如果正交旋轉(zhuǎn)之后，因子載荷0－1兩極分化還不是很理想，這時可以試試斜交旋轉(zhuǎn)的方法。11第十一頁，共二十六頁，編輯于2023年，星期五

因子得分

12

用公共因子來還原樣本點的空間結(jié)構(gòu)（類似主成分分析）。

得到的因子作為自變量來做回歸分析,用于對樣本進行分類或評價。第十二頁，共二十六頁，編輯于2023年，星期五因子分析流程圖13初始因子模型正交旋轉(zhuǎn)或斜交旋轉(zhuǎn)因子命名、構(gòu)造模型及評價KMO,Bartlett球形檢驗,判斷是否適宜作因子分析計算相關系數(shù)矩陣因子個數(shù)確定1.累計貢獻,2.Kaiser-Guffman3.ScreeTest,4.BartlettTest因子提取方法1.PC法,2.主因子法3.最大似然法,4.不加權(quán)LS法5.主軸因子法,6.Alpha第十三頁，共二十六頁，編輯于2023年，星期五因子分析例子14數(shù)學 物理 化學 語文 歷史 英語65 61 72 84 81 7977 77 76 64 70 5567 63 49 65 67 5780 69 75 74 74 6374 70 80 84 81 7478 84 75 62 71 6466 71 67 52 65 5777 71 57 72 86 7183 100 79 41 67 5086 94 97 51 63 5574 80 88 64 73 6667 84 53 58 66 5681 62 69 56 66 5271 64 94 52 61 5278 96 81 80 89 7669 56 67 75 94 8077 90 80 68 66 6084 67 75 60 70 6362 67 83 71 85 77第十四頁，共二十六頁，編輯于2023年，星期五提取方法和因子個數(shù)15第十五頁，共二十六頁，編輯于2023年，星期五因子分析主要結(jié)果16RMS=0.004479平均絕對偏差=0.003633相關系數(shù)擬合偏差均小于0.05顯著性水平p=0.68887該因子模型可接受。擬合指數(shù)Q=0.94268BARTLETT修正卡方=0.39057df=4p值=0.98324旋轉(zhuǎn)方法:VarimaxwithKaiserNormalization因子載荷矩陣因子1因子2共同度特殊方差簡化因子1因子2數(shù)學-0.3480.7960.7550.245數(shù)學0.796物理-0.1950.7150.5490.451物理0.715化學-0.2110.6910.5210.479化學0.691語文0.847-0.3830.8640.136語文0.847歷史0.852-0.2420.7850.215歷史0.852英語0.870-0.2500.8190.181英語0.870方差貢獻2.4041.890累計貢獻%40.06371.556第十六頁，共二十六頁，編輯于2023年，星期五相關系數(shù)矩陣的還原情況17相關矩陣估計值(下三角)0.760.640.550.620.530.52-0.60-0.44-0.440.86-0.49-0.34-0.350.810.79-0.50-0.35-0.360.830.800.82相關矩陣殘差R(下三角)(0.2448)0.00(0.4508)0.000.01(0.4785)-0.010.010.00(0.1364)0.000.000.000.00(0.2149)0.00-0.010.000.000.00(0.1812)第十七頁，共二十六頁，編輯于2023年，星期五如何確定一個“正確”的因子模型？

因子分析，用哪種方法提取共因子，以及提取多少個公因子？文獻已有方法都不是很管用。DPS提出了一個確定因子估計方法和提取公因子個數(shù)的統(tǒng)計檢驗方法：檢驗統(tǒng)計量越大，p值越大(最好大于0.05)，這時的因子估計方法和提取公因子個數(shù)的組合越好。18第十八頁，共二十六頁，編輯于2023年，星期五學生6門功課成績相關系數(shù)矩陣(LawleyandMaxwell,1971)GaelicEnglishHistoryArithmeticAlgebraGeometryGaelic10.4390.4100.2880.3290.248English0.43910.3510.3540.3200.329History0.4100.35110.1640.1900.181Arithmetic0.2880.3540.16410.5950.470Algebra0.3290.3200.1900.59510.464Geometry0.2480.3290.1810.4700.464119學生6門功課成績相關系數(shù)矩陣(LawleyandMaxwell,1971)第十九頁，共二十六頁，編輯于2023年，星期五Testingonthefittedmodel20提取方法檢驗項目2個公因子3個公因子PCAW-value0.89480.8864P-value0.07940.0584Q-index0.53260.4129PFAW-value0.9326負特征值P-value0.2983Q-index0.7472MLW-value0.94390.8706P-value0.43340.0046Q-index0.89090.7653ULSW-value0.92770.9556P-value0.25230.617Q-index0.8760.9118第二十頁，共二十六頁，編輯于2023年，星期五

提取2個公因子時，4種公因子提取方法得到的結(jié)果，其殘差都可通過方法正態(tài)性檢驗，即可認為模型擬合良好、殘差為白噪聲。這時得到的公因子模型結(jié)構(gòu)相同。6個變量中的Gaelic,English,History為一個公因子，即文科因子；另外3個變量，Arithmetic，Algebra和Geometry為另一個公因子，即理科因子。21第二十一頁，共二十六頁，編輯于2023年，星期五如果對公因子模型進一步細分，提取3個公因子。這時出PF方法因有負特征值而不能提取3個公因子外，用其余3種方法分別提取了3個公因子結(jié)構(gòu)模型。這3個公因子結(jié)構(gòu)模型中，應用ML法提取的公因子模型，其殘差正態(tài)性檢驗得到的統(tǒng)計量＝0.8706，p=0.0046,因p<0.05,故可認為該公因子模型擬合不好，該公因子結(jié)構(gòu)模型不合適。實際上，應用ML方法提取3個公因子時，它將原來的文科公因子中的English和Gaelic、History分開，這樣明顯的是不合理的。22第二十二頁，共二十六頁，編輯于2023年，星期五Loadingmatrix23ML(p=0.0046)ULS(p=0.6170)PCA(p=0.0584)因子1因子2因子3因子1因子2因子3因子1因子2因子3Gaelic0.34140.68420.7045English0.95180.55230.8726History0.98040.57850.9457Arithmetic0.74220.86740.8136Algebra0.76600.58560.8159Geometry0.57000.93230.7686第二十三頁，共二十六頁，編輯于2023年，星期五其它兩種提取方法，ULS和PCA，提取得到的公因子模型，統(tǒng)計檢驗(p>0.05)，故他們都可認為是可接受的。從實際意義來看，文科中的History和語言(English、Gaelic)分開，理科中的形象思維(Geometry)和抽象思維(Arithmetic，Algebra)分開都具有一定的合理性。只不過應用本文提出的鑒別方法認為，應用ULS提取得到的公因子更合理一些。24第二十四頁，共二十六頁，編輯于2023年，星期五因子分析一般用于市場調(diào)研

在市場調(diào)研中，研究人員關心的是一些