研究方法因子分析

1、因子分析前言 因子分析方法的實(shí)際作用已為廣大實(shí)際工作所證實(shí)。但并非每次運(yùn)用它都是成功的。有時(shí)，特別是針對(duì)多維變量所做的因子分析，難以有清晰的解釋。因此，有的實(shí)際工作者開始懷疑因子分析方法的科學(xué)性。但同時(shí)，不同的人針對(duì)相同的數(shù)據(jù)所做的因子分析。解釋其結(jié)果卻又不盡相同。有的人通過因子分析能給出問題近乎完美的答案。于是，又有人稱因子分析是一種“藝術(shù)” 因子分析因此也變得神秘起來了。因子分析到底是藝術(shù)還是科學(xué)呢？ 因子分析的統(tǒng)計(jì)思想 在實(shí)踐中，往往收集到的數(shù)據(jù)是多指標(biāo)的。各指標(biāo)之間通常不是獨(dú)立的，或多或少存在著一定程度的關(guān)系。因子分析的目的是通過少數(shù)幾個(gè)變量去描述這眾多變量見的協(xié)方差關(guān)系。這少數(shù)幾個(gè)變

2、量是潛在的，但不能觀察的。我們稱之為因子。1以相關(guān)為基礎(chǔ)在所收集到的眾多變量中，必定存在某些是高度相關(guān)的，把這些高度相關(guān)的變量組成各組。這樣同一組內(nèi)變量具有高度相關(guān)，而與其他的各組變量卻只有較小的相關(guān)或是不相關(guān)。這些組內(nèi)高度相關(guān)的變量可以設(shè)想是一個(gè)共同的東西在影響著它們而導(dǎo)致高度相關(guān)。這個(gè)共同的東西稱之為公共因子。如前所述，這些公共因子是潛在但不能觀測的。 2通過協(xié)方差來實(shí)現(xiàn)因子分析是以相關(guān)為基礎(chǔ)，從協(xié)方差或相關(guān)陣開始把大部分變異歸結(jié)為少數(shù)幾個(gè)公共因子所為。把剩余的部分稱為特殊因子。3作用：尋求基本結(jié)構(gòu)、數(shù)據(jù)化簡通過因子分析，可以用幾個(gè)較小的有實(shí)際意義的因子來反映原來數(shù)據(jù)的基本結(jié)構(gòu)。例如：例1

3、：Linden對(duì)二戰(zhàn)以來奧運(yùn)會(huì)十項(xiàng)全能比賽的得分作了研究，將100米、跳遠(yuǎn)、鉛球、跳高、400米、110米欄、鐵餅、撐桿跳、標(biāo)槍、1500米的成績歸結(jié)到短跑速度、爆發(fā)性臂力、爆發(fā)性腿力、耐力四個(gè)方面。 例2：公司面試，從簡歷、外貌、專業(yè)能力、討人喜歡的能力、自信心、洞察力、誠實(shí)、理解力等15個(gè)方面進(jìn)行打分，最后歸結(jié)外申請(qǐng)者的外露能力、受歡迎程度、工作經(jīng)驗(yàn)、專業(yè)能力這四個(gè)方面通過因子分析，可以用少數(shù)幾個(gè)因子代替原來的變量做回歸分析÷據(jù)類分析等。正交因子模型分析1模型的直觀描述 既然因子分析的目的是用少數(shù)幾個(gè)稱之為公共因子的因子去描述眾多變量間協(xié)方差關(guān)系。巡著這一思路，針對(duì)每一個(gè)具體的變

4、量。去掉共同的東西剩余的變異部分由兩個(gè)部分組成，一個(gè)是公共因子的貢獻(xiàn)的部分，另一個(gè)就是剩余的部分，即特殊因子。須提醒一下，這里特殊因子與公共因子不應(yīng)相關(guān)。直觀上，若公共因子與特殊因子相關(guān)則說明特殊因子中還可以抽出共同的東西到公共部分。由此可見模型中公共因子與特殊因子是不相關(guān)的。2正交因子模型的數(shù)學(xué)表達(dá)式 考慮個(gè)成分的隨機(jī)觀測向量。因子模型要求線性相依，其中有m個(gè)公共因子f1 f2.fm 和特殊因子組成。具體如下： 如果fi與fj相互獨(dú)立（ij），則稱該因子模型為正交因子模型。正交因子模型具有如下特性：x的方差可表示為:（）hi2是m個(gè)公共因子對(duì)第i個(gè)變量的貢獻(xiàn)，稱為第i個(gè)共同度（communa

5、lity）或共性方差，公因子方差（common variance）（）i稱為特殊方差（specific variance），是不能由公共因子解釋的部分因子負(fù)載aij是隨機(jī)變量xi與公共因子fj的相關(guān)系數(shù)。稱gj2為公共因子fj對(duì)x的“貢獻(xiàn)”，是衡量公共因子fj重要性的一個(gè)指標(biāo)。3因子分析的步驟l 輸入原始數(shù)據(jù)xn*p，計(jì)算均值和方差，進(jìn)行標(biāo)準(zhǔn)化計(jì)算l 求樣本相關(guān)系數(shù)矩陣R=(rij)p*pl 求相關(guān)系數(shù)矩陣的特征根i (1,2,p>0)和相應(yīng)的標(biāo)準(zhǔn)正交的特征向量B, 求出負(fù)載矩陣，負(fù)載矩陣還有其他的求法：1. 最小二乘法2. 極大似然估計(jì)法3. 主軸因子法4. a 法因子提取法5. 映象

6、分析法l 確定公共因子數(shù)：1. 由特征根大于1所對(duì)應(yīng)的長度為以的特征響亮，來計(jì)算公共因子的負(fù)載2. 碎石準(zhǔn)則：把特征更從大到小繪在坐標(biāo)圖上，把特征根減少速度變緩的特征根都刪掉。l 計(jì)算公共因子的共性方差hi2l 對(duì)載荷矩陣進(jìn)行旋轉(zhuǎn)，以求能更好地解釋公共因子l 對(duì)公共因子作出專業(yè)性的解釋4正交因子模型的幾點(diǎn)解釋1、“正交因子模型”中“正交”一詞。意味著各個(gè)公共因子間是不相關(guān)的。這一點(diǎn)是來自于因子分析初始思想。在“正交因子模型”統(tǒng)計(jì)思想中曾提到：“組內(nèi)高度相關(guān)”而“組間相關(guān)性很小”這表明各個(gè)組受制于不同的因子。到底小到什么程度才算“小”呢？這是個(gè)模糊的概念，在實(shí)際應(yīng)用中不易確定。于是表現(xiàn)在模型中就

7、把它理想化為不相關(guān)即公共因子間是獨(dú)立的。2、因子分析不易解釋的原因 許多實(shí)際工作者在按正交因子模型做完因子分析后，總會(huì)得到摸棱兩可的解釋。其根本原因出在“正交”上。正交因子模型是個(gè)理想化的模型。它要求公共因子間不相關(guān)，然而現(xiàn)實(shí)問題中，這些公共因子并非完全不相關(guān)的（可能相關(guān)性很?。＿@樣就出現(xiàn)了現(xiàn)實(shí)問題同模型間的矛盾。依因子分析模型把事實(shí)上存在關(guān)系的變量“強(qiáng)行”讓它們不相關(guān)。但用正交模型做的結(jié)果，卻要用實(shí)際收集到的數(shù)據(jù)去解釋。于是，實(shí)際問題與模型的矛盾導(dǎo)致解釋上的麻煩。這一點(diǎn)我們將在后面的例中看到。因子旋轉(zhuǎn)與因子解釋的藝術(shù) 在實(shí)際應(yīng)用因子分析中出現(xiàn)了難以解釋的現(xiàn)象，根本原因是模型同實(shí)際數(shù)據(jù)的矛盾

8、，而其直接原因表現(xiàn)在因子對(duì)變量的貢獻(xiàn)不明確。我們可以通過下圖來說明這一情況，于是設(shè)想在不改變因子協(xié)方差結(jié)構(gòu)的情況下，通過旋轉(zhuǎn)坐標(biāo)軸來實(shí)現(xiàn)這一目的。（見圖1）1.旋轉(zhuǎn)的理論基礎(chǔ) 通過對(duì)載荷陣乘以一正交陣來實(shí)現(xiàn)因子旋轉(zhuǎn)。變換坐標(biāo)軸以后的因子模型的協(xié)方差結(jié)構(gòu)與原來相同，這為因子旋轉(zhuǎn)提供了堅(jiān)實(shí)的理論基礎(chǔ)。旋轉(zhuǎn)的目的是以達(dá)到較理想的解釋，通常通過最大方差旋轉(zhuǎn)來實(shí)現(xiàn)。此外因子旋轉(zhuǎn)還有：斜交旋轉(zhuǎn)、四分旋轉(zhuǎn)等等。圖13因子解釋的藝術(shù)對(duì)相同的數(shù)據(jù)做因子分析，結(jié)果會(huì)因人而異。解釋的是否妥當(dāng)與應(yīng)用者本人對(duì)因子分析把握程度有關(guān)也與分析者對(duì)實(shí)際問題所涉及的專業(yè)知識(shí)有關(guān)。下面以對(duì)二戰(zhàn)后，奧運(yùn)會(huì)十項(xiàng)全能運(yùn)動(dòng)數(shù)據(jù)的因子分析為

9、例來說明因子分析的藝術(shù)。每項(xiàng)得分經(jīng)標(biāo)準(zhǔn)化后所得的相關(guān)陣如下： 變量X因子載荷ML估計(jì)（未旋轉(zhuǎn)）特殊方差因子載荷ML估計(jì)（已旋轉(zhuǎn)）特殊方差 100米跳遠(yuǎn)鉛球跳高400米110米欄鐵餅撐桿跳高標(biāo)槍1500米-0.090 0.341 0.830 -0.1690.065 0.433 0.595 0.275-0.139 0.990 0.000 0.0000.156 0.406 0.336 0.4450.376 0.245 0.671 -0.137-0.021 0.361 0.425 0.388-0.063 0.728 0.030 0.0190.155 0.264 0.229 0.394-0.026 0.

10、441 -0.010 0.0980.998 0.059 0.000 0.0000.160.380.000.500.330.540.460.700.800.000.167 0.857 0.246 -0.1380.240 0.477 0.580 0.0110.966 0.154 0.200 -0.0580.242 0.173 0.632 0.1130.055 0.709 0.236 0.3300.205 0.261 0.589 -0.0710.697 0.133 0.180 -0.0090.137 0.078 0.513 0.1160.416 0.019 0.175 0.002-0.055 0.0

11、56 0.113 0.9900.160.380.000.500.330.540.460.700.800.00被解釋方差累積比0.12 0.37 0.55 0.610.18 0.34 0.50 0.61從主成分因子分析發(fā)現(xiàn)前四個(gè)特征值為3.78 1.52 1.11 0.91下旋轉(zhuǎn)前后起因子載荷與特殊方差對(duì)比如下表:未旋轉(zhuǎn)時(shí)，因子解釋：我們看到因子F1上唯有1500米有較大的載荷，而在其余的項(xiàng)目上載荷均較小，因此，可以稱F1為耐力因子。在第二因子F2上，鉛球，鐵餅，標(biāo)槍有較大的載荷因?yàn)檫@些項(xiàng)目都是投擲項(xiàng)目，可以歸結(jié)為手臂強(qiáng)壯因子。在第三因子F3上有較大載荷的是100米，400米，可以命之為速度因子

12、。但F4上各項(xiàng)均有不大的載荷，這樣F4的因子就不好命名。旋轉(zhuǎn)后，F(xiàn)1*上有較大載荷的是鉛球，鐵餅，都與手臂爆發(fā)力有關(guān)，可以將因子F1*命名感為爆發(fā)性臂力強(qiáng)度因子。而400米，100米在F2*上有高載荷，因?yàn)檫@兩項(xiàng)主要反映跑的速度的，故命之為跑的速度因子。F3*上有高載荷的是跳遠(yuǎn)，跳高，110米欄，撐桿跳高。通過比較發(fā)現(xiàn)這些項(xiàng)目主要反映腿部爆發(fā)力的，可以命之為腿部爆發(fā)性強(qiáng)度因子。在F4*上唯有1500米有較高的載荷可以命之為跑的耐力因子。比較旋轉(zhuǎn)前后，可以看到旋轉(zhuǎn)后載荷的重新分配更易于因子的解釋。盡管，F(xiàn)1*和F2*上也有不易解釋的高載荷現(xiàn)象（通常大于0.4都看成有較大的載荷），但同旋轉(zhuǎn)前比較起

13、來要清晰多了。我們看以下旋轉(zhuǎn)前，表中的載荷分布情況，跳遠(yuǎn)和跳高在F2均有較大的載荷。另外，在F3中跳遠(yuǎn)和110米欄均有高載荷，這些在旋轉(zhuǎn)前都不能有清晰的解釋。更甚至因子F4中均沒有較大的載荷，所以不能解釋。須提醒的一點(diǎn)是，跳高 ，110米欄，撐桿跳高，標(biāo)槍等幾個(gè)項(xiàng)目上，無論是旋轉(zhuǎn)前還是旋轉(zhuǎn)過以后均有較大的特殊方差（大于0.4）這說明，前幾個(gè)公共因子在解釋這些項(xiàng)目上并不理想。從這幾項(xiàng)體育運(yùn)動(dòng)本身的特點(diǎn)來看，這幾項(xiàng)均屬于技術(shù)性較強(qiáng)的項(xiàng)目，成績的好壞的關(guān)鍵在技術(shù)是否完善?？赡苓@幾項(xiàng)有著其他幾項(xiàng)所不具備的因子。因此才出現(xiàn)特殊方差較大的情況。由分析可以看出，稱因子分析是一種“藝術(shù)”亦不為過。小結(jié) 通過對(duì)

14、正交因子模型的分析，說明了正交因子模型的“理想化”同現(xiàn)實(shí)中的數(shù)據(jù)相矛盾導(dǎo)致了因子分析結(jié)果在解釋上的困難。表現(xiàn)在形式上就是載荷的分布不明確，給因子命名帶來了麻煩?？陀^上，在多數(shù)情況下實(shí)施因子旋轉(zhuǎn)可以使得結(jié)果有個(gè)較清晰的解釋。通常遵循方差最大準(zhǔn)則做因子旋轉(zhuǎn)直到因子分析在解釋上較滿意為止。但這不能從根本上消除其矛盾，從文中例子可以看出，無論怎么旋轉(zhuǎn)，總會(huì)有部分解釋不是很清爽，這是很正常的。我們期待因子旋轉(zhuǎn)后，能使較重要的變量有清晰的解釋就夠了。因子解釋的是否恰當(dāng)，不僅與數(shù)據(jù)本身性質(zhì)有關(guān)，而且與應(yīng)用者對(duì)專業(yè)知識(shí)的掌握以及因子分析技巧掌握程度有關(guān)。須提醒的是，因子分析以相關(guān)為基礎(chǔ)的，故有些數(shù)據(jù)不宜于因子分析