因子分析方法

1、因子分析方法因子分析方法演講人：馬金芳演講人：馬金芳因子分析的基本概念因子分析的基本概念 因子分析的概念因子分析的概念 就是在盡可能不損失信息或少損失信息的情況下，將多個(gè)變量減少為 少數(shù)幾個(gè)潛在的因子。也就是用少數(shù)幾個(gè)因子來描述許多指標(biāo)或因素之間的聯(lián)系，以較少幾個(gè)因子來反映原資料的大部分信息的統(tǒng)計(jì)學(xué)分析方法主成分分析主成分分析（Principal component analysis）： 是因子分析的一個(gè)特例，是使用最多的因子提取方法。它通過坐標(biāo)變換手段，將原有的多個(gè)相關(guān)變量，做線性變化，轉(zhuǎn)換為另外一組不相關(guān)的變量。選取前面幾個(gè)方差最大的主成分，這樣達(dá)到了因子分析較少變量個(gè)數(shù)的目的，同時(shí)又能與

2、較少的變量反映原有變量的絕大部分的信息。兩者關(guān)系兩者關(guān)系：主成分分析（PCA）和因子分析（FA）是兩種把變量維數(shù)降低以便于描述、理解和分析的方法，而實(shí)際上主成分分析可以說是因子分析的一個(gè)特例因子分析的基本模型因子分析的基本模型因子分析模型中，假定每個(gè)原始變量由兩部分組成：因子分析模型中，假定每個(gè)原始變量由兩部分組成：共同因子和唯一因子。共同因子和唯一因子。共同因子是各個(gè)原始變量所共有的因子，解釋變量之間的相關(guān)關(guān)系。唯一因子顧名思義是每個(gè)原始變量所特有的因子，表示該變量不能被共同因子解釋的部分。原始變量與因子分析時(shí)抽出的共同因子的相關(guān)關(guān)系用因子負(fù)荷表示。 因子分析最常用的理論模式如下：（j=1,

3、2,3,n，n為原始變量總數(shù)）（1）Zj為第j個(gè)變量的標(biāo)準(zhǔn)化分?jǐn)?shù)；（2）Fi（i=1,2,m）為共同因素；（3）m為所有變量共同因素的數(shù)目；（4）Uj為變量的唯一因素；（5）aij為因素負(fù)荷量。用矩陣的形式表示為Z=AF+U F稱為因子，由于它們出現(xiàn)在每個(gè)原始變量的線性表達(dá)式（原始變量可以用Xj表示，這里模型中實(shí)際上是以F線性表示各個(gè)原始變量的標(biāo)準(zhǔn)化分?jǐn)?shù)Zj），因此又稱為公共因子. A稱為因子載荷矩陣， aji稱為因子載荷，是第j個(gè)原始變量在第i個(gè)因子上的負(fù)荷。 U稱為特殊因子，表示了原有變量不能被因子解釋的部分，其均值為0，相當(dāng)于多元線性回歸模型中的殘差。因子分析的特點(diǎn)因子分析的特點(diǎn)（1）因

4、子變量的數(shù)量遠(yuǎn)少于原有的指標(biāo)變量的數(shù)量，因而對因子變量的分析能夠減少分析中的工作量。（2）因子變量不是對原始變量的取舍，而是根據(jù)原始變量的信息進(jìn)行重新組構(gòu)，它能夠反映原有變量大部分的信息。（3）因子變量之間不存在顯著的線性相關(guān)關(guān)系，對變量的分析比較方便，但原始部分變量之間多存在較顯著的相關(guān)關(guān)系。（4）因子變量具有命名解釋性，即該變量是對某些原始變量信息的綜合和反映。因子分析數(shù)學(xué)模型中幾個(gè)相關(guān)概念因子分析數(shù)學(xué)模型中幾個(gè)相關(guān)概念1、因子載荷（因素負(fù)荷量）、因子載荷（因素負(fù)荷量）因子載荷就是因素結(jié)構(gòu)中，原始變量與因素分析時(shí)抽取出共同因素的相關(guān)。在因子不相關(guān)的前提下，因子載荷aji是變量Zj和因子Fi

5、的相關(guān)系數(shù)，反映了變量Zj與因子Fi之間的相關(guān)程度。因子載荷值aji小于等于1，絕對值越接近1，表明因子Fi與變量Zj的相關(guān)性越強(qiáng)。同時(shí)，因子載荷aji也反映了因子Fi對解釋變量Zj的重要作用和程度。當(dāng)要判斷一個(gè)因子的意義時(shí)，需要查看哪些變量的負(fù)荷達(dá)到了0.3或0.3以上2、變量共同度（共同性、變量共同度（共同性）一個(gè)因子解釋的是相關(guān)矩陣的方差，變量的方差由共同因子和唯一因子組成，可以表示成h+u2=1(h表示共同度，u2表示特殊因子的平方)。變量共同度就是指每個(gè)原始變量在每個(gè)共同因子的負(fù)荷量的平方和，是全部因子對變量方差解釋說明的比例。變量共同度h越接近1，說明因子全體解釋說明了變量Zj的較

6、大部分方差，如果用因子全體刻畫變量，則變量的信息丟失較少；共同性的意義在于說明如果用共同因子替代原始變量后，原始變量的信息被保留的程度。特殊因子U的平方，反應(yīng)了變量方差中不能由因子全體解釋說明的比例，越小則說明變量的信息丟失越少。因子分析數(shù)學(xué)模型中幾個(gè)相關(guān)概念因子分析數(shù)學(xué)模型中幾個(gè)相關(guān)概念 總之，變量的共同度刻畫了因子全體對變量信息解釋的程度，是評價(jià)變量信息丟失程度的重要指標(biāo)。 如果大多數(shù)原有變量的變量共同度均較高（如高于0.8），則說明提取的因子能夠反映原有變量的大部分信息（80以上）信息，僅有較少的信息丟失，因子分析的效果較好。因子，變量共同度是衡量因子分析效果的重要依據(jù)。2、變量共同度（

7、共同性）、變量共同度（共同性） 3、因子的方差貢獻(xiàn)（特征值）、因子的方差貢獻(xiàn)（特征值） 因子的方差貢獻(xiàn)（特征值）的數(shù)學(xué)定義為： 。 該 式表明，因子Fi的方差貢獻(xiàn)是因子載荷矩陣A中第i列元素的平方和。因子Fi的方差貢獻(xiàn)反映了因子Fi對原有變量總方差的解釋能力，（其解釋方差的大小成為因子的特征值）。 該值越高，說明相應(yīng)因子的重要性越高。因此，因子的方差貢獻(xiàn)和方差貢獻(xiàn)率是衡量因子重要性的關(guān)鍵指標(biāo)。因子分析數(shù)學(xué)模型中幾個(gè)相關(guān)概念因子分析數(shù)學(xué)模型中幾個(gè)相關(guān)概念舉例說明：因子分析數(shù)學(xué)模型中幾個(gè)相關(guān)概念因子分析數(shù)學(xué)模型中幾個(gè)相關(guān)概念因子分析的五大基本步驟因子分析的五大基本步驟第一步：因子分析的前提條件第一

8、步：因子分析的前提條件由于因子分析的主要任務(wù)之一是對原有變量進(jìn)行濃縮，即將原有變量中的信息重疊部分提取和綜合成因子，進(jìn)而最終實(shí)現(xiàn)減少變量個(gè)數(shù)的目的。因此它要求原有變量之間應(yīng)存在較強(qiáng)的相關(guān)關(guān)系。否則，如果原有變量相互獨(dú)立，相關(guān)程度很低，不存在信息重疊，它們不可能有共同因子，那么也就無法將其綜合和濃縮，也就無需進(jìn)行因子分析。本步驟正是希望通過各種方法分析原有變量是否存在相關(guān)關(guān)系，是否適合進(jìn)行因子分析。第一步：因子分析的前提條件第一步：因子分析的前提條件三種方法判斷數(shù)據(jù)是否適合作因子分析：計(jì)算相關(guān)系數(shù)矩陣 在進(jìn)行提取因子等分析步驟之前，應(yīng)對相關(guān)矩陣進(jìn)行檢驗(yàn)，如果相關(guān)矩陣中的大部分相關(guān)系數(shù)小于0.3，

9、則不適合作因子分析；當(dāng)原始變量個(gè)數(shù)較多時(shí)，一般不會(huì)采用此方法或即使采用了此方法，也不方便在結(jié)果匯報(bào)中給出原始分析報(bào)表。巴特利特球度檢驗(yàn) Bartlett球體檢驗(yàn)的目的是檢驗(yàn)相關(guān)矩陣是否是單位矩陣，如果是單位矩陣，則認(rèn)為因子模型不合適。一般說來，顯著水平值越小（0.05）表明原始變量之間越可能存在有意義的關(guān)系，如果顯著性水平很大（如0.10以上）可能表明數(shù)據(jù)不適宜于因子分析。KMOKMO測度的值越高（接近1.0時(shí)），表明變量間的共同因子越多，研究數(shù)據(jù)適合用因子分析。通常按以下標(biāo)準(zhǔn)解釋該指標(biāo)值的大小：KMO值達(dá)到0.9以上為非常好，0.80.9為好，0.70.8為一般，0.60.7為差，0.50.

10、6為很差。如果KMO測度的值低于0.5時(shí)，表明樣本偏小，需要擴(kuò)大樣本。第一步：因子分析的前提條件第一步：因子分析的前提條件三種方法判斷數(shù)據(jù)是否適合作因子分析：第二步：取共同因子，確定因子的數(shù)目和求因子解的方法第二步：取共同因子，確定因子的數(shù)目和求因子解的方法 因子抽取的方法最常使用的是主成份分析法，進(jìn)行主成份分析時(shí)，先要將每個(gè)變量的數(shù)值轉(zhuǎn)換成標(biāo)準(zhǔn)值。原則上，因子的數(shù)目與原始變量的數(shù)目相同，但抽取了主要的因子之后，如果剩余的方差很小，就可以放棄其余的因子，以達(dá)到簡化數(shù)據(jù)的目的。 因子數(shù)目的確定常用的方法是借助一是特征值準(zhǔn)則，二是碎石圖檢驗(yàn)準(zhǔn)則。 特征值準(zhǔn)則就是選取特征值大于或等于1的主成份作為初

11、始因子，而放棄特征值小于1的主成份。 散點(diǎn)曲線的特點(diǎn)是由高到低，先陡后平，最后幾乎成一條直線。曲線開始變平的前一個(gè)點(diǎn)被認(rèn)為是提取的最大因子數(shù)。后面的散點(diǎn)類似于山腳下的碎石，可舍棄而不會(huì)丟失很多信息。第三步：使因子更具有命名可解釋性（因子旋轉(zhuǎn)）第三步：使因子更具有命名可解釋性（因子旋轉(zhuǎn)） 通常最初因素抽取后，對因素?zé)o法作有效的解釋。這時(shí)往往需要進(jìn)行因子旋轉(zhuǎn)，通過坐標(biāo)變換使因子解的意義更容易解釋。 轉(zhuǎn)軸的目的在于改變題項(xiàng)在各因素負(fù)荷量的大小，轉(zhuǎn)軸時(shí)根據(jù)題項(xiàng)與因素結(jié)構(gòu)關(guān)系的密切程度，調(diào)整各因素負(fù)荷量的大小，轉(zhuǎn)軸后，使得變量在每個(gè)因素的負(fù)荷量不是變大（接近1）就是變得更小（接近0），而非轉(zhuǎn)軸前在每個(gè)因

12、素的負(fù)荷量大小均差不多，這就使對共同因子的命名和解釋變量變得更容易。 轉(zhuǎn)軸后，每個(gè)共同因素的特征值會(huì)改變，但每個(gè)變量的共同性不會(huì)改變。因子旋轉(zhuǎn)的方法（1）方差最大正交旋轉(zhuǎn)（varimax orthogonal rotation）n 基本思想：使公共因子的相對負(fù)荷（lij/hi2）的方差之和最大，且保持原公共因子的正交性和公共方差總和不變。n 可使每個(gè)因子上的具有最大載荷的變量數(shù)最小，因此可以簡化對因子的解釋。（2）斜交旋轉(zhuǎn)n 因子斜交旋轉(zhuǎn)后，各因子負(fù)荷發(fā)生了較大變化，出現(xiàn)了兩極分化。各因子間不再相互獨(dú)立，而彼此相關(guān)。各因子對各變量的貢獻(xiàn)的總和也發(fā)生了改變。n 適用于大數(shù)據(jù)集的因子分析。第三步：使因子更具有命名可解釋性（因子旋轉(zhuǎn)第三步：使因子更具有命名可解釋性（因子旋轉(zhuǎn)）第四步：決定因素與命名第四步：