第六章 因子分析

第六章因子分析6.1因子分析的基本思想6.2因子載荷的求解6.3因子分析的基本步驟6.4因子分析的上機實現(xiàn)因子分析（factoranalysis）模型是主成分分析的推廣。它也是利用降維的思想，由研究原始變量相關(guān)矩陣內(nèi)部的依賴關(guān)系出發(fā)，把一些具有錯綜復(fù)雜關(guān)系的變量歸結(jié)為少數(shù)幾個綜合因子的一種多變量統(tǒng)計分析方法。相對于主成分分析，因子分析更傾向于描述原始變量之間的相關(guān)關(guān)系；因此，因子分析的出發(fā)點是原始變量的相關(guān)矩陣。因子分析的思想始于1904年CharlesSpearman對學(xué)生考試成績的研究。近年來，隨著電子計算機的高速發(fā)展，人們將因子分析的理論成功地應(yīng)用于心理學(xué)、醫(yī)學(xué)、氣象、地質(zhì)、經(jīng)濟學(xué)等各個領(lǐng)域，也使得因子分析的理論和方法更加豐富。本章主要介紹因子分析的基本理論及方法，運用因子分析方法分析實際問題的主要步驟及因子分析的上機實現(xiàn)等內(nèi)容。

1.因子分析的基本思想

因子分析的基本思想是根據(jù)相關(guān)性大小把原始變量分組，使得同組內(nèi)的變量之間相關(guān)性較高，而不同組的變量間的相關(guān)性則較低。每組變量代表一個基本結(jié)構(gòu)，并用一個不可觀測的綜合變量表示，這個基本結(jié)構(gòu)就稱為公共因子。

例如：如何反應(yīng)物價變動的情況？對各種商品的價格做全面調(diào)查固然可以達到目的，但不可取。實際上，某一類商品中其價格之間存在明顯的相關(guān)性，只要選擇幾種主要商品的價格或?qū)@幾種商品的價格進行綜合——綜合商品的價格（因子），就足以反映某一類物價的變動情況。只要抓住少數(shù)幾個主要因子（代表經(jīng)濟變量間的相互依賴的一種經(jīng)濟作用），就可以幫助我們對復(fù)雜的經(jīng)濟問題進行分析和解釋。6.1

因子分析的基本思想1、一個典型案例：1904年Spearman研究了33名學(xué)生在古典語(C)、法語(F)、英語(E)、數(shù)學(xué)(M)、判別(D)和音樂(Mu)這6門考試成績的相關(guān)性，得到如右的相關(guān)矩陣R：

2.

因子分析的基本理論及模型

CFEMDMuC10.830.780.70.660.63F0.8310.670.670.650.57E0.780.6710.640.540.51M0.70.670.6410.450.51D0.660.650.540.4510.4Mu0.630.570.510.510.41數(shù)據(jù)Xi都是標(biāo)準(zhǔn)化后的標(biāo)準(zhǔn)化指標(biāo)，E(Xi)=0，D(Xi)=1

他從中發(fā)現(xiàn)了一個有趣的規(guī)律：任意兩列的元素（不考慮對角元素）大致成比例。

則每一科的考試成績都遵從以下形式：

其中F是公共因子，對各科考試成績都有影響，均值為0，方差為1。ei是特殊因子，僅對某科有影響，且F與ei相互獨立。

在上述的假設(shè)條件下，

斯皮爾曼最初使用因子分析方法對學(xué)生的考試成績進行研究時，發(fā)現(xiàn)學(xué)生的古典文學(xué)、法語、英語、數(shù)學(xué)、判別以及音樂測驗成績相關(guān)，這些成績變量的相關(guān)性表明存在一個潛在的“智力”因子。因子分析方法就是要確認(rèn)原始變量與潛在因子之間的這樣一種結(jié)構(gòu)是否存在。3.

一般因子分析模型

下面給出更為一般的因子分析模型：設(shè)有n個樣品，每個樣品觀測p個指標(biāo)，這p個指標(biāo)之間有較強的相關(guān)性（只有相關(guān)性較強才能從原始變量中提取出“公共”因子）。

為了便于研究，并消除量綱及數(shù)量級不同造成的影響，將樣本觀察數(shù)據(jù)標(biāo)準(zhǔn)化，不失一般性，記：Xi，即E(Xi)=0，D(Xi)=1。F1,F2,...,Fm表示標(biāo)準(zhǔn)化的公共因子，即E(Fi)=0,D(Fi)=1。因子分析模型的條件：(1)是可觀測的隨機向量。

是不可觀測的量。則模型稱為因子模型，模型的矩陣形式為：式中Ａ為因子載荷矩陣。

公因子F1公因子F2x1=代數(shù)10.8960.341x2=代數(shù)20.8020.496x3=幾何0.5160.855x4=三角0.8410.444x5=解析幾何0.8330.434因子分析案例該案例是對數(shù)學(xué)專業(yè)的五門專業(yè)課進行相關(guān)性因子分析F1體現(xiàn)邏輯思維和運算能力，F(xiàn)2體現(xiàn)空間思維和推理能力

(1)因子負(fù)荷量（或稱因子載荷）----是指因子結(jié)構(gòu)中原始變量與因子分析時抽取出的公共因子的相關(guān)程度。即aij是Ｘi與Ｆj的協(xié)方差4.幾種統(tǒng)計量的統(tǒng)計意義

注意：

在各公共因子不相關(guān)的前提下，（載荷矩陣中第i行，第j列的元素）是隨機變量xi與公共因子Fj的相關(guān)系數(shù)，表示xi依賴于Fj的程度。反映了第i個原始變量在第j個公共因子上的相對重要性。因此

絕對值越大，則公共因子Fj與原有變量xi的關(guān)系越強。

(2)共同度----又稱共性方差或公因子方差（community或commonvariance）就是觀測變量的方差中由公因子決定的比例。當(dāng)因子正交時，等于每個公共因子之負(fù)荷量的平方總和（一行中所有因素負(fù)荷量的平方和）。變量的共同度是因子載荷矩陣的第i行的元素的平方和。記為

從共同性的大小可以判斷這個原始實測變量與公共因子間之關(guān)系程度。特殊因子方差（剩余方差）----各變量的特殊因素影響大小就是1減掉該變量共同度的值。統(tǒng)計意義：兩邊求方差

所有的公共因子和特殊因子對變量Ｘｉ的貢獻為1。反映了全部公共因子對變量Xi的影響，是全部公共因子對變量方差所做出的貢獻，或者說Xi對公共因子的共同依賴程度，稱為公共因子對變量Xi的方差貢獻。

接近于1，表明該變量的原始信息幾乎都被選取的公共因子說明了。特殊因子的方差，反映了原有變量方差中無法被公共因子描述的比例。

公因子F1公因子F2共同度hi特殊因子δix1=代數(shù)10.8960.3410.9190.081x2=代數(shù)20.8020.4960.8890.111x3=幾何0.5160.8550.9970.003x4=三角0.8410.4440.9040.096x5=解析幾何0.8330.4340.8820.118第一個觀測變量共同度：同時，它的剩余方差是：

（3）特征值----是第j個公共因子Fj對于X的每一分量Xi所提供的方差的總和。又稱第j個公共因子的方差貢獻。即每個變量與某一共同因子之因子負(fù)荷量的平方總和（因子載荷矩陣中某一公共因子列所有因子負(fù)荷量的平方和）。

如右案例中F1的特征值：如上案例中F1的貢獻率為3.113/5=62.26%（4）方差貢獻率實際中更常用的指標(biāo)：方差貢獻率（指每個因子所解釋的方差占所有變量總方差的比例，即公共因子對實測變量的貢獻）變量方差貢獻率=特征值Ｇ／ｐ，是衡量公共因子相對重要性的指標(biāo)，Gi越大，表明公共因子Fj對Ｘ的貢獻越大，該因子的重要程度越高

公因子F1公因子F2共同度hi特殊因子δix1=代數(shù)10.8960.3410.9190.081x2=代數(shù)20.8020.4960.8890.111x3=幾何0.5160.8550.9970.003x4=三角0.8410.4440.9040.096x5=解析幾何0.8330.4340.8820.118特征值G3.1131.4794.9590.409方差貢獻率（變異量）62.26%29.58%91.85%

聯(lián)系：（1）因子分析是主成分分析的推廣，是主成分分析的逆問題。（2）二者都是以‘降維’為目的，都是從協(xié)方差矩陣或相關(guān)系數(shù)矩陣出發(fā)。

區(qū)別：（1）主成分分析模型是原始變量的線性組合，是將原始變量加以綜合、歸納，僅僅是變量變換；而因子分析是將原始變量加以分解，描述原始變量協(xié)方差矩陣結(jié)構(gòu)的模型；只有當(dāng)提取的公因子個數(shù)等于原始變量個數(shù)時，因子分析才對應(yīng)變量變換。（2）主成分分析，中每個主成分對應(yīng)的系數(shù)是唯一確定的；因子分析中每個因子的相應(yīng)系數(shù)即因子載荷不是唯一的。（3）因子分析中因子載荷的不唯一性有利于對公共因子進行有效解釋；而主成分分析對提取的主成分的解釋能力有限。

目的不同！一個側(cè)重降維，一個側(cè)重解釋！

5.主成分分析分析與因子分析的聯(lián)系和差異6.2

因子載荷的求解1.因子載荷矩陣求解的方法：

（1）主成分分析法（2）主軸因子法（3）極大似然法（4）最小二乘法（5）a因子提取法（6）映象分析法

在此主要介紹主成分分析法和主軸因子法。

一、主成分分析法假定從相關(guān)矩陣出發(fā)求解主成分，設(shè)有p個變量，則我們可以找出p個主成分。將所得的p個主成分按由大到小的順序排列，記為

,則主成分與原始變量之間存在如下關(guān)系式：式中，rij是隨機向量X的相關(guān)矩陣的特征值所對應(yīng)的特征向量的分量，因為特征向量彼此正交，從X到Y(jié)的轉(zhuǎn)換關(guān)系是可逆的，很容易得出由Y到X的轉(zhuǎn)換關(guān)系為：對上面每一等式只保留前m個主要成分而把后面的部分用代替，則上式變?yōu)椋荷鲜皆谛问缴弦呀?jīng)與因子模型相一致，且之間相互獨立，為了把轉(zhuǎn)化成合適的公共因子，現(xiàn)在要做的工作是把主成分變?yōu)榉讲顬?的變量。則將除以其標(biāo)準(zhǔn)差，則上式變?yōu)椋哼@與因子模型完全一致，這樣就得到了載荷矩陣A和一組初始公共因子。則載荷矩陣A的一個解為：共同度的估計為：那么如何確定公因子的數(shù)目m呢？一般而言，這取決于問題的研究者本人，對于同一問題進行因子分析時，不同的研究者可能會給出不同的公因子數(shù)；當(dāng)然，有時候由數(shù)據(jù)本身的特征可以很明確地確定出因子數(shù)目。當(dāng)用主成分法進行因子分析時，也可以借鑒確定主成分個數(shù)的準(zhǔn)則，如所選取的公因子的信息量的和達到總體信息量的一個合適比例為止。但對這些準(zhǔn)則不應(yīng)生搬硬套，應(yīng)按具體問題具體分析，總之要使所選取的公因子能夠合理地描述原始變量相關(guān)陣的結(jié)構(gòu)，同時要有利于因子模型的解釋。二、主軸因子法

是對主成分方法的修正，假定我們首先對變量進行標(biāo)準(zhǔn)化變換。則：式中，A為因子載荷矩陣；為一對角陣，其對角元素為相應(yīng)特殊因子的方差。則稱為調(diào)整相關(guān)矩陣，顯然R*的主對角元素不再是1，而是共同度。

分別求解R*的特征值與標(biāo)準(zhǔn)正交特征向量，進而求出因子載荷矩陣A。假設(shè)R*有m個正的特征值。設(shè)為R*的特征根，為對應(yīng)的標(biāo)準(zhǔn)正交化特征向量。則因子載荷矩陣A的一個主軸因子解為：2.因子旋轉(zhuǎn)由于因子載荷陣是不惟一的，由此引出了因子分析的第二根本步驟——因子旋轉(zhuǎn)。建立因子分析模型的目的不僅在于要找到公共因子，更重要的是知道每一個公共因子的意義，以便對實際問題進行分析。然而我們得到的初始因子解中各主因子的典型代表量不是很突出，容易使因子的意義含糊不清，不便于對實際問題進行分析。出于該種考慮，可以對初始公共因子進行線性組合，即進行因子旋轉(zhuǎn)，以期找到意義更為明確，實際意義更明顯的公共因子。經(jīng)過旋轉(zhuǎn)后，公共因子對Xi的貢獻并不改變，但由于載荷矩陣發(fā)生變化，公共因子本身就可能發(fā)生很大的變化，每一個公共因子對原始變量的貢獻不再與原來相同，從而經(jīng)過適當(dāng)?shù)男D(zhuǎn)我們就可以得到比較滿意的公共因子。（1）正交旋轉(zhuǎn)由初始載荷矩陣A右乘一正交矩陣得到。經(jīng)過正交旋轉(zhuǎn)得到的心的公共因子仍然保持彼此獨立的性質(zhì)。（2）斜交旋轉(zhuǎn)放棄了因子之間彼此獨立這個限制，可以得到更為簡潔的形式。無論是正交旋轉(zhuǎn)還是斜交旋轉(zhuǎn)，都應(yīng)當(dāng)使新的因子載荷系數(shù)要么盡可能地接近于0，要么盡可能地遠離0.

因子旋轉(zhuǎn)包括兩種：3.因子得分

當(dāng)因子模型建立起來之后，我們往往需要反過來考察每一個樣品的性質(zhì)及樣品之間的相互關(guān)系。比如當(dāng)關(guān)于企業(yè)經(jīng)濟效益的因子模型建立起來之后，我們希望知道每一個企業(yè)經(jīng)濟效益的優(yōu)劣，或者把諸企業(yè)劃分歸類。這就需要進行因子分析的第三步驟的分析，即因子得分。顧名思義，因子得分就是公共因子F