第六章 因子分析

第六章因子分析6.1因子分析的基本思想6.2因子載荷的求解6.3因子分析的基本步驟6.4因子分析的上機(jī)實(shí)現(xiàn)因子分析（factoranalysis）模型是主成分分析的推廣。它也是利用降維的思想，由研究原始變量相關(guān)矩陣內(nèi)部的依賴關(guān)系出發(fā)，把一些具有錯(cuò)綜復(fù)雜關(guān)系的變量歸結(jié)為少數(shù)幾個(gè)綜合因子的一種多變量統(tǒng)計(jì)分析方法。相對于主成分分析，因子分析更傾向于描述原始變量之間的相關(guān)關(guān)系；因此，因子分析的出發(fā)點(diǎn)是原始變量的相關(guān)矩陣。因子分析的思想始于1904年CharlesSpearman對學(xué)生考試成績的研究。近年來，隨著電子計(jì)算機(jī)的高速發(fā)展，人們將因子分析的理論成功地應(yīng)用于心理學(xué)、醫(yī)學(xué)、氣象、地質(zhì)、經(jīng)濟(jì)學(xué)等各個(gè)領(lǐng)域，也使得因子分析的理論和方法更加豐富。本章主要介紹因子分析的基本理論及方法，運(yùn)用因子分析方法分析實(shí)際問題的主要步驟及因子分析的上機(jī)實(shí)現(xiàn)等內(nèi)容。

1.因子分析的基本思想

因子分析的基本思想是根據(jù)相關(guān)性大小把原始變量分組，使得同組內(nèi)的變量之間相關(guān)性較高，而不同組的變量間的相關(guān)性則較低。每組變量代表一個(gè)基本結(jié)構(gòu)，并用一個(gè)不可觀測的綜合變量表示，這個(gè)基本結(jié)構(gòu)就稱為公共因子。

例如：如何反應(yīng)物價(jià)變動(dòng)的情況？對各種商品的價(jià)格做全面調(diào)查固然可以達(dá)到目的，但不可取。實(shí)際上，某一類商品中其價(jià)格之間存在明顯的相關(guān)性，只要選擇幾種主要商品的價(jià)格或?qū)@幾種商品的價(jià)格進(jìn)行綜合——綜合商品的價(jià)格（因子），就足以反映某一類物價(jià)的變動(dòng)情況。只要抓住少數(shù)幾個(gè)主要因子（代表經(jīng)濟(jì)變量間的相互依賴的一種經(jīng)濟(jì)作用），就可以幫助我們對復(fù)雜的經(jīng)濟(jì)問題進(jìn)行分析和解釋。6.1

因子分析的基本思想1、一個(gè)典型案例：1904年Spearman研究了33名學(xué)生在古典語(C)、法語(F)、英語(E)、數(shù)學(xué)(M)、判別(D)和音樂(Mu)這6門考試成績的相關(guān)性，得到如右的相關(guān)矩陣R：

2.

因子分析的基本理論及模型

CFEMDMuC10.830.780.70.660.63F0.8310.670.670.650.57E0.780.6710.640.540.51M0.70.670.6410.450.51D0.660.650.540.4510.4Mu0.630.570.510.510.41數(shù)據(jù)Xi都是標(biāo)準(zhǔn)化后的標(biāo)準(zhǔn)化指標(biāo)，E(Xi)=0，D(Xi)=1

他從中發(fā)現(xiàn)了一個(gè)有趣的規(guī)律：任意兩列的元素（不考慮對角元素）大致成比例。

則每一科的考試成績都遵從以下形式：

其中F是公共因子，對各科考試成績都有影響，均值為0，方差為1。ei是特殊因子，僅對某科有影響，且F與ei相互獨(dú)立。

在上述的假設(shè)條件下，

斯皮爾曼最初使用因子分析方法對學(xué)生的考試成績進(jìn)行研究時(shí)，發(fā)現(xiàn)學(xué)生的古典文學(xué)、法語、英語、數(shù)學(xué)、判別以及音樂測驗(yàn)成績相關(guān)，這些成績變量的相關(guān)性表明存在一個(gè)潛在的“智力”因子。因子分析方法就是要確認(rèn)原始變量與潛在因子之間的這樣一種結(jié)構(gòu)是否存在。3.

一般因子分析模型

下面給出更為一般的因子分析模型：設(shè)有n個(gè)樣品，每個(gè)樣品觀測p個(gè)指標(biāo)，這p個(gè)指標(biāo)之間有較強(qiáng)的相關(guān)性（只有相關(guān)性較強(qiáng)才能從原始變量中提取出“公共”因子）。

為了便于研究，并消除量綱及數(shù)量級不同造成的影響，將樣本觀察數(shù)據(jù)標(biāo)準(zhǔn)化，不失一般性，記：Xi，即E(Xi)=0，D(Xi)=1。F1,F2,...,Fm表示標(biāo)準(zhǔn)化的公共因子，即E(Fi)=0,D(Fi)=1。因子分析模型的條件：(1)是可觀測的隨機(jī)向量。

是不可觀測的量。則模型稱為因子模型，模型的矩陣形式為：式中Ａ為因子載荷矩陣。

公因子F1公因子F2x1=代數(shù)10.8960.341x2=代數(shù)20.8020.496x3=幾何0.5160.855x4=三角0.8410.444x5=解析幾何0.8330.434因子分析案例該案例是對數(shù)學(xué)專業(yè)的五門專業(yè)課進(jìn)行相關(guān)性因子分析F1體現(xiàn)邏輯思維和運(yùn)算能力，F(xiàn)2體現(xiàn)空間思維和推理能力

(1)因子負(fù)荷量（或稱因子載荷）----是指因子結(jié)構(gòu)中原始變量與因子分析時(shí)抽取出的公共因子的相關(guān)程度。即aij是Ｘi與Ｆj的協(xié)方差4.幾種統(tǒng)計(jì)量的統(tǒng)計(jì)意義

注意：

在各公共因子不相關(guān)的前提下，（載荷矩陣中第i行，第j列的元素）是隨機(jī)變量xi與公共因子Fj的相關(guān)系數(shù)，表示xi依賴于Fj的程度。反映了第i個(gè)原始變量在第j個(gè)公共因子上的相對重要性。因此

絕對值越大，則公共因子Fj與原有變量xi的關(guān)系越強(qiáng)。

(2)共同度----又稱共性方差或公因子方差（community或commonvariance）就是觀測變量的方差中由公因子決定的比例。當(dāng)因子正交時(shí)，等于每個(gè)公共因子之負(fù)荷量的平方總和（一行中所有因素負(fù)荷量的平方和）。變量的共同度是因子載荷矩陣的第i行的元素的平方和。記為

從共同性的大小可以判斷這個(gè)原始實(shí)測變量與公共因子間之關(guān)系程度。特殊因子方差（剩余方差）----各變量的特殊因素影響大小就是1減掉該變量共同度的值。統(tǒng)計(jì)意義：兩邊求方差

所有的公共因子和特殊因子對變量Ｘｉ的貢獻(xiàn)為1。反映了全部公共因子對變量Xi的影響，是全部公共因子對變量方差所做出的貢獻(xiàn)，或者說Xi對公共因子的共同依賴程度，稱為公共因子對變量Xi的方差貢獻(xiàn)。

接近于1，表明該變量的原始信息幾乎都被選取的公共因子說明了。特殊因子的方差，反映了原有變量方差中無法被公共因子描述的比例。

公因子F1公因子F2共同度hi特殊因子δix1=代數(shù)10.8960.3410.9190.081x2=代數(shù)20.8020.4960.8890.111x3=幾何0.5160.8550.9970.003x4=三角0.8410.4440.9040.096x5=解析幾何0.8330.4340.8820.118第一個(gè)觀測變量共同度：同時(shí)，它的剩余方差是：

（3）特征值----是第j個(gè)公共因子Fj對于X的每一分量Xi所提供的方差的總和。又稱第j個(gè)公共因子的方差貢獻(xiàn)。即每個(gè)變量與某一共同因子之因子負(fù)荷量的平方總和（因子載荷矩陣中某一公共因子列所有因子負(fù)荷量的平方和）。

如右案例中F1的特征值：如上案例中F1的貢獻(xiàn)率為3.113/5=62.26%（4）方差貢獻(xiàn)率實(shí)際中更常用的指標(biāo)：方差貢獻(xiàn)率（指每個(gè)因子所解釋的方差占所有變量總方差的比例，即公共因子對實(shí)測變量的貢獻(xiàn)）變量方差貢獻(xiàn)率=特征值Ｇ／ｐ，是衡量公共因子相對重要性的指標(biāo)，Gi越大，表明公共因子Fj對Ｘ的貢獻(xiàn)越大，該因子的重要程度越高

公因子F1公因子F2共同度hi特殊因子δix1=代數(shù)10.8960.3410.9190.081x2=代數(shù)20.8020.4960.8890.111x3=幾何0.5160.8550.9970.003x4=三角0.8410.4440.9040.096x5=解析幾何0.8330.4340.8820.118特征值G3.1131.4794.9590.409方差貢獻(xiàn)率（變異量）62.26%29.58%91.85%

聯(lián)系：（1）因子分析是主成分分析的推廣，是主成分分析的逆問題。（2）二者都是以‘降維’為目的，都是從協(xié)方差矩陣或相關(guān)系數(shù)矩陣出發(fā)。

區(qū)別：（1）主成分分析模型是原始變量的線性組合，是將原始變量加以綜合、歸納，僅僅是變量變換；而因子分析是將原始變量加以分解，描述原始變量協(xié)方差矩陣結(jié)構(gòu)的模型；只有當(dāng)提取的公因子個(gè)數(shù)等于原始變量個(gè)數(shù)時(shí)，因子分析才對應(yīng)變量變換。（2）主成分分析，中每個(gè)主成分對應(yīng)的系數(shù)是唯一確定的；因子分析中每個(gè)因子的相應(yīng)系數(shù)即因子載荷不是唯一的。（3）因子分析中因子載荷的不唯一性有利于對公共因子進(jìn)行有效解釋；而主成分分析對提取的主成分的解釋能力有限。

目的不同！一個(gè)側(cè)重降維，一個(gè)側(cè)重解釋！

5.主成分分析分析與因子分析的聯(lián)系和差異6.2

因子載荷的求解1.因子載荷矩陣求解的方法：

（1）主成分分析法（2）主軸因子法（3）極大似然法（4）最小二乘法（5）a因子提取法（6）映象分析法

在此主要介紹主成分分析法和主軸因子法。

一、主成分分析法假定從相關(guān)矩陣出發(fā)求解主成分，設(shè)有p個(gè)變量，則我們可以找出p個(gè)主成分。將所得的p個(gè)主成分按由大到小的順序排列，記為

,則主成分與原始變量之間存在如下關(guān)系式：式中，rij是隨機(jī)向量X的相關(guān)矩陣的特征值所對應(yīng)的特征向量的分量，因?yàn)樘卣飨蛄勘舜苏?，從X到Y(jié)的轉(zhuǎn)換關(guān)系是可逆的，很容易得出由Y到X的轉(zhuǎn)換關(guān)系為：對上面每一等式只保留前m個(gè)主要成分而把后面的部分用代替，則上式變?yōu)椋荷鲜皆谛问缴弦呀?jīng)與因子模型相一致，且之間相互獨(dú)立，為了把轉(zhuǎn)化成合適的公共因子，現(xiàn)在要做的工作是把主成分變?yōu)榉讲顬?的變量。則將除以其標(biāo)準(zhǔn)差，則上式變?yōu)椋哼@與因子模型完全一致，這樣就得到了載荷矩陣A和一組初始公共因子。則載荷矩陣A的一個(gè)解為：共同度的估計(jì)為：那么如何確定公因子的數(shù)目m呢？一般而言，這取決于問題的研究者本人，對于同一問題進(jìn)行因子分析時(shí)，不同的研究者可能會給出不同的公因子數(shù)；當(dāng)然，有時(shí)候由數(shù)據(jù)本身的特征可以很明確地確定出因子數(shù)目。當(dāng)用主成分法進(jìn)行因子分析時(shí)，也可以借鑒確定主成分個(gè)數(shù)的準(zhǔn)則，如所選取的公因子的信息量的和達(dá)到總體信息量的一個(gè)合適比例為止。但對這些準(zhǔn)則不應(yīng)生搬硬套，應(yīng)按具體問題具體分析，總之要使所選取的公因子能夠合理地描述原始變量相關(guān)陣的結(jié)構(gòu)，同時(shí)要有利于因子模型的解釋。二、主軸因子法

是對主成分方法的修正，假定我們首先對變量進(jìn)行標(biāo)準(zhǔn)化變換。則：式中，A為因子載荷矩陣；為一對角陣，其對角元素為相應(yīng)特殊因子的方差。則稱為調(diào)整相關(guān)矩陣，顯然R*的主對角元素不再是1，而是共同度。

分別求解R*的特征值與標(biāo)準(zhǔn)正交特征向量，進(jìn)而求出因子載荷矩陣A。假設(shè)R*有m個(gè)正的特征值。設(shè)為R*的特征根，為對應(yīng)的標(biāo)準(zhǔn)正交化特征向量。則因子載荷矩陣A的一個(gè)主軸因子解為：2.因子旋轉(zhuǎn)由于因子載荷陣是不惟一的，由此引出了因子分析的第二根本步驟——因子旋轉(zhuǎn)。建立因子分析模型的目的不僅在于要找到公共因子，更重要的是知道每一個(gè)公共因子的意義，以便對實(shí)際問題進(jìn)行分析。然而我們得到的初始因子解中各主因子的典型代表量不是很突出，容易使因子的意義含糊不清，不便于對實(shí)際問題進(jìn)行分析。出于該種考慮，可以對初始公共因子進(jìn)行線性組合，即進(jìn)行因子旋轉(zhuǎn)，以期找到意義更為明確，實(shí)際意義更明顯的公共因子。經(jīng)過旋轉(zhuǎn)后，公共因子對Xi的貢獻(xiàn)并不改變，但由于載荷矩陣發(fā)生變化，公共因子本身就可能發(fā)生很大的變化，每一個(gè)公共因子對原始變量的貢獻(xiàn)不再與原來相同，從而經(jīng)過適當(dāng)?shù)男D(zhuǎn)我們就可以得到比較滿意的公共因子。（1）正交旋轉(zhuǎn)由初始載荷矩陣A右乘一正交矩陣得到。經(jīng)過正交旋轉(zhuǎn)得到的心的公共因子仍然保持彼此獨(dú)立的性質(zhì)。（2）斜交旋轉(zhuǎn)放棄了因子之間彼此獨(dú)立這個(gè)限制，可以得到更為簡潔的形式。無論是正交旋轉(zhuǎn)還是斜交旋轉(zhuǎn)，都應(yīng)當(dāng)使新的因子載荷系數(shù)要么盡可能地接近于0，要么盡可能地遠(yuǎn)離0.

因子旋轉(zhuǎn)包括兩種：3.因子得分

當(dāng)因子模型建立起來之后，我們往往需要反過來考察每一個(gè)樣品的性質(zhì)及樣品之間的相互關(guān)系。比如當(dāng)關(guān)于企業(yè)經(jīng)濟(jì)效益的因子模型建立起來之后，我們希望知道每一個(gè)企業(yè)經(jīng)濟(jì)效益的優(yōu)劣，或者把諸企業(yè)劃分歸類。這就需要進(jìn)行因子分析的第三步驟的分析，即因子得分。顧名思義，因子得分就是公共因子F