因子分析分解課件

1、第六章 因子分析6.1 因子分析的基本思想6.2 因子載荷的求解6.3 因子分析的基本步驟6.4 因子分析的上機(jī)實現(xiàn)第1頁，共36頁。 因子分析（factor analysis）模型是主成分分析的推廣。它也是利用降維的思想，由研究原始變量相關(guān)矩陣內(nèi)部的依賴關(guān)系出發(fā)，把一些具有錯綜復(fù)雜關(guān)系的變量歸結(jié)為少數(shù)幾個綜合因子的一種多變量統(tǒng)計分析方法。相對于主成分分析，因子分析更傾向于描述原始變量之間的相關(guān)關(guān)系；因此，因子分析的出發(fā)點是原始變量的相關(guān)矩陣。因子分析的思想始于1904年Charles Spearman對學(xué)生考試成績的研究。近年來，隨著電子計算機(jī)的高速發(fā)展，人們將因子分析的理論成功地應(yīng)用于心理

2、學(xué)、醫(yī)學(xué)、氣象、地質(zhì)、經(jīng)濟(jì)學(xué)等各個領(lǐng)域，也使得因子分析的理論和方法更加豐富。本章主要介紹因子分析的基本理論及方法，運用因子分析方法分析實際問題的主要步驟及因子分析的上機(jī)實現(xiàn)等內(nèi)容。 第2頁，共36頁。 1. 因子分析的基本思想 因子分析的基本思想是根據(jù)相關(guān)性大小把原始變量分組，使得同組內(nèi)的變量之間相關(guān)性較高，而不同組的變量間的相關(guān)性則較低。每組變量代表一個基本結(jié)構(gòu)，并用一個不可觀測的綜合變量表示，這個基本結(jié)構(gòu)就稱為公共因子。 例如：如何反應(yīng)物價變動的情況？ 對各種商品的價格做全面調(diào)查固然可以達(dá)到目的，但不可取。 實際上，某一類商品中其價格之間存在明顯的相關(guān)性，只要選擇幾種主要商品的價格或?qū)@幾

3、種商品的價格進(jìn)行綜合綜合商品的價格（因子），就足以反映某一類物價的變動情況。只要抓住少數(shù)幾個主要因子（代表經(jīng)濟(jì)變量間的相互依賴的一種經(jīng)濟(jì)作用），就可以幫助我們對復(fù)雜的經(jīng)濟(jì)問題進(jìn)行分析和解釋。6.1 因子分析的基本思想第3頁，共36頁。1、一個典型案例：1904年Spearman研究了33名學(xué)生在古典語(C)、法語(F)、英語(E)、數(shù)學(xué)(M)、判別(D)和音樂(Mu)這6門考試成績的相關(guān)性，得到如右的相關(guān)矩陣R： 2. 因子分析的基本理論及模型CFEMDMuC10.830.780.70.660.63F0.8310.670.670.650.57E0.780.6710.640.540.51M0.7

4、0.670.6410.450.51D0.660.650.540.4510.4Mu0.630.570.510.510.41數(shù)據(jù)Xi都是標(biāo)準(zhǔn)化后的標(biāo)準(zhǔn)化指標(biāo)，E(Xi)=0，D(Xi)=1第4頁，共36頁。 他從中發(fā)現(xiàn)了一個有趣的規(guī)律：任意兩列的元素（不考慮對角元素）大致成比例。 則每一科的考試成績都遵從以下形式： 其中F是公共因子，對各科考試成績都有影響，均值為0，方差為1。ei是特殊因子，僅對某科有影響，且F與ei相互獨立。第5頁，共36頁。 在上述的假設(shè)條件下， 斯皮爾曼最初使用因子分析方法對學(xué)生的考試成績進(jìn)行研究時，發(fā)現(xiàn)學(xué)生的古典文學(xué)、法語、英語、數(shù)學(xué)、判別以及音樂測驗成績相關(guān)，這些成績變

5、量的相關(guān)性表明存在一個潛在的“智力”因子。因子分析方法就是要確認(rèn)原始變量與潛在因子之間的這樣一種結(jié)構(gòu)是否存在。第6頁，共36頁。3. 一般因子分析模型 下面給出更為一般的因子分析模型：設(shè)有n個樣品，每個樣品觀測p個指標(biāo)，這p個指標(biāo)之間有較強(qiáng)的相關(guān)性（只有相關(guān)性較強(qiáng)才能從原始變量中提取出“公共”因子）。 為了便于研究，并消除量綱及數(shù)量級不同造成的影響，將樣本觀察數(shù)據(jù)標(biāo)準(zhǔn)化，不失一般性，記：Xi，即E(Xi)=0，D(Xi)=1。F1,F2,.,Fm表示標(biāo)準(zhǔn)化的公共因子，即E(Fi)=0,D(Fi)=1。因子分析模型的條件：(1) 是可觀測的隨機(jī)向量。 是不可觀測的量。第7頁，共36頁。則模型稱為

6、因子模型，模型的矩陣形式為：式中為因子載荷矩陣。第8頁，共36頁。公因子F1公因子F2x1=代數(shù)10.8960.341x2=代數(shù)20.8020.496x3=幾何0.5160.855x4=三角0.8410.444x5=解析幾何0.8330.434因子分析案例該案例是對數(shù)學(xué)專業(yè)的五門專業(yè)課進(jìn)行相關(guān)性因子分析F1 體現(xiàn)邏輯思維和運算能力，F(xiàn)2 體現(xiàn)空間思維和推理能力第9頁，共36頁。 (1)因子負(fù)荷量（或稱因子載荷）-是指因子結(jié)構(gòu)中原始變量與因子分析時抽取出的公共因子的相關(guān)程度。 即aij是i與j的協(xié)方差4.幾種統(tǒng)計量的統(tǒng)計意義 第10頁，共36頁。 注意： 在各公共因子不相關(guān)的前提下， （載荷矩陣

7、中第i行，第j列的元素）是隨機(jī)變量xi與公共因子Fj的相關(guān)系數(shù)，表示xi依賴于Fj的程度。反映了第i個原始變量在第j個公共因子上的相對重要性。因此 絕對值越大，則公共因子Fj與原有變量xi的關(guān)系越強(qiáng)。第11頁，共36頁。 (2)共同度-又稱共性方差或公因子方差（community或common variance）就是觀測變量的方差中由公因子決定的比例。當(dāng)因子正交時，等于每個公共因子之負(fù)荷量的平方總和（一行中所有因素負(fù)荷量的平方和）。變量 的共同度是因子載荷矩陣的第i行的元素的平方和。記為 從共同性的大小可以判斷這個原始實測變量與公共因子間之關(guān)系程度。特殊因子方差（剩余方差）-各變量的特殊因素影

8、響大小就是1減掉該變量共同度的值。第12頁，共36頁。統(tǒng)計意義：兩邊求方差 所有的公共因子和特殊因子對變量的貢獻(xiàn)為1。 反映了全部公共因子對變量Xi的影響，是全部公共因子對變量方差所做出的貢獻(xiàn)，或者說Xi對公共因子的共同依賴程度，稱為公共因子對變量Xi的方差貢獻(xiàn)。 接近于1，表明該變量的原始信息幾乎都被選取的公共因子說明了。 特殊因子的方差，反映了原有變量方差中無法被公共因子描述的比例。第13頁，共36頁。公因子F1公因子F2共同度hi特殊因子ix1=代數(shù)10.8960.3410.9190.081x2=代數(shù)20.8020.4960.8890.111x3=幾何0.5160.8550.9970.0

9、03x4=三角0.8410.4440.9040.096x5=解析幾何0.8330.4340.8820.118第一個觀測變量共同度：同時，它的剩余方差是：第14頁，共36頁。 （3）特征值-是第j個公共因子Fj對于X的每一分量Xi所提供的方差的總和。又稱第j個公共因子的方差貢獻(xiàn)。即每個變量與某一共同因子之因子負(fù)荷量的平方總和（因子載荷矩陣中某一公共因子列所有因子負(fù)荷量的平方和）。 如右案例中F1的特征值 ：第15頁，共36頁。如上案例中F1的貢獻(xiàn)率為3.113/5=62.26%（4）方差貢獻(xiàn)率 實際中更常用的指標(biāo)：方差貢獻(xiàn)率（指每個因子所解釋的方差占所有變量總方差的比例，即公共因子對實測變量的貢

10、獻(xiàn)）變量方差貢獻(xiàn)率=特征值，是衡量公共因子相對重要性的指標(biāo)，Gi越大，表明公共因子Fj對的貢獻(xiàn)越大，該因子的重要程度越高第16頁，共36頁。公因子F1公因子F2共同度hi特殊因子ix1=代數(shù)10.8960.3410.9190.081x2=代數(shù)20.8020.4960.8890.111x3=幾何0.5160.8550.9970.003x4=三角0.8410.4440.9040.096x5=解析幾何0.8330.4340.8820.118特征值G3.1131.4794.9590.409方差貢獻(xiàn)率（變異量）62.26%29.58%91.85%第17頁，共36頁。 聯(lián)系：（1）因子分析是主成分分析的推

11、廣，是主成分分析的逆問題。（2）二者都是以降維為目的，都是從協(xié)方差矩陣或相關(guān)系數(shù)矩陣出發(fā)。 區(qū)別：（1）主成分分析模型是原始變量的線性組合，是將原始變量加以綜合、歸納，僅僅是變量變換；而因子分析是將原始變量加以分解，描述原始變量協(xié)方差矩陣結(jié)構(gòu)的模型；只有當(dāng)提取的公因子個數(shù)等于原始變量個數(shù)時，因子分析才對應(yīng)變量變換。（2）主成分分析，中每個主成分對應(yīng)的系數(shù)是唯一確定的；因子分析中每個因子的相應(yīng)系數(shù)即因子載荷不是唯一的。（3）因子分析中因子載荷的不唯一性有利于對公共因子進(jìn)行有效解釋；而主成分分析對提取的主成分的解釋能力有限。 目的不同！一個側(cè)重降維，一個側(cè)重解釋！ 5.主成分分析分析與因子分析的聯(lián)

12、系和差異第18頁，共36頁。6.2 因子載荷的求解1. 因子載荷矩陣求解的方法： （1）主成分分析法 （2）主軸因子法 （3）極大似然法 （4）最小二乘法 （5）a因子提取法 （6）映象分析法 在此主要介紹主成分分析法和主軸因子法。第19頁，共36頁。 一、 主成分分析法 假定從相關(guān)矩陣出發(fā)求解主成分，設(shè)有p個變量，則我們可以找出p個主成分。將所得的p個主成分按由大到小的順序排列，記為 ,則主成分與原始變量之間存在如下關(guān)系式：式中，rij是隨機(jī)向量X的相關(guān)矩陣的特征值所對應(yīng)的特征向量的分量，因為特征向量彼此正交，從X到Y(jié)的轉(zhuǎn)換關(guān)系是可逆的，很容易得出由Y到X的轉(zhuǎn)換關(guān)系為：第20頁，共36頁。對

13、上面每一等式只保留前m個主要成分而把后面的部分用 代替，則上式變?yōu)椋荷鲜皆谛问缴弦呀?jīng)與因子模型相一致，且 之間相互獨立，為了把 轉(zhuǎn)化成合適的公共因子，現(xiàn)在要做的工作是把主成分 變?yōu)榉讲顬?的變量。則將 除以其標(biāo)準(zhǔn)差，則上式變?yōu)椋哼@與因子模型完全一致，這樣就得到了載荷矩陣A和一組初始公共因子。則載荷矩陣A的一個解為：共同度的估計為：第21頁，共36頁。 那么如何確定公因子的數(shù)目m呢？一般而言，這取決于問題的研究者本人，對于同一問題進(jìn)行因子分析時，不同的研究者可能會給出不同的公因子數(shù)；當(dāng)然，有時候由數(shù)據(jù)本身的特征可以很明確地確定出因子數(shù)目。當(dāng)用主成分法進(jìn)行因子分析時，也可以借鑒確定主成分個數(shù)的準(zhǔn)則

14、，如所選取的公因子的信息量的和達(dá)到總體信息量的一個合適比例為止。但對這些準(zhǔn)則不應(yīng)生搬硬套，應(yīng)按具體問題具體分析，總之要使所選取的公因子能夠合理地描述原始變量相關(guān)陣的結(jié)構(gòu)，同時要有利于因子模型的解釋。第22頁，共36頁。二、主軸因子法 是對主成分方法的修正，假定我們首先對變量進(jìn)行標(biāo)準(zhǔn)化變換。則：式中，A為因子載荷矩陣； 為一對角陣，其對角元素為相應(yīng)特殊因子的方差。則稱 為調(diào)整相關(guān)矩陣，顯然R* 的主對角元素不再是1，而是共同度 。 分別求解R*的特征值與標(biāo)準(zhǔn)正交特征向量，進(jìn)而求出因子載荷矩陣A。假設(shè)R*有m個正的特征值。設(shè) 為R*的特征根， 為對應(yīng)的標(biāo)準(zhǔn)正交化特征向量。則因子載荷矩陣A的一個主軸

15、因子解為：第23頁，共36頁。2. 因子旋轉(zhuǎn) 由于因子載荷陣是不惟一的，由此引出了因子分析的第二根本步驟因子旋轉(zhuǎn)。建立因子分析模型的目的不僅在于要找到公共因子，更重要的是知道每一個公共因子的意義，以便對實際問題進(jìn)行分析。然而我們得到的初始因子解中各主因子的典型代表量不是很突出，容易使因子的意義含糊不清，不便于對實際問題進(jìn)行分析。出于該種考慮，可以對初始公共因子進(jìn)行線性組合，即進(jìn)行因子旋轉(zhuǎn)，以期找到意義更為明確，實際意義更明顯的公共因子。 經(jīng)過旋轉(zhuǎn)后，公共因子對Xi的貢獻(xiàn) 并不改變，但由于載荷矩陣發(fā)生變化，公共因子本身就可能發(fā)生很大的變化，每一個公共因子對原始變量的貢獻(xiàn) 不再與原來相同，從而經(jīng)過

16、適當(dāng)?shù)男D(zhuǎn)我們就可以得到比較滿意的公共因子。第24頁，共36頁。（1）正交旋轉(zhuǎn) 由初始載荷矩陣A右乘一正交矩陣得到。經(jīng)過正交旋轉(zhuǎn)得到的心的公共因子仍然保持彼此獨立的性質(zhì)。（2）斜交旋轉(zhuǎn) 放棄了因子之間彼此獨立這個限制，可以得到更為簡潔的形式。 無論是正交旋轉(zhuǎn)還是斜交旋轉(zhuǎn)，都應(yīng)當(dāng)使新的因子載荷系數(shù)要么盡可能地接近于0，要么盡可能地遠(yuǎn)離0. 因子旋轉(zhuǎn)包括兩種：第25頁，共36頁。 3.因子得分 當(dāng)因子模型建立起來之后，我們往往需要反過來考察每一個樣品的性質(zhì)及樣品之間的相互關(guān)系。比如當(dāng)關(guān)于企業(yè)經(jīng)濟(jì)效益的因子模型建立起來之后，我們希望知道每一個企業(yè)經(jīng)濟(jì)效益的優(yōu)劣，或者把諸企業(yè)劃分歸類。這就需要進(jìn)行因子

17、分析的第三步驟的分析，即因子得分。顧名思義，因子得分就是公共因子F1,F2,.,Fm在每一個樣品點上的得分。具體方法如下： 用回歸的思想求出線性組合系數(shù)的估計值，即建立如下公共因子為因變量，原始變量為自變量的回歸方程： j=1,2，.，m 在最小二乘意義下，可以得到F的估計值 式中，A為因子載荷矩陣；R為原始變量的相關(guān)矩陣；X為原始變量向量。這樣，在得到一組樣本值后，就可以帶入上面的關(guān)系式求出公共因子的估計得分，從而用少數(shù)公共因子去描述原始變量的數(shù)據(jù)結(jié)構(gòu)，用公共因子得分去描述原始變量的取值。第26頁，共36頁。一、因子分析的步驟進(jìn)行因子分析應(yīng)包括如下幾步： 1.根據(jù)研究問題選取原始變量； 2.

18、對原始變量進(jìn)行標(biāo)準(zhǔn)化并求其相關(guān)陣，分析變量之間的相關(guān)性； 3.求解初始公共因子及因子載荷矩陣； 4.因子旋轉(zhuǎn)； 5.因子得分； 6.根據(jù)因子得分值進(jìn)行進(jìn)一步分析。6.3 因子分析的基本步驟第27頁，共36頁。 二、因子分析的邏輯框圖第28頁，共36頁。例：對企業(yè)經(jīng)濟(jì)效益指標(biāo)體系的八項指標(biāo)建立因子分析模型6.4 因子分析的上機(jī)實現(xiàn)第29頁，共36頁。由spss輸出方差解釋表及碎石圖可看出，前三個特征值較大，其余五個特征值均較小。前三個公共因子對樣本方差的貢獻(xiàn)和為87.085%，于是我們選取3個公共因子。第30頁，共36頁。因子載荷的估計如右：第31頁，共36頁。 上表可得出企業(yè)經(jīng)濟(jì)效益指標(biāo)體系的因子分析模型（特殊因子忽略不計）：第32頁