第十一講因子分析

第八章因子分析

FactorAnalysis1內(nèi)容梗概：8.1概述因子分析8.2因子分析的概念與步驟8.3使用FACTOR過(guò)程進(jìn)行因子分析28.1概述因子分析一、因子分析基本思想

從分析多個(gè)可觀測(cè)的原始指標(biāo)的相關(guān)關(guān)系入手，找到支配這種相關(guān)關(guān)系的有限個(gè)不可觀測(cè)的潛在變量,是多元分析中處理降維的一種統(tǒng)計(jì)方法.如：考察人體的五項(xiàng)生理指標(biāo)：收縮壓、舒張壓、心跳間隔、呼吸間隔和舌下溫度.從生理學(xué)知識(shí)，這五項(xiàng)指標(biāo)是受植物神經(jīng)支配的，植物神經(jīng)又分為交感神經(jīng)和副交感神經(jīng)，因此這五項(xiàng)指標(biāo)也可以用因子分析模型去處理.3二、因子分析數(shù)學(xué)模型

X1:收縮壓X2:舒張壓X3:心跳間隔X4:呼吸間隔X5:舌下溫度F1:交感神經(jīng)F2:副交感神經(jīng)

commonfactor4

specificfactor

commonfactor5Xi:觀測(cè)指標(biāo)(標(biāo)準(zhǔn)化數(shù)據(jù))

Fi:公因子ei:特殊因子aij:因子載荷(計(jì)算關(guān)鍵項(xiàng))6X=AF+e7三、因子分析的主要應(yīng)用

(1).尋求基本結(jié)構(gòu)，簡(jiǎn)化觀測(cè)系統(tǒng)，將具有錯(cuò)綜復(fù)雜關(guān)系的對(duì)象（變量或樣本）綜合為少數(shù)幾個(gè)因子（不可觀測(cè)的隨機(jī)變量），并再現(xiàn)因子與原始變量之間的內(nèi)在聯(lián)系;(2).用于分類，對(duì)變量或樣本進(jìn)行分類.8四、因子分析與主成分分析的區(qū)別(1).主成分分析不能作為一個(gè)模型，只是變量變換，而因子分析需要構(gòu)造模型;(2).主成分的個(gè)數(shù)和變量的個(gè)數(shù)相同，它是將一組具有相關(guān)的關(guān)系的變量變換為一組互不相關(guān)的變量，而因子分析是要用盡可能少的的公因子，以便構(gòu)造一個(gè)簡(jiǎn)單的因子模型;(3).主成分表示為原始變量的線性組合，而因子分析是將原始變量表示為公因子和特殊因子的線性組合.98.2

因子分析的概念與計(jì)算步驟

1.因子分析模型

設(shè)p維可觀測(cè)的隨機(jī)向量X=(X1，...，Xp)'（假定Xi為標(biāo)準(zhǔn)化變量，即E(Xi)=0，Var(Xi)=1，i=1，2，…，p）表示為10

X=AF+ε

上式稱為因子模型，其中F1、F2、…、Fm稱為公因子，簡(jiǎn)稱因子，是不可觀測(cè)的變量；待估的系數(shù)陣A稱為因子載荷陣，aij（i=1,2,…,p；j=1,2,…,m）稱為第i個(gè)變量在第j個(gè)因子上的載荷（簡(jiǎn)稱為因子載荷）；

ε稱為特殊因子，是不能被前m個(gè)公共因子包含的部分.并且滿足：cov(F,ε)=0，即F，ε不相關(guān)；

D(F)=Im，即F1、F2、…、Fm互不相關(guān)，方差均為1；D(ε)=diag(12,22,…,p2)，即ε1、ε2、…、εp互不相關(guān)，方差不一定相等，εi～N(0，i2).

因子分析的目的就是通過(guò)模型X=AF+ε以F代替X，由于m<p，從而達(dá)到降維的目的.112.因子分析模型中的幾個(gè)統(tǒng)計(jì)特征(1)因子載荷aij的統(tǒng)計(jì)意義

由Xi=ai1F1+…+aimFm+εi，兩邊同乘以Fj，再求數(shù)學(xué)期望：

E(XiFj)=ai1E(F1Fj)+…+aijE(FjFj)+…+aimE(FmFj)+E(εiFj)從而有rij=E(XiFj)=aij即載荷矩陣中第i行，第j列的元素aij是第i個(gè)變量與第j個(gè)公因子的相關(guān)系數(shù)，反映了第i個(gè)變量與第j個(gè)公因子的相關(guān)程度.|aij|1，絕對(duì)值越大，相關(guān)程度越高.在這種意義上公因子解釋了觀測(cè)變量間的相關(guān)性.12(2)

.變量共同度的統(tǒng)計(jì)意義

因子載荷矩陣第i行的元素平方和：

稱為變量Xi的共同度（i=1，2，…，p）.

對(duì)Xi=ai1F1+…+aimFm+εi兩邊求方差：

顯然，若因子方差hi2大，剩余方差i2必小.而hi2大就表明Xi對(duì)公因子的共同依賴程度大.設(shè)Var(Xi)=1，即所有的公共因子和特殊因子對(duì)變量Xi的貢獻(xiàn)為1.如果hi2非?？拷?，則i2非常小，此時(shí)因子分析的效果好，從原變量空間到公共因子空間的轉(zhuǎn)化性質(zhì)好.可見hi2反映了變量Xi對(duì)公共因子F的依賴程度，故稱hi2為變量Xi的共同度.13(3)公共因子Fj方差貢獻(xiàn)的統(tǒng)計(jì)意義

因子載荷矩陣A中各列元素的平方和：

稱為公共因子Fj對(duì)X的貢獻(xiàn)，是衡量Fj相對(duì)重要性的

指標(biāo)，qj2越大表明Fj對(duì)X的貢獻(xiàn)越大.143.因子載荷矩陣的估計(jì)方法

給定p個(gè)相關(guān)變量X1，...，Xp的觀測(cè)數(shù)據(jù)陣X，由X=AF+ε易推出

∑=AA'+D其中∑=D(X)為X的協(xié)方差陣，A=(aij)為p

m的因子載荷陣，D=diag(12，22，…，p2)為p階對(duì)角陣.

由p個(gè)相關(guān)變量的觀測(cè)數(shù)據(jù)可得到協(xié)差陣的估計(jì)，記為S.為了建立因子模型，首先要估計(jì)因子載荷aij和特殊方差i2.常用的參數(shù)估計(jì)方法有以下三種：主成分法，主因子法和極大似然法.15(1)主成分法

設(shè)樣品協(xié)方差陣S的特征值為λ1≥λ2≥…≥λp≥0，u1,u2,…,up為對(duì)應(yīng)的標(biāo)準(zhǔn)化特征向量，當(dāng)最后p–m個(gè)特征值較小時(shí)，S可近似地分解為：其中，

為pm陣，

,即得因子模型的一個(gè)解.載荷陣A中的第j列和X的第j個(gè)主成分的系數(shù)相差一個(gè)倍數(shù)（j=1,…,m），故這個(gè)解稱為主成分解.16(2)主因子法

主因子方法是對(duì)主成分方法的修正，設(shè)R=AA'+D，則R*=R–D=AA'稱為約相關(guān)矩陣，若已知特殊因子方差的初始估計(jì)，也就是已知變量共同度的估計(jì)：則R*對(duì)角線上的元素是

，而不是1.即：17計(jì)算R*的特征值和特征向量，取前m個(gè)正特征值λ1*≥λ2*≥…≥λm*>0，相應(yīng)的特征向量為u1*,u2*,…,um*，則有近似分解式：

R*

=AA'其中

，令

（i=1，…，p）則A和D為因子模型的一個(gè)解，這個(gè)解稱為主因子解.18(3)極大似然法

假定公因子F和特殊因子ε服從正態(tài)分布，那么可得到因子載荷陣和特殊因子方差的極大似然估計(jì)，設(shè)p維觀測(cè)向量X(1)，...，X(n)為來(lái)自正態(tài)總體Np(μ,∑)的隨機(jī)樣品，則樣品似然函數(shù)為μ，∑的函數(shù)L(μ,∑).

設(shè)∑=AA'+D，取μ=，則似然函數(shù)為A，D的函數(shù)：(A，D)，求A，D使達(dá)最大.為保證得到唯一解，可附加計(jì)算上方便的唯一性條件：A'D-1A=對(duì)角陣，用迭代方法可求得極大似然估計(jì)A和D.19

在實(shí)際中特殊因子方差(或變量共同度)是未知的.以上得到的解是近似解.為了得到近似程度更好的解，常常采用迭代主因子法.即利用上面得到的D*=diag(

)作為特殊因子方差的初始估計(jì)，重復(fù)上述步驟，直到解穩(wěn)定為止.變量共同度hi2常用的初始估計(jì)有以下幾種方法：取第i個(gè)變量與其他所有變量的多重相關(guān)系數(shù)的平方；取第i個(gè)變量與其他變量相關(guān)系數(shù)絕對(duì)值的最大值；取1，它等價(jià)于主成分解.204.因子旋轉(zhuǎn)（正交變換）

所謂因子旋轉(zhuǎn)就是將因子載荷矩陣A右乘一個(gè)正交矩陣T后得到一個(gè)新的矩陣A*.它并不影響變量Xi的共同度hi2，卻會(huì)改變因子的方差貢獻(xiàn)qj2.因子旋轉(zhuǎn)通過(guò)改變坐標(biāo)軸，能夠重新分配各個(gè)因子解釋原始變量方差的比例，使因子更易于理解.21設(shè)p維可觀測(cè)向量X滿足因子模型：X=AF+ε.T為正交陣，則因子模型可寫為X=ATT'F+ε=A*F*+ε其中A*=AT，F(xiàn)*=T'F.易知，∑

=AA'+D=A*A*'+D（其中A*=AT）.這說(shuō)明，若A，D是一個(gè)因子解，任給正交陣T，A*=AT，D也是因子解.在這個(gè)意義下，因子解是不惟一的.

由于因子載荷陣是不惟一的，所以可對(duì)因子載荷陣進(jìn)行旋轉(zhuǎn).目的是使因子載荷陣的結(jié)構(gòu)簡(jiǎn)化，使載荷矩陣每列或行的元素平方值向0和1兩極分化，這樣的因子便于解釋和命名.22

有三種主要的正交旋轉(zhuǎn)法：四次方最大法、方差最大法和等量最大法.這些旋轉(zhuǎn)方法的目標(biāo)是一致的，只是策略不同.

如果兩種旋轉(zhuǎn)模型導(dǎo)出不同的解釋，這兩種解釋不能認(rèn)為是矛盾的.倒不如說(shuō)是看待相同事物的兩種不同方法，是在公因子空間中的兩個(gè)不同點(diǎn).只取決于惟一的一種你認(rèn)為是正確旋轉(zhuǎn)的任何結(jié)論都是不成立的.

在統(tǒng)計(jì)意義上所有旋轉(zhuǎn)都是一樣的，即不能說(shuō)一些旋轉(zhuǎn)比另一些旋轉(zhuǎn)好.因此，在不同的旋轉(zhuǎn)方法之間進(jìn)行的選擇必須根據(jù)非統(tǒng)計(jì)觀點(diǎn)，通常選擇最容易解釋的旋轉(zhuǎn)模型.238.3

使用FACTOR過(guò)程進(jìn)行因子分析

FACTOR過(guò)程輸入格式

PROCFACTORDATA=<數(shù)據(jù)集><選項(xiàng)>;

VAR<原始變量>;

RUN;24(1)PROC

FACTOR語(yǔ)句

PROC

FACTOR語(yǔ)句標(biāo)志FACTOR過(guò)程的開始，同時(shí)還可通過(guò)設(shè)置其他語(yǔ)句定義數(shù)據(jù)集、指定具體分析方法和過(guò)程等.通常只需要VAR語(yǔ)句作為PROCFACTOR語(yǔ)句的附加選項(xiàng).(2)VAR語(yǔ)句

VAR語(yǔ)句用來(lái)指定需要分析的數(shù)值變量.如果該句省略，那么在其他語(yǔ)句中未做特殊規(guī)定的所有數(shù)值變量都將被分析.2526

實(shí)例分析

【例1】2004年31個(gè)省市自治區(qū)經(jīng)濟(jì)發(fā)展基本情況的八項(xiàng)指

標(biāo)，原始數(shù)據(jù)如表1所示.

表1

31個(gè)省市自治區(qū)經(jīng)濟(jì)發(fā)展基本情況假定上述數(shù)據(jù)存放在數(shù)據(jù)集s1中，試對(duì)經(jīng)濟(jì)發(fā)展基本情況的八項(xiàng)指標(biāo)作因子分析.27(1)主成分解PROCFACTORDATA=s1;

Varx1–x8;

TITLE'8個(gè)經(jīng)濟(jì)指標(biāo)的分析';

TITLE2'主成分解';

RUN;

結(jié)果給出8個(gè)變量的簡(jiǎn)單統(tǒng)計(jì)量，相關(guān)陣（略），相關(guān)陣的特征值、累計(jì)貢獻(xiàn)(如圖所示).28

前兩個(gè)主成分解釋了84.60％的方差，按照缺省的選擇因子個(gè)數(shù)的準(zhǔn)則，取大于1的特征值，所以取兩個(gè)因子.

它們是用公因子表示原始變量的回歸系數(shù).第一公因子在所有8個(gè)變量上都有正的載荷，可見這個(gè)因子反應(yīng)了經(jīng)濟(jì)發(fā)展規(guī)模的影響，但載荷有大有小.第二公因子在居民消費(fèi)價(jià)格指數(shù)和零售商品價(jià)格指數(shù)上有大的正載荷，反映了價(jià)格指標(biāo)的影響.

因子模型(factorpattern，或稱因子載荷陣)為最重要的結(jié)果之一，如圖所示.29結(jié)果還給出了公因子解釋能力的估計(jì)（圖1）：

圖1各變量的共同度

VarianceExplainedbyEachFacor給出了公因子對(duì)原始變量的解釋能力（方差貢獻(xiàn)）的量度，F(xiàn)inalCommunalityEstimates：Total是兩個(gè)公因子對(duì)原始變量的解釋能力的總和.

最后一行給出每個(gè)原始變量的共同度，由于變量x5被兩個(gè)因子解釋的信息不夠多，于是考慮選取3個(gè)公因子.30(2)選擇公因子在FACTOR語(yǔ)