地學(xué)數(shù)據(jù)處理基礎(chǔ)：13-因子分析

1第13章因子分析1引言2正交因子模型3參數(shù)估計(jì)4因子旋轉(zhuǎn)5因子得分21引言

主成分分析的成功需滿足如下兩點(diǎn)：

(1)前(少數(shù))幾個(gè)主成分具有較高的累計(jì)貢獻(xiàn)率；

(通常較易得到滿足) (2)對(duì)主成分給出符合實(shí)際背景和意義的解釋。

(是主成分分析的困難之處)因子分析的用途與主成分分析類似，它也是一種降維方法。由于因子往往比主成分更易得到解釋，故因子分析比主成分分析更容易成功，從而有更廣泛的應(yīng)用。3從方法上來說，因子分析比主成分分析更為精細(xì)，自然理論上也就更為復(fù)雜。主成分分析只涉及一般的線性變換，不涉及模型，僅需假定二階矩存在。而因子分析需建立一個(gè)數(shù)學(xué)模型，并作一定的假定。因子分析起源于20世紀(jì)初，K.皮爾遜(Pearson)和C.斯皮爾曼(Spearman)等學(xué)者為定義和測(cè)定智力所作的努力，主要是由對(duì)心理測(cè)量學(xué)有興趣的科學(xué)家們培育和發(fā)展了因子分析。因子分析的目的是為了降維，降維的方式是試圖用少數(shù)幾個(gè)潛在的、不可觀測(cè)的隨機(jī)變量來描述原始變量間的協(xié)方差關(guān)系。4例林登(Linden)根據(jù)收集的來自139名運(yùn)動(dòng)員的比賽數(shù)據(jù)，對(duì)第二次世界大戰(zhàn)以來奧林匹克十項(xiàng)全能比賽的得分作了因子分析研究。這十個(gè)全能項(xiàng)目為：100米跑(x1)，跳遠(yuǎn)(x2)，鉛球(x3)，跳高(x4)，400米跑(x5)，11米跨欄(x6)，鐵餅(x7)，撐桿跳高(x8)，標(biāo)槍(x9)，1500米跑(x10)。經(jīng)標(biāo)準(zhǔn)化后所作的因子分析表明，十項(xiàng)得分基本上可歸結(jié)于他們的短跑速度、爆發(fā)性臂力、爆發(fā)性腿力和耐力這四個(gè)方面，每一方面都稱為一個(gè)因子。十項(xiàng)得分與這四個(gè)因子之間的關(guān)系可以描述為如下的因子模型：xi=μi+fi1+fi2+fi3+fi4+εi,i=1,2,?,10

其中f1,f2,f3,f4表示四個(gè)因子，稱為公共因子(commonfactor)，aij稱為xi在因子fj上的載荷(loading)，μi是xi的均值，εi是xi不能被四個(gè)公共因子解釋的部分，稱之為特殊因子(specificfactor)。52正交因子模型一、數(shù)學(xué)模型二、正交因子模型的性質(zhì)三、因子載荷矩陣的統(tǒng)計(jì)意義6一、數(shù)學(xué)模型設(shè)有p維可觀測(cè)的隨機(jī)向量，其均值為，協(xié)差陣為Σ=(σij)。因子分析的一般模型為

其中f1,f2,?,fm為公共因子，ε1,ε2,?,εp為特殊因子，它們都是不可觀測(cè)的隨機(jī)變量。公共因子出現(xiàn)在每一個(gè)原始變量的表達(dá)式中，可理解為原始變量共同具有的公共因素。上式可用矩陣表示為x=μ+Af+??7

式中為公共因子向量，為特殊因子向量，稱為因子載荷矩陣。通常假定該假定和上述關(guān)系式構(gòu)成了正交因子模型。由上述假定可以看出，公共因子彼此不相關(guān)且具有單位方差，特殊因子也彼此不相關(guān)且和公共因子也不相關(guān)。8二、正交因子模型的性質(zhì)1.x的協(xié)差陣Σ的分解2.模型不受單位的影響3.因子載荷是不唯一的91.x的協(xié)差陣Σ的分解

故得Σ=AA′+D

如果x為各分量已標(biāo)準(zhǔn)化了的隨機(jī)向量，則Σ就是相關(guān)陣R=(ρij)，即有R=AA′+D10例設(shè)隨機(jī)向量x=(x1,x2,x3,x4)′的協(xié)方差矩陣為

則Σ可分解為Σ=AA′+D

其中11若取，則有分解式 此時(shí)m=p，沒有達(dá)到降維目的，故所作的因子分析沒有意義。出于降維的需要，我們常常希望m要比p小得多，這樣前述Σ的分解式通常只能近似成立，即有Σ=AA′+D

近似程度越好，表明因子模型擬合得越佳。一般來說，m選取得越小，上述近似效果就越差，即因子模型擬合得越不理想。擬合得太差的因子模型是沒有什么實(shí)際意義的，故實(shí)踐中m也不應(yīng)選得過小。122.模型不受單位的影響將x的單位作變化，通常是作一變換x*=Cx，這里C=diag(c1,c2,?,cp),ci＞0,i=1,2,?,p，于是x*=Cμ+CAf+Cε

令μ*=Cμ，A*=CA，ε*=Cε，則有

x*=μ*+A*f+ε*

這個(gè)模型能滿足類似于前述因子模型的假定，即其中

因此，單位變換后新的模型仍為正交因子模型。133.因子載荷不是唯一的設(shè)T為任一m×m正交矩陣，令A(yù)*=AT，f*=T′f，則模型能表示為x=μ+A*f*+ε

因?yàn)镋(f*)=T′E(f)=0V(f*)=T′V(f)T=T′T=ICov(f*,ε)=E(f*ε′)=T′E(fε′)=0

所以仍滿足模型條件。Σ也可分解為Σ=A*A*′+D因此，因子載荷矩陣A不是唯一的，在實(shí)際應(yīng)用中常常利用這一點(diǎn)，通過因子的旋轉(zhuǎn)，使得新的因子有更好的實(shí)際意義。14三、因子載荷矩陣的統(tǒng)計(jì)意義1.A的元素aij2.A的行元素平方和3.A的列元素平方和151.A的元素aij xi=μi+ai1f1+ai2f2+?+aimfm+εi

即aij是xi與fj之間的協(xié)方差。若x為各分量已標(biāo)準(zhǔn)化了的隨機(jī)向量，則xi與fj的相關(guān)系數(shù)

此時(shí)aij表示xi與fj之間的相關(guān)系數(shù)。16

2.A的行元素平方和 xi=μi+ai1f1+ai2f2+?+aimfm+εi

令

于是17

反映了公共因子對(duì)xi的影響，可以看成是公共因子f1,f2,?,fm對(duì)xi的方差貢獻(xiàn)，稱為共性方差(communality)；而是特殊因子εi對(duì)xi的方差貢獻(xiàn)，稱為特殊方差(specificvariance)。當(dāng)x為各分量已標(biāo)準(zhǔn)化了的隨機(jī)向量時(shí)，σii=1，此時(shí)有18

3.A的列元素平方和

其中

反映了公共因子fj對(duì)x1,x2,?,xp的影響，

是衡量公共因子fj重要性的一個(gè)尺度，可視為公共因子fj對(duì)x1,x2,?,xp的總方差貢獻(xiàn)。193參數(shù)估計(jì)一、主成分法二、主因子法三、極大似然法20一、主成分法設(shè)樣本協(xié)方差矩陣S的特征值依次為

，相應(yīng)的正交單位特征向量為

。選取相對(duì)較小的因子數(shù)m

，并使得累計(jì)貢獻(xiàn)率

達(dá)到一個(gè)較高的百分比，

則S可近似分解如下：

其中

為p×m矩陣，

，i=1,2,?,p。這里的

和

就是因子模型的一個(gè)主成分解。對(duì)主成分解，當(dāng)因子數(shù)增加時(shí)，原來因子的估計(jì)載荷并不變，第j個(gè)因子fj對(duì)x的總方差貢獻(xiàn)仍為

。21例

在林登例中，分別取m=1和m=2，用主成分法估計(jì)的因子載荷和共性方差列于下表。當(dāng)m=1和m=2時(shí)的主成分解變

量m=1m=2因子載荷共性方差因子載荷共性方差f1

f2f1

f2

：100米0.8170.6680.8170.5310.950

：200米0.8670.7520.8670.4320.939

：400米0.9150.8380.9150.2330.892

：800米0.9490.9000.9490.0120.900

：1500米0.9590.9200.959-0.1310.938

：5000米0.9380.8790.938-0.2920.965

：10000米0.9440.8910.944-0.2870.973

：馬拉松0.8800.7740.880-0.4110.943所解釋的總方差的累計(jì)比例0.8280.8280.93822主成分解的近似關(guān)系式主成分解的因子解釋與主成分的解釋完全相同。因子f1代表在徑賽項(xiàng)目上的總體實(shí)力，可稱為強(qiáng)弱因子；因子f2反映了速度與耐力的對(duì)比。23二、主因子法假定原始向量x的各分量已作了標(biāo)準(zhǔn)化變換。如果隨機(jī)向量x滿足正交因子模型，則有R=AA′+D

其中R為x的相關(guān)矩陣，令

R*=R?D=AA′

則稱R*為x的約相關(guān)矩陣(reducedcorrelationmatrix)。R*中的對(duì)角線元素是

，而不是1，非對(duì)角線元素和R中是完全一樣的，并且R*也是一個(gè)非負(fù)定矩陣。24設(shè)

是特殊方差

的一個(gè)合適的初始估計(jì)，則約相關(guān)矩陣可估計(jì)為

其中

是

的初始估計(jì)。又設(shè)

的前m個(gè)特征值依次為

，相應(yīng)的正交單位特征向量為

,則A的主因子解為

25

由此我們可以重新估計(jì)特殊方差，

的最終估計(jì)為

如果我們希望求得擬合程度更好的解，則可以采用迭代的方法，即利用上式中的

再作為特殊方差的初始估計(jì)，重復(fù)上述步驟，直至解穩(wěn)定為止。26特殊(或共性)方差的常用初始估計(jì)方法(1)取

，其中rii是

的第i個(gè)對(duì)角線元素，此時(shí)共性方差的估計(jì)為

，它是xi和其他p?1個(gè)變量間樣本復(fù)相關(guān)系數(shù)的平方，該初始估計(jì)方法最為常用。(2)取

，此時(shí)

。(3)取

，此時(shí) ，得到的

是一個(gè)主成分解。27例

在上例中，取m=2，為求得主因子解，選用xi與其他七個(gè)變量的復(fù)相關(guān)系數(shù)平方作為

的初始估計(jì)值。計(jì)算得

于是約相關(guān)矩陣為28

的特征值為從

起特征值已接近于0，故取m=2，相應(yīng)的計(jì)算結(jié)果列于表。變量因子載荷共性方差f1f2

：100米0.8070.4960.897

：200米0.8580.4120.906

：400米0.8900.2160.856

：800米0.9390.0240.881

：1500米0.956?0.1140.926

：5000米0.938?0.2820.960

：10000米0.946?0.2810.974

：馬拉松0.874?0.3780.907所解釋的總方差的累計(jì)比例0.8160.91429三、極大似然法設(shè)公共因子f～Nm(0,I)，特殊因子ε～Np(0,D)，且相互獨(dú)立，則必然有原始向量x～Np(μ,Σ)。由樣本x1,x2,?,xn計(jì)算得到的似然函數(shù)是μ和Σ的函數(shù)L(μ,Σ)。由于Σ=AA′+D，故似然函數(shù)可更清楚地表示為L(zhǎng)(μ,A,D)。記(μ,A,D)的極大似然估計(jì)為()，即有可以證明，

，而

滿足以下方程組：30

其中 。由于A的解是不唯一

的，故為了得到唯一解，可附加計(jì)算上方便的唯一性條件：A′D?1A是對(duì)角矩陣 上述方程組中的

一般可用迭代方法解得。對(duì)極大似然解，當(dāng)因子數(shù)增加時(shí)，原來因子的估計(jì)載荷及對(duì)x的貢獻(xiàn)將發(fā)生變化，這與主成分解及主因子解不同。314因子旋轉(zhuǎn)因子的解釋帶有一定的主觀性，我們常常通過旋轉(zhuǎn)公共因子的方法來減少這種主觀性。公共因子是否易于解釋，很大程度上取決于因子載荷矩陣A的元素結(jié)構(gòu)。如果載荷矩陣A的所有元素都接近0或±1，則模型的公共因子就易于解釋。反之，如果載荷矩陣A的元素多數(shù)居中，不大不小，則對(duì)模型的公共因子往往就不易作出解釋，此時(shí)應(yīng)考慮進(jìn)行因子旋轉(zhuǎn)，使得旋轉(zhuǎn)之后的載荷矩陣在每一列上元素的絕對(duì)值盡量地拉開大小距離。32因子旋轉(zhuǎn)方法有正交旋轉(zhuǎn)和斜交旋轉(zhuǎn)兩類，本章只討論正交旋轉(zhuǎn)。對(duì)公共因子作正交旋轉(zhuǎn)相當(dāng)于對(duì)載荷矩陣A作一正交變換，右乘正交矩陣T，使A*=AT能有更鮮明的實(shí)際意義。旋轉(zhuǎn)后的公共因子向量為f*=T′f，它的幾何意義是在m維空間上對(duì)原因子軸作一剛性旋轉(zhuǎn)。因子旋轉(zhuǎn)不改變共性方差，這是因?yàn)锳*A*′=ATT′A′=AA′正交矩陣T的不同選取法構(gòu)成了正交旋轉(zhuǎn)的各種不同方法，在這些方法中使用最普遍的是最大方差旋轉(zhuǎn)法(varimax)，本節(jié)僅介紹這一種正交旋轉(zhuǎn)法。

在林登例中分別使用最大方差旋轉(zhuǎn)法，旋轉(zhuǎn)后的因子載荷矩陣列于下表。33旋轉(zhuǎn)后的因子載荷估計(jì)變量主成分主因子極大似然

：100米0.2740.9350.2870.9030.2880.914

：200米0.3760.8930.3810.8720.3790.883

：400米0.5430.7730.5410.7510.5410.746

：800米0.7120.6270.6950.6310.6890.624

：1500米0.8130.5250.7990.5370.7970.532

：5000米0.9020.3890.8950.3990.8990