《實用統(tǒng)計方法》課件SHYT9

1實用統(tǒng)計方法第九章因子分析2第九章因子分析

因子分析是主成分分析的推廣和發(fā)展,它也是多元統(tǒng)計分析中降維的一種方法.因子分析是研究相關(guān)陣或協(xié)差陣的內(nèi)部依賴關(guān)系,它將多個變量綜合為少數(shù)幾個因子,以再現(xiàn)原始變量與因子之間的相關(guān)關(guān)系.

因子分析的形成和早期發(fā)展一般認(rèn)為是從CharlesSpearman在1904年發(fā)表的文章開始.他提出這種方法用來解決智力測驗得分的統(tǒng)計分析.目前因子分析在心理學(xué)、社會學(xué)、經(jīng)濟(jì)學(xué)等學(xué)科都取得成功的應(yīng)用.3第九章因子分析

例1

為了了解學(xué)生的學(xué)習(xí)能力,觀測了n個學(xué)生p個科目的成績(分?jǐn)?shù)),用X1,…,Xp表示p個科目(例如代數(shù)、幾何、語文、英語、政治,…),X(t)=(Xt1,…,Xtp)′(t=1,…,n)表示第t個學(xué)生p個科目的成績,我們對這些資料進(jìn)行歸納分析,可以看出各個科目(即變量)由兩部分組成:

Xi=aiF+εi(i=1,…,p)(9.1)其中F是對所有Xi(i=1,…,p)所共有的因子,它表示智能高低的因子;εi是科目(變量)Xi特有的特殊因子.這就是一個最簡單的因子模型.4第九章因子分析進(jìn)一步可把這個簡單因子模型推廣到多個因子的情況,即全體科目X所共有的因子有m個,如數(shù)學(xué)推導(dǎo)因子、記憶因子、計算因子…等.分別記為F1,…,Fm,即

Xi=ai1F1

+ai2F2+…+aimFm+εi(i=1,…,p)(9.2)用這m個不可觀測的相互獨立的公共因子F1,…,Fm(也稱為潛因子)和一個特殊因子εi來描述原始可測的相關(guān)變量(科目)X1,…,Xp,并解釋分析學(xué)生的學(xué)習(xí)能力.5第九章因子分析

例2

調(diào)查青年對婚姻家庭的態(tài)度,抽取了n個青年回答了p=50個問題的答卷,這些問題可歸納為如下幾個方面,對相貌的重視、對孩子的觀點等,這也是一個因子分析的模型,每一個方面就是一個因子.

例3

考察五個生理指標(biāo):收縮壓(X1)、舒張壓(X2)、心跳間隔(X3)、呼吸間隔(X4)和舌下溫度(X5).從生理學(xué)的知識,這五個指標(biāo)是受植物神經(jīng)支配的,植物神經(jīng)又分為交感神經(jīng)和副交感神經(jīng),因此這五個指標(biāo)有兩個公共因子,也可用因子分析的模型去處理它.6第九章因子分析

因子分析的主要應(yīng)用有兩方面:

一是尋求基本結(jié)構(gòu),簡化觀測系統(tǒng)，將具有錯綜復(fù)雜關(guān)系的對象(變量或樣品)綜合為少數(shù)幾個因子(不可觀測的,相互獨立的隨機(jī)變量)，以再現(xiàn)因子與原變量之間的內(nèi)在聯(lián)系;

二是用于分類,對p個變量或n個樣品進(jìn)行分類.7第九章因子分析

因子分析根據(jù)研究對象可以分為R型和Q型因子分析.R型因子分析研究變量(指標(biāo))之間的相關(guān)關(guān)系,通過對變量的相關(guān)陣或協(xié)差陣內(nèi)部結(jié)構(gòu)的研究,找出控制所有變量的幾個公共因子(或稱主因子、潛因子),用以對變量或樣品進(jìn)行分類.Q型因子分析研究樣品之間的相關(guān)關(guān)系,通過對樣品的相似矩陣內(nèi)部結(jié)構(gòu)的研究找出控制所有樣品的幾個主要因素(或稱主因子).8第九章因子分析

因子分析與主分量分析有區(qū)別.

主分量分析不能作為一個模型來描述,它只是通常的變量變換,而因子分析需要構(gòu)造因子模型;

主分量分析中主分量的個數(shù)和變量個數(shù)p相同,它是將一組具有相關(guān)性的變量變換為一組獨立的變量(注意應(yīng)用主分量分析解決實際問題時,一般只選取m(m<p)個主分量),而因子分析的目的是要用盡可能少的公因子,以便構(gòu)造一個結(jié)構(gòu)簡單的因子模型;9第九章因子分析

主分量分析是將主分量表示為原變量的線性組合,而因子分析是將原始變量表示為公因子和特殊因子的線性組合.

另一方面這兩種分析方法間在某些情況下也有一定聯(lián)系.這些讀者將從下面的介紹中看到.10第九章§9.2因子模型

正交因子模型

設(shè)X=(X1,…,Xp)′是可觀測的隨機(jī)向量,E(X)=μ,D(X)=Σ.F=(F1,…,Fm)′(m<p)是不可觀測的隨機(jī)向量,且E(F)=0,D(F)=Im(即F的各分量方差為1，且互不相關(guān)).又設(shè)ε=(ε1,…,εp)′與F相互獨,且E(ε)=0,D(ε)=diag(σ21,…,σ2p)=D(對角陣).

11第九章§9.2因子模型

正交因子模型假定隨機(jī)向量X滿足以下的模型：X1-μ1=a11F1+a12F2+…+a1mFm+ε1,X2-μ2=a21F1+a22F2+…+a2mFm+ε2,

…………………...(9.3)Xp-μp=ap1F1+ap2F2+…+apmFm+εp,則稱模型(9.3)為正交因子模型.用矩陣表示為

(9.4)12第九章§9.2因子模型

其中F=(F1,…,Fm)′,F1,…,Fm稱為X的公共因子;

ε=(ε1,…,εp)′,ε1,…,εp稱為X的特殊因子;

公共因子F1,…,Fm對X每一個分量Xi都有作用,而εi只對Xi起作用.而且各特殊因子之間以及特殊因子與所有公共因子之間都是相互獨立的.13第九章§9.2因子模型

模型中的矩陣

A=(aij)(p×m)是待估的系數(shù)矩陣,稱為因子載荷矩陣.aij(i=1,…,p;j=1,…,m)稱為第i個變量在第j個因子上的載荷(簡稱為因子載荷)，或稱為第j個因子為預(yù)測第i個變量的回歸系數(shù).14第九章§9.2因子模型

這里有兩個關(guān)鍵性的假設(shè)：

1.特殊因子互不相關(guān)，且

D(ε)=diag(σ21,…,σ2p)=D2.

特殊因子同公共因子不相關(guān)，即

Cov(ε,F)=0.

在主分量分析中，殘差通常是彼此相關(guān)的.在因子分析中，特殊因子起著殘差的作用，但被定義為彼此不相關(guān)且和公因子也不相關(guān).而且每個公因子假定至少對兩個變量有貢獻(xiàn),否則它將是一個特殊因子.15第九章§9.2因子模型

在正交因子模型中，假定公因子彼此不相關(guān)且具有單位方差,即D(F)=Im.在這種情況下，由

Σ=D(X)=D(AF+ε)=E(AF+ε)(AF+ε)′=AD(F)A′+D(ε)=AA′+D,即Σ

-D=AA′(9.5)可知，正交因子模型意味著第j個變量和第k個變量(j≠k)的協(xié)方差σjk由下式給出:

σjk=aj1ak1+aj2ak2+…+ajmakm16第九章§9.2因子模型

如果原始變量已被標(biāo)準(zhǔn)化為單位方差，在(9.5)式中將用相關(guān)陣代替協(xié)差陣.在這種意義上，公因子解釋了觀測變量間的相關(guān)性.用正交因子模型預(yù)測的相關(guān)與實際的相關(guān)之間的差異就是剩余相關(guān).評估正交因子模型擬合優(yōu)度的好方法就是考察剩余相關(guān)的大小.17第九章§9.2因子模型

因子分析的目的首先是由樣本協(xié)差陣估計Σ,然后由分解式(9.5)求得A和D.也就是從可以觀測的變量X1,…,Xp給出的樣本資料中,求出載荷矩陣A,然后預(yù)測公共因子F1,…,Fm.又Cov(X,F)=E(X-EX)(F-EF)′=E［(X-μ)F′］=E［(AF+ε)F′］

=AE(FF′)+E(εF′)=A,(9.6)可見A中元素aij刻畫變量Xi與Fj之間的相關(guān)性,稱為Xi在Fj上的因子載荷.18第九章§9.2因子模型

正交因子模型中各個量的統(tǒng)計意義

1.因子載荷的統(tǒng)計意義由因子模型(9.3)及(9.6)可知Xi與Fj的協(xié)方差Cov(Xi,Fj)=aij如果變量Xi是標(biāo)準(zhǔn)變量(即E(Xi)=0,Var(Xi)=1),則這時因子載荷aij就是第i個變量與第j個公共因子的相關(guān)系數(shù).19第九章§9.2因子模型

正交因子模型中各個量的統(tǒng)計意義

2.變量共同度的統(tǒng)計意義因子載荷矩陣A中各行元素的平方和記為稱為變量Xi的共同度.為了給出的統(tǒng)計意義,下面來計算Xi方差.20第九章§9.2因子模型

正交因子模型中各個量的統(tǒng)計意義

Xi的方差由兩部分組成,第一部分是全部公共因子對變量Xi的總方差所作出的貢獻(xiàn),稱為公因子方差;第二部分σ2i

由特定因子εi產(chǎn)生的方差,它僅與變量Xi有關(guān),也稱為剩余方差.

顯然,若大,σ2i必小.而大表明Xi對公因子F1,…,Fm的共同依賴程度大.當(dāng)=1(設(shè)Var(Xi)=1)時,σ2i

=0,即Xi能夠由公共因子的線性組合表示;當(dāng)≈0時,表明公因子對Xi影響很小,Xi主要由特殊因子εi來描述.可見反映了變量Xi對公因子F依賴的程度.故稱公因子方差為變量Xi的共同度.21第九章§9.2因子模型

正交因子模型中各個量的統(tǒng)計意義

3.公因子Fj的方差貢獻(xiàn)的統(tǒng)計意義在因子載荷矩陣A中,求A的各列的平方和,記為q2j，即q2j的統(tǒng)計意義與Xi的共同度h2i恰好相反,q2j表示第j個公因子Fj對X的所有分量X1,…,Xp的總影響,稱為公共因子Fj對X的貢獻(xiàn)(q2j是同一公因子Fj

對諸變量所提供的方差之總和)，它是衡量公共因子相對重要性的指