《實(shí)用統(tǒng)計(jì)方法》課件SHYT9

1實(shí)用統(tǒng)計(jì)方法第九章因子分析2第九章因子分析

因子分析是主成分分析的推廣和發(fā)展,它也是多元統(tǒng)計(jì)分析中降維的一種方法.因子分析是研究相關(guān)陣或協(xié)差陣的內(nèi)部依賴關(guān)系,它將多個(gè)變量綜合為少數(shù)幾個(gè)因子,以再現(xiàn)原始變量與因子之間的相關(guān)關(guān)系.

因子分析的形成和早期發(fā)展一般認(rèn)為是從CharlesSpearman在1904年發(fā)表的文章開始.他提出這種方法用來解決智力測(cè)驗(yàn)得分的統(tǒng)計(jì)分析.目前因子分析在心理學(xué)、社會(huì)學(xué)、經(jīng)濟(jì)學(xué)等學(xué)科都取得成功的應(yīng)用.3第九章因子分析

例1

為了了解學(xué)生的學(xué)習(xí)能力,觀測(cè)了n個(gè)學(xué)生p個(gè)科目的成績(jī)(分?jǐn)?shù)),用X1,…,Xp表示p個(gè)科目(例如代數(shù)、幾何、語文、英語、政治,…),X(t)=(Xt1,…,Xtp)′(t=1,…,n)表示第t個(gè)學(xué)生p個(gè)科目的成績(jī),我們對(duì)這些資料進(jìn)行歸納分析,可以看出各個(gè)科目(即變量)由兩部分組成:

Xi=aiF+εi(i=1,…,p)(9.1)其中F是對(duì)所有Xi(i=1,…,p)所共有的因子,它表示智能高低的因子;εi是科目(變量)Xi特有的特殊因子.這就是一個(gè)最簡(jiǎn)單的因子模型.4第九章因子分析進(jìn)一步可把這個(gè)簡(jiǎn)單因子模型推廣到多個(gè)因子的情況,即全體科目X所共有的因子有m個(gè),如數(shù)學(xué)推導(dǎo)因子、記憶因子、計(jì)算因子…等.分別記為F1,…,Fm,即

Xi=ai1F1

+ai2F2+…+aimFm+εi(i=1,…,p)(9.2)用這m個(gè)不可觀測(cè)的相互獨(dú)立的公共因子F1,…,Fm(也稱為潛因子)和一個(gè)特殊因子εi來描述原始可測(cè)的相關(guān)變量(科目)X1,…,Xp,并解釋分析學(xué)生的學(xué)習(xí)能力.5第九章因子分析

例2

調(diào)查青年對(duì)婚姻家庭的態(tài)度,抽取了n個(gè)青年回答了p=50個(gè)問題的答卷,這些問題可歸納為如下幾個(gè)方面,對(duì)相貌的重視、對(duì)孩子的觀點(diǎn)等,這也是一個(gè)因子分析的模型,每一個(gè)方面就是一個(gè)因子.

例3

考察五個(gè)生理指標(biāo):收縮壓(X1)、舒張壓(X2)、心跳間隔(X3)、呼吸間隔(X4)和舌下溫度(X5).從生理學(xué)的知識(shí),這五個(gè)指標(biāo)是受植物神經(jīng)支配的,植物神經(jīng)又分為交感神經(jīng)和副交感神經(jīng),因此這五個(gè)指標(biāo)有兩個(gè)公共因子,也可用因子分析的模型去處理它.6第九章因子分析

因子分析的主要應(yīng)用有兩方面:

一是尋求基本結(jié)構(gòu),簡(jiǎn)化觀測(cè)系統(tǒng)，將具有錯(cuò)綜復(fù)雜關(guān)系的對(duì)象(變量或樣品)綜合為少數(shù)幾個(gè)因子(不可觀測(cè)的,相互獨(dú)立的隨機(jī)變量)，以再現(xiàn)因子與原變量之間的內(nèi)在聯(lián)系;

二是用于分類,對(duì)p個(gè)變量或n個(gè)樣品進(jìn)行分類.7第九章因子分析

因子分析根據(jù)研究對(duì)象可以分為R型和Q型因子分析.R型因子分析研究變量(指標(biāo))之間的相關(guān)關(guān)系,通過對(duì)變量的相關(guān)陣或協(xié)差陣內(nèi)部結(jié)構(gòu)的研究,找出控制所有變量的幾個(gè)公共因子(或稱主因子、潛因子),用以對(duì)變量或樣品進(jìn)行分類.Q型因子分析研究樣品之間的相關(guān)關(guān)系,通過對(duì)樣品的相似矩陣內(nèi)部結(jié)構(gòu)的研究找出控制所有樣品的幾個(gè)主要因素(或稱主因子).8第九章因子分析

因子分析與主分量分析有區(qū)別.

主分量分析不能作為一個(gè)模型來描述,它只是通常的變量變換,而因子分析需要構(gòu)造因子模型;

主分量分析中主分量的個(gè)數(shù)和變量個(gè)數(shù)p相同,它是將一組具有相關(guān)性的變量變換為一組獨(dú)立的變量(注意應(yīng)用主分量分析解決實(shí)際問題時(shí),一般只選取m(m<p)個(gè)主分量),而因子分析的目的是要用盡可能少的公因子,以便構(gòu)造一個(gè)結(jié)構(gòu)簡(jiǎn)單的因子模型;9第九章因子分析

主分量分析是將主分量表示為原變量的線性組合,而因子分析是將原始變量表示為公因子和特殊因子的線性組合.

另一方面這兩種分析方法間在某些情況下也有一定聯(lián)系.這些讀者將從下面的介紹中看到.10第九章§9.2因子模型

正交因子模型

設(shè)X=(X1,…,Xp)′是可觀測(cè)的隨機(jī)向量,E(X)=μ,D(X)=Σ.F=(F1,…,Fm)′(m<p)是不可觀測(cè)的隨機(jī)向量,且E(F)=0,D(F)=Im(即F的各分量方差為1，且互不相關(guān)).又設(shè)ε=(ε1,…,εp)′與F相互獨(dú),且E(ε)=0,D(ε)=diag(σ21,…,σ2p)=D(對(duì)角陣).

11第九章§9.2因子模型

正交因子模型假定隨機(jī)向量X滿足以下的模型：X1-μ1=a11F1+a12F2+…+a1mFm+ε1,X2-μ2=a21F1+a22F2+…+a2mFm+ε2,

…………………...(9.3)Xp-μp=ap1F1+ap2F2+…+apmFm+εp,則稱模型(9.3)為正交因子模型.用矩陣表示為

(9.4)12第九章§9.2因子模型

其中F=(F1,…,Fm)′,F1,…,Fm稱為X的公共因子;

ε=(ε1,…,εp)′,ε1,…,εp稱為X的特殊因子;

公共因子F1,…,Fm對(duì)X每一個(gè)分量Xi都有作用,而εi只對(duì)Xi起作用.而且各特殊因子之間以及特殊因子與所有公共因子之間都是相互獨(dú)立的.13第九章§9.2因子模型

模型中的矩陣

A=(aij)(p×m)是待估的系數(shù)矩陣,稱為因子載荷矩陣.aij(i=1,…,p;j=1,…,m)稱為第i個(gè)變量在第j個(gè)因子上的載荷(簡(jiǎn)稱為因子載荷)，或稱為第j個(gè)因子為預(yù)測(cè)第i個(gè)變量的回歸系數(shù).14第九章§9.2因子模型

這里有兩個(gè)關(guān)鍵性的假設(shè)：

1.特殊因子互不相關(guān)，且

D(ε)=diag(σ21,…,σ2p)=D2.

特殊因子同公共因子不相關(guān)，即

Cov(ε,F)=0.

在主分量分析中，殘差通常是彼此相關(guān)的.在因子分析中，特殊因子起著殘差的作用，但被定義為彼此不相關(guān)且和公因子也不相關(guān).而且每個(gè)公因子假定至少對(duì)兩個(gè)變量有貢獻(xiàn),否則它將是一個(gè)特殊因子.15第九章§9.2因子模型

在正交因子模型中，假定公因子彼此不相關(guān)且具有單位方差,即D(F)=Im.在這種情況下，由

Σ=D(X)=D(AF+ε)=E(AF+ε)(AF+ε)′=AD(F)A′+D(ε)=AA′+D,即Σ

-D=AA′(9.5)可知，正交因子模型意味著第j個(gè)變量和第k個(gè)變量(j≠k)的協(xié)方差σjk由下式給出:

σjk=aj1ak1+aj2ak2+…+ajmakm16第九章§9.2因子模型

如果原始變量已被標(biāo)準(zhǔn)化為單位方差，在(9.5)式中將用相關(guān)陣代替協(xié)差陣.在這種意義上，公因子解釋了觀測(cè)變量間的相關(guān)性.用正交因子模型預(yù)測(cè)的相關(guān)與實(shí)際的相關(guān)之間的差異就是剩余相關(guān).評(píng)估正交因子模型擬合優(yōu)度的好方法就是考察剩余相關(guān)的大小.17第九章§9.2因子模型

因子分析的目的首先是由樣本協(xié)差陣估計(jì)Σ,然后由分解式(9.5)求得A和D.也就是從可以觀測(cè)的變量X1,…,Xp給出的樣本資料中,求出載荷矩陣A,然后預(yù)測(cè)公共因子F1,…,Fm.又Cov(X,F)=E(X-EX)(F-EF)′=E［(X-μ)F′］=E［(AF+ε)F′］

=AE(FF′)+E(εF′)=A,(9.6)可見A中元素aij刻畫變量Xi與Fj之間的相關(guān)性,稱為Xi在Fj上的因子載荷.18第九章§9.2因子模型

正交因子模型中各個(gè)量的統(tǒng)計(jì)意義

1.因子載荷的統(tǒng)計(jì)意義由因子模型(9.3)及(9.6)可知Xi與Fj的協(xié)方差Cov(Xi,Fj)=aij如果變量Xi是標(biāo)準(zhǔn)變量(即E(Xi)=0,Var(Xi)=1),則這時(shí)因子載荷aij就是第i個(gè)變量與第j個(gè)公共因子的相關(guān)系數(shù).19第九章§9.2因子模型

正交因子模型中各個(gè)量的統(tǒng)計(jì)意義

2.變量共同度的統(tǒng)計(jì)意義因子載荷矩陣A中各行元素的平方和記為稱為變量Xi的共同度.為了給出的統(tǒng)計(jì)意義,下面來計(jì)算Xi方差.20第九章§9.2因子模型

正交因子模型中各個(gè)量的統(tǒng)計(jì)意義

Xi的方差由兩部分組成,第一部分是全部公共因子對(duì)變量Xi的總方差所作出的貢獻(xiàn),稱為公因子方差;第二部分σ2i

由特定因子εi產(chǎn)生的方差,它僅與變量Xi有關(guān),也稱為剩余方差.

顯然,若大,σ2i必小.而大表明Xi對(duì)公因子F1,…,Fm的共同依賴程度大.當(dāng)=1(設(shè)Var(Xi)=1)時(shí),σ2i

=0,即Xi能夠由公共因子的線性組合表示;當(dāng)≈0時(shí),表明公因子對(duì)Xi影響很小,Xi主要由特殊因子εi來描述.可見反映了變量Xi對(duì)公因子F依賴的程度.故稱公因子方差為變量Xi的共同度.21第九章§9.2因子模型

正交因子模型中各個(gè)量的統(tǒng)計(jì)意義

3.公因子Fj的方差貢獻(xiàn)的統(tǒng)計(jì)意義在因子載荷矩陣A中,求A的各列的平方和,記為q2j，即q2j的統(tǒng)計(jì)意義與Xi的共同度h2i恰好相反,q2j表示第j個(gè)公因子Fj對(duì)X的所有分量X1,…,Xp的總影響,稱為公共因子Fj對(duì)X的貢獻(xiàn)(q2j是同一公因子Fj

對(duì)諸變量所提供的方差之總和)，它是衡量公共因子相對(duì)重要性的指