多元統(tǒng)計(jì)-因子分析

3.1因子分析的基本思想返回3.1.1引例3.1.2因子分析的基本思想3.1.3與主成分分析的區(qū)別2007.8安徽財(cái)經(jīng)大學(xué)統(tǒng)計(jì)與應(yīng)用數(shù)學(xué)學(xué)院

3.1.1引例2007.8安徽財(cái)經(jīng)大學(xué)統(tǒng)計(jì)與應(yīng)用數(shù)學(xué)學(xué)院

3.1.2因子分析的基本思想

因子分析(factoranalysis)是一種數(shù)據(jù)簡(jiǎn)化的技術(shù)。它是通過尋找眾多變量的公共因素來簡(jiǎn)化變量中存在的復(fù)雜關(guān)系的一種方法。它將多個(gè)變量綜合為少數(shù)幾個(gè)“因子”(假想變量)，以再現(xiàn)原始變量與“因子”之間的相互關(guān)系。這幾個(gè)因子能夠反映原來眾多變量的主要信息。原始的變量是可觀測(cè)的顯在變量，而因子是不可觀測(cè)的潛在變量。因子分析的含義2007.8安徽財(cái)經(jīng)大學(xué)統(tǒng)計(jì)與應(yīng)用數(shù)學(xué)學(xué)院

通過因子分析得來的新變量是對(duì)每一個(gè)原始變量進(jìn)行內(nèi)部剖析，打比喻來說，原始變量就如成千上萬的糕點(diǎn)，每一種糕點(diǎn)的原料都有面粉、油、糖及相應(yīng)的不同原料，這其中，面粉、油、糖是所有糕點(diǎn)的共同材料，正如因子分析中的新變量即因子變量，正確選擇因子變量后，如果想考慮成千上萬糕點(diǎn)的物價(jià)變動(dòng)，只需重點(diǎn)考慮面粉、油、糖等共因子的物價(jià)變動(dòng)即可。

3.1.2因子分析的基本思想

所以因子分析不是對(duì)原始變量的重新組合，而是對(duì)原始變量進(jìn)行分解，分解為公共因子與特殊因子兩部分。即因子分析就是要利用少數(shù)幾個(gè)公共因子去解釋較多個(gè)要觀測(cè)變量中存在的復(fù)雜關(guān)系，它把原始變量分解為兩部分因素，一部分是由所有變量共同具有的少數(shù)幾個(gè)公共因子構(gòu)成的，另一部分是每個(gè)原始變量獨(dú)自具有的因素，即特殊因子。2007.8安徽財(cái)經(jīng)大學(xué)統(tǒng)計(jì)與應(yīng)用數(shù)學(xué)學(xué)院

3.1.2因子分析的基本思想

因子分析分為兩類，即R型因子分析（對(duì)變量作因子分析），Q型因子分析（對(duì)樣品作因子分析）。這兩種因子分析的處理方法一樣，只是出發(fā)點(diǎn)不同，R型從變量的相關(guān)陣出發(fā)，Q型從樣品相似陣出發(fā)。對(duì)一批觀測(cè)數(shù)據(jù)，可以根據(jù)實(shí)際問題的要求來決定采用哪一種類型的因子分析。本章主要介紹R型因子分析。2007.8安徽財(cái)經(jīng)大學(xué)統(tǒng)計(jì)與應(yīng)用數(shù)學(xué)學(xué)院

因子分析（FactorAnalysis）是主成分分析的推廣，它也是利用降維的思想，從研究原始變量相關(guān)矩陣內(nèi)部的依賴關(guān)系出發(fā)，把一些具有錯(cuò)綜復(fù)雜關(guān)系的變量歸結(jié)為少數(shù)幾個(gè)綜合變量（因子）的一種多變量統(tǒng)計(jì)分析方法。

相對(duì)于主成分分析，因子分析更傾向于描述原始變量之間的相關(guān)關(guān)系；因此，因子分析的出發(fā)點(diǎn)是原始變量的相關(guān)矩陣。

3.1.2因子分析的基本思想2007.8安徽財(cái)經(jīng)大學(xué)統(tǒng)計(jì)與應(yīng)用數(shù)學(xué)學(xué)院

主成分分析分析與因子分析不同，主成分分析僅僅是變量變換，而因子分析需要構(gòu)造因子模型。主成分分析:原始變量的線性組合表示新的綜合變量，即主成分；因子分析：潛在的假想變量和隨機(jī)影響變量的線性組合表示原始變量。因子分析與主成分分析3.1.3與主成分分析的區(qū)別2007.8安徽財(cái)經(jīng)大學(xué)統(tǒng)計(jì)與應(yīng)用數(shù)學(xué)學(xué)院

因子分析與主成分分析的區(qū)別(參見主成分分析與因子分析的異同比較及應(yīng)用)：

1、主成分分析不能作為一個(gè)模型來描述，它只是通常的變量變換；而因子分析需要構(gòu)造因子模型。

2、主成分分析中主成分的個(gè)數(shù)和變量的個(gè)數(shù)P相同，它是將一組具有相關(guān)性的變量變換為一組獨(dú)立的變量（注意應(yīng)用主成分分析解決實(shí)際問題時(shí)，一般只選取前m(m<p)個(gè)主成分；而因子分析的目的是要用盡可能少的公因子，以便構(gòu)造一個(gè)結(jié)構(gòu)簡(jiǎn)單的因子模型。

3、主成分分析是將主成分表示為可觀測(cè)的原變量的線性組合；而因子分析是將原始變量表示為公因子和特殊因子的線性組合。另一方面，這兩種分析方法之間在某些情況下也有一定聯(lián)系，我們將從下面的介紹中看到。因子分析與主成分分析3.1.3與主成分分析的區(qū)別2007.8安徽財(cái)經(jīng)大學(xué)統(tǒng)計(jì)與應(yīng)用數(shù)學(xué)學(xué)院3.1.3與主成分分析的區(qū)別因子分析與回歸分析

因子分析與回歸分析不同，因子分析中的因子是一個(gè)比較抽象的概念，而回歸因子有非常明確的實(shí)際意義。2007.8安徽財(cái)經(jīng)大學(xué)統(tǒng)計(jì)與應(yīng)用數(shù)學(xué)學(xué)院

3.1.2因子分析的基本思想因子變量的特點(diǎn)這些綜合指標(biāo)稱為因子變量，是原變量的重新組構(gòu)；個(gè)數(shù)遠(yuǎn)遠(yuǎn)少于原變量個(gè)數(shù)，但可反映原變量的絕大部分方差；不相關(guān)性，對(duì)因子變量的分析能夠?yàn)檠芯抗ぷ魈峁┹^大的便利；因子變量具有可命名解釋性；2007.8安徽財(cái)經(jīng)大學(xué)統(tǒng)計(jì)與應(yīng)用數(shù)學(xué)學(xué)院

因子分析把每個(gè)原始變量分解成兩個(gè)部分：一部分是由所有變量共同具有的少數(shù)幾個(gè)因子構(gòu)成的，即所謂公共因素部分；另一部分是每個(gè)變量獨(dú)自具有的因素，即所謂獨(dú)特因素部分。

設(shè)

為觀察到的隨機(jī)向量，

是不可觀測(cè)的向量(m應(yīng)小于p)。于是：公共因子與特殊因子3.2.1初始因子模型（R型）2007.8安徽財(cái)經(jīng)大學(xué)統(tǒng)計(jì)與應(yīng)用數(shù)學(xué)學(xué)院3.2.1初始因子模型（R型）初始因子模型2007.8安徽財(cái)經(jīng)大學(xué)統(tǒng)計(jì)與應(yīng)用數(shù)學(xué)學(xué)院

因子模型的一般表達(dá)形式：Xi=ai1F1+ai2F2+…+aimFm+εi(i=1,…,p)3.2.1初始因子模型（R型）初始因子模型2007.8安徽財(cái)經(jīng)大學(xué)統(tǒng)計(jì)與應(yīng)用數(shù)學(xué)學(xué)院

也可以矩陣的形式表示為：X=AF+ε

式中Xi（i=1，2，…，m）和Fj（j=1，2，…，p）都是標(biāo)準(zhǔn)化變量。

3.2.1初始因子模型（R型）初始因子模型或:2007.8安徽財(cái)經(jīng)大學(xué)統(tǒng)計(jì)與應(yīng)用數(shù)學(xué)學(xué)院2007.8安徽財(cái)經(jīng)大學(xué)統(tǒng)計(jì)與應(yīng)用數(shù)學(xué)學(xué)院

1、因子模型中Fl，F(xiàn)2，…，F(xiàn)m叫做因子變量或公（共）因子（潛因子）（Commonfactors)，它們是在各個(gè)原觀測(cè)變量Xi的表達(dá)式中共同出現(xiàn)的因子（是各個(gè)原觀測(cè)變量所共有的因子）。

可理解為原始變量共同具有的公共因素，每個(gè)公因子Fj

（j=1,…,m)假定至少對(duì)兩個(gè)原始變量有作用（有貢獻(xiàn)），否則它將歸入特殊因子。3.2.2因子分析的幾個(gè)相關(guān)概念因子變量（公因子）2007.8安徽財(cái)經(jīng)大學(xué)統(tǒng)計(jì)與應(yīng)用數(shù)學(xué)學(xué)院

公因子是相互獨(dú)立的不可觀測(cè)的理論變量（之所以稱其為因子，是因?yàn)樗遣豢捎^測(cè)的，即不是具體的變量，與聚類分析不同）。公共因子的含義，必須結(jié)合具體問題的實(shí)際意義而定。3.2.2因子分析的幾個(gè)相關(guān)概念因子變量（公因子）2007.8安徽財(cái)經(jīng)大學(xué)統(tǒng)計(jì)與應(yīng)用數(shù)學(xué)學(xué)院3.2.2因子分析的幾個(gè)相關(guān)概念特殊因子2、（i=1，2，…，p）叫做特殊因子（Uniquefactor)，是向量X的分量Xi(i=1，…,P）所特有的因子。

每個(gè)特殊因子僅僅出現(xiàn)在與之相應(yīng)的第i個(gè)原始變量Xi的表達(dá)式中，它只對(duì)這個(gè)原始變量有作用，表示該變量不能被公因子所解釋的部分。相當(dāng)于回歸分析中的殘差項(xiàng)。2007.8安徽財(cái)經(jīng)大學(xué)統(tǒng)計(jì)與應(yīng)用數(shù)學(xué)學(xué)院3.2.2因子分析的幾個(gè)相關(guān)概念因子載荷

3、模型中的矩陣A=(aij)中的元素aij稱為因子載荷（factorloadings)，它是第i個(gè)變量在第j個(gè)公因子上的負(fù)載（或者叫做第i個(gè)變量在第j個(gè)主因子上的權(quán)），在各公共因子不相關(guān)的前提下，因子載荷aij就是第i個(gè)原有變量與第j個(gè)公共因子的相關(guān)系數(shù)。

因子載荷aij表示Xi依賴Fj的程度(比重)（心理學(xué)家將它稱為載荷），反映了第i個(gè)原有變量在第j個(gè)公共因子上的相對(duì)重要性。因此，aij的絕對(duì)值越大，則公共因子Fj與原有變量Xi的關(guān)系越強(qiáng)?；蚍Q公共因子Fj對(duì)于Xi的載荷量大，矩陣A稱為因子載荷矩陣。2007.8安徽財(cái)經(jīng)大學(xué)統(tǒng)計(jì)與應(yīng)用數(shù)學(xué)學(xué)院

例：五個(gè)觀測(cè)變量，兩個(gè)公因子的模型：

X1=0.9562F1+0.2012F2+0.2126ε1

X2=0.8735F1+0.2896F2+0.3913ε2

X3=0.1744F1+0.8972F2+0.4057ε3X4=0.5675F1+0.7586F2+0.3202ε4X5=0.8562F1+0.3315F2+0.3962ε5

可看出，公因子F1與變量X1，X2，X4，X5關(guān)系密切，它主要代表了這些變量的信息；公因子F2與變量X3，X4關(guān)系密切，它主要代表了這兩個(gè)變量的信息。2007.8安徽財(cái)經(jīng)大學(xué)統(tǒng)計(jì)與應(yīng)用數(shù)學(xué)學(xué)院

變量的方差由兩部分組成，一部分由公因子決定，一部分由特殊因子決定。3.2.2因子分析的幾個(gè)相關(guān)概念變量共同度Xi標(biāo)準(zhǔn)化后2007.8安徽財(cái)經(jīng)大學(xué)統(tǒng)計(jì)與應(yīng)用數(shù)學(xué)學(xué)院

h12=a112+a122+…+a1m2h22=a212+a222+…+a2m2

……

hp2=ap12+ap22+…+apm23.2.2因子分析的幾個(gè)相關(guān)概念變量共同度2007.8安徽財(cái)經(jīng)大學(xué)統(tǒng)計(jì)與應(yīng)用數(shù)學(xué)學(xué)院A的行元素平方和(因子載荷陣中第i行元素的平方和)。反映了Xi

對(duì)公共因子的共同依賴程度，它的意義在于說明如果用公因子替代原觀測(cè)變量后，原來每個(gè)變量的信息被保留的程度。故被稱為變量Xi的共同度。3.2.2因子分析的幾個(gè)相關(guān)概念變量共同度2007.8安徽財(cái)經(jīng)大學(xué)統(tǒng)計(jì)與應(yīng)用數(shù)學(xué)學(xué)院

公因子方差表示了變量方差中能被公因子所解釋的部分（即反映了全部公因子對(duì)變量Xi的影響，是全部公因子對(duì)Xi的方差所做出的貢獻(xiàn)——公因子對(duì)變量Xi的方差貢獻(xiàn)），公因子方差越大，變量能被公因子說明的程度越高（越接近1，說明公共因子已經(jīng)解釋說明了原有變量Xi的幾乎全部信息）。3.2.2因子分析的幾個(gè)相關(guān)概念變量共同度2007.8安徽財(cái)經(jīng)大學(xué)統(tǒng)計(jì)與應(yīng)用數(shù)學(xué)學(xué)院3.2.2因子分析的幾個(gè)相關(guān)概念變量共同度

特殊因子的方差，反映了原有變量方差中無法被公共因子描述的比例。僅與變量Xi本身的變化有關(guān)。2007.8安徽財(cái)經(jīng)大學(xué)統(tǒng)計(jì)與應(yīng)用數(shù)學(xué)學(xué)院

對(duì)于上面所舉的五個(gè)觀測(cè)變量、兩個(gè)公因子的例子，計(jì)算出每個(gè)變量的公因子方差，=0.9548,表明F1和F2兩個(gè)因子解釋了變量X1信息量的95.48%。3.2.2因子分析的幾個(gè)相關(guān)概念變量共同度2007.8安徽財(cái)經(jīng)大學(xué)統(tǒng)計(jì)與應(yīng)用數(shù)學(xué)學(xué)院3.2.2因子分析的幾個(gè)相關(guān)概念公因子的方差貢獻(xiàn)

因子載荷矩陣A中第j列各元素的平方和，表示第j個(gè)公共因子Fj對(duì)于X諸分量Xi所提供的方差的總和。稱第j個(gè)公共因子的方差貢獻(xiàn)。是衡量公共因子相對(duì)重要性的指標(biāo)。2007.8安徽財(cái)經(jīng)大學(xué)統(tǒng)計(jì)與應(yīng)用數(shù)學(xué)學(xué)院S21=a112+a212+…+ap12

S22=a122+a222+…+ap22

………S2m=a1m2+a2m2+…+apm23.2.2因子分析的幾個(gè)相關(guān)概念公因子的方差貢獻(xiàn)

每個(gè)公因子對(duì)原始數(shù)據(jù)的解釋能力，用該因子所解釋的總方差（稱為該因子的貢獻(xiàn)）來衡量，公因子Fj的貢獻(xiàn)等于和該因子有關(guān)的因子載荷量的平方和。（j=1,…,m)2007.8安徽財(cái)經(jīng)大學(xué)統(tǒng)計(jì)與應(yīng)用數(shù)學(xué)學(xué)院3.2.2因子分析的幾個(gè)相關(guān)概念公因子的方差貢獻(xiàn)2007.8安徽財(cái)經(jīng)大學(xué)統(tǒng)計(jì)與應(yīng)用數(shù)學(xué)學(xué)院……因子負(fù)荷矩陣的一般格式3.3因子載荷的估計(jì)方法3.3.1因子載荷的求解3.3.2求主因子解的步驟主成分法2007.8安徽財(cái)經(jīng)大學(xué)統(tǒng)計(jì)與應(yīng)用數(shù)學(xué)學(xué)院

要建立某實(shí)際問題的因子分析模型，關(guān)鍵是要根據(jù)樣本數(shù)據(jù)矩陣估計(jì)載荷矩陣A（即求解初始因子——主要目的是確定能夠解釋觀測(cè)變量之間相互關(guān)系的最小因子個(gè)數(shù)）。根據(jù)所依據(jù)的準(zhǔn)則不同，有很多種求因子解的方法。其中使用最為普遍的方法是主成分法。3.3.1因子載荷的求解主成分法2007.8安徽財(cái)經(jīng)大學(xué)統(tǒng)計(jì)與應(yīng)用數(shù)學(xué)學(xué)院設(shè)隨機(jī)向量的協(xié)差陣為∑。為∑的特征根，標(biāo)準(zhǔn)正交化特征向量（只要特征根不等，對(duì)應(yīng)的單位特征向量一定是正交的)，則根據(jù)線性代數(shù)知識(shí)∑分解為：為對(duì)應(yīng)的3.3.1因子載荷的求解主成分法,,21puuuL2007.8安徽財(cái)經(jīng)大學(xué)統(tǒng)計(jì)與應(yīng)用數(shù)學(xué)學(xué)院

上面的分解式恰是公共因子與變量個(gè)數(shù)一樣多且特殊因子的方差為0時(shí)，因子模型中協(xié)差陣的結(jié)構(gòu)。2007.8安徽財(cái)經(jīng)大學(xué)統(tǒng)計(jì)與應(yīng)用數(shù)學(xué)學(xué)院因?yàn)?/p>