多元統(tǒng)計分析講義(第五章).doc

注意電子文檔使用范圍多 元 統(tǒng) 計 分 析Multivariate Statistical Analysis主講：統(tǒng)計學(xué)院 許啟發(fā)（）統(tǒng)計學(xué)院應(yīng)用統(tǒng)計學(xué)教研室School of Statistics2004年10月第五章 因子分析【教學(xué)目的】1 讓學(xué)生了解因子分析的背景、基本思想；2 掌握因子分析的基本原理與方法；3 掌握因子分析的操作步驟和基本過程；4 學(xué)會應(yīng)用因子分析解決實際問題?！窘虒W(xué)重點】1 因子旋轉(zhuǎn)與因子得分；2 因子分析與主成分分析的聯(lián)系與區(qū)別。1 概述一、 引言1問題提出（研究背景）在上一章，已經(jīng)介紹了一種簡化數(shù)據(jù)結(jié)構(gòu)的方法主成分分析法。其基本目的是從盡可能多地占有原始數(shù)據(jù)的總變差出發(fā)來構(gòu)造少數(shù)變量的線性組合變量綜合變量。本章來討論另外一種簡化數(shù)據(jù)結(jié)構(gòu)的方法因子分析，它不同于主成分分析，可以看成是其推廣形式。在經(jīng)濟學(xué)、人口學(xué)、社會學(xué)、心理學(xué)、教育學(xué)等領(lǐng)域中，有許多基本特征，例如：“態(tài)度”、“認(rèn)識”、“愛好”、“能力”、“智力”等，實際上是不可直接觀測的量。但是這些基本特征常常對事物的結(jié)果起著決定性作用。比如學(xué)生通過考試得到英語、高等數(shù)學(xué)、大學(xué)物理、計算機、統(tǒng)計學(xué)、多元統(tǒng)計、數(shù)理統(tǒng)計、經(jīng)濟學(xué)等課程的成績。把每門課的成績看作一個變量，顯然這些變量必定受到一些共同因素的影響，比如全面智力，或者細(xì)分一點，如邏輯思維能力，形象思維能力和記憶力等，都是影響這些課程成績的公共因素。另外，每門課程的成績還可能受自己特點因素的影響，如英語的語言能力、大學(xué)物理的動手實驗?zāi)芰?、高等?shù)學(xué)的推理能力等。2因子分析的產(chǎn)生1904年Charles Spearman發(fā)表對智力測驗得分進(jìn)行統(tǒng)計分析一文，標(biāo)志著因子分析方法的產(chǎn)生。因子分析最早用于心理學(xué)和教育學(xué)方面的研究，目前廣泛應(yīng)用于各領(lǐng)域。3什么是因子分析因子分析就是要利用少數(shù)幾個潛在變量或公共因子去解釋多個顯在變量或可觀測變量中存在的復(fù)雜關(guān)系。換句話說，因子分析是把每個原始（可觀測）變量分解為兩部分因素，一部分是由所有變量共同具有的少數(shù)幾個公共因子構(gòu)成的；另一部分是每個原始變量獨自具有的因素，即所謂的特殊因素部分或特殊因子部分。正是特殊因子的存在，才使一原始變量有別于其它原始變量。屬于多元統(tǒng)計分析中處理降維的一種統(tǒng)計方法。由此可知，因子分析注重的是因子分析的具體形式，而不考慮各變量的變差貢獻(xiàn)大小。例如，某公司對100名招聘人員的知識和能力進(jìn)行測試，出了50首題的試卷，其內(nèi)容包括的面較廣，但總的來講可以歸納為六個方面：語言表達(dá)能力、邏輯思維能力、判斷事物的敏捷和果斷程度、思想修養(yǎng)、興趣愛好、生活常識等，我們將每一個方面稱為因子，顯然這里所說的因子不同于回歸分析中的因素 因子是一種比較抽象的概念，后者具有極為明確的經(jīng)濟意義?，F(xiàn)假設(shè)100人測試的分?jǐn)?shù)可以用上述六個因子表述為線性函數(shù)： 因子模型與回歸模型在形式上相同，在實質(zhì)上不同：是抽象因子，不是變量，其值不可直接觀測；參數(shù)的統(tǒng)計意義不一樣。其中，表示六個因子，它對所有是共有的因子，通常稱為公共因子 公共因素，也稱公共因子，是事物的基本特征或本質(zhì)因子，是不可直接觀測的潛在變量。它們的系數(shù)稱為因子載荷，它表示第個應(yīng)試人員在六因子方面的能力。是第個應(yīng)試人員的能力和知識不能被前六個因子包括的部分，稱為特殊因子，通常假定：。因子分析的任務(wù)，首先估計出和方差，然后將這些抽象因子賦予實際背景的解釋或予以命名。因子分析有兩種類型：R型，對變量作因子分析；Q型，對樣品作因子分析。二、 基本思想因子分析的思想是通過變量（或樣品）的相關(guān)系數(shù)矩陣（相似系數(shù)矩陣）內(nèi)部結(jié)構(gòu)的研究，找出能控制所有變量（或樣品）的少數(shù)幾個隨機變量去描述多個變量（或樣品）之間相關(guān)（相似）關(guān)系。這樣因子分析一方面可簡化觀測系統(tǒng)，簡化原始變量結(jié)構(gòu)，再現(xiàn)變量之間的內(nèi)在聯(lián)系，達(dá)到降維的目的；另一方面可對原始變量進(jìn)行分類，把相關(guān)性較高，即聯(lián)系比較緊密的變量歸為同一類，而不同類的變量之間的相關(guān)性較低。2 因子分析的數(shù)學(xué)模型實際工作中，我們所掌握的只是搜集到的樣本數(shù)據(jù)資料，例如學(xué)生的各科成績，企業(yè)的各項指標(biāo)等。所以這里我們帖變量出發(fā)，通過變量模型，即總體因子分析模型引伸出樣本因子分析模型。一、 因子模型（正交因子模型）1總體因子模型 R型因子分析和Q型因子的計算過程完全相同，只不過出發(fā)點不同：R型是從相關(guān)系數(shù)矩陣出發(fā)；Q型是從相似系數(shù)矩陣出發(fā)。用矩陣表示：簡記為：或滿足條件：；，即不相關(guān)且方差均為1；，即不相關(guān)且方差不同；，即與不相關(guān)。模型解釋：模型將原始變量表為個公共因子的線性組合，即將原始變量置于個公共因子張成的空間下進(jìn)行研究，因子分析的實質(zhì)是將具有錯綜復(fù)雜關(guān)系的變量綜合為數(shù)量較少的幾個因子，以再現(xiàn)原始變量與因子之間的相互關(guān)系；稱為的公共因子（綜合變量），是不可觀測的向量，可以理解為在高維空間中互相垂直的個坐標(biāo)軸；為因子載荷，是第個變量在第個公共因子上的負(fù)荷。如果把看成維空間中的一個向量，則表示在坐標(biāo)軸上的投影。矩陣被稱為因子載荷矩陣；為的特殊因子，理論上要求的協(xié)方差矩陣為對角陣；不相關(guān)，若相關(guān)，模型稱為斜交因子模型；因子分析與主成分分析的聯(lián)系聯(lián)系：同屬降維技術(shù)，求解過程相似，特征向量和因子載荷之間具有聯(lián)系。區(qū)別：因子分析注重模型的具體形式，而不考慮變量變差貢獻(xiàn)大?。恢鞒煞址治龅臄?shù)學(xué)模型實質(zhì)上是一種變換，而因子分析模型則是用來描述協(xié)差陣結(jié)構(gòu)的一種模型，當(dāng)時，不考慮，因子分析也對應(yīng)一種變量變換；主成分分析中每個主成分相應(yīng)系數(shù)是唯一確定的，每個因子的相應(yīng)系數(shù)不是唯一的，即因子載荷陣不唯一，這為因子旋轉(zhuǎn)奠定了基礎(chǔ)。事實上，不妨設(shè)為一階正交矩陣，則因子模型可寫成：，則也是公共因子，是相應(yīng)的因子載荷矩陣，因為仍滿足約束條件：，。2樣本因子模型標(biāo)準(zhǔn)化后的數(shù)據(jù)為，則由總體因子模型可得樣本因子模型其中為因子載荷矩陣，含義同前；，特殊因子矩陣；，公共因子矩陣；樣本因子模型的性質(zhì)可由總體因子模型得出 這里。：二、 因子載荷的統(tǒng)計意義及性質(zhì)1因子載荷矩陣的統(tǒng)計意義已知模型： 這里已經(jīng)標(biāo)準(zhǔn)化。兩端右乘并取數(shù)學(xué)期望得：由于在標(biāo)準(zhǔn)化條件下，有：，。因此，所以上式可以寫成 各因子互不相關(guān)，相關(guān)系數(shù)為0。故因子載荷的統(tǒng)計意義就是第個變量與第個公共因子的相關(guān)系數(shù)即表示依賴于的份量（比重）。統(tǒng)計學(xué)的術(shù)語應(yīng)該叫作權(quán)，但由于歷史的原因，心理學(xué)家將它稱作載荷，即表示第個變量在第個公共因子上的負(fù)荷，它反映了第個變量在第個公共因子上的相對重要性。2因子載荷矩陣的統(tǒng)計意義因子載荷矩陣中，各行元素的平方和 或 稱為的共同度。為說明其統(tǒng)計意義，現(xiàn)在考察的方差。由于已經(jīng)標(biāo)準(zhǔn)化，所以有即：變量方差公共因子方差特殊因子方差這說明的方差由兩部分組成：第一部分為共同度，它刻劃全部公共因子對變量的總方差所作的貢獻(xiàn)；第二部分是特定變量所產(chǎn)生的方差，稱為特殊因子方差，僅與變量本身的變化有關(guān)，它是使的方差為1的補充值。易見越接近于1，因子分析越有效。3公共因子的方差貢獻(xiàn)及其統(tǒng)計意義因子載荷矩陣中，各列元素的平方和 或 稱為公共因子的方差貢獻(xiàn)，它是第個公共因子對所有原始變量的方差貢獻(xiàn)總和。當(dāng)公共因子的方差貢獻(xiàn)與個變量的總方差進(jìn)行比較時，稱的方差貢獻(xiàn)率為第個公共因子的方差貢獻(xiàn)率。方差貢獻(xiàn)率是衡量公共因子相對重要程度的一個指標(biāo)。方差貢獻(xiàn)率越大，該公共因子就相對地越重要。4正交因子載荷不具有唯一性因為，所以相關(guān)系數(shù)矩陣為 這時，協(xié)方差陣與相關(guān)系數(shù)陣等價。： 其中，。說明相關(guān)系數(shù)矩陣可以分解為兩部分，但這種分解并不唯一。設(shè)為一正交矩陣這里，令，相當(dāng)于作一正交變換或正交旋轉(zhuǎn)。前面已經(jīng)討論滿足因子分析的要求所以，有。NOTE：若不考慮正交旋轉(zhuǎn)時，因子載荷矩陣是唯一的；即使在正交旋轉(zhuǎn)情況下，共同度保持不變；變量與的相關(guān)系數(shù)（或協(xié)方差）為因子載荷矩陣中第行與第行對應(yīng)元素乘積之和，即。3 因子分析模型求解或估計可以說，因子載荷矩陣的確立是因子分析中至關(guān)重要的一步，求解因子分析模型的過程就是尋找因子載荷矩陣的過程。實際工作中，求解因子模型的方法很多，這里只介紹兩種常用的方法。一、 主因子法1基本思想如果共同度已知，隨之特殊因子方差也已知；或者特殊因子方差已知，隨之公共因子方差或共同度也已知，則便精確地知道。為非負(fù)定矩陣，存在正交矩陣將其變?yōu)閷蔷仃?，即其中，為的非零特征根，為單位正交特征向量，并且。則我們可以取即得到的精確解，并且這個解滿足：該式進(jìn)一步說明了全部特征根之和就是總共同度。然而，實際工作中和都是未知的，甚至也未知。于是不可能象上面那樣求出和的精確解。然而，仿此可以求出其近似解。如果先給出共同度的一個估計值，隨即可以求出的一個估計值，于是可以得到約化相關(guān)矩陣然后，由方程求出的特征根（不妨設(shè)）及對應(yīng)的前特征向量，于是若取，則。根據(jù)，可有因此，是因子載荷矩陣的一個估計，再求特殊因子方差矩陣的估計，為為了提高精度，往往采用迭代法，即利用上面得到的代替前面的進(jìn)行迭代，直到解穩(wěn)定為止。2基本步驟STEP01：給出共同度的初始估計值；STEP02：由求出 ，并求出約化相關(guān)系數(shù)矩陣；STEP03：求約化相關(guān)系數(shù)矩陣的前個特征根及對應(yīng)的前特征向量，且令；STEP04：求出的估計；STEP05：返回STEP02用代，直到的值和的值達(dá)到穩(wěn)定為止。給出初始估計計算和計算和，令計算的估計及是否穩(wěn)定？給出公共因子和特殊因子YNNOTE：的選取問題。盡管是非負(fù)定陣，但由其得到的約化相關(guān)矩陣卻不一定是非負(fù)陣，可能會有負(fù)特征根。這時侯正的特征根之和將超過總共同度（即的跡），因為全部特征根之和就是總共同度。常用的確定的辦法是按特征根由大至小的次序抽取，直到與接近為止。這樣確定的不超過正特征根的個數(shù)；共同度的選取法一：取，其中是相關(guān)系數(shù)矩陣的逆陣中的主對角線元素。因此有法二：取為第個變量與其它所有變量的復(fù)相關(guān)系數(shù)的平方。法三：取為第個變量與其它所有變量的相關(guān)系數(shù)的最大值（絕對值），即，其中為變量與的相關(guān)系數(shù)。二、 主成分分析法1主成分分析與因子分析的區(qū)別與聯(lián)系P1772主成分解設(shè)相關(guān)系數(shù)矩陣的特征根，對應(yīng)的單位正交特征向量為。設(shè)矩陣，則可以分解為為一個精確的因子分解式，使用了主成分成分方法。事實上，由，令，即可以實現(xiàn)。同時，因子分析還要只選擇個因子，因此當(dāng)后個特征根較小時，去掉矩陣的最后幾列。將分塊：，則 該式即為因子分析模型的主成分解。與的主對角線元素是相等的，而非主對角線上的元素卻不相等。其中， 與的最大差異就是忽略了其中的非主對角線元素。NOTE：該方法在實際使用中也會遇到的選擇問題如果取個因子后，使殘差矩陣的元素絕對值都很小，則認(rèn)為該值合適；根據(jù)公共因子的累積方差貢獻(xiàn)率需要達(dá)到一定的比例來選擇；選擇的個數(shù)為公共因子數(shù)。三、 其它解法除上述的兩種方法以外，常用的還有不加權(quán)的最小二乘法，一般的加權(quán)最小二乘法、重心法、因子分析法、映象因子分析法、最小殘差法、最大似然法、典型最大似然法等。4 因子旋轉(zhuǎn)一、 因子旋轉(zhuǎn)的必要性和可能性1必要性建立因子分析數(shù)學(xué)模型不僅要找出公共因子以及對變量進(jìn)行分組，更重要的是要知道每個公共因子的意義。為此需要考察各個變量在公共因子上的載荷，絕對值越大的代表關(guān)系越密切。為了避免相關(guān)不大不好解釋，需通過坐標(biāo)旋轉(zhuǎn)，使因子載荷在新的坐標(biāo)中能按0或1兩極分化，以便得到一個簡化結(jié)構(gòu) 簡化結(jié)構(gòu)就是使每個變量僅在一個公共因子上有較大的載荷，而在其余公共因子上的載荷較小。主要表現(xiàn)在：（1）每一列上的載荷大部分應(yīng)是很小的，盡可能地接近于0；（2）每一行中只有少量的，最好是只有一個較大的載荷值；（3）每兩列中大載荷和小載荷的排列模式不同。2可能性因子載荷矩陣不唯一。設(shè)為因子載荷矩陣，為一正交矩陣，則就相當(dāng)于對實施了正交變換或因子旋轉(zhuǎn)。這時，載荷矩陣和，公共因子和都會產(chǎn)生相同的相關(guān)系數(shù)矩陣二、 因子旋轉(zhuǎn)1當(dāng)時（1）圖解法：詳見孫慧鈞P185。（2）方差最大正交旋轉(zhuǎn)其基本思想：是選擇適當(dāng)?shù)恼蛔儞Q，使各因子載荷的總方差達(dá)到最大，而不是某一因子方差極大。換言之，如果第個變量在第個公共因子上的載荷，經(jīng)過“方差極大”旋轉(zhuǎn)后其值增大或減少，意味著這個變量在另一些因子上的載荷要縮小或增大。所以“方差極大”旋轉(zhuǎn)是使載荷按列向0、1兩極分化，同時也包含著按行向兩極分化。設(shè)因子載荷矩陣變量共同度?？紤]到各變量共同度之間的差異所造成的不平衡，需要對中的數(shù)字進(jìn)行規(guī)格化處理，即每行的元素用每行的共同度除之。而后對規(guī)格化后的矩陣（仍記為）施行方差最大正交旋轉(zhuǎn)。設(shè)正交矩陣記為了使載荷陣的結(jié)構(gòu)簡化，使其中的每一列元素的平方值向0或1兩極分化，或者說公共因子的貢獻(xiàn)越分散越好。即希望變量分成兩部分，一部分主要與第一公共因子有關(guān)，另一部分與第二公共因子有關(guān)，因此要求，兩組數(shù)據(jù)的方差與盡可能地大。為此，正交旋轉(zhuǎn)的角度必須滿足使旋轉(zhuǎn)后所得到因子載荷陣的總方差達(dá)到最大值，即 因為，。達(dá)到最大值。根據(jù)求極值原理，令，經(jīng)過計算，其旋轉(zhuǎn)角度可按下面的公式求得：其中，。2當(dāng)時這時需逐次對每兩個公共因子進(jìn)行上述旋轉(zhuǎn)，也既是說對每兩個因子所決定的因子面正交旋轉(zhuǎn)一個角度，每次的轉(zhuǎn)角必須滿足使旋轉(zhuǎn)后所得到的因子載荷矩陣的總方差達(dá)到最大值，即使達(dá)到最大，其中為如下的正交陣：經(jīng)過旋轉(zhuǎn)（變換）后，矩陣，其元素為其中旋轉(zhuǎn)角度仍按下面公式求得：個因子，每次取兩個全部配對進(jìn)行旋轉(zhuǎn)，共需旋轉(zhuǎn)次，完成一次循環(huán)，此時因子載荷矩陣即對實施正交變換而得到，并計算其方差記為。如果一輪旋轉(zhuǎn)達(dá)不到要求，則繼續(xù)進(jìn)行第二輪次配對旋轉(zhuǎn)，直至達(dá)到要求為止。5 因子得分到目前為止，只求出了因子載荷矩陣或特殊因子方差貢獻(xiàn)，而因子分析模型中的和仍未知，并且由于公共因子能反映原始變量的相關(guān)系數(shù)。用公共因子代表原始變量時，更有利于描述研究對象的特征。因而往往需要反過來將公共因子表示為變量的線性組合，即稱為因子得分函數(shù) 由于因子得分函數(shù)中方程的個數(shù)小于變量的個數(shù)，因此不能精確計算出因子得分，只能對因子得分進(jìn)行估計。一、 回歸分析法先對公共因子與變量作回歸，建立回歸方程；然后將變量數(shù)值代入回歸方程，求得因子得分。二、 巴特萊特因子得分 最小二乘法。1基本思想這種方法是把一個個體的個變量的取值當(dāng)作因變量，把求因子解中得到的作為自變量數(shù)據(jù)陣，對于這個個體在公因子上的取值當(dāng)作未知參數(shù)，而特殊因子的取值（未知）看作誤差，于是得到如下的線性回歸模型：則稱未知參數(shù)為個體在公因子上取值為的因子得分。2基本做法由先將的協(xié)差陣（即因子模型中特殊因子的方差貢獻(xiàn)）單位化利用最小二乘法可求出的估計：稱之為Bartlett因子得分。三、 巴特萊特因子得分 回歸分析法。由Thomson于1939年提出該得分。假設(shè)公共因子可以對個變量作回歸，回歸方程為： ，因為變量及公共因子已標(biāo)準(zhǔn)化。的值待估。利用樣本值可得因子載荷陣，由因子載荷的意義可知： 即其中，。因此，記則稱為Thomson因子得分。式中：為因子載荷矩陣；為樣本相關(guān)陣，；為。5 因子分析與主成分分析的區(qū)別一、 基本思想的異同1共同點：從二者表達(dá)的含義上看，主成分分析法和因子分析法都尋求少數(shù)的幾個變量（或因子）來綜合反映全部變量（或因子）的大部分信息，變量雖然較原始變量少，但所包含的信息量卻占原始信息量的85%以上，用這些新變量來分析經(jīng)濟問題，其可信程度仍然很高，而且這些新的變量彼此間互不相關(guān)，消除了多重共線性。2不同點：主成分分析所得到的新變量是原始變量的線性組合；因子分析所得到的新變量是對每一個原始變量進(jìn)行內(nèi)部剖析，是對原始變量進(jìn)行分解，分解為公共因子與特殊因子兩部分，而不是對原始變量的重新組合。二、 軟件操作中的異同主成分分析與因子分析都可利用SPSS軟件中的FACTOR過程來實現(xiàn) 所以狀態(tài)都是默認(rèn)時，可以進(jìn)行主成分分析。，在此過程中應(yīng)該注意以下幾點：1指標(biāo)的選定指標(biāo)最好具有同趨勢化，一般為了評價分析的方便，需要將逆指標(biāo)轉(zhuǎn)化為正指標(biāo) 轉(zhuǎn)化的方式可以有若干種，其中最為簡單的是用逆指標(biāo)的倒數(shù)值代替原指標(biāo)值。2因子變量個數(shù)的確定在利用FACTOR實現(xiàn)主成分分析時，在確定公共因子個數(shù)時，一般直接選擇與原變量數(shù)目相等的個數(shù)，這樣可以避免由于采用默認(rèn)形式后累積方差貢獻(xiàn)率達(dá)不到85%而造成的二次操作。在利用FACTOR實現(xiàn)因子分析時，可以選擇的選項較多，首先是撮公因子的方法，除了主成分分析法之外，還有不加權(quán)最小二乘法、普通最小二乘法、最大似然估計法、主因子法、因子分析法、映象因子分析法。這七種方法中只有用主成分分析法求解因子載荷時可以選擇與變量個數(shù)相等的因子變量個數(shù)，其它方法都必須因子變量個數(shù)小于原始變量個數(shù)。而且在計算的過程中不能像主成分分析法那樣一次計算因子載荷成功，如主因子法，往往需要經(jīng)過多次嘗試，才能得到因子載荷矩陣。3模型的生成經(jīng)過FACTOR過程都產(chǎn)生因子載荷陣，但主成分分析模型需要的不是因子載荷量而是特征向量，所以還需要將因子載荷量輸入到數(shù)據(jù)的編輯窗口，利用“主成分相應(yīng)特征根的平方根與特征向量乘積為因子載荷量”性質(zhì)來計算特征向量，從而得到主成分的線性表達(dá)式。因子分析直接采用因子載荷量即可得到因子模型。4計算得到的方法主成分是根據(jù)表達(dá)式將標(biāo)準(zhǔn)化后的相應(yīng)數(shù)據(jù)代入得到的。主成分得分一般用來對研究現(xiàn)象進(jìn)行綜合評價、排序及篩選變量。因子得分的計算在SPSS中提供了三種方法：一是回歸法；二是巴特萊特法；三是安德森-魯賓法，這種方法是為了保證因子的正交性而對巴氏方法的因子得分進(jìn)行的調(diào)整，其因子得分的均值為0，方差為1。因子得分多用于對樣本及變量的分類，也可用于綜合評價。5有關(guān)統(tǒng)計量的取得有關(guān)因子載荷的統(tǒng)計量在SPSS輸出窗口可直接得到，如變量與公共因子的相關(guān)系數(shù)，實際上為所求得的因子載荷量；變量共同度（反映每個變量對所提取的公共因子的依賴程度的統(tǒng)計量）可由輸出窗口中的“component commulity”中直接顯示出來 實際此數(shù)值是因子載荷矩陣中每一行的因子載荷量的平方和。，提取的因子個數(shù)不同，變量共同度也不同。另外，公共因子的方差（反映每個公因子與所有變量的相關(guān)程度的統(tǒng)計量）可由“extraction sums of squared loadings”直接讀出 實際此數(shù)值是因子載荷矩陣中每列的因子載荷量的平方和。我們所求得的因