第八章因子分析.ppt

因子分析 信計(jì)學(xué)院統(tǒng)計(jì)系沈菊紅 第八章因子分析 因子分析的基本原理因子載荷陣的求解因子載荷和變量共同度的統(tǒng)計(jì)意義因子旋轉(zhuǎn)因子分析方法應(yīng)用實(shí)例 變量的相關(guān)性公共因子 將多個(gè)具有錯(cuò)綜復(fù)雜關(guān)系的變量轉(zhuǎn)換成少數(shù)幾個(gè)不相關(guān)的綜合指數(shù) 因子 問(wèn)題的提出 20世紀(jì)初由KarlPearson和ChalesSpearman關(guān)于智力的定義和測(cè)量工作而開(kāi)始了因子分析的近代發(fā)展 Spearman對(duì)學(xué)生考試所得的分?jǐn)?shù)做了分析 他注意到在分?jǐn)?shù)之間的相關(guān)矩陣中存在一定的系統(tǒng)影響 下表是某學(xué)校33個(gè)學(xué)生6門功課的相關(guān)系數(shù)矩陣 一 概述 表中課程是按照相關(guān)系數(shù)從上到下遞減排列的 Spearman注意到相關(guān)矩陣中一個(gè)有趣的規(guī)律 如果不考慮對(duì)角元素的話 任意兩列的元素大致 例1 成比例 對(duì)1列和3列有 那么各門功課相關(guān)的 效應(yīng) 就可以被說(shuō)明 其中是對(duì)所有變量都起作用的公因子 是對(duì)所特有的 即每門課程的考試成績(jī)可以看作由一個(gè)公因子 與智力相一致 和一個(gè)特殊因子之和組成 于是Spearman指出第i個(gè)變量 第i門功課 上的分?jǐn)?shù)都遵從以下形式 例2考慮人的五個(gè)生理指標(biāo) 收縮壓 舒張壓 心跳間隔 呼吸間隔 舌下溫度 從生理學(xué)的知識(shí)知道這五個(gè)指標(biāo)是受植物神經(jīng)的交感神經(jīng)和副交感神經(jīng)這兩個(gè)因子的共同影響 即這五個(gè)指標(biāo)至少受到兩個(gè)公共因子的作用 如果用分別表示交感神經(jīng)和副交感神經(jīng) 那么可以設(shè)想變量是的線性函數(shù) 再加上其它對(duì)有影響的因子 即 表示兩個(gè)因子 稱為公共因子 系數(shù)稱為因子載荷 表示對(duì)第i個(gè)變量的影響程度 為特殊因子 是其它不能被兩個(gè)因子包括的對(duì)有影響的部分 這樣五個(gè)生理變量之間的相關(guān)效應(yīng)就可以通過(guò)公因子和特殊因子來(lái)說(shuō)明 因子分析是主成分分析的推廣和發(fā)展 它是將具有錯(cuò)綜復(fù)雜關(guān)系的變量 或樣品 綜合為數(shù)量較少的幾個(gè)因子 以再現(xiàn)原始變量與因子之間的相互關(guān)系 同時(shí)根據(jù)不同因子還可以對(duì)變量進(jìn)行分類 它也是處理降維的一種統(tǒng)計(jì)方法 因子分析的任務(wù) 首先是估計(jì)出 然后將抽象因子賦予實(shí)際背景的解釋或給以命名 什么是因子分析 因子分析 R型因子分析 對(duì)變量 Q型因子分析 對(duì)樣品 基本思想 通過(guò)變量的相關(guān)系數(shù)矩陣內(nèi)部結(jié)構(gòu)的研究 找出能控制所有變量的少數(shù)幾個(gè)隨機(jī)變量 不可觀測(cè) 去描述多個(gè)變量之間的相關(guān)關(guān)系 然后根據(jù)相關(guān)性的大小把變量分組 使得同組內(nèi)的變量之間相關(guān)性較高 不同組的變量相關(guān)性較低 相對(duì)于主成分分析 因子分析更傾向于描述原始變量之間的相關(guān)關(guān)系 因此 因子分析的出發(fā)點(diǎn)是原始變量的相關(guān)矩陣 二 因子分析模型 一般地 設(shè)為可觀測(cè)的隨機(jī)變量 且有 1 數(shù)學(xué)模型 8 1 用矩陣表示 為公共 共性 因子 commonfactor 簡(jiǎn)稱因子 factor 為特殊因子 specificfactor 和均為不可直接觀測(cè)的隨機(jī)變量稱為因子載荷是第i個(gè)變量在第j個(gè)公共因子上的負(fù)荷 為因子負(fù)荷 載荷 factorloading 矩陣 高維空間中的互相垂直的m個(gè)坐標(biāo) 通常先對(duì)作標(biāo)準(zhǔn)化處理 使標(biāo)準(zhǔn)化得到的新變量 這樣就有假定 1 2 3 即和不相關(guān) 則稱 8 1 為具有m個(gè)公因子的正交因子模型 如果與相關(guān)時(shí) 則不是對(duì)角陣 此時(shí)的模型稱為斜交因子模型 因子分析的目的是通過(guò)以代替 由于 從而達(dá)到簡(jiǎn)化變量的維數(shù) 3 因子分析與主成分分析的異同 從一個(gè)協(xié)方差陣出發(fā) 都是降維 主成分的數(shù)學(xué)模型實(shí)質(zhì)上是一種變換 而因子分析是描述原變量的相關(guān)陣結(jié)構(gòu)的一種模型 主成分的解是唯一的 而因子分析的解是不唯一的 應(yīng)用目的不同 三 因子分析提取因子的方法 主成分法 principalcomponentfactor 用主成分法確定因子載荷是在進(jìn)行因子分析之前先對(duì)數(shù)據(jù)進(jìn)行一次主成分分析 然后把前面幾個(gè)主成分作為未旋轉(zhuǎn)的公因子 用主成分法尋找公因子的方法如下 找出p個(gè)主成分則主成分與原始變量之間存在如下關(guān)系式 按由大到小 其中 為隨機(jī)向量的相關(guān)矩陣的特征值所對(duì)應(yīng)的特征向量的分量 因?yàn)樘卣飨蛄恐g彼此正交 從到的轉(zhuǎn)換關(guān)系是可逆的 即有 8 2 對(duì)上面每一等式只保留前m個(gè)主成分而把后面的部分用代替 則上式變?yōu)?8 3 8 4 8 4 式在形式上與因子模型相一致 且之間互不相關(guān) 把 令 則 8 4 式變?yōu)?由此得到了載荷矩陣和一組初始公因子 未旋轉(zhuǎn) 8 5 主成分法 principalcomponentfactor 設(shè)的樣本相關(guān)陣為 的特征根為 對(duì)應(yīng)的單位特征向量 則有 從另一個(gè)角度講主成分法 上式恰是時(shí) 因子模型中的結(jié)構(gòu) 因?yàn)榇藭r(shí)模型為即 設(shè) 則載荷陣的解為 共同度的估計(jì)為 正交因子模型具有如下特性 假定因子模型中 各個(gè)變量及公共因子 特殊因子都已經(jīng)是標(biāo)準(zhǔn)化的變量 1 因子載荷 負(fù)荷 的統(tǒng)計(jì)意義是隨機(jī)變量與公共因子的相關(guān)系數(shù) 即表示依賴的比重 分量 反映了在上的相對(duì)重要性 2 變量共同度的統(tǒng)計(jì)意義變量的共同度定義為因子載荷中的第i行元素的平方和 X的方差可表示為 此時(shí)有 是m個(gè)公共因子對(duì)第i個(gè)變量的總方差的貢獻(xiàn) 稱為第i個(gè)共同 communality 或共性方差 公因子方差 commonvariance 說(shuō)明該變量的幾乎全部原始信息都被所選取的公共因子說(shuō)明了 該式說(shuō)明 的方差由兩部分組成 是特定變量所產(chǎn)生的方差 稱為特殊因子方差 specificfactorvariance 是不能由公共因子解釋的部分 僅與本身的變化有關(guān) 它是使的補(bǔ)充值 3 公共因子的方差貢獻(xiàn)的統(tǒng)計(jì)意義設(shè)稱為公共因子對(duì)的 貢獻(xiàn) 表示同一公共因子對(duì)諸變量所提供的方差貢獻(xiàn)之和 它是衡量公共因子相對(duì)重要性的一個(gè)指標(biāo) 越大 則表明對(duì)的貢獻(xiàn)越大 或者說(shuō)對(duì)的影響和作用越大 每一個(gè)公共因子的載荷系數(shù)之平方和等于對(duì)應(yīng)的特征根 即該公共因子的方差 說(shuō)明 由于用主成分所得的特殊因子之間并不相互獨(dú)立 因此 用主成分法確定因子載荷不完全符合因子模型的假設(shè)前提 即所得的因子載荷并不完全正確 但是當(dāng)共同度較大時(shí) 特殊因子所起的作用較小 因而特殊因子之間的相關(guān)性所帶來(lái)的影響就幾乎可以忽略 極大似然法 maximumlikelihoodfactor 假定原變量服從正態(tài)分布 公共因子和特殊因子也服從正態(tài)分布 構(gòu)造因子載荷和特殊方差的似然函數(shù) 求其極大 得到唯一解 主因子法 principalfactor 設(shè)原變量的相關(guān)矩陣為 其逆矩陣為 各變量特征方差的初始值取為逆相關(guān)矩陣對(duì)角線元素的倒數(shù) 則共同度的初始值為 以代替相關(guān)矩陣中的對(duì)角線上的元素 得到約化相關(guān)矩陣 的前m個(gè)特征根及其對(duì)應(yīng)的單位化特征向量就是主因子解 迭代主因子法 iteratedprincipalfactor 主因子的解很不穩(wěn)定 因此 常以估計(jì)的共同度為初始值 構(gòu)造新的約化矩陣 再計(jì)算其特征根及其特征向量 并由此再估計(jì)因子載荷及其各變量的共同度和特殊方差 再由此新估計(jì)的共同度為初始值繼續(xù)迭代 直到解穩(wěn)定為止 四 因子旋轉(zhuǎn) 目的 使因子負(fù)荷兩極分化 要么接近于0 要么接近于1 結(jié)構(gòu)簡(jiǎn)化 就是使每個(gè)變量?jī)H在一個(gè)公共因子上有較大的載荷 而在其余公共因子上的載荷較小 當(dāng)公共因子涵義不清時(shí)結(jié)構(gòu)簡(jiǎn)化的A 因子載荷 陣旋轉(zhuǎn) 每個(gè)僅在上有較大載荷 四 因子旋轉(zhuǎn) 常用的旋轉(zhuǎn)方法 方差最大 正交旋轉(zhuǎn) 斜交旋轉(zhuǎn)等 1 方差最大正交旋轉(zhuǎn) varimaxorthogonalrotation 基本思想 使公共因子的相對(duì)負(fù)荷 的方差之和最大 且保持原公共因子的正交性和公共方差總和不變 可使每個(gè)因子上的具有最大載荷的變量數(shù)最小 因此可以簡(jiǎn)化對(duì)因子的解釋 考慮兩個(gè)因子的平面正交旋轉(zhuǎn) 設(shè) 正交陣 所謂結(jié)構(gòu)簡(jiǎn)化 就是使的每一列元素的平方值向1和0兩極分化 或者說(shuō)使因子的貢獻(xiàn)盡量分散 即把變量分成兩部分 一部分主要與有關(guān) 另一部分主要與有關(guān) 這也就是要求兩組數(shù)據(jù)的方差要盡可能地大 8 6 故正交旋轉(zhuǎn)角度必須滿足使旋轉(zhuǎn)后所得到因子載荷陣的總方差達(dá)到最大 即 8 7 根據(jù)求極值原理 先求對(duì)的偏導(dǎo)數(shù) 利用式 8 6 8 7 經(jīng)過(guò)計(jì)算知要使 須滿足 其中 8 8 如果公共因子多于兩個(gè) 可以逐次對(duì)每?jī)蓚€(gè)進(jìn)行上述的旋轉(zhuǎn) 當(dāng)公因子數(shù)時(shí) 可以每次取兩個(gè) 全部配對(duì)旋轉(zhuǎn) 旋轉(zhuǎn)時(shí)總是對(duì)初始載荷矩陣中的列 列同時(shí)進(jìn)行 此時(shí)式 8 8 中只需將就可以了 變換共需進(jìn)行次 這樣就完成了第一輪旋轉(zhuǎn) 然后對(duì)第一輪旋轉(zhuǎn)所得結(jié)果用上述方法繼續(xù)進(jìn)行旋轉(zhuǎn) 得到第二輪旋轉(zhuǎn)的結(jié)果 每一次旋轉(zhuǎn)后 矩陣各列平方的相對(duì)方差之和總會(huì)比上一次有所增加 如此繼續(xù)下去 當(dāng)總方差的改變不大時(shí) 就可以停止旋轉(zhuǎn) 這樣就得到了新的一組公共因子及相應(yīng)的因子載荷矩陣 使得各列元素平方的相對(duì)方差之和最大 2 斜交旋轉(zhuǎn) obliquerotation 因子斜交旋轉(zhuǎn)后 各因子負(fù)荷發(fā)生了較大變化 出現(xiàn)了兩極分化 各因子間不再相互獨(dú)立 而彼此相關(guān) 各因子對(duì)各變量的貢獻(xiàn)的總和也發(fā)生了改變 適用于大數(shù)據(jù)集的因子分析 五 因子得分 因子模型 變量 樣品 性質(zhì)及變量 樣品 間的相互關(guān)系 例如 考察 企業(yè)經(jīng)濟(jì)效益的優(yōu)劣 各企業(yè)劃分歸類 因子得分 五 因子得分 因子得分就是公共因子在每一個(gè) 變量 樣品點(diǎn)上的得分 在因子模型中 公因子的個(gè)數(shù)少于原始變量的個(gè)數(shù) 且公因子是不可觀測(cè)的隱變量 載荷矩陣不可逆 因而不能直接求得公因子用原始變量表示的精確線性組合 因子得分函數(shù) 五 因子得分 Thomson法 即回歸法回歸法得分是由1939年由Thomson提出來(lái)的 得到的因子得分是有偏的 但計(jì)算結(jié)果誤差較小 Thomson用回歸的思想求出線性組合系數(shù)的估計(jì)值 建立如下以公因子為因變量 原始變量為自變量的回歸方程 因子得分函數(shù) 由于假設(shè)變量及公因子都已經(jīng)標(biāo)準(zhǔn)化了 以下求回歸系數(shù) 僅知利用樣本值可得因子載荷陣 由因子載荷的意義知 即 其中 因此記 則 于是 即為估計(jì)因子得分的計(jì)算公式 Bartlett法Bartlett因子得分是極大似然估計(jì) 也是加權(quán)最小二乘回歸 得到的因子得分是無(wú)偏的 但計(jì)算結(jié)果誤差較大 估計(jì)出因子得分后 用少數(shù)公共因子描述原始變量的數(shù)據(jù)結(jié)構(gòu) 也可用作進(jìn)一步的分析 樣本點(diǎn)之間的比較分析 對(duì)樣本點(diǎn)的聚類分析等 六 因子分析的步驟 輸入原始數(shù)據(jù) 進(jìn)行標(biāo)準(zhǔn)化計(jì)算 處理 求樣本相關(guān)系數(shù)矩陣 求相關(guān)系數(shù)矩陣的特征根和相應(yīng)的標(biāo)準(zhǔn)正交化的特征向量 確定公共因子數(shù)m 根據(jù)累計(jì)貢獻(xiàn)率的要求 取前m個(gè)特征根及相應(yīng)的特征向量 并寫出因子載荷陣 對(duì)載荷矩陣進(jìn)行旋轉(zhuǎn) 以求能更好地解釋公共因子 計(jì)算因子得分 對(duì)公共因子作出專業(yè)性的解釋 七 因子分析應(yīng)用實(shí)例 例1 對(duì)全國(guó)30個(gè)省市自治區(qū)的經(jīng)濟(jì)發(fā)展八項(xiàng)指標(biāo)作因子分析 各變量中信息被三個(gè)公因子提取出的比例 因子載荷矩陣 若將8個(gè)主成分全部保留 此時(shí)有 每一列系數(shù)