現(xiàn)代統(tǒng)計(jì)學(xué)與SAS應(yīng)用：因子分析

現(xiàn)代統(tǒng)計(jì)學(xué)與SAS應(yīng)用：因子分析發(fā)布人：圣才學(xué)習(xí)網(wǎng)發(fā)布日期：2010-01-2515:05共Q人瀏覽［大］［中］［?。莸?節(jié)基本概念學(xué)生的各科成績(jī)受智力、計(jì)算能力、表達(dá)能力和靈活性等因子的影響，可以通過(guò)考試或檢查等手段獲得學(xué)生的各科成績(jī)，但那些對(duì)各科成績(jī)起支配作用的因子的狀態(tài)不能直接測(cè)定到；又如，考慮5項(xiàng)生理指標(biāo)一收縮壓、舒張壓、心跳間隔、呼吸間隔和舌下溫度，從生理知識(shí)知道：這5項(xiàng)指標(biāo)是受物神經(jīng)的交感神經(jīng)和副交感神經(jīng)支配的，而這2種神經(jīng)的狀態(tài)也不能直接測(cè)定出來(lái)。因子分析（FactorAnalysis）就是要找出某個(gè)問(wèn)題中可直接測(cè)量的、具有一定相關(guān)性的諸指標(biāo)，如何受少數(shù)幾個(gè)在專業(yè)上有意義，踴可直接測(cè)量到，且相對(duì)獨(dú)立的因子支配的規(guī)律，從而可用諸指標(biāo)的測(cè)定值來(lái)間接確定諸因子的狀態(tài)。第2節(jié)因子模型.初始因子模型設(shè)某問(wèn)題中的測(cè)量指標(biāo)有XI，X2，…，Xm，其標(biāo)準(zhǔn)化指標(biāo)為xi=（Xi-Xi）/Si（i=1，2，…，m），各指標(biāo)均受p（p<m）個(gè)公因子支配，同時(shí)，每個(gè)指標(biāo)還受1個(gè)特殊因子的制約，于是，標(biāo)準(zhǔn)化變量xi可用公因子F和特殊因子U線性表出，即：I-x1=a11F1+???+a1pFp+C1U1I （6.2.1）Lxm=am1F1+,“+ampFp+CmUm式（6.2.1）中的aij稱為因子負(fù)荷（或載荷、權(quán)數(shù)）。此模型有2個(gè)特點(diǎn)，其一，模型不受量綱的影響；其二，因子負(fù)荷是不唯一的。這只唯一性從表面上看是不利的，但通過(guò)因子的變換（即因子軸的旋轉(zhuǎn)），可使新的因子更具有鮮明的實(shí)際意義。旋轉(zhuǎn)后的因子模型當(dāng)初始因子模型（6.2.1）求得后，一般來(lái)說(shuō)，載荷矩陣A=（aij）mXp的結(jié)構(gòu)比較復(fù)雜，倘若能進(jìn)一步簡(jiǎn)化，用公因子來(lái)線性表達(dá)標(biāo)準(zhǔn)化指標(biāo)時(shí)就更容易作出有實(shí)際意義的解釋，即使得矩陣A中各列元素向0和1兩極分化，但保持同一行中各元素平和（稱為各指標(biāo)的公因子方差）不變，實(shí)現(xiàn)這一目的的變換法叫因子軸的旋轉(zhuǎn)。設(shè)從公因子F旋轉(zhuǎn)到公因子G，則式（6.2.1）變?yōu)椋海?.2.2）（i=1，2，…，m；j=1，2，…，p；p<m）式（6.2.2）中的仍稱為因子載荷。因子得分模型無(wú)論是初始因子模型還是旋轉(zhuǎn)后的因子模型，都是將指標(biāo)表示為公因子的線性組合，在因子分析中，還可以將公因子表示為指標(biāo)的線性組合，這樣就可以從指標(biāo)的觀測(cè)值估計(jì)各個(gè)公因子的值，這種值叫做因子得分。它對(duì)樣品的分類有實(shí)際意義。（6.2.3）（i=1，2，…，m；j=1，2，…，p；p<m）。模型的有關(guān)假設(shè)線性假設(shè)：即模型（6.2.1）為線性模型；獨(dú)立性假設(shè)：即各特殊因子之間以及特殊因子與所有公因子之間均互相獨(dú)立；公因子都是均數(shù)為0、方差為1的獨(dú)立正態(tài)隨機(jī)變量，其協(xié)方差矩陣為單位矩陣。第3節(jié)因子分析的基本定理與任務(wù)1.初始因子模型中3種相關(guān)系數(shù)在因子模型中可計(jì)算下列幾種相關(guān)系數(shù)：一標(biāo)準(zhǔn)化變量（以下簡(jiǎn)稱變量）與公因子之間的相關(guān)系數(shù)；一變量與特殊因子之間的相關(guān)系數(shù)；一第i個(gè)與第j個(gè)變量之間的相關(guān)系數(shù)，當(dāng)i=j時(shí)，。它們與模型中的系數(shù)、之間有如下的關(guān)系：用Fj乘以方程組（6.2.1）的第i式，取數(shù)學(xué)期望（即理論均數(shù)）并利用模型的有關(guān)假設(shè)，得：（6.2.4）此式說(shuō)明因子負(fù)荷aij為第i個(gè)變量與第j個(gè)公因子之間的相關(guān)系數(shù)。同理，用Uj乘以方程組（6.2.1）的第i式，取數(shù)學(xué)期望并利用模型的有關(guān)假設(shè)，得：（6.2.5）此式說(shuō)明Ci為第i個(gè)變量與第i個(gè)特殊因子之間的相關(guān)系數(shù)。將方程組（6.2.1）的第i式與第j式兩敝別相乘，取數(shù)學(xué)期望并利用模型的有關(guān)假設(shè)，得：（6.2.6）（6.2.7）在式（6.2.7）中，C2i被稱為變量xi的特殊因子方差，令：（6.2.8）（i=1，2，…，m）稱為變量xi的公因子方差（CommonVariance），或稱共性（Communality）。它反映了全部公因子對(duì)xi的影響或貢獻(xiàn)，h2i越接近1，公因子越能代表原變量的變化。在因子分析的結(jié)果中會(huì)給出各變量公因子方差h2i的最后估計(jì)值，因C2i=1-h2i，脹獲得了各變量的特殊因子方差平的估計(jì)值。另外，a2ij代表公因子Fj對(duì)變量xi的總方差所作的貢獻(xiàn)，令：（6.2.9）則Vj反映了公因子Fj對(duì)全部變量的總影響或總貢獻(xiàn)，故可用來(lái)衡量Fj的相對(duì)重要性。因子分析的基本定理將式（6.2.6）、（6.2.7）用矩陣形式表出為：R=AA'+CC'（6.2.10）稱R為變量的相關(guān)矩陣，A為因子負(fù)荷矩陣，C為特殊因子負(fù)荷矩陣，A'、C'分別為A、C的轉(zhuǎn)置矩陣，其具體形式如下?！竢11r12…r1mq廠a11a12…a1pqR=I……I，A=|……I，C=diag(C1，C2,…，Cm)Lrm1rm2…rmm」Lam1am2…amp」diag代表對(duì)角矩陣「h21r12…r1mq記R*=AA'=R-CC'=|I（6.2.11）Lrm1rm2…h(huán)2p」R*稱為約相關(guān)矩陣，它與R的區(qū)別僅在于對(duì)角線上元素不同。此式表明：因子分析要求將m個(gè)變量之間的相關(guān)關(guān)系轉(zhuǎn)化為m個(gè)變量與p個(gè)公因子之間的關(guān)系，即在已知約相關(guān)矩陣的條件下，求出因子負(fù)荷矩陣A，使R*=AA'，故把式（6.2.11）稱為因子分析的基本定理。因子分析的任務(wù)求出式（6.2.1）至（6.2.3）中的全部系數(shù)；利用式（6.2.2）并結(jié)合具體問(wèn)題給公因子以恰當(dāng)?shù)慕忉?利用式（6.2.3）求樣品的因子得分，對(duì)樣品進(jìn)行分類。提取公因子方法的種類如何求出式（6.2.1）至（6.2.3）中的全部系數(shù)，有許多種方法。常見(jiàn)的有主成分分析法、無(wú)迭代主因子分析法、有迭代主因子分析法、最大似然法。其中主成分分析法就是用相關(guān)矩陣R取代約相關(guān)矩陣R*,即令所有變量的公因子方差為1,只要相關(guān)矩陣中無(wú)缺失數(shù)據(jù)，此方法總是可以進(jìn)行下去的；而其他方法則與預(yù)先給定的公因子方差的初值、樣品含量、提取公因子的數(shù)目等因素有關(guān)。有時(shí)出現(xiàn)負(fù)特征值、有些變量最后的共性方差大于1等現(xiàn)象（程序?qū)⒆詣?dòng)停止執(zhí)行），此時(shí)，若用SAS中FACTOR過(guò)程實(shí)現(xiàn)因子分析，可增加一選擇項(xiàng)HEYWOOD（簡(jiǎn)寫成HEY），使變量的共性方差的最大值為1，并使程序繼續(xù)執(zhí)行下去。上述幾種方法的比較：主成分分析法給每個(gè)變量的公因子方差賦的初值都是1，等價(jià)于假定特殊因子的作用為0,顯然其結(jié)果是比較粗略的，其優(yōu)點(diǎn)是計(jì)算總能順利地進(jìn)行下去；主因子分析和最大似然法都能結(jié)合各變量的特點(diǎn)給它們的共性方差賦初值，如果初值以及其他因素都調(diào)整得比較好，可給出較好的結(jié)果，其缺點(diǎn)是這種調(diào)整比較困難；對(duì)于大樣本資料，最大似然法有所期望的漸近特性、并能給出比主因子法更好的估計(jì)。第4節(jié)用FACTOR過(guò)程實(shí)現(xiàn)因子分析［例6.2.1］沿用［例6.1.1］資料進(jìn)行因子分析。［SAS程序］——［D6P3.PRG］DATAABC；PROCFACTORM=PRINPRIORS=ONEINPUTX1-X4@@；R=VSCORE；CARDS；RUN；402.05201803.51440PROCFACTORM=PRINPRIORS=SMC101.55301302.03050R=VSCORE；1203.013502201.51720RUN；2504.51801601.53560PROCFACTORM=PRINITPRIORS=SMC1203.59502202.51430HEYR=VSCORE；101.512501402.02020RUN；401.019402202.01410PROCFACTORM=MLPRIORS=SMC2704.01360401.0100HEYR=VSCORE；2803.51160201.01260RUN；1703.09601202.0200（程序的第1部分）（程序的第2部分）［程序修改指導(dǎo)］程序的第2部分寫了4個(gè)過(guò)程步，每個(gè)過(guò)程步中都含有4個(gè)重要的選擇，即：1.提取初始公因子的主要方法（即在選擇項(xiàng)METHOD=或M=后填1個(gè)選擇項(xiàng)）PRINCIPAL主成分分析法PRINIT迭代主因子分析法ML最大似然法.給各變量的公因子方差h2i賦初值（即在PRIORS=后填1個(gè)選擇項(xiàng)，中括號(hào)內(nèi)為縮寫形式）通常在用主成分分析法時(shí)，才讓PRIORS=ONE。PRIORS=后其他選擇項(xiàng)及其含義如下：ASMC[A]置h2i正比于xi與其他指標(biāo)之間的全相關(guān)系數(shù)的平；MAX[M]置h2i為xi與其他指標(biāo)中某一個(gè)的最大絕對(duì)相關(guān)系數(shù)；ONE[O]置所有的h2i=1；RANDOM[R]置h2i為在0與1之間服從均勻的偽隨機(jī)數(shù)；SMC[S]置h2i為xi與其他指標(biāo)之間全相關(guān)系數(shù)的平。注意：上述2個(gè)選擇項(xiàng)通常是配套發(fā)揮作用的，如：當(dāng)M=PRINPRIORS=ONE時(shí)則指定用主成分分析法；若M=PRINPRIORS=其他內(nèi)容時(shí)則指定用無(wú)迭代的主因子分析法；當(dāng)M=PRINIT，無(wú)論P(yáng)RIORS=什么，則指定用迭代的主因子分析法；當(dāng)M=ML，無(wú)論P(yáng)RIORS=什么，則指定用最大似然法。M=后還可寫其他一些方法（從略）。.規(guī)定因子軸的旋轉(zhuǎn)法（即在選擇項(xiàng)ROTATE=或R=后填1個(gè)選擇項(xiàng)）VARIMAX[V]最大方差旋轉(zhuǎn)法；ORTHOMAX正交最大方差旋轉(zhuǎn)法；PROMAX在正交最大方差旋轉(zhuǎn)基礎(chǔ)上進(jìn)行斜交旋轉(zhuǎn)。4.SCORE表示要求算出因子得分模型中的系數(shù)。另外，用戶還可事先在過(guò)程步語(yǔ)句中增加選擇項(xiàng)NFACTOR=n，要求保留n個(gè)公因子，否則，只保留特征值大于1的那些公因子。由以上的解釋可知：本程序的4個(gè)過(guò)程倉(cāng)別用主成分分析法、無(wú)迭代主因子分析法、有迭代主因子分析法、最大似然法提取初始因子，都用最大方差旋轉(zhuǎn)法旋轉(zhuǎn)、并求出得分因子模型。[輸出結(jié)果及其解釋]InitialFactorMethod：PrincipalComponentsPriorCommunalityEstimates：ONEEigenvaluesoftheCorrelationMatrix：Total=4Average=11234Eigenvalue1.7182521.0935360.9813470.206866Difference0.6247160.1121890.774481Proportion0.42960.27340.24530.0517Cumulative0.42960.70290.94831.00002factorswillberetainedbytheMINEIGENcriterion.這是用主成分分析法提取初始公因子的第1部分結(jié)果，相關(guān)矩陣的特征值總和為4（指標(biāo)數(shù)），前2個(gè)特征值1.718252和1.093536都大于1,下面將根據(jù)這2個(gè)較大的特征值提取2個(gè)相應(yīng)的初始公因子。FactorPatternFACTOR1FACTOR2X10.917530.09935X20.90420-0.29662X30.115270.94550X40.213370.31893VarianceexplainedbyeachfactorFACTOR1FACTOR21.7182521.093536FinalCommunalityEstimates：Total=2.811787X1X2X3X40.8517270.9055620.9072560.147242含有2個(gè)公因子的初始公因子模型為：x1=0.91753F1+0.09935F2x2=0.90420F1-0.29662F2x3=0.11527F1+0.94550F2x4=0.21337F1+0.31893F2第1和第2公因子能解釋的方差分別為1.718252和1.093536。4個(gè)標(biāo)準(zhǔn)化變量最后的共性估計(jì)值之和為2.811787，與x1,x2,x3,x4相對(duì)應(yīng)的共性估計(jì)值依次為：0.851727,0.905562,0.907256,0.147242。RotationMethod：VarimaxOrthogonalTransformationMatrix1210.974810.223032-0.223030.97481RotatedFactorPatternFACTOR1FACTOR2X10.872260.30149X20.94758-0.08748X3-0.098510.94739X40.136870.35848VarianceexplainedbyeachfactorFACTOR1FACTOR21.6871771.124611FinalCommunalityEstimates：Total=2.811787X1X2X3X40.8517270.9055620.9072560.147242經(jīng)最大方差旋轉(zhuǎn)法旋轉(zhuǎn)后的因子模型為：x1=0.87226G1+0.30149G2x2=0.94758G1-0.08748G2x3=-0.09851G1+0.94739G2x4=0.13687G1+0.35848G2旋轉(zhuǎn)后的第1和第2公因子能解釋的方差分別為1.687177和1.124611；4個(gè)標(biāo)準(zhǔn)化指標(biāo)共性之和以及它們各自的共性估計(jì)值與旋轉(zhuǎn)前相同。ScoringCoefficientsEstimatedbyRegressionSquaredMultipleCorrelationsoftheVariableswitheachFactorFACTOR1FACTOR21.0000001.000000StandardizedScoringCoefficientsFACTOR1FACTOR2X10.500270.20766X20.57347-0.14705X3-0.127440.85781X40.056000.31200因子得分模型為：G1=0.50027x1+0.57347x2-0.12744x3+0.05600x4G2=0.20766x1-0.14705x2+0.85781x3+0.31200x4下面分別是由第2?4個(gè)過(guò)程步產(chǎn)生的最后1部分結(jié)果，即因子得分模型。InitialFactorMethod：PrincipalFactorsStandardizedScoringCoefficientsFACTOR1FACTOR2X10.466310.44466X20.47910-0.47104X30.015010.37266X40.027120.06578這是用無(wú)迭代的主因子分析法提取公因子后產(chǎn)生的因子得分模型。InitialFactorMethod：IteratedPrincipalFactorAnalysisStandardizedScoringCoefficientsFACTOR1FACTOR2X10.108480.49566X20.91880-0.56066X30.183550.53020X4-0.039050.061