應用多元分析第八章因子分析

應用多元分析第八章因子分析第一頁，共八十頁，2022年，8月28日十項全能運動員得分相關矩陣X1X2X3X4X5X6

X7X8X9X10X1X2X3X4X5X6

X7X8X9X101.000.591.000.350.421.000.340.510.381.000.630.490.190.291.000.400.520.360.460.341.000.280.310.730.270.170.321.000.200.360.240.390.230.330.241.000.110.210.440.170.130.180.340.241.00-0.770.09-0.080.180.390.00-0.020.17-0.001.00第二頁，共八十頁，2022年，8月28日例

為了評價即將進大學的高中生的學習能力，抽了200名高中生進行問卷調(diào)查，共50個問題。素有這些問題可以歸結為閱讀理解、數(shù)學水平和藝術素養(yǎng)三個方面。例

公司老板對48名應聘者進行面試，并給出他們在15個方面的得分，這15個方面是：申請書的形式(x1)、外貌(x2)、專業(yè)能力(x3)、討人喜歡(x4)、自信心(x5)、精明(x6)、誠實(x7)、推銷能力(x8)、經(jīng)驗(x9)、積極性(x10)、抱負(x11)、理解能力(x12)、潛力(x13)、交際能力(x14)、適應性(x15)。通過因子分析，這15個方面可歸結為應聘者的外露能力、討人喜歡的程度、經(jīng)驗、專業(yè)能力和外貌。第三頁，共八十頁，2022年，8月28日§8.2因子模型一、數(shù)學模型第四頁，共八十頁，2022年，8月28日

假設條件第五頁，共八十頁，2022年，8月28日二、因子模型的性質(zhì)第六頁，共八十頁，2022年，8月28日例8.2.1設隨機向量(x1,x2,x3,x4)’的協(xié)方差矩陣為第七頁，共八十頁，2022年，8月28日2、模型不受單位影響第八頁，共八十頁，2022年，8月28日3、因子載荷不唯一（相差一個正交變換）注：在實際中，利用因子載荷陣的不唯一性對因子進行旋轉，使得新的因子有更好的實際意義。第九頁，共八十頁，2022年，8月28日三、因子載荷矩陣的統(tǒng)計意義2、A的行元素平方和——公因子對原始變量的方差貢獻1、A的元素aij——原始變量xi與公因子fj之間的協(xié)方差函數(shù)第十頁，共八十頁，2022年，8月28日3、A的列平方和——公共因子fj對x的貢獻率第十一頁，共八十頁，2022年，8月28日Principalcomponents:主成分法Unweightedleastsquare:不加權最小平方法Generalizedleastsquares:普通最小平方法Maximumlikelihood:最大似然法Principalaxisfactoring:主因子法Alphafactoring:α因子提取法Imagefactoring:映象因子提取法常用確定q的方法是按特征根由大至小的次序抽取，直到與接近為止?！?.3參數(shù)估計第十二頁，共八十頁，2022年，8月28日一、主成分法：

第十三頁，共八十頁，2022年，8月28日例

在例中，分別取m=1,m=2,用主成分法估計的因子載荷和共性方差如下表：

變量m=1m=2ai1(f1)

ai1f1ai2f2

0.8170.8670.9150.9490.9590.9380.9440.880

0.6680.7520.8380.9000.9200.8790.8910.774

0.8170.5310.8670.4320.9150.2330.9490.0120.959-0.1310.938-0.2920.944-0.2870.880-0.411

0.9500.9390.8920.9000.9380.9650.9730.943所解釋的總方差的累計比例0.828

0.8280.938第十四頁，共八十頁，2022年，8月28日相應于m=2的解的殘差矩陣為：

第十五頁，共八十頁，2022年，8月28日dataexamp733(type=corr);inputx1-x8;cards;1.000.......0.9231.000......0.8410.8511.000.....0.7560.8070.8701.000....0.7000.7750.8350.9181.000...0.6190.6950.7790.8640.9281.000..0.6330.6970.7870.8690.9350.9751.000.0.5200.5960.7050.8060.8660.9320.9431.000;proc

factordata=examp733(type=corr);varx1-x8;proc

factordata=examp733(type=corr)n=2;varx1-x8;run;第十六頁，共八十頁，2022年，8月28日proc

iml;x={1.000

0.923

0.841

0.756

0.700

0.619

0.633

0.520,

0.923

1.000

0.851

0.807

0.775

0.695

0.697

0.596,

0.841

0.851

1.000

0.870

0.835

0.779

0.787

0.705,

0.756

0.807

0.870

1.000

0.918

0.864

0.869

0.806,

0.700

0.775

0.835

0.918

1.000

0.928

0.935

0.866,

0.619

0.695

0.779

0.864

0.928

1.000

0.975

0.932,

0.633

0.697

0.787

0.869

0.935

0.975

1.000

0.943,

0.520

0.596

0.705

0.806

0.866

0.932

0.943

1.000};C={0.81717

0.53110,0.86729

0.43271,0.91517

0.23251,

0.94874

0.01185,0.95938-0.13148,0.93766-0.29268,

0.94397-0.28708,0.87981-0.41117};a={0.877

0.888

0.845

0.884

0.927

0.995

0.967

0.905};y=x-i(8)+diag(a);b=eigval(y);e={0.050

0.061

0.108

0.100

0.062

0.035

0.027

0.057};D=x-c*t(c)-diag(e);printybd;第十七頁，共八十頁，2022年，8月28日1、給出共同度hi2的初步估計值hi*2

以第i個變量xi*與其它所有變量x1*,x2*,…,xi1*,xi+1*,…,xp*回歸的復相關系數(shù)的平方作為初始估計值2、求出約化相關陣計算Di*=1-hi*2,再計算出R*=R-D*3、求出特征根和特征向量由方程︱R*-λI︱=0求出，并利用特征根、特征向量求出因子載荷陣A14、求出D的估計，用估計值代替第二步的D*D的估計：D*（1）=R-A1A1′5、繼續(xù)第三步，直到A，

D的估計達到穩(wěn)定為止二、主因子法第十八頁，共八十頁，2022年，8月28日例8.3.2在例中取m=2,選用xi與其他7個變量的復相關系數(shù)平方作為的初始估計值。計算得:第十九頁，共八十頁，2022年，8月28日約相關矩陣為第二十頁，共八十頁，2022年，8月28日ai1f1ai2f2

0.8070.4960.8580.4120.8900.2160.9390.0240.956-0.1140.938-0.2820.946-0.2810.874-0.378

0.8970.9060.8560.8810.9260.9600.9740.907所解釋的總方差的累計比例0.8160.914第二十一頁，共八十頁，2022年，8月28日相應于m=2的解的殘差矩陣為：

第二十二頁，共八十頁，2022年，8月28日dataexamp733(type=corr);inputx1-x8;cards;1.000.......0.9231.000......0.8410.8511.000.....0.7560.8070.8701.000....0.7000.7750.8350.9181.000...0.6190.6950.7790.8640.9281.000..0.6330.6970.7870.8690.9350.9751.000.0.5200.5960.7050.8060.8660.9320.9431.000;proc

factorm=prinitpriors=smc;varx1-x8;proc

factorm=prinitpriors=smcn=2;varx1-x8;run;第二十三頁，共八十頁，2022年，8月28日

proc

factor

data=sasuser.exec65n=2method=prinitheywood;varx1-x8;run;proc

iml;x={1.00000

0.92264

0.84115

0.75603

0.70024

0.61946

0.63254

0.51995,0.92264

1.00000

0.85073

0.80663

0.77495

0.69538

0.69654

0.59618,0.84115

0.85073

1.00000

0.87017

0.83527

0.77861

0.78720

0.70499,

0.75603

0.80663

0.87017

1.00000

0.91804

0.86359

0.86905

0.80648,0.70024

0.77495

0.83527

0.91804

1.00000

0.92811

0.93470

0.86555,0.61946

0.69538

0.77861

0.86359

0.92811

1.00000

0.97464

0.93219,

0.63254

0.69654

0.78720

0.86905

0.93470

0.97464

1.00000

0.94318,0.51995

0.59618

0.70499

0.80648

0.86555

0.93219

0.94318

1.00000};y={0.81202

0.51251,0.86094

0.41594,0.90061

0.21099,0.93708

0.01791,0.95452-0.11798,

0.93843-0.28554,0.94696-0.28620,0.87304

-0.37739};z={1,1,1,1,1,1,1,1}-{0.92204479,0.91422910,0.85561058,0.87844540,0.92502009,0.96217654,0.97865293,0.90462155};a=diag(z);b=x-y*t(y)-a;printab;run;第二十四頁，共八十頁，2022年，8月28日三、極大似然法用迭代法求上述方程組的解。第二十五頁，共八十頁，2022年，8月28日第二十六頁，共八十頁，2022年，8月28日第二十七頁，共八十頁，2022年，8月28日第二十八頁，共八十頁，2022年，8月28日第二十九頁，共八十頁，2022年，8月28日第三十頁，共八十頁，2022年，8月28日第三十一頁，共八十頁，2022年，8月28日

載荷矩陣A是不唯一的，有人建議添加一個計算上方便的的唯一性條件：第三十二頁，共八十頁，2022年，8月28日第三十三頁，共八十頁，2022年，8月28日第三十四頁，共八十頁，2022年，8月28日第三十五頁，共八十頁，2022年，8月28日第三十六頁，共八十頁，2022年，8月28日ai1f1ai2f2

0.731-0.6200.792-0.5450.855-0.3430.916-0.1610.958-0.0260.9720.1440.981-0.1430.923-0.249

0.9190.9240.8490.8650.9180.9660.9820.914所解釋的總方差的累計比例0.8010.917例8.3.3在例中，取m=2，同,極大似然法的計算結果如下表：的初始估計值與例第三十七頁，共八十頁，2022年，8月28日極大似然解的殘差矩陣為：

第三十八頁，共八十頁，2022年，8月28日dataexamp733(type=corr);inputx1-x8;cards;1.000.......0.9231.000......0.8410.8511.000.....0.7560.8070.8701.000....0.7000.7750.8350.9181.000...0.6190.6950.7790.8640.9281.000..0.6330.6970.7870.8690.9350.9751.000.0.5200.5960.7050.8060.8660.9320.9431.000;proc

factorm=ml;varx1-x8;proc

factorm=mln=2;varx1-x8;run;第三十九頁，共八十頁，2022年，8月28日TheFACTORProcedureInitialFactorMethod:MaximumLikelihoodPriorCommunalityEstimates:SMCx1x2x3x4

0.877839350.888722470.844686300.88357282x5x6x7x80.927120960.955454730.967228140.90408487第四十頁，共八十頁，2022年，8月28日PreliminaryEigenvalues:Total=101.310432Average=12.6638039EigenvalueDifferenceProportionCumulative

193.788831185.53188880.92580.9258

28.25694237.70562430.08151.0073

30.55131810.49621880.00541.0127

40.05509930.21273650.00051.0132

5-0.15763720.1387816-0.00161.0117

6-0.29641880.0631990-0.00291.0088

7-0.35961780.1684675-0.00351.0052

8-0.5280854-0.00521.00002factorswillberetainedbythePROPORTIONcriterion.第四十一頁，共八十頁，2022年，8月28日

IterationCriterionRidgeChangeCommunalities

10.33712300.00000.03300.910880.919410.854320.872500.921540.96588

0.981680.91119

20.33200700.00000.00650.917410.923640.849470.866060.919070.96667

0.982090.91339

30.33178100.00000.00130.918530.924910.848480.864860.918460.96664

0.982260.91341

40.33177200.00000.00030.918850.925070.848230.864600.918360.96665

0.982270.91345Convergencecriterionsatisfied.第四十二頁，共八十頁，2022年，8月28日SignificanceTestsBasedon10000ObservationsPr>TestDFChi-SquareChiSqH0:Nocommonfactors28142472.086<.0001HA:AtleastonecommonfactorH0:2Factorsaresufficient133315.7842<.0001HA:Morefactorsareneeded第四十三頁，共八十頁，2022年，8月28日TheFACTORProcedureInitialFactorMethod:MaximumLikelihoodChi-SquarewithoutBartlett'sCorrection3317.3878Akaike'sInformationCriterion3291.3878Schwarz'sBayesianCriterion3197.6534TuckerandLewis'sReliabilityCoefficient0.9501SquaredCanonicalCorrelationsFactor1Factor20.992346680.92414870第四十四頁，共八十頁，2022年，8月28日EigenvaluesoftheWeightedReducedCorrelationMatrix:Total=141.845985Average=17.7307481EigenvalueDifferenceProportionCumulative

1129.662297117.4786080.91410.9141

212.18368911.5974400.08591.0000

30.5862490.4011620.00411.0041

40.1850870.1759800.00131.0054

50.0091070.0612700.00011.0055

6-0.0521630.239994-0.00041.0051

7-0.2921570.143967-0.00211.0031

8-0.436124-0.00311.0000T129.64951012.18376200.587805900.183956100.00909540-0.0535390-0.2925640-0.4354380第四十五頁，共八十頁，2022年，8月28日FactorPatternFactor1Factor2x10.73040-0.62079x20.79140-0.54661x30.85454-0.34348x40.91565-0.16171x50.95795-0.02600x60.972630.14371x70.980890.14189x80.922860.24854VarianceExplainedbyEachFactorFactorWeightedUnweightedFactor1129.6622976.40592383Factor212.1836890.93152570第四十六頁，共八十頁，2022年，8月28日TheFACTORProcedureInitialFactorMethod:MaximumLikelihoodFinalCommunalityEstimatesandVariableWeightsTotalCommunality:Weighted=141.84599Unweighted=7.337450VariableCommunalityWeightx10.9188651412.3222163x20.9250959313.3456046x30.848210716.5890175x40.864559767.3855720x50.9183397412.2487688x60.9666533029.9870945x70.9822744556.4139209x80.9134505211.5537899第四十七頁，共八十頁，2022年，8月28日proc

iml;x={0.87783935

0.88872247

0.84468630

0.88357282

0.92712096

0.95545473

0.96722814

0.90408487};y={1.000

0.923

0.841

0.756

0.700

0.619

0.633

0.520,0.923

1.000

0.851

0.807

0.775

0.695

0.697

0.596,0.841

0.851

1.000

0.870

0.836

0.779

0.787

0.705,0.756

0.807

0.870

1.000

0.918

0.864

0.869

0.806,0.700

0.775

0.835

0.918

1.000

0.928

0.935

0.866,0.619

0.695

0.779

0.864

0.928

1.000

0.975

0.932,0.633

0.697

0.787

0.869

0.935

0.975

1.000

0.943,0.520

0.596

0.705

0.806

0.866

0.932

0.943

1.000};z=sqrt(inv(i(8)-diag(x)));s=z*y*z;t=eigval(s-i(8));printt;第四十八頁，共八十頁，2022年，8月28日prociml;h={0.918850.925070.848230.86460

0.91836

0.96665

0.98227

0.91345};r={1.000

0.923

0.841

0.756

0.700

0.619

0.633

0.520,0.923

1.000

0.851

0.807

0.775

0.695

0.697

0.596,0.841

0.851

1.000

0.870

0.836

0.779

0.787

0.705,0.756

0.807

0.870

1.000

0.918

0.864

0.869

0.806,0.700

0.775

0.835

0.918

1.000

0.928

0.935

0.866,0.619

0.695

0.779

0.864

0.928

1.000

0.975

0.932,0.633

0.697

0.787

0.869

0.935

0.975

1.000

0.943,0.520

0.596

0.705

0.806

0.866

0.932

0.943

1.000

};d1=sqrt(inv(i(8)-diag(h)));S=d1*r*d1;t=eigval(s-i(8));t1=eigvec(s-i(8))[,1:5];d=diag(t[1:5,1]);a=inv(d1)*t1*sqrt(d);b1=a[,1:2];b=b1[,##];c=a[##,];d1=1/(j(8,1)-b);printtt1dabcd1;特殊方差的倒數(shù)weight共性方差h2第四十九頁，共八十頁，2022年，8月28日T

129.649510

12.1837620

0.58780590

0.18395610

0.00909540

-0.0535390

-0.2925640

-0.4354380第五十頁，共八十頁，2022年，8月28日

proc

factor

data=sasuser.exec65n=2method=mlheywood;varx1-x8;run;proc

iml;x={1.00000

0.92264

0.84115

0.75603

0.70024

0.61946

0.63254

0.51995,0.92264

1.00000

0.85073

0.80663

0.77495

0.69538

0.69654

0.59618,

0.84115

0.85073

1.00000

0.87017

0.83527

0.77861

0.78720

0.70499,

0.75603

0.80663

0.87017

1.00000

0.91804

0.86359

0.86905

0.80648,0.70024

0.77495

0.83527

0.91804

1.00000

0.92811

0.93470

0.86555,0.61946

0.69538

0.77861

0.86359

0.92811

1.00000

0.97464

0.93219,

0.63254

0.69654

0.78720

0.86905

0.93470

0.97464

1.00000

0.94318,0.51995

0.59618

0.70499

0.80648

0.86555

0.93219

0.94318

1.00000};y={0.731-0.620,0.792-0.545,0.855-0.343,

0.916-0.161,0.958-0.026,0.972

0.144,

0.981

0.143,0.923

0.249};z={1,1,1,1,1,1,1,1}-{0.919,0.924,0.849,0.865,0.918,0.966,

0.982,0.914};a=diag(z);b=x-y*t(y)-a;printab;run;第五十一頁，共八十頁，2022年，8月28日§8.4因子旋轉因子旋轉的意義：使公因子易于解釋。方法：正交旋轉，斜交旋轉。實施：對載荷矩陣作正交（斜交）變換。正交旋轉：第五十二頁，共八十頁，2022年，8月28日最大方差旋轉法：選擇正交矩陣T使得A*的所有m個列元素平方和的相對方差之和達到最大。第五十三頁，共八十頁，2022年，8月28日m=2時，設元因子載荷矩陣為第五十四頁，共八十頁，2022年，8月28日第五十五頁，共八十頁，2022年，8月28日第五十六頁，共八十頁，2022年，8月28日第五十七頁，共八十頁，2022年，8月28日第五十八頁，共八十頁，2022年，8月28日變量

f1f2f1f2f1f2

0.2740.9350.3760.8930.5430.7730.7120.6270.8130.5250.9020.3890.9030.3970.9360.2610.2870.9030.3810.8720.5410.7510.6950.6310.7990.5370.8950.3990.9000.4050.9090.2840.2880.9140.3790.8830.5410.7460.6890.6240.7970.5320.8990.3970.9060.4020.9140.281

所解釋的總方差的累計比例0.5230.9830.5100.9140.5120.917

例8.4.1在例中分別用最大方差旋轉法，旋轉后的因子載荷矩陣如下表

主成分

主因子

極大似然第五十九頁，共八十頁，2022年，8月28日dataexamp733(type=corr);inputx1-x8;cards;1.000.......0.9231.000......0.8410.8511.000.....0.7560.8070.8701.000....0.7000.7750.8350.9181.000...0.6190.6950.7790.8640.9281.000..0.6330.6970.7870.8690.9350.9751.000.0.5200.5960.7050.8060.8660.9320.9431.000;proc

factordata=examp733(type=corr)rotate=varimax;varx1-x8;proc

factordata=examp733(type=corr)n=2rotate=varimax;varx1-x8;run;第六十頁，共八十頁，2022年，8月28日例8.4.2滬市604家上市公司2001年財務報表中有如下十個主要財務指標：x1:主營業(yè)務收入（元）x6：每股凈資產(chǎn)（元）x2：主營業(yè)務利潤（元）x7：凈資產(chǎn)收益率（%）x3：利潤總額（元）x8：總資產(chǎn)收益率（%）x4：凈利潤（元）x9：資產(chǎn)總計（元）x5：每股收益（元）x10：股本第六十一頁，共八十頁，2022年，8月28日X1X2X3X4X5X6X7X8X9X10X1X2X3X4X5X6

X7X8X9X101.0000.7231.0000.4270.7431.0000.4070.6970.9821.0000.1710.3250.5390.5591.0000.1490.2280.2840.2740.5851.0000.0960.1770.3620.4020.7760.2181.0000.0060.2040.4550.5000.8490.2900.8331.0000.7480.7680.5740.5670.1250.1380.0670.0581.0000.6220.6190.4850.5000.002-0.0660.0330.0510.8611.000樣本相關矩陣如下表：第六十二頁，共八十頁，2022年，8月28日

f1f2f3

0.695-0.4720.1210.835-0.3460.0970.8860.003-0.0370.8880.037-0.0820.6660.6920.0190.3910.3670.8410.5270.670-0.3250.5810.703-0.2600.747-0.5640.0190.636-0.596-0.219

0.6720.8260.7860.7960.9340.9510.8320.8990.8770.808所解釋的總方差的累計比例0.4880.7450.838

m=3時的主成分解第六十三頁，共八十頁，2022年，8月28日

f1f2f3

0.809-0.0290.1290.8740.1710.1820.7060.5090.1670.6880.5520.1350.1150.8490.4470.0820.1990.9510.0220.9120.0040.0450.9430.0870.936-0.0120.0280.869-0.013-0.228

0.6720.8260.7860.7950.9340.9510.8320.8990.8770.808所解釋的總方差的累計比例0.4040.7120.838

m=2,3時用最大方差旋轉法旋轉后的主成分解第六十四頁，共八十頁，2022年，8月28日dataexamp842(type=corr);inputx1-x10;cards;1.000.........0.7231.000........0.4270.7431.000.......0.4070.6970.9821.000......0.1710.3250.5390.5591.000.....0.1490.2280.2840.2740.5851.000....0.0960.1770.3620.4020.7760.2181.000...0.0660.2040.4550.5000.8490.2900.8331.000..0.7480.7680.5740.5670.1250.1380.0670.0581.000.0.6220.6190.4850.5000.002-0.0660.0330.0510.8611.000;procfactordata=examp842method=prinn=3rotate=varimax;varx1-x10;run;第六十五頁，共八十頁，2022年，8月28日§8.5因子得分

因子得分是對不可觀測的因子變量的估計一、加權最小二乘法

改寫因子模型為：第六十六頁，共八十頁，2022年，8月28日第六十七頁，共八十頁，2022年，8月28日Bartlett(1937)得分（加權最小二乘估計）：第六十八頁，共八十頁，2022年，8月28日第六十九頁，共八十頁，2022年，8月28日二、回歸法(Thompson因子得分)

第七十頁，共八十頁，2022年，8月28日第七十一頁，共八十頁，2022年，8月28日第七十二頁，共八十頁，2022年，8月28日第七十三頁，共八十頁，2022年，8月28日例8.5.1在例中，用回歸法得到的因子得分為：第七十四頁，共八十頁，2022年，8月28日dataexamp842(type=corr);inputx1-x10;cards;1.000.........0.7231.000........0.4270.7431.000.......0.4070.6970.9821.000......0.1710.3250.5390.5591.000.....0.1490.2280.2840.2740.5851.000....0.0960.1770.3620.4020.7760.2181.000...0.0060.2040.4550.5000.8490.2900.8331.000..0.7480.7680.5740.5670.1250.1380.0670.0581.000.0.6220.6190.4850.5000.002-0.0660.0330.0510.8611.000;procfactordata=examp842n=3rotate=varimaxscore;varx1-x10;run;第七十五頁，共八十頁，2022年，8月28日

TheSASSystem16:32Thursday,November11,20061TheFACTORProcedureInitialFactorMethod:PrincipalComponentsPriorCommunalityEstimates:ONEEigenvaluesoftheCorrelationMatrix:Total=10Average=1EigenvalueDifferenceProportionCumulative14.870307642.280618630.48700.487022.589689011.656127420.25900.746030.933561590.229068640.09340.839440.704492950.307384070.07040.909850.397108880.212314950.03970.9495