E5的改進—因子分析模型L的教學(xué)內(nèi)容教程文件

1、Good is good, but better carries it.精益求精，善益求善。E5的改進因子分析模型L的教學(xué)內(nèi)容-因子分析教學(xué)內(nèi)容的改進教育部人文社會科學(xué)研究規(guī)劃基金項目資助，項目批準號：09YJA910002；2009教育部人文社會科學(xué)重點研究基地重大項目資助，課題名稱：多元統(tǒng)計分析及其應(yīng)用的統(tǒng)計理論研究；廣東商學(xué)院科學(xué)研究重點項目資助，項目批準號：08ZD11001。因子分析模型L的教學(xué)內(nèi)容林海明1-3（1.廣東商學(xué)院經(jīng)濟貿(mào)易與統(tǒng)計學(xué)院廣東廣州5103202.廣東省電子商務(wù)市場應(yīng)用技術(shù)重點實驗室廣東廣州5103203.廣東商學(xué)院國民經(jīng)濟研究中心廣東廣州510320）摘要：迄今

2、國內(nèi)外流行的因子分析教學(xué)內(nèi)容沒有優(yōu)良性的結(jié)論,以至在數(shù)學(xué)上、教學(xué)上和應(yīng)用上存在許多問題。為了解決這些問題，這里沿著國內(nèi)外教材中因子分析教學(xué)內(nèi)容的常規(guī)路徑，根據(jù)近期改進的、具有優(yōu)良性結(jié)論的因子分析模型L及其解，依次給出了：因子分析的新定義、特點，因子分析模型L及其解，因子何時意義明確、因子個數(shù)更好的確定方法，因子分析模型L與因子分析原模型的比較，待研究的問題等，力爭在教學(xué)內(nèi)容上做到思路清晰、方法簡捷、理論明確、容易抓住要點，為因子分析理論與應(yīng)用的教學(xué)提供一個可行的參考。關(guān)鍵詞：因子分析；教學(xué)內(nèi)容；改進；因子分析模型L中圖文分類號O212文獻標識碼AO問題的提出多元統(tǒng)計分析目前是數(shù)理統(tǒng)計、統(tǒng)計、經(jīng)

3、濟管理、生物等相關(guān)專業(yè)本科、碩士、博士生的常規(guī)課程，因子分析是其中的主要內(nèi)容，以具有代表性的Johnson.R.A,Wichern.D.W著1實用多元統(tǒng)計分析(2007)為例，因子分析的教學(xué)內(nèi)容有：9.1引言簡述因子分析的起源、發(fā)展、定義、實際問題、特點。9.2正交因子模型介紹正交因子模型及其協(xié)方差結(jié)構(gòu)。9.3估計方法介紹估計因子載荷陣的主成分法、主因子解、最大似然法。9.4因子旋轉(zhuǎn)主要介紹方差最大化正交旋轉(zhuǎn)。9.5因子得分介紹加權(quán)最小二乘法、回歸法。9.6因子分析展望和建議。上述內(nèi)容以降維、清晰解釋數(shù)據(jù)為目標，建立了先估計因子載荷陣及其旋轉(zhuǎn)，再求因子得分的二步估計方法，使得因子分析理論方法與

4、應(yīng)用得到了較好的深入，同時，存在一個明顯的遺留問題：因子分析模型沒有最優(yōu)化條件，以至相應(yīng)教材中迄今不知哪個解是更好的？這即是因子分析優(yōu)良性問題。為了解決上述優(yōu)良性問題，2(2009)34(2006)5(2007)提出了求因子分析精確解的思想，受到張堯庭、方開泰教授6中標準化主成分及其載荷陣等式表示近似原始變量關(guān)系式的啟發(fā)，對模型引入了最優(yōu)化條件，找到了更具優(yōu)勢的方法-標準化主成分法，建立了改進的模型和理論-因子分析模型L及其解，明確了因子、誤差項的意義，給出了前m個因子對變量x方差貢獻和達到最大、誤差項方差和達到最小，其能達到降維目的，解決問題具有一般性等更好的結(jié)論。使得因子分析的理論被簡潔為

5、18個字：標準化主成分或其旋轉(zhuǎn)是因子分析的解(計算上是：主成分法初始因子載荷陣回歸的因子得分或其旋轉(zhuǎn))。據(jù)此，因子分析教學(xué)內(nèi)容改進條件已較成熟。因子分析教學(xué)內(nèi)容改進的任務(wù)是：沿著國內(nèi)外教材中因子分析教學(xué)內(nèi)容的常規(guī)路徑，根據(jù)近期改進的、具有優(yōu)良性結(jié)論的因子分析模型L及其解，講清因子分析的基本概念和目的，合理引入改進的、具有最大化條件的因子分析模型L，用更具優(yōu)勢的方法-標準化主成分法，給出因子分析模型L的解和優(yōu)良性結(jié)論，建立和給出一些應(yīng)用規(guī)則、注意事項，提出一些待研究的問題。于是：1中因子分析的內(nèi)容9.1-9.6可依次簡化改進為如下內(nèi)容1-4(中國人民大學(xué)、華南師范大學(xué)、東北財經(jīng)大學(xué)、廣東商學(xué)院、

6、內(nèi)蒙古財經(jīng)學(xué)院、山東工商學(xué)院等高校，已經(jīng)或正在使用這些內(nèi)容，給相應(yīng)專業(yè)的本科、碩士、博士進行教學(xué))：1引言介紹因子分析的產(chǎn)生、實際問題、發(fā)展、定義、特點等(19.1的改進)。2因子分析模型L(19.2的改進)。3因子分析模型L的解與優(yōu)良性(含方差最大化正交旋轉(zhuǎn))(19.3-9.5的簡化)。4注意事項和待研究的問題(19.6的改進)。這里力爭在教學(xué)內(nèi)容上做到思路清晰、方法簡捷、理論明確、容易抓住要點，為因子分析理論與應(yīng)用的教學(xué)提供一個可行的參考。以下依次完成這些任務(wù)。1引言已有的主成分分析理論，一方面，能找到原始變量與主成分的線性等價性，達到降維目的，另一方面，主成分的原始變量系數(shù)無直接的統(tǒng)計意

7、義，主成分有時命名不清晰，對變量解釋不力。怎樣找到載荷系數(shù)有直接統(tǒng)計意義、命名較清晰、變量解釋較有力的較少綜合變量解決問題呢？這些綜合變量稱為因子。實際問題中，如某公司對n(如30)名應(yīng)聘人員的知識和能力進行測試，出了p(如40)道題，題中的內(nèi)容包括如下幾個方面：語言表達能力、邏輯思維能力、判斷事物的敏捷和果斷程度、思想修養(yǎng)、興趣愛好、生活常識等，將每一個方面稱為因子，怎樣求解這些因子？評出合適人選呢？因子分析是1904年Spearman.C從智力測驗得分的統(tǒng)計分析方面提出的，目前這一方法的用處已為經(jīng)濟、社會、生物、醫(yī)學(xué)、體育等領(lǐng)域許多實際工作所證實。將主成分分析向前推進一步，就是因子分析。因

8、子分析也是降維方法的一種。定義1因子分析是通過互不相關(guān)、方差為1、前幾個方差貢獻和達到最大化且意義較清晰、其后幾個方差貢獻小的最少綜合變量線性表示原始變量的多元統(tǒng)計方法，這前幾個綜合變量稱為因子，其后幾個綜合變量稱為誤差因子。因子分析的目的：較清晰地簡化數(shù)據(jù)-用盡可能少的幾個互不相關(guān)的綜合變量較清晰地解釋較多的原始變量。對于主成分分析，其是通過單位化系數(shù)的線性組合將原始變量化為互不相關(guān)、方差降序排列達到最大化的主成分的多元統(tǒng)計方法。主成分的方差有大有小，而因子的方差全部是1。主成分方差1(或1)時，主成分取值比相應(yīng)因子取值分散(或集中)。因此，結(jié)論1因子分析與主成分分析顯著的區(qū)別是：方差。故兩

9、者是取值不同、不可混淆的計量體系。主成分正交旋轉(zhuǎn)后改變了主成分方差降序排列最大化的條件，結(jié)果已不是主成分，故主成分不可旋轉(zhuǎn)。因子分析的優(yōu)點：因子載荷系數(shù)有直接的統(tǒng)計意義，因子可正交旋轉(zhuǎn)，至少有兩個常用的解-初始因子、旋轉(zhuǎn)后因子，命名較清晰，故因子分析更精細。因子分析與主成分分析相同的是：都是能降維、可消除相關(guān)性的方法，解決問題的步驟基本一致；初始因子與變量的相關(guān)陣、主成分與變量的相關(guān)陣都是相同的；初始因子、主成分命名依據(jù)都是用初始因子與變量的相關(guān)陣；因子、主成分和原始變量都可相互線性表示(見第3部分定理1、定理2)。注1：主成分不可旋轉(zhuǎn)，標準化主成分可旋轉(zhuǎn)6。標準化主成分或其旋轉(zhuǎn)，是因子分析模

10、型L的解(見第3部分定理1、定理2)，不是主成分分析的解。2因子分析模型L設(shè)為正向化、標準化隨機向量,秩，的非零特征值為、，因子載荷陣因子、誤差因子載荷陣誤差因子，稱為第i個變量在第j個因子上的載荷(簡稱為因子載荷)，因子對的方差貢獻。因為秩,設(shè)想是互不相關(guān)、方差為1的的線性組合,。因子分析的目的是降維：降維的數(shù)學(xué)描述是前m個因子對的方差貢獻和達到最大。寫為矩陣表示得如下改進的、具有最大化條件的模型：因子分析模型L3求，使,(1),(2)達到最大,。(3)其中的選取以因子對有代表性為前提,稱為誤差項，是方陣主對角元素的和(下同)。注2：用矩陣分解理論可證明(此略)：因子、誤差因子的個數(shù)和r是最

11、小的。模型中因子載荷、因子方差貢獻和變量共同度的統(tǒng)計意義(1)由是標準化的、，秩,有：，即因子載荷陣是變量與因子的相關(guān)系數(shù)，它反映了第i個變量在第j個因子上的相當重要性。(2)將因子載荷陣中各列元素的平方和記為：。其是因子對的方差貢獻，表示同一因子對變量所提供的方差貢獻之總和，它是衡量因子相對重要性和降維的指標。(3)變量的共同度定義為因子載荷陣中第i行元素的平方和，即。為了說明它的統(tǒng)計意義，將式兩邊求方差，由式有1=,這里此式說明變量的方差由兩部分組成：第一部分為共同度，它刻劃因子對變量的總方差所作的貢獻，越接近1，說明該變量的幾乎全部原始信息都被所選取的因子說明了。第二部分是誤差因子所產(chǎn)生

12、的方差，稱為誤差因子方差，它是使方差為1的補充值。設(shè)是第個元素為1的維單位列向量。性質(zhì)1設(shè)為的正交旋轉(zhuǎn)陣，為旋轉(zhuǎn)后共性方差，則(正交不變性)。證明：。6證畢。3因子分析模型L的解與優(yōu)良性設(shè)、這里(單位陣)，記是以為對角元素的對角矩陣。設(shè)主成分,有=，(4)。(5)因為是標準化的，由式(4)、式(5)，將主成分進行標準化有標準化主成分：(6)記標準化主成分載荷陣：。(7)引理17設(shè)和B都是p階對稱陣，的特征值是,，B的特征值是，若-B是非負定的，則。定理124標準化主成分及其載荷陣(主成分法下初始因子載荷陣回歸的因子得分)是因子分析模型L的解，具體為：,，誤差項：，。其中稱為初始因子載荷陣,稱為

13、初始因子,稱為誤差公因子載荷陣,稱為誤差公因子。證明24：式(1)取方差、由式(2)得：，即非負定，設(shè)的特征值是,，按及其特征值的假定，由引理1，得：。于是；(8)將式(4)左乘P，由，有；因為X是標準化的，由式(4)Y的數(shù)學(xué)期望E(Y)=0，由式(5)，所以，所以；由式(6)、式(7)，有，所以(標準化主成分法)，即得式(1),是標準化主成分，所以，即得式(2)；,所以，結(jié)合式(8)，即得式(3)。證畢。注3：北京大學(xué)數(shù)學(xué)科學(xué)學(xué)院陳家鼎教授幫助證明了不等式(8)，在此表示衷心感謝。建立因子分析模型的另一目的是要較清晰地知道每個因子的意義，以便對實際問題作出更為客觀的分析。當初始因子載荷陣中行

14、元素的絕對值不是足夠向0或1兩極分化時，不能較清晰地知道每個因子的意義，這時根據(jù)因子載荷陣的不唯一性，可對因子載荷陣實行旋轉(zhuǎn)。旋轉(zhuǎn)的方法有多種，如方差最大化正交旋轉(zhuǎn)、斜交旋轉(zhuǎn)等，這里給出常用的方差最大化正交旋轉(zhuǎn)結(jié)論。方差最大化正交旋轉(zhuǎn)法具體見16。定理223標準化主成分的旋轉(zhuǎn)及其載荷陣(主成分法下旋轉(zhuǎn)后因子載荷陣及其回歸的因子得分)是因子分析模型L的解，具體為：設(shè)為的方差最大化正交旋轉(zhuǎn)矩陣,為旋轉(zhuǎn)后因子方差貢獻，,，、同定理1，其中、同定理1，稱為旋轉(zhuǎn)后因子載荷陣，稱為旋轉(zhuǎn)后因子。證明23：利用定理1和為的方差最大化正交旋轉(zhuǎn)矩陣有，即得式(1),，即得式(2)，=,式有正交不變性，即得式(3)

15、。證畢。性質(zhì)22(優(yōu)良性)：因子分析模型L的因子載荷陣使因子的方差貢獻和達到最大化，誤差項方差和達到最小。具體是：對給定的因子個數(shù)m，滿足式、式的所有因子載荷陣L、L，同時有：，時，等式成立；，當或時，等式成立。證明2定理1-2中已證明，這里證明，由式(8)，=，當或時，由定理1-2有：。證畢。注4：北京大學(xué)數(shù)學(xué)科學(xué)學(xué)院陳家鼎教授幫助證明了定理3的不等式，在此表示衷心感謝，他告訴筆者，他還在矩陣范數(shù)下證明了：或是使達到最小的解。注5：還可證明(此略)因子分析模型L的因子是無偏的，平均預(yù)報誤差是0。定理1、定理2的證明是用標準化主成分法給出結(jié)論的，其能同時求出因子載荷陣及其因子、誤差因子載荷陣及

16、其誤差因子、誤差項的解，且這些解有性質(zhì)2等的優(yōu)良性，由此，結(jié)論2：標準化主成分法是更具優(yōu)勢的方法。注6：因子分析原模型中，當?shù)趇個變量的公因子共性方差時，公因子對Xi影響不大，6即此時的公因子對Xi不解決問題。文5的定理4說明這是因子分析原模型和理論沒有優(yōu)良性結(jié)論的直接原因。因子分析的解不唯一，使用者熟悉的是旋轉(zhuǎn)后因子，少見的是初始因子，故有時出現(xiàn)不講應(yīng)用效果地使用旋轉(zhuǎn)后因子的情況。從解釋效果上講，因子分析有時更適宜使用初始因子。因子解釋效果好的前提條件是：因子與變量有較高的相關(guān)性。注意到因子載荷陣是與因子的相關(guān)系數(shù)陣，故初始因子、旋轉(zhuǎn)后因子解釋效果好的結(jié)構(gòu)簡化規(guī)則：規(guī)則1比較旋轉(zhuǎn)后因子載荷陣

17、(多計算幾個比較)與初始因子載荷陣，如果中行元素的絕對值足夠向0或1兩極分化，則直接使用初始因子分析解決實際問題8。如果中行元素的絕對值足夠向0或1兩極分化，則使用旋轉(zhuǎn)后因子分析解決實際問題5。按規(guī)則1選取的解，相應(yīng)因子解釋變量相關(guān)性高，解決問題效果好。注7：解決實際問題時，前列與前()列旋轉(zhuǎn)后因子載荷陣設(shè)為、，則、的前列互不相同，故是一個挑選的結(jié)果，設(shè)k是變量協(xié)差陣特征值碎石圖1拐點對應(yīng)的序號，規(guī)則1的是、(多個結(jié)果中挑選)中行系數(shù)足夠向0、1兩級分化的矩陣。旋轉(zhuǎn)后因子載荷陣與初始因子載荷陣進行對比時，建議用因子載荷絕對值0、1兩極分化對比表判斷。因子分析的另一任務(wù)是選取盡可能小的m，使前m

18、個因子對有顯著的相關(guān)性，從而達到降維的目的。注意到因子載荷陣是與因子的相關(guān)系數(shù)陣，這里給出更好的規(guī)則：規(guī)則2使用初始因子時，用和因子與變量顯著相關(guān)的臨界值判斷，若因子與某些變量顯著相關(guān)，則選入該因子，因子個數(shù)m、因子方差累計貢獻率隨之確定。使用旋轉(zhuǎn)后因子時，用和因子與變量顯著相關(guān)的臨界值判斷，若因子與某些變量顯著相關(guān)，則選入該因子，因子個數(shù)m、因子方差累計貢獻率隨之確定。按規(guī)則2選取的因子，相應(yīng)因子解釋變量有代表性，否則是不解決問題的。如果x服從正態(tài)分布，由定理1、定理2，因子服從正態(tài)分布，故因子與原始變量顯著相關(guān)的臨界值可查自由度為()的檢驗相關(guān)系數(shù)的臨界值表9。注8：初始因子個數(shù)、旋轉(zhuǎn)后因

19、子個數(shù)有時是不同的。初始因子與旋轉(zhuǎn)后因子模型相同，更相近，這里有：結(jié)論3：初始因子與旋轉(zhuǎn)后因子顯著的不同是：因子對變量的方差貢獻。結(jié)論3使得變量在因子中的分布發(fā)生改變，計量值不同，故計量應(yīng)用中不可混淆具體不同為后面初始因子與旋轉(zhuǎn)后因子綜合評價步驟中第(4)-(10)步的因子定量值。初始因子與旋轉(zhuǎn)后因子相同的是：都是降維、可消除相關(guān)性的方法，解決問題的步驟基本一致；初始因子和旋轉(zhuǎn)后因子與標準化變量都可相互線性表示(定理1、定理2)。初始因子分析與主成分分析具體異同和實證見10。因子分析與主成分分析具體異同和實證見11。初始因子與旋轉(zhuǎn)后因子具體異同和實證見8。與因子分析原模型及其估計解16比較，因

20、子分析模型L引入了最優(yōu)化條件，找到了更具優(yōu)勢的方法-標準化主成分法，求出了精確解，建立了改進的因子分析模型L及其解，明確了因子、誤差項的意義，給出了性質(zhì)2的優(yōu)良性，能達到降維目的，解決問題具有一般性等。結(jié)合定理1、定理2，故有：結(jié)論4因子分析模型L及其解是因子分析的優(yōu)良模型和解。結(jié)論5因子分析的理論被簡潔為18個字：標準化主成分或其旋轉(zhuǎn)是因子分析的解(計算上是：主成分法因子載荷陣回歸的因子得分或其旋轉(zhuǎn))。4注意事項和待研究的問題4.1注意事項用定義1明確：因子分析概念，因子分析與主成分分析的區(qū)別。主成分不可正交旋轉(zhuǎn)，標準化主成分可正交旋轉(zhuǎn)。標準化主成分或其正交旋轉(zhuǎn)是因子分析的解，不是主成分分析

21、的解，故主成分與因子分析的計量值不能混淆。因子分析應(yīng)用中，使用具有優(yōu)良性的因子分析模型L及其解。初始因子、旋轉(zhuǎn)后因子顯著的不同是：因子對變量的方差貢獻。故兩者的計量值不能混淆。何時使用旋轉(zhuǎn)后因子、初始因子由規(guī)則1確定更好。因子個數(shù)的選取以規(guī)則2確定更好.4.2待研究的問題以因子分析為基礎(chǔ)的對應(yīng)分析法12，其數(shù)據(jù)分析目前達不到意義、方向清晰的效果，故對應(yīng)分析有待進一步研究和完善。構(gòu)造方程模型1與因子分析如何更好的結(jié)合應(yīng)用？有時初始因子載荷陣行系數(shù)絕對值向0、1兩極分化的結(jié)果，比旋轉(zhuǎn)后因子載荷陣好，是何原因？標準化主成分法破除了相關(guān)陣(協(xié)差陣、離差陣)的可逆性解決問題。故類似于相關(guān)陣、協(xié)差陣、離差陣不可逆的多元統(tǒng)計分析問題，同樣有待用此方法深入。設(shè)總體協(xié)差陣為，的秩為r，設(shè)樣本協(xié)差陣為，的秩為，r的一致估計量是什么，其與有何關(guān)系。教學(xué)案例將另行行文。參考文獻：1R.A.Johnson,D.W.Wichern,AppliedMultivariateStatisticalAnalysis(6thEd)M,UpperSaddleRiver