因子分析精確解的研究綜述

1、因子分析精確解的研究綜述*精確解是相對原始變量總體相關(guān)陣而言；本文獲國家社會科學(xué)研究基金項(xiàng)目(05BJY025)資助、廣東省自然科學(xué)基金項(xiàng)目(7004584)資助。感謝方開泰、張滌新教授等同仁的有益幫助和討論。-紀(jì)念張堯庭、方開泰教授標(biāo)準(zhǔn)化主成分理論29周年林 海 明1 2（1.廣東商學(xué)院經(jīng)濟(jì)貿(mào)易與統(tǒng)計(jì)學(xué)院 2.廣東省電子商務(wù)市場應(yīng)用技術(shù)重點(diǎn)實(shí)驗(yàn)室 廣東 廣州 510320）摘要：因子分析的用處已為許多實(shí)際工作所證實(shí)，但數(shù)學(xué)上其模型和理論是很不完善的，這已影響了因子分析模型、理論和應(yīng)用的正常發(fā)展。為了解決這些問題，近三年發(fā)表的結(jié)果，應(yīng)用具有全面優(yōu)勢的ZFL法-標(biāo)準(zhǔn)化主成分及其載荷陣等式表示標(biāo)準(zhǔn)

2、化原始變量的方法，建立了完善的新理論-因子分析模型L及其解，求出了因子分析的精確解等。這里基于既能進(jìn)行數(shù)學(xué)上的合理假設(shè)和嚴(yán)格證明，又能進(jìn)行統(tǒng)計(jì)上的常規(guī)應(yīng)用，對近三年發(fā)表的代表性結(jié)果，作了規(guī)范性綜述，并提出了一些看法以及待研究的8個(gè)問題。關(guān)鍵詞：因子分析；精確解；研究；綜述O 引言1904年Spearman C從智力測驗(yàn)得分的統(tǒng)計(jì)分析提出了因子分析。因子分析是主成分分析的一個(gè)擴(kuò)充、是對應(yīng)分析的基礎(chǔ)、是構(gòu)造方程模型的組成部分，由于因子載荷陣有直接的統(tǒng)計(jì)意義、可旋轉(zhuǎn)，使得因子分析解決實(shí)際問題更為精細(xì)，故因子分析在多元統(tǒng)計(jì)分析的理論和解決實(shí)際問題中都起著重要的作用。張堯庭和方開泰教授的文1(1982)

3、指出：因子分析的用處已為許多實(shí)際工作所證實(shí)，但是因子分析的模型和理論還是很不完善的，從數(shù)學(xué)上來看，還存在許多問題。Johnson R A和Wichern D W教授的文2(2003)指出：因子分析在其全部歷史上時(shí)時(shí)都激起相當(dāng)激烈的爭論；在介紹的所有方法中，還沒有一個(gè)可推薦為具有全面的優(yōu)勢。經(jīng)過整理，因子分析原模型和理論存在的具體問題是：特殊方差陣為對角陣總是不能實(shí)現(xiàn)，-(為原始變量的相關(guān)陣)有時(shí)出現(xiàn)負(fù)特征值3！估計(jì)因子載荷陣的常用方法有主成分法、最大似然法、主因子法，哪一個(gè)方法更好；估計(jì)因子常用的有Thom- pson(1939)因子得分、Bartlett(1937)因子得分，哪一個(gè)更好 34

4、(70年的多元統(tǒng)計(jì)問題)；主成分法下，因子在先、誤差項(xiàng)在后的次序能降維，次序是統(tǒng)計(jì)中的重要概念，因子分析原模型公因子在先、特殊因子在后的次序1能降維嗎(多元統(tǒng)計(jì)的100年問題)？旋轉(zhuǎn)后因子與主成分有何異同；因子還有初始(未旋轉(zhuǎn))因子，其與主成分有何異同；旋轉(zhuǎn)后因子與初始因子有何異同；初始因子不重要嗎？這些問題，已影響了因子分析模型、理論和應(yīng)用的正常發(fā)展。張堯庭(Z)和方開泰(F)教授的文1應(yīng)用前m個(gè)標(biāo)準(zhǔn)化主成分及其載荷陣表示近似標(biāo)準(zhǔn)化原始變量-ZF法，建立了近似標(biāo)準(zhǔn)化原始變量、前m個(gè)標(biāo)準(zhǔn)化主成分(或旋轉(zhuǎn)后)及其載荷陣三者的關(guān)系式，該關(guān)系式具有降維、可消除相關(guān)性的功能。方積乾(F)教授的文5(2

5、001)用前m個(gè)標(biāo)準(zhǔn)化主成分(或旋轉(zhuǎn)后)及其載荷陣，估計(jì)初始(或旋轉(zhuǎn)后)因子及其載荷陣，這是因子分析解決實(shí)際問題經(jīng)常優(yōu)先使用的解。文67(2006)繼續(xù)深入ZF法，用標(biāo)準(zhǔn)化主成分及其載荷陣等式表示標(biāo)準(zhǔn)化原始變量的方法-ZFL法，建立了標(biāo)準(zhǔn)化原始變量、初始(或旋轉(zhuǎn)后)因子及其載荷陣、誤差項(xiàng)四者的等式關(guān)系，給出了因子分析模型L及其精確解，其同樣具有降維、可消除相關(guān)性的功能，應(yīng)用中降維出現(xiàn)的誤差可度量。ZFL法下，相關(guān)陣是標(biāo)準(zhǔn)化主成分載荷陣及其轉(zhuǎn)置的乘積，Johnson R A和Wichern D W教授的文2認(rèn)為：“它并不很有用”。事實(shí)上，它很有用。文8(2007，第十一次全國中青年統(tǒng)計(jì)科學(xué)研討會

6、大會特邀報(bào)告，2007年12月人大復(fù)印資料統(tǒng)計(jì)與精算全文轉(zhuǎn)載)用因子分析模型L、初始因子及其載荷陣、誤差項(xiàng)求出了：因子分析原模型的精確解。同時(shí)說明了：特殊方差陣為對角陣得以實(shí)現(xiàn)，-是正特征值(問題解答)；主成分法更好(結(jié)果同ZF法，計(jì)算機(jī)也容易驗(yàn)證)，主因子法沒有意義、非零的極大似然估計(jì)不存在(問題解答)；主成分法的廣義Thompson因子得分更好(結(jié)果同ZF法，np時(shí)，計(jì)算機(jī)容易驗(yàn)證；但np時(shí)，SAS結(jié)果是錯(cuò)的)，非零的Bartlett因子得分不存在(問題解答)；因子分析原模型及其解不能降維，因子分析模型L是降維最優(yōu)模型、其解是更好的(問題解答)。實(shí)際應(yīng)用方面(原始變量總體相關(guān)陣通常用樣本變

7、量相關(guān)陣估計(jì))，旋轉(zhuǎn)后因子與主成分顯著的不同是方差和旋轉(zhuǎn)9，初始因子與主成分顯著的不同是方差10，初始因子與旋轉(zhuǎn)后因子顯著的不同是旋轉(zhuǎn)11，三者計(jì)量值互不相同、不可互相混淆(問題解答)。文11(2006)12(2008)中分別給出了：小樣本旋轉(zhuǎn)后因子、初始因子解的計(jì)算、應(yīng)用步驟和實(shí)例；文13(2008)對廣東省卷煙企業(yè)經(jīng)濟(jì)效益多元數(shù)據(jù)，給出了如何用初始因子有效解決實(shí)際問題的步驟，其結(jié)論比旋轉(zhuǎn)后因子有更高的決策相關(guān)性；文12將小樣本初始因子用于時(shí)間序列多元數(shù)據(jù)，其結(jié)論比主成分分析更具有相對可接受性。以上說明：初始因子在理論與解決實(shí)際問題中都是重要的(問題解答)。鑒此，2008年7月，筆者寫的論文

8、初始因子應(yīng)用與教學(xué)中的重要性，在中國商業(yè)統(tǒng)計(jì)學(xué)會市場調(diào)查與教學(xué)研究分會第十九屆年會(22所高校的39名專家教授參會)上，成為征文中唯一的大會報(bào)告論文，報(bào)告后引起了一些專家的共鳴。近期評論：在中國人民大學(xué)“2008統(tǒng)計(jì)學(xué)國際論壇”上，該校上多元統(tǒng)計(jì)分析的杜子芳教授認(rèn)為：1933年Hotelling才用降維的數(shù)學(xué)表述，給出了主成分分析，故早于29年Spearman C(1904)提出的因子分析原模型不能降維是正常的，從而給出能降維的因子分析模型L更是正常的，如果因子分析模型L能在1933年出現(xiàn)的話，因子分析的模型和理論就不至于繞這么多圈子！因子分析模型L及其精確解、初始因子的教學(xué)進(jìn)展：中國人民大學(xué)

9、統(tǒng)計(jì)學(xué)院的本科、碩士、博士中2007年起用ZFL法講授能降維的因子分析模型L及其精確解。2004年起，廣東商學(xué)院統(tǒng)計(jì)學(xué)專業(yè)本科生連續(xù)4屆用ZFL法講授因子分析模型L及其精確解，從2005年起已連續(xù)3屆加入初始因子及其應(yīng)用的內(nèi)容。華南師范大學(xué)統(tǒng)計(jì)學(xué)專業(yè)2005級本科生、200607級碩士生2008年起用ZFL法講授因子分析模型L及其精確解，含有初始因子及其應(yīng)用；均取得了較好的教學(xué)效果(筆者有因子分析新理論與教學(xué)實(shí)踐Word電子文檔，可供參考)。1解決問題的理論方法設(shè)為正向化、標(biāo)準(zhǔn)化隨機(jī)向量，為的相關(guān)陣，秩，因子載荷陣 因子、誤差因子載荷陣誤差因子，因子(對的)方差貢獻(xiàn) 。因?yàn)?，秩，設(shè)想是的線性組

10、合，考慮到降維的目的，寫為矩陣表示是因子分析模型L(降維最優(yōu)模型)68 秩,求,使, (1), (2)達(dá)到最大(原模型無)，。其中的選取以因子對有代表性為前提,稱為誤差項(xiàng)不是特殊因子，因?yàn)閷顷嚒?為了求出因子分析模型L的解，先給出主成分分析的結(jié)論。設(shè)的特征值為、0(一般假定),0(達(dá)到降序排列最大化),秩,、這里 (為階單位陣)，記是以為對角元素的對角矩陣。設(shè)主成分,主成分分析(Hotelling，1933)的解1=， (3) 。 (4)記標(biāo)準(zhǔn)化主成分載荷陣：。因?yàn)槭菢?biāo)準(zhǔn)化的，由式(3)、式(4)，將主成分進(jìn)行標(biāo)準(zhǔn)化有標(biāo)準(zhǔn)化主成分：。注意到式(3)和,有,有定理178 因子分析模型L的精確解

11、是標(biāo)準(zhǔn)化主成分及其載荷陣，具體為(標(biāo)準(zhǔn)化主成分),。其中, 。=(,=(,=稱為初始因子(含有或近似含有非零特殊因子),稱為初始因子載荷陣,稱為誤差公因子, 稱為誤差公因子載荷。證明：X是標(biāo)準(zhǔn)化的，所以，故方差是零的主成分為零，所以,達(dá)到最大化。證畢。因子分析的任務(wù)之一是要較清晰地知道每個(gè)因子的意義，以便對實(shí)際問題作出科學(xué)的分析。但初始因子有時(shí)不能較清晰地知道因子的意義。根據(jù)因子載荷陣的不唯一性，可對因子載荷陣實(shí)行旋轉(zhuǎn)。旋轉(zhuǎn)的方法有多種，如方差最大化正交旋轉(zhuǎn)1、斜交旋轉(zhuǎn)等，這里給出定理268 因子分析模型L的精確解可旋轉(zhuǎn)，設(shè)為的方差最大化正交旋轉(zhuǎn)矩陣,則方差最大化正交旋轉(zhuǎn)后精確解是標(biāo)準(zhǔn)化主成分

12、及其載荷陣的旋轉(zhuǎn)，具體為：,。其中為旋轉(zhuǎn)后因子方差貢獻(xiàn), 、同定理1。=稱為旋轉(zhuǎn)后因子載荷陣(含有或近似含有非零特殊因子),= 稱為旋轉(zhuǎn)后因子。證明：利用定理1和為的方差最大化正交旋轉(zhuǎn)矩陣有(具有正交不變性),(具有正交不變性),=達(dá)到最大化(是方陣主對角元素的和),。證畢。由定理2，因子分析模型L的精確解不唯一，使用者熟悉的是旋轉(zhuǎn)后因子，少見的是初始因子，故有時(shí)出現(xiàn)不講條件地使用旋轉(zhuǎn)后因子的情況。事實(shí)上，有時(shí)更適宜使用初始因子。注意到因子載荷陣是與因子的相關(guān)系數(shù)陣，由此給出解的使用條件規(guī)則1 比較旋轉(zhuǎn)后因子載荷陣、(互不相同)與初始因子載荷陣，如果中每行元素的絕對值足夠向0或1兩極分化，則稱

13、初始因子結(jié)構(gòu)簡化，此時(shí)直接使用初始因子分析解決實(shí)際問題11；變量有相關(guān)性，、與比較，如果中每行元素的絕對值足夠向0或1兩極分化，則使用旋轉(zhuǎn)后因子分析解決實(shí)際問題。規(guī)則1說明：因子分析的優(yōu)勢是表現(xiàn)在因子分析有初始因子、旋轉(zhuǎn)后因子的多解性上，不是都表現(xiàn)在旋轉(zhuǎn)后因子上。因子分析的任務(wù)之二是選取盡可能小的，使前個(gè)因子對有足夠的代表性，從而達(dá)到降維的目的。現(xiàn)行的方法124有時(shí)出現(xiàn)前個(gè)因子對原始變量無代表性的情況。注意到因子載荷陣是與因子的相關(guān)系數(shù)陣，由此給出更好的規(guī)則2 使用初始因子解決問題時(shí)，的選取以按只有最后一列無因子與變量顯著相關(guān)系數(shù)確定；使用旋轉(zhuǎn)后因子解決問題時(shí)，的選取以、每行至少有一個(gè)元素絕對

14、值最靠近1(建議0.6)中的最小列數(shù)確定是更好的。2因子分析模型L及其精確解的優(yōu)勢設(shè)公因子載荷陣公因子特殊因子，因子分析原模型1 求(列向量元素非零)、，使：,),這里 稱為特殊方差, 稱為特殊方差陣。記特殊因子中非零特殊因子的個(gè)數(shù)為k(如果有限)，則公因子、非零特殊因子的個(gè)數(shù)和，解決實(shí)際問題時(shí)q不是越大越好，故設(shè)q是使原模型成立的最小正整數(shù)。定義 因子分析的精確解是滿足因子分析原模型且能降維的解。定理3 因子分析的精確解是標(biāo)準(zhǔn)化主成分及其載荷陣，模型為因子分析模型L。證明8:因子分析原模型中，設(shè)特殊因子中非零特殊因子為、，時(shí)結(jié)論自然成立),為、的標(biāo)準(zhǔn)化,即。將、按因子方差貢獻(xiàn)降序排列達(dá)到最大

15、化時(shí)，設(shè)相應(yīng)因子及其因子載荷陣為,為因子對的方差貢獻(xiàn),則原模型等價(jià)：求的解，使， , ()降序排列達(dá)到最大化(達(dá)到最大,自然成立),q同樣是式、式成立的最小正整數(shù)。由因子分析模型L式(1)、式(2)有；對式取方差得：，故有秩(R)；所以。即將、按因子方差貢獻(xiàn)降序排列達(dá)到最大化時(shí)，因子分析原模型等價(jià)于因子分析模型L。由定理1，此時(shí)的解為：、,且。所以，、是因子分析原模型按因子方差貢獻(xiàn)降序排列達(dá)到最大化時(shí)的精確解，其次序能直接降維，故其是因子分析的精確解。即因子分析原模型與因子分析模型L的顯著差異是因子排列次序(這關(guān)系到是否能達(dá)到降維的目的)：因子分析模型L按達(dá)到最大的因子排列在前,其余因子排列在

16、后，能直接降維；因子分析原模型按公因子排列在前,特殊因子排列在后，不能降維(見定理4)。定理48 設(shè)秩,中(,時(shí)結(jié)論自然成立)個(gè)互不相關(guān)的變量為,，則因子分析原模型的精確解：,(對角陣),=秩()。其中,為第元素是1的維單位列向量,為中除去,的矩陣,為中除去,的因子, , ,同定理1。證明：接定理3的證明，設(shè)公因子按方差貢獻(xiàn)降序的次序排列，按公因子在先、特殊因子在后次序排列時(shí),有,由式(3)。所以，對非零特殊因子，存在，使：，所以,而為單位特征向量,所以,所以,即,即：,。得證。問題的解決：(對角陣)，-，其特征值為、0，全部非負(fù)。問題的解決: 因子載荷陣的極大似然估計(jì)(Bartlett因子得

17、分)，其假定可逆，由該結(jié)論有，因?yàn)?，所以?，=0，故非零因子載荷陣的極大似然估計(jì)(非零Bartlett因子得分)不存在；譜分解主成分方法求出的因子載荷陣是精確解，是更好的，再用其迭代的主因子法沒有意義。問題的解決:因?yàn)榉橇鉈artlett因子得分不存在，故其無偏性結(jié)論沒有意義；新理論因子解、是主成分方法的廣義Thompson因子得分,7 故主成分法的廣義Thompson因子得分是更好的解。 問題的解決:因子分析原模型精確解直接說明了：公因子解含所有方差貢獻(xiàn)小的公因子,非通常認(rèn)為可直接降維，應(yīng)用中通常除去；非零特殊因子解是中互不相關(guān)(或近似)的變量,，非通常認(rèn)為可去掉(除非為0)，應(yīng)用中是必須

18、保留的。即誤差項(xiàng)與特殊因子沒有可替換性，因子分析原模型公因子、特殊因子及其解的次序不能降維。其它問題的解決見相應(yīng)文獻(xiàn)9101113。至此，因子分析模型L及其精確解完善了因子分析模型和理論，ZFL法是具有全面優(yōu)勢的方法。3注意事項(xiàng)因子分析中，使用ZFL法替換譜分解的主成分方法與Thompson因子得分的兩步法，結(jié)論用因子分析模型L及其精確解，除去最大似然法、主因子方法、Bartlett因子得分的內(nèi)容。初始因子、旋轉(zhuǎn)后因子、主成分是三個(gè)互不相同的計(jì)量體系，三者的計(jì)量值不能混淆。何時(shí)使用旋轉(zhuǎn)后因子、初始因子由規(guī)則1確定更好。因子個(gè)數(shù)的選取以規(guī)則2確定更好；4一些看法以及待研究的問題以因子分析為基礎(chǔ)的

19、對應(yīng)分析法5，其數(shù)據(jù)分析目前達(dá)不到意義、方向清晰的效果，故對應(yīng)分析有待進(jìn)一步研究和完善。構(gòu)造方程模型2與因子分析如何更好的結(jié)合應(yīng)用？因子分析與主成分分析異同和應(yīng)用辨析的結(jié)果較分散，有待進(jìn)行規(guī)范性綜述。因子與主成分的有序性4有待進(jìn)一步研究和完善。定量與定性相結(jié)合的因子分析綜合評價(jià)步驟結(jié)果較分散，有待進(jìn)行規(guī)范性綜述。有時(shí)會出現(xiàn)每列系數(shù)絕對值向0、1兩極分化的結(jié)果比好，是何原因？因子分析模型L及其解破除了相關(guān)系數(shù)陣(協(xié)差陣、離差陣)的可逆性，表現(xiàn)在：秩時(shí), 。故類似于相關(guān)陣、協(xié)差陣、離差陣不可逆的多元分析問題，同樣有待用此方法深入。誤差因子、后p-r個(gè)主成分=0，該組關(guān)系式的應(yīng)用有待研究。2參考文獻(xiàn)：1，1982：260-270(in Chinese)2Johnson R A, W