主成分與主因子

因子分析與因子分析法主成分分析通過線性組合將原變量綜合成幾個主成分，用較少的綜合指標來代替原來較多的指標(變量)。在多變量分析中，某些變量間往往存在相關性。是什么原因使變量間有關聯(lián)呢？是否存在不能直接觀測到的、但影響可觀測變量變化的公共因子？因子分析法(FactorAnalysis)就是尋找這些公共因子的模型分析方法，它是在主成分的基礎上構筑若干意義較為明確的公因子，以它們?yōu)榭蚣芊纸庠兞?，以此考察原變量間的聯(lián)系與區(qū)別?？梢哉f，因子分析是主成分分析的推廣，也是一種把多個變量化為少數(shù)幾個綜合變量的多變量分析方法，其目的是用有限個不可觀測的隱變量來解釋原始變量之間的相關關系。因子分析主要用于：1、減少分析變量個數(shù)；2、通過對變量間相關關系探測，將原始變量進行分類。即將相關性高的變量分為一組，用共性因子代替該組變量。因子分析模型因子分析法是從研究變量內(nèi)部相關的依賴關系出發(fā)，把一些具有錯綜復雜關系的變量歸結為少數(shù)幾個綜合因子的一種多變量統(tǒng)計分析方法。它的基本思想是將觀測變量進行分類，將相關性較高，即聯(lián)系比較緊密的分在同一類中，而不同類變量之間的相關性則較低，那么每一類變量實際上就代表了一個基本結構，即公共因子。對于所研究的問題就是試圖用最少個數(shù)的不可測的所謂公共因子的線性函數(shù)與特殊因子之和來描述原來觀測的每一分量。因子分析模型描述如下:⑴X=(x1,x2,…，xp)C是可觀測隨機回量,均值向量E(X)=0,協(xié)方差陣Cov(X)=Z,且協(xié)方差陣，與相關矩陣R相等(只要將變量標準化即可實現(xiàn))。(2)F=(F1,F2,…，F(xiàn)m)C(m<p)是不可測的向量，其均值向量E(F)=0,協(xié)方差矩陣Cov(F)=1,即向量的各分量是相互獨立的。⑶e=(el,e2,…，ep)C與F相互獨立，且E(e)=0,e的協(xié)方差陣，是對角陣，即各分量e之間是相互獨立的，則模型：x1=a11F1+a12F2+...+a1mFm+elx2=a21F1+a22F2+...+a2mFm+e2xp=ap1F1+ap2F2+...+apmFm+ep稱為因子分析模型，由于該模型是針對變量進行的，各因子又是正交的，所以也稱為R型正交因子模型。模型的統(tǒng)計意義模型中F1，F(xiàn)2，…，F(xiàn)m叫做主因子或公共因子，它們是在各個原觀測變量的表達式中都共同出現(xiàn)的因子，是相互獨立的不可觀測的理論變量。公共因子的含義，必須結合具體問題的實際意義而定。el，e2，…，ep叫做特殊因子，是回量x的分量xi（i=1，2，…，p）所特有的因子，各特殊因子之間以及特殊因子與所有公共因子之間都是相互獨立的。模型中載荷矩陣A中的元素（aij）是為因子載荷。因子載荷aij是xi與Fj的協(xié)方差，也是xi與Fj的相關系數(shù)，它表示xi依賴Fj的程度。可將aij看作第i個變量在第j公共因子上的權，aij的絕對值越大（|aij|￡1）,表明xi與Fj的相依程度越大，或稱公共因子Fj對于xi的載荷量越大。為了得到因子分析結果的經(jīng)濟解釋，因子載荷矩陣A中有兩個統(tǒng)計量十分重要，即變量共同度和公共因子的方差貢獻。因子載荷矩陣A中第i行元素之平方和記為hi2，稱為變量xi的共同度。它是全部公共因子對xi的方差所做出的貢獻，反映了全部公共因子對變量xi的影響。hi2大表明x的第i個分量xi對于F的每一分量Fl,F2,…，F(xiàn)m的共同依賴程度大。將因子載荷矩陣A的第j列（j=1,2,…，m）的各元素的平方和記為gj2，稱為公共因子Fj對x的方差貢獻。gj2就表示第j個公共因子Fj對于x的每一分量xi（i=1,2，…，p）所提供方差的總和，它是衡量公共因子相對重要性的指標。gj2越大，表明公共因子Fj對x的貢獻越大，或者說對x的影響和作用就越大。如果將因子載荷矩陣A的所有gj2（j=1,2，…，m）都計算出來，使其按照大小排序，就可以依此提煉出最有影響力的公共因子。因子旋轉建立因子分析模型的目的不僅是找出主因子，更重要的是知道每個主因子的意義，以便對實際問題進行分析。如果求出主因子解后，各個主因子的典型代表變量不很突出，還需要進行因子旋轉，通過適當?shù)男D得到比較滿意的主因子。旋轉的方法有很多，正交旋轉（orthogonalrotation）和斜交旋轉（obliquerotation）是因子旋轉的兩類方法。最常用的方法是最大方差正交旋轉法（Varimax）。進行因子旋轉，就是要使因子載荷矩陣中因子載荷的平方值向0和1兩個方向分化，使大的載荷更大，小的載荷更小。因子旋轉過程中，如果因子對應軸相互正交，則稱為正交旋轉；如果因子對應軸相互間不是正交的，則稱為斜交旋轉。常用的斜交旋轉方法有Promax法等。.因子得分因子分析模型建立后，還有一個重要的作用是應用因子分析模型去評價每個樣品在整個模型中的地位，即進行綜合評價。例如地區(qū)經(jīng)濟發(fā)展的因子分析暨建立后，我們希望知道每個地區(qū)經(jīng)濟發(fā)展的情況，把區(qū)域經(jīng)濟劃分歸類，哪些地區(qū)發(fā)展較快，哪些中等發(fā)達，哪些較慢等。這時需要將公共因子用變量的線性組合來表示，也即由地區(qū)經(jīng)濟的各項指標值來估計它的因子得分。設公共因子F由變量x表示的線性組合為:Fj=uj1xj1+uj2xj2+...+ujpxjpj=1，2，…，m該式稱為因子得分函數(shù)，由它來計算每個樣品的公共因子得分。若取m=2，則將每個樣品的p個變量代入上式即可算出每個樣品的因子得分F1和F2，并將其在平面上做因子得分散點圖，進而對樣品進行分類或?qū)υ紨?shù)據(jù)進行更深入的研究。但因子得分函數(shù)中方程的個數(shù)m小于變量的個數(shù)p，所以并不能精確計算出因子得分，只能對因子得分進行估計。估計因子得分的方法較多，常用的有回歸估計法，Bartlett估計法，Thomson估計法。⑴回歸估計法F=Xb=X(X(tX)-1A^=XR-1AC(這里R為相關陣，且R=X(TX)。⑵Bartlett估計法Bartlett估計因子得分可由最小二乘法或極大似然法導出。F=[(W-1/2A)CW-1/2A]-1(W-1/2A)CW-1/2X=(ACW-1A)-1ACW-1X⑶Thomson估計法在回歸估計法中，實際上是忽略特殊因子的作用，取R=XCX,若考慮特殊因子的作用，此時R=XCX+W,于是有：F=XR-1AC=X(XCX+W)-1AC這就是Thomson估計的因子得分，使用矩陣求逆算法(參考線性代數(shù)文獻)可以將其轉換為：F=XR-1AC=X(I+ACW-1A)-1W-1AC5.因子分析的步驟因子分析的核心問題有兩個：一是如何構造因子變量；二是如何對因子變量進行命名解釋。因此，因子分析的基本步驟和解決思路就是圍繞這兩個核心問題展開的。（i）因子分析常常有以下四個基本步驟：⑴確認待分析的原變量是否適合作因子分析。⑵構造因子變量。⑶利用旋轉方法使因子變量更具有可解釋性。⑷計算因子變量得分。（ii）因子分析的計算過程：⑴將原始數(shù)據(jù)標準化，以消除變量間在數(shù)量級和量綱上的不同。⑵求標準化數(shù)據(jù)的相關矩陣；⑶求相關矩陣的特征值和特征向量；⑷計算方差貢獻率與累積方差貢獻率；⑸確定因子：設F1，F(xiàn)2，…，F(xiàn)p為p個因子，其中前m個因子包含的數(shù)據(jù)信息總量（即其累積貢獻率）不低于80%時，可取前m個因子來反映原評價指標；⑹因子旋轉：若所得的m個因子無法確定或其實際意義不是很明顯，這時需將因子進行旋轉以獲得較為明顯的實際含義。⑺用原指標的線性組合來求各