第五章因子分析和主成分分析課件

1、第五章 主成分分析與因子分析5.1 因子分析模型與應(yīng)用1. 因子分析模型 設(shè)p維可觀測的隨機(jī)向量X = (X1，.，Xp)（假定Xi為標(biāo)準(zhǔn)化變量，即E(Xi) = 0，Var(Xi) = 1，i = 1，2，p）表示為或 X = AF + 其中F1、F2、Fm稱為公共因子，簡稱因子，是不可觀測的變量；待估的系數(shù)陣A稱為因子載荷陣，aij（i = 1,2,p；j = 1,2,m）稱為第i個(gè)變量在第j個(gè)因子上的載荷（簡稱為因子載荷）； 稱為特殊因子，是不能被前m個(gè)公共因子包含的部分。并且滿足：cov(F,) = 0，即F，不相關(guān)； D(F) = Im，即F1、F2、Fm互不相關(guān)，方差為1；D()

2、= diag(12,22,p2)，即1、2、p互不相關(guān)，方差不一定相等，iN(0，i2)。 因子分析的目的就是通過模型X = AF + 以F代替X，由于m 0，相應(yīng)的特征向量為u1*,u2*,up*，則有近似分解式：R* = AA其中 ，令 （i = 1，p），則A和D為因子模型的一個(gè)解，這個(gè)解稱為主因子解。 在實(shí)際中特殊因子方差(或變量共同度)是未知的。以上得到的解是近似解。為了得到近似程度更好的解，常常采用迭代主因子法。即利用上面得到的D* = diag( )作為特殊因子方差的初始估計(jì)，重復(fù)上述步驟，直到解穩(wěn)定為止。 變量共同度hi2常用的初始估計(jì)有以下幾種方法： 取第i個(gè)變量與其他所有變

3、量的多重相關(guān)系數(shù)的平方； 取第i個(gè)變量與其他變量相關(guān)系數(shù)絕對值的最大值； 取1，它等價(jià)于主成分解。(3) 極大似然法 假定公共因子F和特殊因子服從正態(tài)分布，那么可得到因子載荷陣和特殊因子方差的極大似然估計(jì)，設(shè)p維觀測向量X(1)，.，X(n)為來自正態(tài)總體Np(,)的隨機(jī)樣品，則樣品似然函數(shù)為，的函數(shù)L(,)。 設(shè)= AA + D，取 = ，則似然函數(shù)為A，D的函數(shù)：(A，D)，求A，D使達(dá)最大。為保證得到唯一解，可附加計(jì)算上方便的唯一性條件：AD-1A = 對角陣，用迭代方法可求得極大似然估計(jì)A和D。2. 因子旋轉(zhuǎn)（正交變換） 所謂因子旋轉(zhuǎn)就是將因子載荷矩陣A右乘一個(gè)正交矩陣T后得到一個(gè)新的

4、矩陣A*。它并不影響變量Xi的共同度hi2，卻會改變因子的方差貢獻(xiàn)qj2。因子旋轉(zhuǎn)通過改變坐標(biāo)軸，能夠重新分配各個(gè)因子解釋原始變量方差的比例，使因子更易于理解。 設(shè)p維可觀測向量X滿足因子模型：X = AF +。T為正交陣，則因子模型可寫為X = ATTF + = A*F* +其中A* = AT，F(xiàn)* = TF。 易知， = AA + D = A*A* + D（其中A* = AT）。這說明，若A，D是一個(gè)因子解，任給正交陣T，A* = AT，D也是因子解。在這個(gè)意義下，因子解是不惟一的。 由于因子載荷陣是不惟一的，所以可對因子載荷陣進(jìn)行旋轉(zhuǎn)。目的是使因子載荷陣的結(jié)構(gòu)簡化，使載荷矩陣每列或行的元

5、素平方值向0和1兩極分化，這樣的因子便于解釋和命名。 有三種主要的正交旋轉(zhuǎn)法：四次方最大法、方差最大法和等量最大法。這些旋轉(zhuǎn)方法的目標(biāo)是一致的，只是策略不同。 如果兩種旋轉(zhuǎn)模型導(dǎo)出不同的解釋，這兩種解釋不能認(rèn)為是矛盾的。倒不如說是看待相同事物的兩種不同方法，是在公因子空間中的兩個(gè)不同點(diǎn)。只取決于惟一的一種你認(rèn)為是正確旋轉(zhuǎn)的任何結(jié)論都是不成立的。 在統(tǒng)計(jì)意義上所有旋轉(zhuǎn)都是一樣的，即不能說一些旋轉(zhuǎn)比另一些旋轉(zhuǎn)好。因此，在不同的旋轉(zhuǎn)方法之間進(jìn)行的選擇必須根據(jù)非統(tǒng)計(jì)觀點(diǎn)，通常選擇最容易解釋的旋轉(zhuǎn)模型。3. 因子得分 計(jì)算因子得分的途徑是用原有變量來描述因子，第j個(gè)因子在第i個(gè)樣本上的值可表示為：Fji

6、 = j1xi1 + j2xi2 + jpxip (j = 1，2，k) 式中，xi1，xi2，xip分別是第1，2，p個(gè)原有變量在第i個(gè)樣本上的取值，j1，j2，jp分別是第j個(gè)因子和第1，2，k個(gè)原有變量間的因子值系數(shù)?？梢?，它是原有變量線性組合的結(jié)果(與因子分析的數(shù)學(xué)模型正好相反)，因子得分可看作各變量值的加權(quán)(j1，j2，jp)總和，權(quán)數(shù)的大小表示了變量對因子的重要程度。于是有： Fj = j1X1+j2X2+jpXp (j = 1,2,k) 上式稱為因子得分函數(shù)。由于因子個(gè)數(shù)k小于原有變量個(gè)數(shù)p，故式中方程的個(gè)數(shù)少于變量的個(gè)數(shù)。因此，對因子值系數(shù)通常采用最小二乘意義下的回歸法進(jìn)行估計(jì)

7、?？蓪⑸鲜娇醋魇且蜃幼兞縁j對p個(gè)原有變量的線性回歸方程(其中常數(shù)項(xiàng)為0)?？梢宰C明，式中回歸系數(shù)的最小二乘估計(jì)滿足：Bj = AjR-1，其中Bj = (j1,j2,jp)，Aj = (a1j,a2j,apj)為第1,2,p個(gè)變量在第j個(gè)因子上的因子載荷，R-1為原有變量的相關(guān)系數(shù)矩陣的逆矩陣。 由上式計(jì)算出因子變量Fj的因子值系數(shù)，再利用因子得分函數(shù)可算出第j個(gè)因子在各個(gè)樣本上的因子得分。13.3 主成分分析（PCA)的概念與步驟1. 主成分分析基本思想 主成分分析是數(shù)學(xué)上對數(shù)據(jù)降維的一種方法。其基本思想是設(shè)法將原來眾多的具有一定相關(guān)性的指標(biāo)（比如p個(gè)指標(biāo)），重新組合成一組新的互不相關(guān)的綜

8、合指標(biāo)來代替原來指標(biāo)。通常數(shù)學(xué)上的處理就是將原來p個(gè)指標(biāo)作線性組合，作為新的綜合指標(biāo)。但是這種線性組合，如果不加限制，則可以有很多，應(yīng)該如何去選取呢？ 在所有的線性組合中所選取的F1應(yīng)該是方差最大的，故稱F1為第一主成分。如果第一主成分不足以代表原來p個(gè)指標(biāo)的信息，再考慮選取F2即選第二個(gè)線性組合。為了有效地反映原有信息，F(xiàn)1已有的信息就不需要再出現(xiàn)在F2中，用數(shù)學(xué)語言表達(dá)就是要求Cov(F1，F(xiàn)2)0。稱F2為第二主成分，依此類推可以構(gòu)造出第三、第四、第p個(gè)主成分。2. 主成分分析的數(shù)學(xué)模型 設(shè)有n個(gè)樣本（多元觀測值），每個(gè)樣本觀測p項(xiàng)指標(biāo)（變量）：X1，X2，Xp，得到原始數(shù)據(jù)資料陣：其中

9、Xi = (x1i，x2i，xni)，i = 1，2，p。 用數(shù)據(jù)矩陣X的p個(gè)列向量（即p個(gè)指標(biāo)向量）X1，X2，Xp作線性組合，得綜合指標(biāo)向量：簡寫成：Fi = a1iX1 + ai2X2 +apiXp i = 1，2，p 為了加以限制，對組合系數(shù)ai = (a1i，a2i，api)作如下要求：即：ai為單位向量：aiai = 1，且由下列原則決定： 1) Fi與Fj（ij, i, j = 1, , p）互不相關(guān)，即Cov(Fi，F(xiàn)j) = aiai = 0，其中是X的協(xié)方差陣。 2) F1是X1，X2，Xp的一切線性組合（系數(shù)滿足上述要求）中方差最大的，即 ，其中 a= (a1，a2，ap

10、) F2是與F1不相關(guān)的X1，X2，Xp一切線性組合中方差最大的，F(xiàn)p是與F1，F(xiàn)2，F(xiàn)p-1都不相關(guān)的X1，X2，Xp的一切線性組合中方差最大的。 滿足上述要求的綜合指標(biāo)向量F1，F(xiàn)2，F(xiàn)p就是主成分，這p個(gè)主成分從原始指標(biāo)所提供的信息總量中所提取的信息量依次遞減，每一個(gè)主成分所提取的信息量用方差來度量，主成分方差的貢獻(xiàn)就等于原指標(biāo)相關(guān)系數(shù)矩陣相應(yīng)的特征值i，每一個(gè)主成分的組合系數(shù)ai = (a1i，a2i，api)就是相應(yīng)特征值i所對應(yīng)的單位特征向量。方差的貢獻(xiàn)率為 ，i越大，說明相應(yīng)的主成分反映綜合信息的能力越強(qiáng)。3. 主成分分析的步驟(1) 計(jì)算協(xié)方差矩陣 計(jì)算樣品數(shù)據(jù)的協(xié)方差矩陣：

11、= (sij)pp，其中 i，j = 1，2，p(2) 求出的特征值及相應(yīng)的特征向量 求出協(xié)方差矩陣的特征值12p0及相應(yīng)的正交化單位特征向量：則X的第i個(gè)主成分為Fi = aiX i = 1，2，p。(3) 選擇主成分 在已確定的全部p個(gè)主成分中合理選擇m個(gè)來實(shí)現(xiàn)最終的評價(jià)分析。一般用方差貢獻(xiàn)率解釋主成分Fi所反映的信息量的大小，m的確定以累計(jì)貢獻(xiàn)率達(dá)到足夠大（一般在85%以上）為原則。另外，如果主成分對應(yīng)的特征根已小于1，一般也不選用(4) 計(jì)算主成分得分 計(jì)算n個(gè)樣本在m個(gè)主成分上的得分： i = 1，2，m(5) 標(biāo)準(zhǔn)化 實(shí)際應(yīng)用時(shí)，指標(biāo)的量綱往往不同，所以在主成分計(jì)算之前應(yīng)先消除量綱的影響。消除數(shù)據(jù)的量綱有很多方法，常用方法是將原始數(shù)據(jù)標(biāo)準(zhǔn)化，即做如下數(shù)據(jù)變換：其中 ， ，j = 1，2，p。標(biāo)準(zhǔn)化后的數(shù)據(jù)陣記為X*，其中每個(gè)列向量（標(biāo)準(zhǔn)化變