第十章-中財(cái)課件-統(tǒng)計(jì)學(xué)

中央財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院第10章

主成分分析與因子分析主成分分析因子分析中央財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院2學(xué)習(xí)目標(biāo)1.主成分分析的基本思想2.主成分分析的軟件實(shí)現(xiàn)和結(jié)果分析3.因子分析的基本思想4.因子分析的軟件實(shí)現(xiàn)和結(jié)果分析中央財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院主成分分析中央財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院4例：斯通關(guān)于國(guó)民經(jīng)濟(jì)的研究一項(xiàng)十分著名的工作是美國(guó)的統(tǒng)計(jì)學(xué)家斯通(Stone)在1947年關(guān)于國(guó)民經(jīng)濟(jì)的研究。他曾利用美國(guó)1929一1938年各年的數(shù)據(jù)，得到了17個(gè)反映國(guó)民收入與支出的變量，例如雇主補(bǔ)貼、消費(fèi)資料和生產(chǎn)資料、純公共支出、凈增庫(kù)存、股息、利息外貿(mào)平衡等等。在進(jìn)行主成分分析后，竟以97.4％的精度，用3個(gè)新變量就取代了原17個(gè)變量。根據(jù)經(jīng)濟(jì)學(xué)知識(shí)，斯通給這三個(gè)新變量分別命名為總收入F1、總收入變化率F2和經(jīng)濟(jì)發(fā)展或衰退的趨勢(shì)F3。中央財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院5中央財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院6

指標(biāo)年份雇主補(bǔ)貼消費(fèi)資料生產(chǎn)資料……x1x2x3x1719291930……1938

指標(biāo)年份F1F2F319291930……1938主成分分析在社會(huì)經(jīng)濟(jì)的研究中，為了全面系統(tǒng)的分析和研究問(wèn)題，必須考慮許多經(jīng)濟(jì)指標(biāo)，這些指標(biāo)能從不同的側(cè)面反映我們所研究的對(duì)象的特征，但在某種程度上存在信息的重疊，具有一定的相關(guān)性。人們希望通過(guò)克服相關(guān)性、重疊性，用較少的變量來(lái)代替原來(lái)較多的變量，而這種代替可以反映原來(lái)多個(gè)變量的大部分信息，這實(shí)際上是一種“降維”的思想。

zhi主成分分析的原理主成分分析（PrincipalComponentsAnalysis，簡(jiǎn)記為PCA）是由Hotelling于1933年首先提出的，是把各變量之間互相關(guān)聯(lián)的復(fù)雜關(guān)系進(jìn)行簡(jiǎn)化分析的方法。主成分分析試圖在力保數(shù)據(jù)信息丟失最少的原則下，對(duì)多變量數(shù)據(jù)表進(jìn)行最佳綜合簡(jiǎn)化，也就是說(shuō)，對(duì)高維變量空間進(jìn)行降維處理。很顯然，識(shí)辨系統(tǒng)在一個(gè)低維空間要比在一個(gè)高維空間容易得多。中央財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院8中央財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院9原變量樣本點(diǎn)x1x2……xp12……n主成分分析

新變量樣本點(diǎn)F1F2……Fk12……n(k<p)具體地說(shuō)，主成分分析研究指標(biāo)體系的少數(shù)幾個(gè)線性組合，這幾個(gè)線性組合所構(gòu)成的綜合指標(biāo)稱為主成分；并且要求主成分盡可能多地保留原來(lái)指標(biāo)變異方面的信息。當(dāng)原變量的第一個(gè)主成分(線性組合)不能提取更多的信息時(shí)，再考慮用第二個(gè)主成分繼續(xù)這個(gè)提取的過(guò)程，……，直到提取足夠多的信息為止。中央財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院11主成分分析適用于原有變量之間存在較高相關(guān)程度的情況。在主成分分析適用的場(chǎng)合，一般可以用較少的主成分得到較多的信息量，從而得到一個(gè)更低維的向量。通過(guò)主成分既可以降低數(shù)據(jù)“維數(shù)”又保留了原數(shù)據(jù)的大部分信息。中央財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院12主成分分析的數(shù)學(xué)模型方程滿足下列條件：（1）（2）Fi與Fj不相關(guān)。（3）F1到Fp方差依次遞減。中央財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院13主成分分析的數(shù)學(xué)模型主成分分析的基本任務(wù)是計(jì)算系數(shù)矩陣a11……app。有p個(gè)x，相應(yīng)可以計(jì)算出p個(gè)主成分。但一般只使用少數(shù)幾個(gè)主成分就可以提取大部分信息。中央財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院14?????????????????????????????????????主成分分析的幾何意義原始p=2個(gè)變量提取k=1個(gè)主成分中央財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院15主成分分析的幾何意義平移、旋轉(zhuǎn)坐標(biāo)軸?????????????????????????????????????對(duì)坐標(biāo)軸進(jìn)行旋轉(zhuǎn)，n個(gè)點(diǎn)在F1軸上的方差達(dá)到最大，即在此方向上包含了有關(guān)n個(gè)樣品的最大量信息。因此，欲將二維空間的點(diǎn)投影到某個(gè)一維方向上，則選擇F1軸方向能使信息的損失最小。中央財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院16主成分分析的幾何意義第一主成分的效果與橢圓的形狀有關(guān)。橢圓越扁平，n個(gè)點(diǎn)在F1軸上的方差就相對(duì)越大，在F2軸上的方差就相對(duì)越小，用第一主成分代替所有樣品造成的信息損失就越小。中央財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院17????????????????????????????????????????????????????????????????????????????????????????????????????主成分分析的幾何意義原始變量不相關(guān)時(shí)，主成分分析沒有效果。中央財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院18?????????????????????????????????????主成分分析的幾何意義原始變量相關(guān)程度越高，主成分分析效果越好。中央財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院19主成分求解的步驟主成分可以按以下步驟計(jì)算得出：計(jì)算原始變量的相關(guān)系數(shù)矩陣R。計(jì)算相關(guān)系數(shù)矩陣R的特征值，并按從大到小的順序排列，記為計(jì)算特征值對(duì)應(yīng)的特征向量，即為主成分F1……Fp相應(yīng)的系數(shù)。中央財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院20主成分得分把原始變量的值代入主成分表達(dá)式中，可以計(jì)算出主成分得分。注意在計(jì)算主成分得分時(shí)需要先對(duì)原始變量進(jìn)行標(biāo)準(zhǔn)化。得到的主成分得分后，可以把各個(gè)主成分看作新的變量代替原始變量，從而達(dá)到降維的目的。中央財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院21主成分的貢獻(xiàn)率對(duì)于第k個(gè)主成分，其對(duì)方差的貢獻(xiàn)率為前k個(gè)主成分貢獻(xiàn)率的累計(jì)值稱為累計(jì)貢獻(xiàn)率。中央財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院22主成分個(gè)數(shù)的確定通常有兩種方式：1、根據(jù)大于1的特征值的個(gè)數(shù)確定主成分的個(gè)數(shù)；2、根據(jù)主成分的累計(jì)貢獻(xiàn)率確定主成分的個(gè)數(shù)，使累計(jì)貢獻(xiàn)率>85%或者其他值。最常見的情況是主成分的個(gè)數(shù)為2-3個(gè)。中央財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院23主成分分析的應(yīng)用主成分回歸。即把各主成分作為新自變量代替原來(lái)自變量x做回歸分析。還可以進(jìn)一步還原得到Y(jié)與x的回歸方程（可以避免多重共線性的問(wèn)題）。用于綜合評(píng)價(jià)。按照單個(gè)的主成分（例如第一主成分）可以對(duì)個(gè)體進(jìn)行排序。按照幾個(gè)主成分得分的加權(quán)平均值對(duì)個(gè)體進(jìn)行排序也是一種評(píng)價(jià)方法。一般用各個(gè)主成分的方差貢獻(xiàn)率加權(quán)。由于加權(quán)得分缺少實(shí)際意義，這種方法理論上有爭(zhēng)議。中央財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院24主成分分析在SPSS中的實(shí)現(xiàn)SPSS沒有直接提供主成分分析的功能，需要借助于“因子分析”的模塊實(shí)現(xiàn)。用SPSS進(jìn)行主成分分析有幾個(gè)操作環(huán)節(jié)需要特別注意。下面我們以講義中應(yīng)聘的例子加以說(shuō)明。中央財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院25主成分分析在SPSS中的實(shí)現(xiàn)1、在SPSS中打開數(shù)據(jù)文件（或者錄入數(shù)據(jù)）。中央財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院26主成分分析在SPSS中的實(shí)現(xiàn)2、選擇“分析”“降維”“因子分析”。3、把除了“編號(hào)”以外的變量選入“變量”框；4、單擊“描述”按鈕，在彈出的對(duì)話框中選中“系數(shù)”，以輸出相關(guān)系數(shù)。其余選項(xiàng)使用默認(rèn)值。單擊“確定”。SPSS結(jié)果分析：相關(guān)系數(shù)表相關(guān)系數(shù)表中有較大的相關(guān)系數(shù)，主成分分析可能有效。

自信心洞察力誠(chéng)信度推銷能力工作經(jīng)驗(yàn)簡(jiǎn)歷格式.092.228-.107.271.548外貌.431.371.354.490.141研究能力.001.077-.030.055.266興趣愛好.302.483.645.362.141自信心1.000.808.410.800.015洞察力.8081.000.356.818.147誠(chéng)信度.410.3561.000.240-.156推銷能力.800.818.2401.000.255工作經(jīng)驗(yàn).015.147-.156.2551.000工作魄力.704.698.280.815.337志向抱負(fù).842.758.215.860.195理解能力.721.883.386.782.299潛能.672.777.416.754.348求職渴望度.482.527.448.563.215適應(yīng)力.250.416.003.558.693特征值和貢獻(xiàn)率前4個(gè)特征值為7.51，2.05，1.46，1.20。默認(rèn)提取4個(gè)主成分，累計(jì)貢獻(xiàn)率為81.49%。因子載荷矩陣這個(gè)表是因子分析的因子載荷矩陣，不是特征向量矩陣。要得到特征向量，需要將各列除以對(duì)應(yīng)特征值的平方根。第1列除以根號(hào)7.5，第二列除以根號(hào)2.05，等等。特征向量這是根據(jù)SPSS的結(jié)果在Excel計(jì)算出的特征向量。根據(jù)這個(gè)表可以寫出4個(gè)主成分的表達(dá)式。

成份

1234簡(jiǎn)歷格式0.1620.4290.315-0.094外貌0.213-0.035-0.0230.262研究能力0.0400.237-0.4300.636興趣愛好0.225-0.1300.4660.345自信心0.290-0.249-0.241-0.173洞察力0.315-0.131-0.150-0.071誠(chéng)信度0.158-0.4050.2840.416推銷能力0.324-0.029-0.186-0.198工作經(jīng)驗(yàn)0.1340.5530.0830.068工作魄力0.3150.046-0.080-0.156志向抱負(fù)0.318-0.068-0.209-0.199理解能力0.331-0.023-0.1170.075潛能0.3330.022-0.0730.188求職渴望度0.259-0.0820.467-0.201適應(yīng)力0.2360.4210.089-0.020中央財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院31主成分表達(dá)式F1=0.162簡(jiǎn)歷格式*+0.213外貌*+0.040學(xué)習(xí)能力*+……+0.236適應(yīng)力*。式中帶星號(hào)的變量表示標(biāo)準(zhǔn)化后的變量其余主成分的表達(dá)式依此類推。中央財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院32用SPSS計(jì)算的主成分得分把原始變量標(biāo)準(zhǔn)化；按照主成分的計(jì)算公式可以計(jì)算出主成分得分。注：SAS、S-plus、R等軟件可以直接給出主成分的系數(shù)表和主成分得分。中央財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院33主成分分析案例2100個(gè)學(xué)生的六門成績(jī)（數(shù)學(xué)、物理、化學(xué)、語(yǔ)文、歷史、英語(yǔ)）見STUDENT.SAV。根據(jù)數(shù)據(jù)進(jìn)行主成分分析。中央財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院34SPSS結(jié)果分析有比較高的相關(guān)系數(shù)，可以使用主成分分析方法。中央財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院35特征值和貢獻(xiàn)率前2個(gè)主成分的貢獻(xiàn)率為81.42%。中央財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院36成分矩陣和特征向量成分矩陣各列除以相應(yīng)的特征值可以得出特征向量。第1主成分第2主成分?jǐn)?shù)學(xué)-0.41700.3313物理-0.34880.4986化學(xué)-0.34910.4818語(yǔ)文0.46190.2877歷史0.42690.4090英語(yǔ)0.43250.3996特征向量除以根號(hào)3.735除以根號(hào)1.133中央財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院37主成分得分com1，com2為用公式計(jì)算出的主成分得分。中央財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院因子分析中央財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院39因子分析因子分析(factoranalysis)是一種數(shù)據(jù)簡(jiǎn)化的技術(shù)。它通過(guò)研究眾多變量之間的內(nèi)部依賴關(guān)系，探求觀測(cè)數(shù)據(jù)中的基本結(jié)構(gòu)，并用少數(shù)幾個(gè)假想變量來(lái)表示其基本的數(shù)據(jù)結(jié)構(gòu)。這幾個(gè)假想變量能夠反映原來(lái)眾多變量的主要信息。原始的變量是可觀測(cè)的顯在變量，而假想變量是不可觀測(cè)的潛在變量，稱為因子。中央財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院40一個(gè)例子例如，在企業(yè)形象或品牌形象的研究中，消費(fèi)者可以通過(guò)一個(gè)有24個(gè)指標(biāo)構(gòu)成的評(píng)價(jià)體系，評(píng)價(jià)百貨商場(chǎng)的24個(gè)方面的優(yōu)劣。但消費(fèi)者主要關(guān)心的是三個(gè)方面，即商店的環(huán)境、商店的服務(wù)和商品的價(jià)格。因子分析方法可以通過(guò)24個(gè)變量，找出反映商店環(huán)境、商店服務(wù)水平和商品價(jià)格的三個(gè)潛在的因子，對(duì)商店進(jìn)行綜合評(píng)價(jià)。中央財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院41因子分析的例子這三個(gè)公共因子可以表示為：

稱是不可觀測(cè)的潛在因子。24個(gè)變量共享這三個(gè)因子，但是每個(gè)變量又有自己的個(gè)性，不被包含的部分，稱為特殊因子。中央財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院42因子分析與主成分分析的區(qū)別主成分分析與因子分析不同，主成分分析僅僅是變量變換，而因子分析需要構(gòu)造因子模型。主成分分析：原始變量的線性組合表示新的綜合變量，即主成分；因子分析：潛在的假想變量和隨機(jī)影響變量的線性組合表示原始變量。中央財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院43因子分析的數(shù)學(xué)模型假設(shè)有p個(gè)變量X,有m個(gè)因子（m≤p），則因子分析的數(shù)學(xué)模型可以表示如下：

i=1……p稱為公共因子，是不可觀測(cè)的變量，他們的系數(shù)aij

稱為因子載荷。是特殊因子，是不能被前m個(gè)公共因子包含的部分。中央財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院44因子分析的數(shù)學(xué)模型因子之間互不相關(guān)，并且方差等于1。因子載荷是第i個(gè)變量與第j個(gè)公共因子的相關(guān)系數(shù)，反映了第j個(gè)公共因子對(duì)第i個(gè)變量的影響程度。

中央財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院45變量共同度如果對(duì)變量X進(jìn)行了標(biāo)準(zhǔn)化，可以證明定義為變量Xi的共同度。變量的共同度越接近1，說(shuō)明變量被公共因子解釋的程度越高，因子分析的效果越好。中央財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院46公共因子Fj的方差貢獻(xiàn)因子載荷矩陣中各列元素的平方和稱為公共因子Fj對(duì)原始變量X的方差貢獻(xiàn)?？梢院饬恳蜃拥南鄬?duì)重要性。中央財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院47因子載荷矩陣的估計(jì)因子載荷矩陣的估計(jì)方法有多種，估計(jì)結(jié)果并不唯一。最常用的方法之一是主成分法：求解變量X的前m個(gè)主成分，進(jìn)行簡(jiǎn)單的數(shù)學(xué)變換就可以得到因子載荷矩陣。與主成分分析類似，可以根據(jù)因子的累計(jì)貢獻(xiàn)率確定因子的個(gè)數(shù)。中央財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院48因子旋轉(zhuǎn)因子分析中得出的各個(gè)因子如果有明確的含義，則因子分析的模型會(huì)更加易于解釋和有實(shí)際意義。在因子分析中可以對(duì)因子載荷陣進(jìn)行旋轉(zhuǎn)，使每個(gè)變量?jī)H在一個(gè)公共因子上有較大的載荷，而在其余的公共因子上的載荷比較小。通過(guò)旋轉(zhuǎn)，因子可以有更加明確的含義。常用的一種方法是方差最大旋轉(zhuǎn)。中央財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院49因子得分前面我們主要解決了用公共因子的線性組合來(lái)表示一組觀測(cè)變量的有關(guān)問(wèn)題。如果我們要使用這些因子做其他的研究，比如把得到的因子作為自變量來(lái)做回歸分析，對(duì)樣本進(jìn)行分類或評(píng)價(jià)，就需要計(jì)算每個(gè)個(gè)體在每個(gè)因子上的得分。中央財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院50因子得分的計(jì)算要計(jì)算因子得分，需要估計(jì)以下表達(dá)式：因子得分有多種計(jì)算方法，常用的一種是回歸法。如果對(duì)變量都進(jìn)行了標(biāo)準(zhǔn)化，則模型中沒有常數(shù)項(xiàng)。（）中央財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院51因子分析的步驟1．根據(jù)問(wèn)題選取原始變量；2．求其相關(guān)陣R，探討其相關(guān)性；3．從R求解初始公共因子F及因子載荷矩陣A(主成分法)；4．因子旋轉(zhuǎn)，分析因子的含義；5．計(jì)算因子得分函數(shù)；6．根據(jù)因子得分值進(jìn)行進(jìn)一步分析（例如綜合評(píng)價(jià)）。中央財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院52因子分析案例應(yīng)聘數(shù)據(jù)的例子。步驟：1、在SPSS中打開數(shù)據(jù)文件；2、選擇“分析”“降維”“因子分析”。3、把除了“編號(hào)”以外的變量選入“變量”框；4、單擊“描述”按鈕，在彈出的對(duì)話框中選中“系數(shù)”，以輸出相關(guān)系數(shù)。中央財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院53SPSS因子分析操作5、單擊“旋轉(zhuǎn)”，選中“最大方差法”，單擊“繼續(xù)”；中央財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院54SPSS因子分析操作5、單擊“得分”，選中“保存為變量”，“顯示因子得分系數(shù)矩陣”，單擊“繼續(xù)”；其余選項(xiàng)使用默認(rèn)值。單擊“確定”。中央財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院55因子分析結(jié)果分析變量的共同度表。除了“外貌”變量外其他變量的共同度都比較高。中央財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院56貢獻(xiàn)率根據(jù)下表，前4個(gè)因子的貢獻(xiàn)率為81.49%。旋轉(zhuǎn)前后的因子載荷矩陣旋轉(zhuǎn)后的系數(shù)矩陣中在一行中一般只有一個(gè)較大的值。根據(jù)旋轉(zhuǎn)后的因子載荷矩陣更容易解釋因子的含義。

因子旋轉(zhuǎn)后1234簡(jiǎn)歷格式.116.830.109-.136外貌.440.151.399.227研究能力.064.128.007.928興趣愛好.220.245.871-.081自信心.916-.107.163-.065洞察力.863.097.255.002誠(chéng)信度.219-.242.863.001推銷能力.910.223.103-.041工作經(jīng)驗(yàn).087.851-.055.211工作魄力.800.349.156-.052志向抱負(fù).918.159.100-.041理解能力.811.255.331.143潛能.747.326.413.224求職渴望度.440.363.534-.524適應(yīng)力.383.797.076.084中央財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院58各變量的因子表達(dá)式標(biāo)準(zhǔn)化的簡(jiǎn)歷格式分≈0.116×第一個(gè)因子+0.830×第二個(gè)因子+0.109×第三個(gè)因子-0.136×第四個(gè)因子標(biāo)準(zhǔn)化的外貌分≈0.440×第一個(gè)因子+0.151×第二個(gè)因子+0.399×第三個(gè)因子+0.227×第四個(gè)因子中央財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)院59因子含義的解釋