統(tǒng)計(jì)分析 主成分分析

統(tǒng)計(jì)分析主成分分析第1頁(yè)，課件共26頁(yè)，創(chuàng)作于2023年2月問(wèn)題的提出主成分分析方法（principalcomponentanalysis，PCA）就是綜合處理這種問(wèn)題的一種強(qiáng)有力的工具。它把原來(lái)多個(gè)變量（顯式變量）轉(zhuǎn)化為少數(shù)幾個(gè)綜合變量（潛式變量）。綜合變量即主成分（principalcompontent）綜合變量之間相互獨(dú)立，且能反映原來(lái)多個(gè)變量的大部分信息。主成分分析采用的主要原則是使方差最大，以期盡可能多的保留原有變量所包含的信息，同時(shí)又能用盡可能少的主成分替代原有變量，從而使問(wèn)題變的簡(jiǎn)便。但是，這些主成分通常并沒(méi)有明確的專業(yè)意義。因子分析是主成分分析的一種推廣。它從一定的模型出發(fā)，找出幾個(gè)反映原有變量的公共因子，并力求使之有較為合理的專業(yè)解釋?！?主成分分析第2頁(yè)，課件共26頁(yè)，創(chuàng)作于2023年2月§8主成分分析問(wèn)題的提出

[引例8-1]2000年全國(guó)各地區(qū)經(jīng)濟(jì)效益主要指標(biāo)有以下8個(gè)：GDP（億元）、工業(yè)增加值（%）、總資產(chǎn)貢獻(xiàn)率（%）、資產(chǎn)負(fù)債率（%）、流動(dòng)資產(chǎn)周轉(zhuǎn)次數(shù)（次/年）、工業(yè)成本費(fèi)用利潤(rùn)率（%）、全員勞動(dòng)生產(chǎn)率（元/人.年）、產(chǎn)品銷售率（%）。第3頁(yè)，課件共26頁(yè)，創(chuàng)作于2023年2月§8主成分分析第4頁(yè)，課件共26頁(yè)，創(chuàng)作于2023年2月§8主成分分析問(wèn)題的提出第5頁(yè)，課件共26頁(yè)，創(chuàng)作于2023年2月§8主成分分析問(wèn)題的提出第6頁(yè)，課件共26頁(yè)，創(chuàng)作于2023年2月§8主成分分析什么是主成分分析主成分分析的數(shù)學(xué)模型主成分分析的主要步驟如何在SPSS軟件中進(jìn)行主成分分析第7頁(yè)，課件共26頁(yè)，創(chuàng)作于2023年2月§8主成分分析什么是主成分分析

主成分概念首先由Kalparson在1901年提出，不過(guò)當(dāng)時(shí)只對(duì)非隨機(jī)變量來(lái)討論的。1933年Hotelling將這個(gè)概念推廣到隨機(jī)向量。主成分分析（PrincipalComponentsAnalysis，PCA)也稱為主分量分析，是一種通過(guò)降維來(lái)簡(jiǎn)化數(shù)據(jù)結(jié)構(gòu)的方法，即如何把多個(gè)變量（變量）轉(zhuǎn)化為少數(shù)幾個(gè)綜合變量（綜合變量），而這幾個(gè)綜合變量可以反映原來(lái)多個(gè)變量的大部分信息。為了使這些綜合變量所含的信息互不重疊，應(yīng)要求它們之間互不相關(guān)。第8頁(yè)，課件共26頁(yè)，創(chuàng)作于2023年2月§8主成分分析什么是主成分分析在實(shí)際問(wèn)題中，經(jīng)常遇到多變量(指標(biāo))問(wèn)題，而且變量之間有一定的相關(guān)性。變量多且變量間有一定的相關(guān)性，勢(shì)必增加了分析問(wèn)題的復(fù)雜性。主成分分析就是設(shè)法將原來(lái)變量重新組合成一組新的互相無(wú)關(guān)的幾個(gè)綜合變量來(lái)代替原來(lái)變量，同時(shí)根據(jù)實(shí)際需要從中可取幾個(gè)較少的綜合變量盡可能多地反映原來(lái)變量的信息。第9頁(yè)，課件共26頁(yè)，創(chuàng)作于2023年2月§8主成分分析基本思想主成分分析就是設(shè)法將原來(lái)眾多具有一定相關(guān)性的變量(如p個(gè)變量)，重新組合成一組新的相互無(wú)關(guān)的綜合變量來(lái)代替原來(lái)變量。怎么處理？通常數(shù)學(xué)上的處理就是將原來(lái)p個(gè)變量作線性組合作為新的綜合變量。如何選擇？如果將選取的第一個(gè)線性組合即第一個(gè)綜合變量記為F1，自然希望F1盡可能多的反映原來(lái)變量的信息。怎樣反映?最經(jīng)典的方法就是用方差來(lái)表達(dá)，即var(F1)越大，表示F1包含的信息越多。因此在所有的線性組合中所選取的F1應(yīng)該是方差最大的，故稱之為第一主成分（principalcomponentI）。第10頁(yè)，課件共26頁(yè)，創(chuàng)作于2023年2月§8主成分分析基本思想如果第一主成分不足以代表原來(lái)p個(gè)變量的信息，再考慮選取F2即第二個(gè)線性組合。F2稱為第二主成分（principalcomponentII）。F1和F2的關(guān)系？為了有效地反映原來(lái)信息，F(xiàn)1已有的信息就不再出現(xiàn)在F2中，即cov（F1,F2)＝0。依此類推，可以獲得p個(gè)主成分。因此，這些主成分之間是互不相關(guān)的，而且方差依次遞減。在實(shí)際中，挑選前幾個(gè)最大主成分來(lái)表征。標(biāo)準(zhǔn)？

各主成分的累積方差貢獻(xiàn)率>80%或特征根>1。第11頁(yè)，課件共26頁(yè)，創(chuàng)作于2023年2月§8主成分分析數(shù)學(xué)模型

假定有n個(gè)地理樣本，每個(gè)樣本共有p個(gè)變量，構(gòu)成一個(gè)n×p階的地理數(shù)據(jù)陣當(dāng)p較大時(shí)，在p維空間中考察問(wèn)題比較麻煩。為了克服這一困難，就需要進(jìn)行降維處理，即用較少的幾個(gè)綜合變量代替原來(lái)較多的變量變量，而且使這些較少的綜合變量既能盡量多地反映原來(lái)較多變量變量所反映的信息。第12頁(yè)，課件共26頁(yè)，創(chuàng)作于2023年2月§8主成分分析數(shù)學(xué)模型

引例8-1中，有31個(gè)樣本，每個(gè)樣本有8個(gè)變量。第13頁(yè)，課件共26頁(yè)，創(chuàng)作于2023年2月§8主成分分析數(shù)學(xué)模型要從原來(lái)的所有變量得到新的綜合變量，一種較為簡(jiǎn)單而常用的方法是作線性變換，使新的綜合變量為原變量的線性組合。第14頁(yè)，課件共26頁(yè)，創(chuàng)作于2023年2月§8主成分分析數(shù)學(xué)模型的條件對(duì)于任意常數(shù)c，有為了使方差可以比較，要求線性組合的系數(shù)滿足規(guī)范化條件要求原始變量之間存在一定的相關(guān)性要求各個(gè)綜合變量間互不相關(guān)，即協(xié)方差為0為了消除變量量綱不同對(duì)方差的影響，通常對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，變量之間的協(xié)方差即為相關(guān)系數(shù)。

第15頁(yè)，課件共26頁(yè)，創(chuàng)作于2023年2月§8主成分分析數(shù)學(xué)模型的條件

如果多個(gè)變量相互獨(dú)立或相關(guān)性很小，就不能進(jìn)行主成分分析。Kaiser-Meyer-Olkin（KMO)檢驗(yàn)：檢驗(yàn)變量之間的偏相關(guān)系數(shù)是否過(guò)小。Bartlett’s檢驗(yàn)。該檢驗(yàn)的原假設(shè)是相關(guān)矩陣為單位陣（不相關(guān)），如果不能拒絕原假設(shè),則不適合進(jìn)行主成分分析。第16頁(yè)，課件共26頁(yè)，創(chuàng)作于2023年2月§8主成分分析

數(shù)學(xué)模型的推導(dǎo)

尋求X的線性函數(shù)，使相應(yīng)的方差盡可能地大，即且第17頁(yè)，課件共26頁(yè)，創(chuàng)作于2023年2月§8主成分分析數(shù)學(xué)模型的推導(dǎo)

通過(guò)推導(dǎo)可知，的主成分就是以協(xié)方差陣的特征向量為系數(shù)的線性組合，它們互不相關(guān)，其方差為的特征根。由于特征根，所以有，因此主成分的名次是按特征根取值大小的順利排列的。在解決實(shí)際問(wèn)題時(shí)，一般不是取全部p個(gè)主成分，而是取前k個(gè)。方法之一是取特征根大于1的主成分。方法之二是根據(jù)累計(jì)貢獻(xiàn)率來(lái)取主成分。

何為貢獻(xiàn)率和累計(jì)貢獻(xiàn)率？第18頁(yè)，課件共26頁(yè)，創(chuàng)作于2023年2月§8主成分分析主成分的提取貢獻(xiàn)率

因此第一主成分的貢獻(xiàn)率越大，表明其綜合信息的能力就越強(qiáng)。稱為第一主成分的貢獻(xiàn)率第19頁(yè)，課件共26頁(yè)，創(chuàng)作于2023年2月§8主成分分析

主成分的提取

累計(jì)貢獻(xiàn)率

如果前k個(gè)主成分的累計(jì)貢獻(xiàn)率達(dá)到85％，則表明取前k個(gè)主成分基本包含了全部測(cè)量指標(biāo)所具有的信息，從而達(dá)到了變量降維的目的。稱為前k個(gè)主成分的累計(jì)貢獻(xiàn)率在實(shí)際應(yīng)用中，通常用樣本協(xié)差陣來(lái)表征總體協(xié)差陣。另外，為了消除指標(biāo)量綱的影響，通常將原始數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，從而協(xié)差陣等同于相關(guān)系數(shù)陣。第20頁(yè)，課件共26頁(yè)，創(chuàng)作于2023年2月§8主成分分析主成分的提取根據(jù)特征根或累積方差貢獻(xiàn)率，可以提取3個(gè)主成分第21頁(yè)，課件共26頁(yè)，創(chuàng)作于2023年2月§8主成分分析主成分模型（注意區(qū)別）用主成分載荷矩陣中的數(shù)據(jù)除以主成分相對(duì)應(yīng)的特征值開(kāi)平方根便得到兩個(gè)主成分中每個(gè)指標(biāo)所對(duì)應(yīng)的系數(shù)。左圖ComponentMatrix是指初始因子載荷矩陣，每一個(gè)載荷量表示主成分與對(duì)應(yīng)變量的相關(guān)系數(shù)。第22頁(yè)，課件共26頁(yè)，創(chuàng)作于2023年2月§8主成分分析主成分模型第23頁(yè)，課件共26頁(yè)，創(chuàng)作于2023年2月§8主成分分析主成分解釋第24頁(yè)，課件共26頁(yè)，創(chuàng)作于2023年2月§8主成分分析綜合主成分

可以根據(jù)第一主成分、第二主成分、第三主成分計(jì)算各樣本主成分