最新主成分分析及matlab實(shí)現(xiàn)

1、主成分分析及matlab實(shí)現(xiàn) 主成分分析 主成分分析的基本原理 主成分分析的計(jì)算步驟 主成分分析方法應(yīng)用實(shí)例 主成分分析及matlab實(shí)現(xiàn) 在實(shí)際問(wèn)題研究中，多變量問(wèn)題是經(jīng)常在實(shí)際問(wèn)題研究中，多變量問(wèn)題是經(jīng)常會(huì)遇到的。變量太多，無(wú)疑會(huì)增加分析問(wèn)題會(huì)遇到的。變量太多，無(wú)疑會(huì)增加分析問(wèn)題的難度與復(fù)雜性，而且在許多實(shí)際問(wèn)題中，的難度與復(fù)雜性，而且在許多實(shí)際問(wèn)題中，多個(gè)變量之間是具有一定的相關(guān)關(guān)系的。多個(gè)變量之間是具有一定的相關(guān)關(guān)系的。 因此，人們會(huì)很自然地想到，能否在相因此，人們會(huì)很自然地想到，能否在相關(guān)分析的基礎(chǔ)上，用較少的新變量代替原來(lái)關(guān)分析的基礎(chǔ)上，用較少的新變量代替原來(lái)較多的舊變量，而且使這

2、些較少的新變量盡較多的舊變量，而且使這些較少的新變量盡可能多地保留原來(lái)變量所反映的信息？可能多地保留原來(lái)變量所反映的信息？ 問(wèn)題的提出問(wèn)題的提出：主成分分析及matlab實(shí)現(xiàn) 事實(shí)上，這種想法是可以實(shí)現(xiàn)的，主成分事實(shí)上，這種想法是可以實(shí)現(xiàn)的，主成分分析方法就是綜合處理這種問(wèn)題的一種強(qiáng)有力分析方法就是綜合處理這種問(wèn)題的一種強(qiáng)有力的工具。的工具。 主成分分析是把原來(lái)多個(gè)變量劃為少數(shù)幾主成分分析是把原來(lái)多個(gè)變量劃為少數(shù)幾個(gè)綜合指標(biāo)的一種統(tǒng)計(jì)分析方法。個(gè)綜合指標(biāo)的一種統(tǒng)計(jì)分析方法。 從數(shù)學(xué)角度來(lái)看，這是一種降維處理技術(shù)。從數(shù)學(xué)角度來(lái)看，這是一種降維處理技術(shù)。 主成分分析及matlab實(shí)現(xiàn) n例如，某人

3、要做一件上衣要測(cè)量很多尺寸，如例如，某人要做一件上衣要測(cè)量很多尺寸，如身長(zhǎng)、袖長(zhǎng)、胸圍、腰圍、肩寬、肩厚等十幾身長(zhǎng)、袖長(zhǎng)、胸圍、腰圍、肩寬、肩厚等十幾項(xiàng)指標(biāo)，但某服裝廠要生產(chǎn)一批新型服裝絕不項(xiàng)指標(biāo)，但某服裝廠要生產(chǎn)一批新型服裝絕不可能把尺寸的型號(hào)分得過(guò)多可能把尺寸的型號(hào)分得過(guò)多 ？而是從多種指？而是從多種指標(biāo)中綜合成幾個(gè)少數(shù)的綜合指標(biāo)，做為分類的標(biāo)中綜合成幾個(gè)少數(shù)的綜合指標(biāo)，做為分類的型號(hào)，利用主成分分析將十幾項(xiàng)指標(biāo)綜合成型號(hào)，利用主成分分析將十幾項(xiàng)指標(biāo)綜合成3項(xiàng)指標(biāo)，一項(xiàng)是反映長(zhǎng)度的指標(biāo)，一項(xiàng)是反映項(xiàng)指標(biāo)，一項(xiàng)是反映長(zhǎng)度的指標(biāo)，一項(xiàng)是反映胖瘦的指標(biāo)，一項(xiàng)是反映特體的指標(biāo)。胖瘦的指標(biāo)，一項(xiàng)是反

4、映特體的指標(biāo)。主成分分析及matlab實(shí)現(xiàn)一、主成分分析的基本原理 假定有假定有n個(gè)樣本，每個(gè)樣本共有個(gè)樣本，每個(gè)樣本共有p p個(gè)變量，個(gè)變量，構(gòu)成一個(gè)構(gòu)成一個(gè)np階的數(shù)據(jù)矩陣階的數(shù)據(jù)矩陣npnnppxxxxxxxxxx212222111211（1.1） 主成分分析及matlab實(shí)現(xiàn) 當(dāng)當(dāng)p較大時(shí)，在較大時(shí)，在p維空間中考察問(wèn)題比較麻維空間中考察問(wèn)題比較麻煩。為了克服這一困難，就需要進(jìn)行降維處理，煩。為了克服這一困難，就需要進(jìn)行降維處理，即用較少的幾個(gè)綜合指標(biāo)代替原來(lái)較多的變量即用較少的幾個(gè)綜合指標(biāo)代替原來(lái)較多的變量指標(biāo)，而且使這些較少的綜合指標(biāo)既能盡量多指標(biāo)，而且使這些較少的綜合指標(biāo)既能盡量

5、多地反映原來(lái)較多變量指標(biāo)所反映的信息，同時(shí)地反映原來(lái)較多變量指標(biāo)所反映的信息，同時(shí)它們之間又是彼此獨(dú)立的。它們之間又是彼此獨(dú)立的。主成分分析及matlab實(shí)現(xiàn) 定義：記定義：記x1，x2，xp為原變量指標(biāo)，為原變量指標(biāo)，z1，z2，zm（mp）為新變量指標(biāo)）為新變量指標(biāo)111 11221221 122221 122221.1ppppmmmmppiipzl xl xl xzl xl xlxzl xlxlxll(1.2) 系數(shù)系數(shù)lij的確定原則：的確定原則： zi與與zj（ij；i，j=1，2，m）相）相互無(wú)關(guān)；互無(wú)關(guān)；主成分分析及matlab實(shí)現(xiàn) z1是是x1，x2，xp的一切線性組合的一切線

6、性組合中方差最大者，中方差最大者，z2是與是與z1不相關(guān)的不相關(guān)的x1，x2，xp的所有線性組合中方差最大者的所有線性組合中方差最大者; zm是與是與z1，z2，zm1都不相關(guān)的都不相關(guān)的x1，x2，xp， 的所有線性組合中方差最大者。的所有線性組合中方差最大者。 則新變量指標(biāo)則新變量指標(biāo)z1，z2，zm分別稱為原分別稱為原變量指標(biāo)變量指標(biāo)x1，x2，xp的第的第1，第，第2，第，第m主成分。主成分。 主成分分析及matlab實(shí)現(xiàn) 從以上的分析可以看出，主成分分析的從以上的分析可以看出，主成分分析的實(shí)質(zhì)就是確定原來(lái)變量實(shí)質(zhì)就是確定原來(lái)變量xj（j=1，2 ， p）在諸主成分在諸主成分zi（i=

7、1，2，m）上的荷載）上的荷載 lij（ i=1，2，m； j=1，2 ，p）。）。 從數(shù)學(xué)上可以證明，它們分別是相關(guān)矩從數(shù)學(xué)上可以證明，它們分別是相關(guān)矩陣陣m個(gè)較大的特征值所對(duì)應(yīng)的特征向量。個(gè)較大的特征值所對(duì)應(yīng)的特征向量。 主成分分析及matlab實(shí)現(xiàn)二、主成分分析的計(jì)算步驟二、主成分分析的計(jì)算步驟 設(shè)有設(shè)有 n 個(gè)樣品，每個(gè)樣品觀測(cè)個(gè)樣品，每個(gè)樣品觀測(cè) p 個(gè)指標(biāo)，將個(gè)指標(biāo)，將原始數(shù)據(jù)寫成矩陣原始數(shù)據(jù)寫成矩陣1將原始數(shù)據(jù)標(biāo)準(zhǔn)化。這里不妨設(shè)上邊矩陣已將原始數(shù)據(jù)標(biāo)準(zhǔn)化。這里不妨設(shè)上邊矩陣已標(biāo)準(zhǔn)化了。標(biāo)準(zhǔn)化了。 2建立變量的相關(guān)系數(shù)陣：建立變量的相關(guān)系數(shù)陣：12211()()()()nkiikj

8、jkijnnkiikjjkkxxxxrxxxx主成分分析及matlab實(shí)現(xiàn)3求求r的特征根的特征根及相應(yīng)的單位特征向量：及相應(yīng)的單位特征向量：4寫出主成分寫出主成分主成分分析及matlab實(shí)現(xiàn) 計(jì)算主成分貢獻(xiàn)率及累計(jì)貢獻(xiàn)率計(jì)算主成分貢獻(xiàn)率及累計(jì)貢獻(xiàn)率 貢獻(xiàn)率貢獻(xiàn)率累計(jì)貢獻(xiàn)率累計(jì)貢獻(xiàn)率 ),2, 1(1pipkki),2, 1(11pipkkikk 一般取累計(jì)貢獻(xiàn)率達(dá)一般取累計(jì)貢獻(xiàn)率達(dá)85%95%的特征值的特征值所對(duì)應(yīng)的第所對(duì)應(yīng)的第1 1、第、第2 2、第、第m（mp）個(gè)主成分。）個(gè)主成分。 m,21主成分分析及matlab實(shí)現(xiàn)三、 實(shí)例演示 例例 對(duì)全國(guó)對(duì)全國(guó)30個(gè)省市自治區(qū)經(jīng)濟(jì)發(fā)展基個(gè)省市自

9、治區(qū)經(jīng)濟(jì)發(fā)展基本情況的八項(xiàng)指標(biāo)作主成分分析，原始本情況的八項(xiàng)指標(biāo)作主成分分析，原始數(shù)據(jù)如下：數(shù)據(jù)如下：主成分分析及matlab實(shí)現(xiàn)主成分分析及matlab實(shí)現(xiàn)主成分分析及matlab實(shí)現(xiàn)主成分分析及matlab實(shí)現(xiàn)第一步第一步 將原始數(shù)據(jù)標(biāo)準(zhǔn)化。將原始數(shù)據(jù)標(biāo)準(zhǔn)化。第二步第二步 建立指標(biāo)之間的相關(guān)系數(shù)陣建立指標(biāo)之間的相關(guān)系數(shù)陣r如下如下主成分分析及matlab實(shí)現(xiàn)第三步第三步 求求r的特征值和特征向量。的特征值和特征向量。主成分分析及matlab實(shí)現(xiàn) 從上表看，前從上表看，前3個(gè)特征值累計(jì)貢獻(xiàn)率已達(dá)個(gè)特征值累計(jì)貢獻(xiàn)率已達(dá)89564，說(shuō)明前說(shuō)明前3個(gè)主成分基本包含了全部指標(biāo)具有的信息，我們個(gè)主成分

10、基本包含了全部指標(biāo)具有的信息，我們?nèi)∏叭∏?個(gè)特征值，并計(jì)算出相應(yīng)的特征向量：個(gè)特征值，并計(jì)算出相應(yīng)的特征向量：主成分分析及matlab實(shí)現(xiàn)因而前三個(gè)主成分為：因而前三個(gè)主成分為：第一主成分：第一主成分：第二主成分：第二主成分：212346780.1079950.2585120.2875360.4009310.40431 50.4988010.488680.167392fxxxxxxxx主成分分析及matlab實(shí)現(xiàn)第三主成分：第三主成分： 在第一主成分的表達(dá)式中第一、二、三項(xiàng)指標(biāo)的系數(shù)在第一主成分的表達(dá)式中第一、二、三項(xiàng)指標(biāo)的系數(shù)較大，這三個(gè)指標(biāo)起主要作用，我們可以把第一王成分看較大，這三個(gè)指

11、標(biāo)起主要作用，我們可以把第一王成分看成是由國(guó)內(nèi)生產(chǎn)總值、固定資產(chǎn)投資和居民消費(fèi)水平所該成是由國(guó)內(nèi)生產(chǎn)總值、固定資產(chǎn)投資和居民消費(fèi)水平所該劃的反映經(jīng)濟(jì)發(fā)展?fàn)顩r的綜合指標(biāo)；劃的反映經(jīng)濟(jì)發(fā)展?fàn)顩r的綜合指標(biāo)； 在第二主成分中，第四、五、六、七項(xiàng)指標(biāo)的影響在第二主成分中，第四、五、六、七項(xiàng)指標(biāo)的影響大，且第六、七項(xiàng)指標(biāo)的影響尤其大，可將之看成是反映大，且第六、七項(xiàng)指標(biāo)的影響尤其大，可將之看成是反映物價(jià)指數(shù)、職工工資和貨物周轉(zhuǎn)量的綜合指標(biāo)；物價(jià)指數(shù)、職工工資和貨物周轉(zhuǎn)量的綜合指標(biāo)； 在第三主成分中，第八項(xiàng)指數(shù)影響最大，遠(yuǎn)超過(guò)其它在第三主成分中，第八項(xiàng)指數(shù)影響最大，遠(yuǎn)超過(guò)其它指標(biāo)的影響，可單獨(dú)看成是工業(yè)總產(chǎn)

12、值的影響。指標(biāo)的影響，可單獨(dú)看成是工業(yè)總產(chǎn)值的影響。主成分分析及matlab實(shí)現(xiàn)四四.主成分分析的應(yīng)用主成分分析的應(yīng)用n1.主成分分析用于系統(tǒng)評(píng)估主成分分析用于系統(tǒng)評(píng)估 利用主成分利用主成分f1，fp做線性組合，并以做線性組合，并以每個(gè)主成分每個(gè)主成分 fi 的方差貢獻(xiàn)率的方差貢獻(xiàn)率 作為權(quán)數(shù)作為權(quán)數(shù)構(gòu)造一個(gè)綜合評(píng)價(jià)函數(shù)：構(gòu)造一個(gè)綜合評(píng)價(jià)函數(shù)： 也稱也稱 y 為評(píng)估指數(shù)，依據(jù)對(duì)每個(gè)系統(tǒng)計(jì)算為評(píng)估指數(shù)，依據(jù)對(duì)每個(gè)系統(tǒng)計(jì)算出的出的 y 值大小進(jìn)行排序比較或分類劃級(jí)。值大小進(jìn)行排序比較或分類劃級(jí)。主成分分析及matlab實(shí)現(xiàn)例1. 城市環(huán)境生態(tài)化是城市發(fā)展的必然趁勢(shì)，表現(xiàn)為城市環(huán)境生態(tài)化是城市發(fā)展的

13、必然趁勢(shì)，表現(xiàn)為社會(huì)、經(jīng)濟(jì)、環(huán)境與生態(tài)全方位的現(xiàn)代化水平，一個(gè)社會(huì)、經(jīng)濟(jì)、環(huán)境與生態(tài)全方位的現(xiàn)代化水平，一個(gè)符合生態(tài)規(guī)律的生態(tài)城市應(yīng)該是結(jié)構(gòu)合理、功能高效符合生態(tài)規(guī)律的生態(tài)城市應(yīng)該是結(jié)構(gòu)合理、功能高效和關(guān)系協(xié)調(diào)的城市生態(tài)系統(tǒng)。所謂結(jié)構(gòu)合理是指適度和關(guān)系協(xié)調(diào)的城市生態(tài)系統(tǒng)。所謂結(jié)構(gòu)合理是指適度的人口密度，合理的土地利用，良好的環(huán)境質(zhì)量，充的人口密度，合理的土地利用，良好的環(huán)境質(zhì)量，充足的綠地系統(tǒng)，完善的基礎(chǔ)設(shè)施，有效的自然保護(hù)；足的綠地系統(tǒng)，完善的基礎(chǔ)設(shè)施，有效的自然保護(hù)；功能高效是指資源的優(yōu)化配置、物力的經(jīng)濟(jì)投入、人功能高效是指資源的優(yōu)化配置、物力的經(jīng)濟(jì)投入、人力的充分發(fā)揮、物流的暢通有序、信

14、息流的快捷；關(guān)力的充分發(fā)揮、物流的暢通有序、信息流的快捷；關(guān)系協(xié)調(diào)是指人和自然協(xié)調(diào)、社會(huì)關(guān)系協(xié)調(diào)、城鄉(xiāng)協(xié)調(diào)、系協(xié)調(diào)是指人和自然協(xié)調(diào)、社會(huì)關(guān)系協(xié)調(diào)、城鄉(xiāng)協(xié)調(diào)、資源利用和更新協(xié)調(diào)。一個(gè)城市要實(shí)現(xiàn)生態(tài)城市的發(fā)資源利用和更新協(xié)調(diào)。一個(gè)城市要實(shí)現(xiàn)生態(tài)城市的發(fā)展目標(biāo)，關(guān)鍵是在市場(chǎng)經(jīng)濟(jì)的體制下逐步改善城市的展目標(biāo)，關(guān)鍵是在市場(chǎng)經(jīng)濟(jì)的體制下逐步改善城市的生態(tài)環(huán)境質(zhì)量，防止生態(tài)環(huán)境質(zhì)量惡化，因此，對(duì)城生態(tài)環(huán)境質(zhì)量，防止生態(tài)環(huán)境質(zhì)量惡化，因此，對(duì)城市的生態(tài)環(huán)境水平調(diào)查評(píng)價(jià)很有必要。市的生態(tài)環(huán)境水平調(diào)查評(píng)價(jià)很有必要。主成分分析及matlab實(shí)現(xiàn) 我們對(duì)江蘇省十個(gè)城市的生態(tài)環(huán)境狀況進(jìn)行了調(diào)查，得到生我們對(duì)江蘇省十個(gè)城

15、市的生態(tài)環(huán)境狀況進(jìn)行了調(diào)查，得到生態(tài)環(huán)境指標(biāo)的指數(shù)值，見(jiàn)表態(tài)環(huán)境指標(biāo)的指數(shù)值，見(jiàn)表1?，F(xiàn)對(duì)生態(tài)環(huán)境水平分析和評(píng)?，F(xiàn)對(duì)生態(tài)環(huán)境水平分析和評(píng)價(jià)價(jià)。主成分分析及matlab實(shí)現(xiàn)主成分分析及matlab實(shí)現(xiàn)利用matlab中的princomp命令實(shí)現(xiàn)。具體程序如下x= 0.7883 0 .7391 0.8111 0.6587 0.6543 0.8259 0.8486 0.6834 0.8495 0.7846 0.7633 0.7287 0.7629 0.8552 0.7564 0.7455 0.7800 0.9490 0.8918 0.8954 0.4745 0.5126 0.8810 0.8903

16、0.8288 0.7850 0.8032 0.8862 0.3987 0.3970 0.8246 0.7603 0.6888 0.8977 0.7926 0.7856 0.6509 0.8902 0.6799 0.9877 0.8791 0.8736 0.8183 0.9446 0.9202 0.9263 0.9185 0.9505 0.8620 0.8873 0.9538 0.9257 0.9285 0.9434 0.9154 0.8871 0.9357 0.8760 0.9579 0.9741 0.8785 0.8542 0.8537 0.9027 0.8729 0.8485 0.8473

17、 0.9044 0.8866 0.9035 0.6305 0.6187 0.6313 0.7415 0.6398 0.6142 0.5734 0.8980 0.6186 0.7382 0.8928 0.7831 0.5608 0.8419 0.8464 0.7616 0.8234 0.6384 0.9604 0.8514;主成分分析及matlab實(shí)現(xiàn)主成分分析及matlab實(shí)現(xiàn)這樣，前三個(gè)主成分為 第一主成分貢獻(xiàn)率為43.12，第二主成分貢獻(xiàn)率為29.34，第三主成分貢獻(xiàn)率為11.97，前三個(gè)主成分累計(jì)貢獻(xiàn)率達(dá)84.24。 如果按80 以上的信息量選取新因子，則可以選取前三個(gè)新因子。第一新因子

18、z1 包含的信息量最大為43.12，它的主要代表變量為x8(城市文明)、x7(生產(chǎn)效率)、x4 (城市綠化)，其權(quán)重系數(shù)分別為0.4815、0.4236、0.4048，反映了這三個(gè)變量與生態(tài)環(huán)境水平密切相關(guān)，第二新因子z2主成分分析及matlab實(shí)現(xiàn) 包含的信息量次之為29.34，它的主要代表變量為x3(地理結(jié)構(gòu))、x6(資源配置)、x9 (可持續(xù)性)，其權(quán)重系數(shù)分別為0.5299、0.5273、0.4589，第三新因子 z3包含的信息量為11.97，代表總量為 x9(可持續(xù)性)、 x5(物質(zhì)還原)，權(quán)重系數(shù)分別為0.5933、0.5664。這些代表變量反映了各自對(duì)該新因子作用的大小，它們是生態(tài)環(huán)境系統(tǒng)中最重要的影響因素。 根據(jù)前三個(gè)主成分得分，用其貢獻(xiàn)率加權(quán)，即得十個(gè)城市各自的總得分 根據(jù)總得分排序，結(jié)果見(jiàn)表1。主成分分析及matlab實(shí)現(xiàn)n2.主成分回歸 考察進(jìn)口總額y與三個(gè)自變量：國(guó)內(nèi)總產(chǎn)值x1,存儲(chǔ)量x2，總消費(fèi)量x3之間的關(guān)系，現(xiàn)收集數(shù)據(jù)如下，試用主成分回歸分析方法求進(jìn)口總額與總產(chǎn)值、存儲(chǔ)量和總消費(fèi)量的定量關(guān)系式.序號(hào) x1 x2 x3 y1