主成分分析第二講

1、第七章主成分分析v二、由相關(guān)矩陣求解主成分二、由相關(guān)矩陣求解主成分 當(dāng)分析中所選擇的經(jīng)濟(jì)變量具有不同的量綱，變量水當(dāng)分析中所選擇的經(jīng)濟(jì)變量具有不同的量綱，變量水平差異很大，應(yīng)該選擇基于相關(guān)系數(shù)矩陣的主成分分析平差異很大，應(yīng)該選擇基于相關(guān)系數(shù)矩陣的主成分分析。 量綱對于主成分分析的影響及消除方法對數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，以使每一個變量的均值為均值為0 0，方差為，方差為1 1。 )(*iiiiXDXEXX數(shù)據(jù)標(biāo)準(zhǔn)化后數(shù)據(jù)標(biāo)準(zhǔn)化后,總體的協(xié)方差矩陣與總體的相關(guān)系數(shù)相等.),cov()()(),cov()()()(),cov(*jijijiijjijjiijiXXXDXDXXXXEXEXXEXEXX11

2、121212112pppp主成分與原始變量的關(guān)系式為：)()(1*21XEXUXUF例：企業(yè)經(jīng)濟(jì)效益綜合分析。用5個經(jīng)濟(jì)指標(biāo)進(jìn)行考核。用相關(guān)系數(shù)矩陣法求解主成分。其中計算出的相關(guān)系數(shù)矩陣為：1499. 04168. 07316. 05621. 013668. 04244. 03475. 014545. 07536. 014532. 01（1 1）計算其特征值：）計算其特征值：（2)2)各特征值的累計方差貢獻(xiàn)率為：各特征值的累計方差貢獻(xiàn)率為：（3 3）從以上方差貢獻(xiàn)率看，）從以上方差貢獻(xiàn)率看，k=2k=2時主成分個數(shù)較為合適。時主成分個數(shù)較為合適。 對應(yīng)的特征向量為：對應(yīng)的特征向量為：049.

3、0206. 0331. 0719. 1695. 254321000. 1990. 0949. 0883. 0539. 0/1pjkk21和520. 0074. 0470. 0503. 0501. 01u305. 0744. 0388. 0285. 0348. 02u（4 4）建立第一和第二主成分：）建立第一和第二主成分：*5*4*3*2*11520. 0074. 0470. 0503. 0501. 0 xxxxxF*5*4*3*2*12305. 0744. 0388. 0285. 0348. 0 xxxxxFp從相關(guān)系數(shù)矩陣出發(fā)求解主成分的步驟：從相關(guān)系數(shù)矩陣出發(fā)求解主成分的步驟：1 1、標(biāo)準(zhǔn)

4、化各觀測變量數(shù)據(jù)。、標(biāo)準(zhǔn)化各觀測變量數(shù)據(jù)。2 2、求解標(biāo)準(zhǔn)化各觀測變量的相關(guān)系數(shù)矩陣。、求解標(biāo)準(zhǔn)化各觀測變量的相關(guān)系數(shù)矩陣。3 3、求解相關(guān)系數(shù)矩陣的特征根。、求解相關(guān)系數(shù)矩陣的特征根。4 4、求解各特征根對應(yīng)的特征向量。、求解各特征根對應(yīng)的特征向量。 三、主成分性質(zhì)三、主成分性質(zhì) 1 1，主成分的協(xié)方差陣為對角陣，主成分的協(xié)方差陣為對角陣 2 2、P P個隨機(jī)變量的總方差為個隨機(jī)變量的總方差為協(xié)方差矩陣的所有特征根之和所有特征根之和 說明主成分分析把P個隨機(jī)變量的總方差分解成為P個不相關(guān)的隨機(jī)變量的方差之和。 當(dāng)進(jìn)行相關(guān)系數(shù)矩陣求解主成分，各變量標(biāo)準(zhǔn)化后，則p個主成分總的方差之和等于p。 p

5、iiFVar1)(ppp221121piiFVar1)(ppp221121 3 3、貢獻(xiàn)率：、貢獻(xiàn)率： 第i個主成分的方差在全部方差中所占比重 ，稱為貢獻(xiàn)率，反映了原來P個指標(biāo)多大的信息，有多大的綜合能力。 4 4、累積貢獻(xiàn)率：、累積貢獻(xiàn)率： 前k個主成分共有多大的綜合能力，用這k個主成分的方差和在全部方差中所占比重 來描述，稱為累積貢獻(xiàn)率。piii1 piikii11 5.5.原始變量與主成分之間的相關(guān)系數(shù)（因子負(fù)荷量）原始變量與主成分之間的相關(guān)系數(shù)（因子負(fù)荷量） 和 的相關(guān)密切程度與對應(yīng)線性組合系數(shù)向量成正比，與主成分標(biāo)準(zhǔn)差成正比，與原始變量的標(biāo)準(zhǔn)差成反比。 當(dāng)原始變量標(biāo)準(zhǔn)化后，標(biāo)準(zhǔn)化變量

6、與主成分的相關(guān)關(guān)系：iijijjiijijjiuuFx),(ixjFixjijjiuFx),(pmmj, 2 , 11111211221222212ppppppppxuuuFxuuuFxuuuF XUFXUF ppjjjjxuxuxuF22111122( ,)(,)ijiiippjijjCov x FCov u Fu Fu F FuiijijjiijijjiuuFx),(樣本主成分求解樣本主成分求解變量X樣本協(xié)方差為總體協(xié)方差的無偏估計相關(guān)矩陣R為總體相關(guān)矩陣的估計ppppppxxxxxxxxxX212222111211nkjkjikixxxxnS111pUUSUXUUXY.)cov()cov

7、()cov(21若X已標(biāo)準(zhǔn)化，則可用相關(guān)矩陣代替協(xié)方差矩陣pppppppppppppppppppuuuuuuuuuuuuuuuuuurrrrrrrrrUURUUURUUUR.212122221112112122221112112122221112110)(.0.)(0.)(.1112211112121221112111212111111112211111212122211121111112121111pppppppppppppppppppurururururururururuurururuurururuururur000.1121212221112111IRIRrrrrrrrrripppppp

8、為相關(guān)矩陣的為相關(guān)矩陣的特征值特征值將將R R的特征根依大小順序排列的特征根依大小順序排列其對應(yīng)的特征向量記為其對應(yīng)的特征向量記為U U1 1，U U2 2, ,U,Up p說明說明y1y1有最大方差，有最大方差，y2y2有次大方差。有次大方差。jijijiiiiRUUXUXUyyXUyXUy),cov(),cov()var()var()var()var(11100.1.000.1.00)()(),cov(111pttjttipttjttpttiijjiUUUUUUUURuuFF說明新的綜合指標(biāo)即主成分彼說明新的綜合指標(biāo)即主成分彼此不相關(guān)此不相關(guān)樣本主成分的性質(zhì)：樣本主成分的性質(zhì)：1、第K個主

9、成分yk的系數(shù)向量是第K個特征根k所對應(yīng)的標(biāo)準(zhǔn)化特征向量。2、第K個主成分的方差為第K個特征根k，且任意兩個主成分都是不相關(guān)的，也就是y1,y2,yp的樣本協(xié)方差矩陣是對角矩陣3、樣本主成分的總方差等于原變量樣本的總方差，為p4、第K個樣本主成分與第j個變量樣本之間的相關(guān)系數(shù)為： （因子載荷量）kjku主成分個數(shù)的確定以及主成分分析的實現(xiàn)主成分個數(shù)的確定以及主成分分析的實現(xiàn)一、主成分個數(shù)的選取一、主成分個數(shù)的選取 1.累積貢獻(xiàn)率達(dá)到85%以上 2.根據(jù)特征根的變化來確定數(shù)據(jù)標(biāo)準(zhǔn)化情況下： 3.作碎石圖描述特征值的貢獻(xiàn)描述特征值的貢獻(xiàn)i111piipScree PlotComponent Num

10、ber654321Eigenvalue43210p三、主成分分析的步驟三、主成分分析的步驟1 1、根據(jù)研究問題選取初始分析變量；、根據(jù)研究問題選取初始分析變量；2 2、根據(jù)初始變量特性判斷用協(xié)方差矩陣求主成分還是用相關(guān)矩陣求主成分、根據(jù)初始變量特性判斷用協(xié)方差矩陣求主成分還是用相關(guān)矩陣求主成分；（量綱不一致則將原始數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理用相關(guān)矩陣求主成分）；（量綱不一致則將原始數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理用相關(guān)矩陣求主成分）3 3、求協(xié)方差矩陣或相關(guān)矩陣的特征根與相應(yīng)的特征向量；、求協(xié)方差矩陣或相關(guān)矩陣的特征根與相應(yīng)的特征向量；4 4、判斷是否存在明顯的多重共線性，若存在，返回至第、判斷是否存在明顯的多重共

11、線性，若存在，返回至第1 1步；步；5 5、得到主成分表達(dá)式并確定主成分個數(shù)，依據(jù)方差貢獻(xiàn)率選取主成分；、得到主成分表達(dá)式并確定主成分個數(shù)，依據(jù)方差貢獻(xiàn)率選取主成分；6 6、對主成分作出合理解釋，并結(jié)合其他研究法對研究問題進(jìn)行深入分析、對主成分作出合理解釋，并結(jié)合其他研究法對研究問題進(jìn)行深入分析。例3. 城市環(huán)境生態(tài)化是城市發(fā)展的必然趁勢，表現(xiàn)為城市環(huán)境生態(tài)化是城市發(fā)展的必然趁勢，表現(xiàn)為社會、經(jīng)濟(jì)、環(huán)境與生態(tài)全方位的現(xiàn)代化水平，一個社會、經(jīng)濟(jì)、環(huán)境與生態(tài)全方位的現(xiàn)代化水平，一個符合生態(tài)規(guī)律的生態(tài)城市應(yīng)該是結(jié)構(gòu)合理、功能高效符合生態(tài)規(guī)律的生態(tài)城市應(yīng)該是結(jié)構(gòu)合理、功能高效和關(guān)系協(xié)調(diào)的城市生態(tài)系統(tǒng)。

12、所謂結(jié)構(gòu)合理是指適度和關(guān)系協(xié)調(diào)的城市生態(tài)系統(tǒng)。所謂結(jié)構(gòu)合理是指適度的人口密度，合理的土地利用，良好的環(huán)境質(zhì)量，充的人口密度，合理的土地利用，良好的環(huán)境質(zhì)量，充足的綠地系統(tǒng)，完善的基礎(chǔ)設(shè)施，有效的自然保護(hù)；足的綠地系統(tǒng)，完善的基礎(chǔ)設(shè)施，有效的自然保護(hù)；功能高效是指資源的優(yōu)化配置、物力的經(jīng)濟(jì)投入、人功能高效是指資源的優(yōu)化配置、物力的經(jīng)濟(jì)投入、人力的充分發(fā)揮、物流的暢通有序、信息流的快捷；關(guān)力的充分發(fā)揮、物流的暢通有序、信息流的快捷；關(guān)系協(xié)調(diào)是指人和自然協(xié)調(diào)、社會關(guān)系協(xié)調(diào)、城鄉(xiāng)協(xié)調(diào)系協(xié)調(diào)是指人和自然協(xié)調(diào)、社會關(guān)系協(xié)調(diào)、城鄉(xiāng)協(xié)調(diào)、資源利用和更新協(xié)調(diào)。一個城市要實現(xiàn)生態(tài)城市的、資源利用和更新協(xié)調(diào)。一個城

13、市要實現(xiàn)生態(tài)城市的發(fā)展目標(biāo)，關(guān)鍵是在市場經(jīng)濟(jì)的體制下逐步改善城市發(fā)展目標(biāo)，關(guān)鍵是在市場經(jīng)濟(jì)的體制下逐步改善城市的生態(tài)環(huán)境質(zhì)量，防止生態(tài)環(huán)境質(zhì)量惡化，因此，對的生態(tài)環(huán)境質(zhì)量，防止生態(tài)環(huán)境質(zhì)量惡化，因此，對城市的生態(tài)環(huán)境水平調(diào)查評價很有必要。城市的生態(tài)環(huán)境水平調(diào)查評價很有必要。 我們對江蘇省十個城市的生態(tài)環(huán)境狀況進(jìn)行了調(diào)查，得到生我們對江蘇省十個城市的生態(tài)環(huán)境狀況進(jìn)行了調(diào)查，得到生態(tài)環(huán)境指標(biāo)的指數(shù)值，見表態(tài)環(huán)境指標(biāo)的指數(shù)值，見表1。現(xiàn)對生態(tài)環(huán)境水平分析和評?，F(xiàn)對生態(tài)環(huán)境水平分析和評價價。利用Matlab中的princomp命令實現(xiàn)。具體程序如下X= 0.7883 0 .7391 0.8111 0.

14、6587 0.6543 0.8259 0.8486 0.6834 0.8495 0.7846 0.7633 0.7287 0.7629 0.8552 0.7564 0.7455 0.7800 0.9490 0.8918 0.8954 0.4745 0.5126 0.8810 0.8903 0.8288 0.7850 0.8032 0.8862 0.3987 0.3970 0.8246 0.7603 0.6888 0.8977 0.7926 0.7856 0.6509 0.8902 0.6799 0.9877 0.8791 0.8736 0.8183 0.9446 0.9202 0.9263 0

15、.9185 0.9505 0.8620 0.8873 0.9538 0.9257 0.9285 0.9434 0.9154 0.8871 0.9357 0.8760 0.9579 0.9741 0.8785 0.8542 0.8537 0.9027 0.8729 0.8485 0.8473 0.9044 0.8866 0.9035 0.6305 0.6187 0.6313 0.7415 0.6398 0.6142 0.5734 0.8980 0.6186 0.7382 0.8928 0.7831 0.5608 0.8419 0.8464 0.7616 0.8234 0.6384 0.9604

16、0.8514;這樣，前三個主成分為 第一主成分貢獻(xiàn)率為43.12，第二主成分貢獻(xiàn)率為29.34，第三主成分貢獻(xiàn)率為11.97，前三個主成分累計貢獻(xiàn)率達(dá)84.24。 如果按80 以上的信息量選取新因子，則可以選取前三個新因子。第一新因子z1 包含的信息量最大為43.12，它的主要代表變量為X8(城市文明)、X7(生產(chǎn)效率)、X4 (城市綠化)，其權(quán)重系數(shù)分別為0.4815、0.4236、0.4048，反映了這三個變量與生態(tài)環(huán)境水平密切相關(guān)，第二新因子Z2 包含的信息量次之為29.34，它的主要代表變量為X3(地理結(jié)構(gòu))、X6(資源配置)、X9 (可持續(xù)性)，其權(quán)重系數(shù)分別為0.5299、0.52

17、73、0.4589，第三新因子 Z3包含的信息量為11.97，代表總量為 X9(可持續(xù)性)、 X5(物質(zhì)還原)，權(quán)重系數(shù)分別為0.5933、0.5664。這些代表變量反映了各自對該新因子作用的大小，它們是生態(tài)環(huán)境系統(tǒng)中最重要的影響因素。 根據(jù)前三個主成分得分，用其貢獻(xiàn)率加權(quán)，即得十個城市各自的總得分 根據(jù)總得分排序，結(jié)果見表1。v2.主成分回歸 考察進(jìn)口總額Y與三個自變量：國內(nèi)總產(chǎn)值x1,存儲量x2，總消費量x3之間的關(guān)系，現(xiàn)收集數(shù)據(jù)如下，試用主成分回歸分析方法求進(jìn)口總額與總產(chǎn)值、存儲量和總消費量的定量關(guān)系式.序號 x1 x2 x3 Y1234567891011149.3161.2171.5175.5180.8190.7202.1212.4226.1231.9239.04.24.13.13.11.12.22.15.65.05.10.7108.1114.8123.2126.9132.1137.7146.0154.1162.3164.3167.615.916.419.019.118.820.422.726.528.127.626.3 v分析：本題目可先嘗試一般的線性回歸模型，但擬合的效果一般，故可嘗試主成分回歸分析方法v解：首先對各個變量數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，其次，其次， 建立指標(biāo)之間的相關(guān)系數(shù)陣并求出建立指標(biāo)之間的相關(guān)系數(shù)陣并求出相關(guān)陣的特征值分別為：相關(guān)陣的特征值分別為：