[經(jīng)管營(yíng)銷]32-主成分分析ppt課件

1、第二節(jié)第二節(jié) 主成分分析主成分分析principal principal component analysis)component analysis) 多元分析處置的是多目的問題。由于目的太多，使得分析的復(fù)雜性添加。眾多的要素經(jīng)常給模型的構(gòu)造帶來很大困難。 察看目的的添加本來是為了使研討過程趨于完好，但反過來說，為使研討結(jié)果明晰明了而一味添加察看目的又讓人墮入混亂不清。由于在實(shí)踐任務(wù)中，目的間經(jīng)常具備一定的相關(guān)性，故人們希望用較少的目的替代原來較多的目的，但依然能反映原有的全部信息，于是產(chǎn)生了主成分分析、對(duì)應(yīng)分析、典型相關(guān)分析和因子分析等方法。主成分分析主成分分析主成分分析就是設(shè)法將原來目的重

2、新組合成一組新的相互無關(guān)的幾個(gè)綜合目的來替代原來目的，同時(shí)根據(jù)實(shí)踐需求從中選取幾個(gè)較少的綜合目的盡能夠多地反映原始目的的信息。這種將多個(gè)目的化為少數(shù)相互無關(guān)的綜合目的的統(tǒng)計(jì)方法叫做主成分分析或稱主分量分析。該方法也是數(shù)學(xué)上處置降維的一種方法。一、主成分分析的根本思想一、主成分分析的根本思想主成分分析就是設(shè)法將原來眾多且具有一定相關(guān)性的目的(比如p個(gè)目的)，重新組合成一組新的相互無關(guān)的綜合目的來替代原來目的。通常數(shù)學(xué)上的處置就是將原來n個(gè)目的作線性組合，作為新的綜合目的。但這種線性組合，假設(shè)不加限制，那么可以有很多，我們應(yīng)該如何去選取呢?假設(shè)將選取的第一個(gè)線性組合即第一個(gè)綜合目的志為F1 ，自然

3、希望F1盡能夠多的反映原來目的的信息，這里的“信息用什么來表達(dá)?最經(jīng)典的方法就是用F1的方差來表達(dá)，即Var(F1)越大，表示F1包含的信息越多。因此在一切線性組合中所選取的F1應(yīng)該是方差最大的，故稱F1為第一主成分。假設(shè)第一主成分缺乏以代表原來P個(gè)目的的信息，再思索選取F2即選第二個(gè)線性組合。為了有效地反映原來信息， F1 已有的信息就不需求再出如今F2 中，用數(shù)學(xué)言語表達(dá)就是要求Cov(F1 ， F2 )0，稱F2 為第二主成分，依此類推可以造出第三、四，第P個(gè)主成分。不難想像這些主成分之間不僅不相關(guān)，而且它們的方差依次遞減。因此在實(shí)踐任務(wù)中，就挑選前幾個(gè)最大主成分，雖然這樣做會(huì)損失一部分

4、信息，但是由于它使我們抓住了主要矛盾，并從原始數(shù)據(jù)中進(jìn)一步提取了某些新的信息，因此在某些實(shí)踐問題的研討中得益比損失大，這種既減少了變量的數(shù)目又抓住了主要矛盾的做法有利于問題的簡(jiǎn)化和有效處置。二、主成分分析的數(shù)學(xué)模型 設(shè)有n個(gè)樣本，每個(gè)樣本有p個(gè)目的變量： X1，X2，Xp ，得到原始數(shù)據(jù)資料矩陣：npnnppxxxxxxxxxX212222111211=),(21pXXX 主成分分析的數(shù)學(xué)模型 用矩陣X的p個(gè)向量Xl，X2，Xp 作線性組合，發(fā)現(xiàn)具有正交特征，綜合成p個(gè)目的，即 F1=a11X1+a12X2+.+a1pXp F2=a21X1+a22X2+.+a2pXp . Fp=ap1X1+a

5、p2X2+.+appXp 這樣決議的綜合目的F1，F(xiàn)2，F(xiàn)p分別稱做原始目的的第一，第二，第p主成分，且 F1，F(xiàn)2，F(xiàn)p 在總方差中占的比例依次遞減三、主成分的幾何意義 從幾何上看，找主成分的問題，就是找多維空間中橢球體的主軸問題，從數(shù)學(xué)上容易得到它們是Xl，X2，Xp 的相關(guān)矩陣中p個(gè)較大特征值所對(duì)應(yīng)的特征向量，通常用雅可比(Jaobi)法計(jì)算特征值和特征向量。四、主成分的推導(dǎo)四、主成分的推導(dǎo)主成分的推導(dǎo)主成分的推導(dǎo)五、計(jì)算步驟及實(shí)例五、計(jì)算步驟及實(shí)例 設(shè)有n個(gè)樣品，每個(gè)樣品觀測(cè)p個(gè)目的， 將原始數(shù)據(jù)寫成矩陣:npnnppxxxxxxxxxX212222111211=),(21pXXX 例

6、例2：100個(gè)學(xué)生的數(shù)學(xué)、物理、化學(xué)、語文、個(gè)學(xué)生的數(shù)學(xué)、物理、化學(xué)、語文、歷史、英語的成果如下表部分。歷史、英語的成果如下表部分。 SPSS數(shù)據(jù)方式：數(shù)據(jù)方式： 對(duì)于以上數(shù)據(jù)，對(duì)于以上數(shù)據(jù)，SPSSSPSS輸出為：輸出為： 這里的這里的Initial Eigenvalues就是這里的六個(gè)主軸長(zhǎng)就是這里的六個(gè)主軸長(zhǎng)度，又稱特征值數(shù)據(jù)相關(guān)陣的特征值。頭兩度，又稱特征值數(shù)據(jù)相關(guān)陣的特征值。頭兩個(gè)成分特征值累積占了總方差的個(gè)成分特征值累積占了總方差的81.142%。后面。后面特征值的奉獻(xiàn)越來越少。特征值的奉獻(xiàn)越來越少。 T To ot ta al l V Va ar ri ia an nc ce e

7、 E Ex xp pl la ai in ne ed d3.73562.25462.2543.73562.25462.2541.13318.88781.1421.13318.88781.142.4577.61988.761.3235.37694.137.1993.32097.457.1532.543100.000Component123456Total% of Variance Cumulative %Total% of Variance Cumulative %Initial EigenvaluesExtraction Sums of Squared LoadingsExtraction M

8、ethod: Principal Component Analysis. 特征值的奉獻(xiàn)還可以從碎石圖看出：特征值的奉獻(xiàn)還可以從碎石圖看出：Scree PlotComponent Number654321Eigenvalue43210 如何解釋這兩個(gè)主成分。主成分是原始六個(gè)變量如何解釋這兩個(gè)主成分。主成分是原始六個(gè)變量的線性組合。見下表：的線性組合。見下表：C Co om mp po on ne en nt t M Ma at tr ri ix xa a-.806.353-.040.468.021.068-.674.531-.454-.240-.001-.006-.675.513.499-.18

9、1.002.003.893.306-.004-.037.077.320.825.435.002.079-.342-.083.836.425.000.074.276-.197MATHPHYSCHEMLITERATHISTORYENGLISH123456ComponentExtraction Method: Principal Component Analysis.6 components extracted.a. 這里每一列代表一個(gè)主成分作為原始變量線性組合的系這里每一列代表一個(gè)主成分作為原始變量線性組合的系數(shù)比例。比如第一主成分為數(shù)學(xué)、物理、化學(xué)、語數(shù)比例。比如第一主成分為數(shù)學(xué)、物理、化學(xué)、語

10、文、歷史、英語這六個(gè)變量的線性組合，系數(shù)比例文、歷史、英語這六個(gè)變量的線性組合，系數(shù)比例為為-0.806, -0.674, -0.675, 0.893, 0.825, 0.836。 如用如用x1,x2,x3,x4,x5,x6分別表示原始的六分別表示原始的六個(gè)變量，用個(gè)變量，用y1,y2,y3,y4,y5,y6表示新的主表示新的主成分，那么，第一和第二主成分為成分，那么，第一和第二主成分為11234562123456-0.806-0.674-0.6750.8930.8250.8360.3530.5310.5130.3060.4350.425yxxxxxxyxxxxxx 這些系數(shù)稱為主成分載荷這些

11、系數(shù)稱為主成分載荷loading，它表示主成分與相應(yīng)原始變量的相關(guān)系它表示主成分與相應(yīng)原始變量的相關(guān)系數(shù)。數(shù)。 比如比如y1表示式中表示式中x1的系數(shù)為的系數(shù)為-0.806，這就是說第，這就是說第一主成分和數(shù)學(xué)變量的相關(guān)系數(shù)為一主成分和數(shù)學(xué)變量的相關(guān)系數(shù)為-0.806。 相關(guān)系數(shù)相關(guān)系數(shù)(絕對(duì)值越大，主成分對(duì)該變量的代絕對(duì)值越大，主成分對(duì)該變量的代表性也越大?？梢钥吹贸?，第一主成分對(duì)各個(gè)變表性也越大?？梢钥吹贸?，第一主成分對(duì)各個(gè)變量解釋得都很充分。而最后的幾個(gè)主成分與原始量解釋得都很充分。而最后的幾個(gè)主成分與原始變量的相關(guān)性大幅度降低。變量的相關(guān)性大幅度降低。 11234562123456-0.806-0.674-0.6750.8930.8250.8360.3530.5310.5130.3060.4350.425yxxxxxxyxxxxxx把第一和第二主成分的載荷繪出一個(gè)二維把第一和第二主成分的載荷繪出一個(gè)二維散點(diǎn)圖以直觀地顯示它們?nèi)绾谓忉屧甲兩Ⅻc(diǎn)圖以直觀地顯示它們?nèi)绾谓忉屧甲兞?。該圖稱為載荷圖。量。該圖稱為載荷圖。Component PlotComponent 11.0.50.0-.5-1.0Component 21.0.50.0-.5-1.0englishhistoryliteratchemphysmath該圖左面三個(gè)