應(yīng)用統(tǒng)計(jì)學(xué)主成分分析課件

主成分分析

主成分分析：將原來(lái)較多的指標(biāo)簡(jiǎn)化為少數(shù)幾個(gè)新的綜合指標(biāo)的多元統(tǒng)計(jì)方法。主成分：由原始指標(biāo)綜合形成的幾個(gè)新指標(biāo)。依據(jù)主成分所含信息量的大小成為第一主成分，第二主成分等等。主成分分析：將原來(lái)較多的指標(biāo)簡(jiǎn)化為少數(shù)幾個(gè)新的綜合指標(biāo)的多元主成分與原始變量間的關(guān)系：1、主成分保留了原始變量絕大多數(shù)信息。2、主成分的個(gè)數(shù)大大少于原始變量的數(shù)目。3、各個(gè)主成分之間互不相關(guān)。4、每個(gè)主成分都是原始變量的線性組合。

主成分與原始變量間的關(guān)系：主成分分析的運(yùn)用：1、對(duì)一組內(nèi)部相關(guān)的變量作簡(jiǎn)化的描述2、用來(lái)削減回歸分析或群集分析(Cluster)中變量的數(shù)目3、用來(lái)檢查異常點(diǎn)

4、用來(lái)作多重共線性鑒定5、用來(lái)做原來(lái)數(shù)據(jù)的常態(tài)檢定

主成分分析的運(yùn)用：二、數(shù)學(xué)模型與幾何解釋?zhuān)瓟?shù)學(xué)模型假設(shè)我們所討論的實(shí)際問(wèn)題中，有p個(gè)指標(biāo)，我們把這p個(gè)指標(biāo)看作p個(gè)隨機(jī)變量，記為X1，X2，…，Xp，主成分分析就是要把這p個(gè)指標(biāo)的問(wèn)題，轉(zhuǎn)變?yōu)橛懻損個(gè)指標(biāo)的線性組合的問(wèn)題，而這些新的指標(biāo)F1，F(xiàn)2，…，F(xiàn)k(k≤p），按照保留主要信息量的原則充分反映原指標(biāo)的信息，并且相互獨(dú)立。二、數(shù)學(xué)模型與幾何解釋?zhuān)瓟?shù)學(xué)模型假設(shè)我們所討論的實(shí)際問(wèn)題中，這種由討論多個(gè)指標(biāo)降為少數(shù)幾個(gè)綜合指標(biāo)的過(guò)程在數(shù)學(xué)上就叫做降維。主成分分析通常的做法是，尋求原指標(biāo)的線性組合Fi。這種由討論多個(gè)指標(biāo)降為少數(shù)幾個(gè)綜合指標(biāo)的過(guò)程在數(shù)學(xué)上就叫做降滿足如下的條件：

1、每個(gè)主成分的系數(shù)平方和為1。即

2、主成分之間相互獨(dú)立，即無(wú)重疊的信息。即

3、主成分的方差依次遞減，重要性依次遞減，即F1、F2….Fp分別稱(chēng)為原變量的第一、第二….第p個(gè)主成分。滿足如下的條件：數(shù)學(xué)模型與幾何解釋?zhuān)瓗缀谓忉尀榱朔奖悖覀冊(cè)诙S空間中討論主成分的幾何意義：設(shè)有n個(gè)樣品，每個(gè)樣品有兩個(gè)觀測(cè)變量xl和x2，在由變量xl和x2

所確定的二維平面中，n個(gè)樣本點(diǎn)所散布的情況如橢圓狀。由圖可以看出這n個(gè)樣本點(diǎn)無(wú)論是沿著xl

軸方向或x2軸方向都具有較大的離散性，其離散的程度可以分別用觀測(cè)變量xl

的方差和x2

的方差定量地表示。顯然，如果只考慮xl和x2

中的任何一個(gè)，那么包含在原始數(shù)據(jù)中的經(jīng)濟(jì)信息將會(huì)有較大的損失。數(shù)學(xué)模型與幾何解釋?zhuān)瓗缀谓忉尀榱朔奖?，我們?cè)诙S空間中討論主如果我們將xl軸和x2軸先平移，再同時(shí)按逆時(shí)針?lè)较蛐D(zhuǎn)角度，得到新坐標(biāo)軸Fl和F2。Fl和F2是兩個(gè)新變量。如果我們將xl軸和x2軸先平移，再同時(shí)按逆時(shí)針?lè)较蛐D(zhuǎn)角平移、旋轉(zhuǎn)坐標(biāo)軸?????????????????????????????????????平移、旋轉(zhuǎn)坐標(biāo)軸????????????????????????????????????????????????????????????平移、旋轉(zhuǎn)坐標(biāo)軸??????????????????????????????????????????????????????????????????平移、旋轉(zhuǎn)坐標(biāo)軸???????????????????????????????根據(jù)旋轉(zhuǎn)變換的公式：根據(jù)旋轉(zhuǎn)變換的公式：旋轉(zhuǎn)變換的目的：為了使得n個(gè)樣品點(diǎn)在Fl軸方向上的離散程度最大，即Fl的方差最大。(變量Fl代表了原始數(shù)據(jù)的絕大部分信息，在研究某經(jīng)濟(jì)問(wèn)題時(shí)，即使不考慮變量F2也無(wú)損大局)。經(jīng)過(guò)上述旋轉(zhuǎn)變換原始數(shù)據(jù)的大部分信息集中到Fl軸上，對(duì)數(shù)據(jù)中包含的信息起到了濃縮作用。旋轉(zhuǎn)變換的目的：為了使得n個(gè)樣品點(diǎn)在Fl軸方向上的離散程度最Fl，F(xiàn)2除了可以對(duì)包含在Xl，X2中的信息起著濃縮作用之外，還具有不相關(guān)的性質(zhì)，這就使得在研究復(fù)雜的問(wèn)題時(shí)避免了信息重疊所帶來(lái)的虛假性。二維平面上的個(gè)點(diǎn)的方差大部分都?xì)w結(jié)在Fl軸上，而F2軸上的方差很小。Fl和F2稱(chēng)為原始變量x1和x2的綜合變量。F簡(jiǎn)化了系統(tǒng)結(jié)構(gòu)，抓住了主要矛盾。Fl，F(xiàn)2除了可以對(duì)包含在Xl，X2中的信息起著濃縮作用之外由此可概括出主成分分析的幾何意義：

主成分分析的過(guò)程也就是坐標(biāo)旋轉(zhuǎn)的過(guò)程，各主成分表達(dá)式就是新坐標(biāo)系與原坐標(biāo)系的轉(zhuǎn)換關(guān)系，新坐標(biāo)系中各坐標(biāo)軸的方向就是原始數(shù)據(jù)方差最大的方向。由此可概括出主成分分析的幾何意義：了解了主成分分析的基本思想、數(shù)學(xué)和幾何意義后，問(wèn)題的關(guān)鍵：

1、如何進(jìn)行主成分分析？（主成分分析的方法）基于相關(guān)系數(shù)矩陣還是基于協(xié)方差矩陣做主成分分析。當(dāng)分析中所選擇的經(jīng)濟(jì)變量具有不同的量綱，變量水平差異很大，應(yīng)該選擇基于相關(guān)系數(shù)矩陣的主成分分析。

2、如何確定主成分個(gè)數(shù)？主成分分析的目的是簡(jiǎn)化變量，一般情況下主成分的個(gè)數(shù)應(yīng)該小于原始變量的個(gè)數(shù)。關(guān)于保留幾個(gè)主成分，應(yīng)該權(quán)衡主成分個(gè)數(shù)和保留的信息。

3、如何解釋主成分所包含的經(jīng)濟(jì)意義？了解了主成分分析的基本思想、數(shù)學(xué)和幾何意義后，問(wèn)題的關(guān)鍵：3總體主成分的求解及其性質(zhì)矩陣知識(shí)回顧：（1）特征根與特征向量A、若對(duì)任意的k階方陣C，有數(shù)字與向量滿足：，則稱(chēng)為C的特征根，為C的相應(yīng)于的特征向量。B、同時(shí)，方陣C的特征根是k階方程的根。（2）任一k階方陣C的特征根的性質(zhì)：3總體主成分的求解及其性質(zhì)矩陣知識(shí)回顧：（3）任一k階的實(shí)對(duì)稱(chēng)矩陣C的性質(zhì)：A、實(shí)對(duì)稱(chēng)矩陣C的非零特征根的數(shù)目＝C的秩B、k階的實(shí)對(duì)稱(chēng)矩陣存在k個(gè)實(shí)特征根C、實(shí)對(duì)稱(chēng)矩陣的不同特征根的特征向量是正交的D、若是實(shí)對(duì)稱(chēng)矩陣C的單位特征向量，則若矩陣，是由特征向量所構(gòu)成的，則有：（3）任一k階的實(shí)對(duì)稱(chēng)矩陣C的性質(zhì)：主成分分析的目標(biāo)：1、從相關(guān)的X1，

X2，…Xk,求出相互獨(dú)立的新綜合變量（主成分）Y1,Y2…Yk。2、Y＝（Y1,Y2…Yk）’

所反映信息的含量無(wú)遺漏或損失的指標(biāo)—方差，等于X＝（X1,X2…Xk）’的方差

。X與Y之間的計(jì)算關(guān)系是：如何求解主成分？主成分分析的目標(biāo)：一、從協(xié)方差矩陣出發(fā)求解主成分（一）第一主成分：

設(shè)X的協(xié)方差陣為由于Σx為非負(fù)定的對(duì)稱(chēng)陣，則有利用線性代數(shù)的知識(shí)可得，必存在正交陣U，使得

一、從協(xié)方差矩陣出發(fā)求解主成分其中1，2，…，p為Σx的特征根，不妨假設(shè)12

…p。而U恰好是由特征根相對(duì)應(yīng)的特征向量所組成的正交陣。下面我們來(lái)看，是否由U的第一列元素所構(gòu)成為原始變量的線性組合是否有最大的方差。其中1，2，…，p為Σx的特征根，不妨假設(shè)1（二）第二主成分在約束條件下，尋找第二主成分因?yàn)樗詣t，對(duì)p維向量，有（二）第二主成分所以如果取線性變換：則的方差次大。類(lèi)推所以如果取線性變換：寫(xiě)為矩陣形式：寫(xiě)為矩陣形式：例１：設(shè)的協(xié)方差矩陣為：從協(xié)方差矩陣出發(fā)，求解主成分．（１）求協(xié)方差矩陣的特征根依據(jù)求解．例１：設(shè)的協(xié)方差矩陣為：（２）求特征根對(duì)應(yīng)的特征向量（２）求特征根對(duì)應(yīng)的特征向量（３）主成分：（４）各主成分的貢獻(xiàn)率及累計(jì)貢獻(xiàn)率：第一主成分貢獻(xiàn)率：第二主成分貢獻(xiàn)率：第三主成分貢獻(xiàn)率：（３）主成分：第一和第二主成分的累計(jì)貢獻(xiàn)率：由此可將以前三元的問(wèn)題降維為兩維問(wèn)題．第一和第二主成分包含了以前變量的絕大部分信息９７.８７５％．第一和第二主成分的累計(jì)貢獻(xiàn)率：從協(xié)方差矩陣出發(fā)求解主成分的步驟：1、求解各觀測(cè)變量的協(xié)方差矩陣。2、由協(xié)方差陣求出其特征根。3、各特征根對(duì)應(yīng)的特征向量。4、計(jì)算累積貢獻(xiàn)率，給出恰當(dāng)?shù)闹鞒煞謧€(gè)數(shù)。5、計(jì)算所選出的k個(gè)主成分的得分。

從協(xié)方差矩陣出發(fā)求解主成分的步驟：二、由相關(guān)矩陣求解主成分

當(dāng)分析中所選擇的經(jīng)濟(jì)變量具有不同的量綱，變量水平差異很大，應(yīng)該選擇基于相關(guān)系數(shù)矩陣的主成分分析。

量綱對(duì)于主成分分析的影響及消除方法——對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，以使每一個(gè)變量的均值為0，方差為1。

二、由相關(guān)矩陣求解主成分?jǐn)?shù)據(jù)標(biāo)準(zhǔn)化后,總體的協(xié)方差矩陣與總體的相關(guān)系數(shù)相等.主成分與原始變量的關(guān)系式為：數(shù)據(jù)標(biāo)準(zhǔn)化后,總體的協(xié)方差矩陣與總體的相關(guān)系數(shù)相等.主成分與例：企業(yè)經(jīng)濟(jì)效益綜合分析。用5個(gè)經(jīng)濟(jì)指標(biāo)進(jìn)行考核。用相關(guān)系數(shù)矩陣法求解主成分。其中計(jì)算出的相關(guān)系數(shù)矩陣為：例：企業(yè)經(jīng)濟(jì)效益綜合分析。用5個(gè)經(jīng)濟(jì)指標(biāo)進(jìn)行考核。用相關(guān)系數(shù)（1）計(jì)算其特征值：（2)各特征值的累計(jì)方差貢獻(xiàn)率為：（3）從以上方差貢獻(xiàn)率看，k=2時(shí)主成分個(gè)數(shù)較為合適。對(duì)應(yīng)的特征向量為：（1）計(jì)算其特征值：（4）建立第一和第二主成分：（4）建立第一和第二主成分：從相關(guān)系數(shù)矩陣出發(fā)求解主成分的步驟：1、標(biāo)準(zhǔn)化各觀測(cè)變量數(shù)據(jù)。2、求解標(biāo)準(zhǔn)化各觀測(cè)變量的相關(guān)系數(shù)矩陣。3、求解相關(guān)系數(shù)矩陣的特征根。4、求解各特征根對(duì)應(yīng)的特征向量。從相關(guān)系數(shù)矩陣出發(fā)求解主成分的步驟：三、主成分性質(zhì)1，主成分的協(xié)方差陣為對(duì)角陣2、P個(gè)隨機(jī)變量的總方差為協(xié)方差矩陣的所有特征根之和

說(shuō)明主成分分析把P個(gè)隨機(jī)變量的總方差分解成為P個(gè)不相關(guān)的隨機(jī)變量的方差之和。當(dāng)進(jìn)行相關(guān)系數(shù)矩陣求解主成分，各變量標(biāo)準(zhǔn)化后，則p個(gè)主成分總的方差之和等于p。

三、主成分性質(zhì)

3、貢獻(xiàn)率：

第i個(gè)主成分的方差在全部方差中所占比重，稱(chēng)為貢獻(xiàn)率，反映了原來(lái)P個(gè)指標(biāo)多大的信息，有多大的綜合能力。

4、累積貢獻(xiàn)率：

前k個(gè)主成分共有多大的綜合能力，用這k個(gè)主成分的方差和在全部方差中所占比重來(lái)描述，稱(chēng)為累積貢獻(xiàn)率。3、貢獻(xiàn)率：

5.原始變量與主成分之間的相關(guān)系數(shù)（因子負(fù)荷量）

和的相關(guān)密切程度與對(duì)應(yīng)線性組合系數(shù)向量成正比，與主成分標(biāo)準(zhǔn)差成正比，與原始變量的標(biāo)準(zhǔn)差成反比。當(dāng)原始變量標(biāo)準(zhǔn)化后，標(biāo)準(zhǔn)化變量與主成分的相關(guān)關(guān)系：5.原始變量與主成分之間的相關(guān)系數(shù)（因子負(fù)荷量）應(yīng)用統(tǒng)計(jì)學(xué)主成分分析課件樣本主成分求解變量X樣本協(xié)方差為總體協(xié)方差的無(wú)偏估計(jì)相關(guān)矩陣R為總體相關(guān)矩陣的估計(jì)樣本主成分求解變量X若X已標(biāo)準(zhǔn)化，則可用相關(guān)矩陣代替協(xié)方差矩陣若X已標(biāo)準(zhǔn)化，則可用相關(guān)矩陣代替協(xié)方差矩陣應(yīng)用統(tǒng)計(jì)學(xué)主成分分析課件λ為相關(guān)矩陣的特征值λ為相關(guān)矩陣的特征值將R的特征根依大小順序排列其對(duì)應(yīng)的特征向量記為U1，U2,…,Up說(shuō)明y1有最大方差，y2有次大方差。。。將R的特征根依大小順序排列說(shuō)明新的綜合指標(biāo)即主成分彼此不相關(guān)說(shuō)明新的綜合指標(biāo)即主成分彼此不相關(guān)樣本主成分的性質(zhì)：1、第K個(gè)主成分yk的系數(shù)向量是第K個(gè)特征根λk所對(duì)應(yīng)的標(biāo)準(zhǔn)化特征向量。2、第K個(gè)主成分的方差為第K個(gè)特征根λk，且任意兩個(gè)主成分都是不相關(guān)的，也就是y1,y2,…,yp的樣本協(xié)方差矩陣是對(duì)角矩陣3、樣本主成分的總方差等于原變量樣本的總方差，為p4、第K個(gè)樣本主成分與第j個(gè)變量樣本之間的相關(guān)系數(shù)為：（因子載荷量）樣本主成分的性質(zhì)：主成分個(gè)數(shù)的確定以及主成分分析的實(shí)現(xiàn)一、主成分個(gè)數(shù)的選取

1.累積貢獻(xiàn)率達(dá)到85%以上2.根據(jù)特征根的變化來(lái)確定數(shù)據(jù)標(biāo)準(zhǔn)化情況下：

3.作碎石圖描述特征值的貢獻(xiàn)主成分個(gè)數(shù)的確定以及主成分分析的實(shí)現(xiàn)一、主成分個(gè)數(shù)的選取三、主成分分析的步驟1、根據(jù)研究問(wèn)題選取初始分析變量；2、根據(jù)初始變量特性判斷用協(xié)方差矩陣求主成分還是用相關(guān)矩陣求主成分；（量綱不一致則將原始數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理用相關(guān)矩陣求主成分）3、求協(xié)方差矩陣或相關(guān)矩陣的特征根與相應(yīng)的特征向量；4、判斷是否存在明顯的多重共線性，若存在，返回至第1步；5、得到主成分表達(dá)式并確定主成分個(gè)數(shù)，依據(jù)方差貢獻(xiàn)率選取主成分；6、對(duì)主成分作出合理解釋?zhuān)⒔Y(jié)合其他研究法對(duì)研究問(wèn)題進(jìn)行深入分析。三、主成分分析的步驟三、SPSS操作：

1、analyze-descriptionstatistic-description-savestandardizedasvariables（若需要數(shù)據(jù)標(biāo)準(zhǔn)化，則進(jìn)行該操作）2、analyze-datareduction-factor3、指定參與分析的變量4、運(yùn)行factor

過(guò)程三、SPSS操作：應(yīng)用統(tǒng)計(jì)學(xué)主成分分析課件應(yīng)用統(tǒng)計(jì)學(xué)主成分分析課件應(yīng)用統(tǒng)計(jì)學(xué)主成分分析課件應(yīng)用統(tǒng)計(jì)學(xué)主成分分析課件應(yīng)用統(tǒng)計(jì)學(xué)主成分分析課件應(yīng)用統(tǒng)計(jì)學(xué)主成分分析課件應(yīng)用統(tǒng)計(jì)學(xué)主成分分析課件應(yīng)用統(tǒng)計(jì)學(xué)主成分分析課件

主成分分析

主成分分析：將原來(lái)較多的指標(biāo)簡(jiǎn)化為少數(shù)幾個(gè)新的綜合指標(biāo)的多元統(tǒng)計(jì)方法。主成分：由原始指標(biāo)綜合形成的幾個(gè)新指標(biāo)。依據(jù)主成分所含信息量的大小成為第一主成分，第二主成分等等。主成分分析：將原來(lái)較多的指標(biāo)簡(jiǎn)化為少數(shù)幾個(gè)新的綜合指標(biāo)的多元主成分與原始變量間的關(guān)系：1、主成分保留了原始變量絕大多數(shù)信息。2、主成分的個(gè)數(shù)大大少于原始變量的數(shù)目。3、各個(gè)主成分之間互不相關(guān)。4、每個(gè)主成分都是原始變量的線性組合。

主成分與原始變量間的關(guān)系：主成分分析的運(yùn)用：1、對(duì)一組內(nèi)部相關(guān)的變量作簡(jiǎn)化的描述2、用來(lái)削減回歸分析或群集分析(Cluster)中變量的數(shù)目3、用來(lái)檢查異常點(diǎn)

4、用來(lái)作多重共線性鑒定5、用來(lái)做原來(lái)數(shù)據(jù)的常態(tài)檢定

主成分分析的運(yùn)用：二、數(shù)學(xué)模型與幾何解釋?zhuān)瓟?shù)學(xué)模型假設(shè)我們所討論的實(shí)際問(wèn)題中，有p個(gè)指標(biāo)，我們把這p個(gè)指標(biāo)看作p個(gè)隨機(jī)變量，記為X1，X2，…，Xp，主成分分析就是要把這p個(gè)指標(biāo)的問(wèn)題，轉(zhuǎn)變?yōu)橛懻損個(gè)指標(biāo)的線性組合的問(wèn)題，而這些新的指標(biāo)F1，F(xiàn)2，…，F(xiàn)k(k≤p），按照保留主要信息量的原則充分反映原指標(biāo)的信息，并且相互獨(dú)立。二、數(shù)學(xué)模型與幾何解釋?zhuān)瓟?shù)學(xué)模型假設(shè)我們所討論的實(shí)際問(wèn)題中，這種由討論多個(gè)指標(biāo)降為少數(shù)幾個(gè)綜合指標(biāo)的過(guò)程在數(shù)學(xué)上就叫做降維。主成分分析通常的做法是，尋求原指標(biāo)的線性組合Fi。這種由討論多個(gè)指標(biāo)降為少數(shù)幾個(gè)綜合指標(biāo)的過(guò)程在數(shù)學(xué)上就叫做降滿足如下的條件：

1、每個(gè)主成分的系數(shù)平方和為1。即

2、主成分之間相互獨(dú)立，即無(wú)重疊的信息。即

3、主成分的方差依次遞減，重要性依次遞減，即F1、F2….Fp分別稱(chēng)為原變量的第一、第二….第p個(gè)主成分。滿足如下的條件：數(shù)學(xué)模型與幾何解釋?zhuān)瓗缀谓忉尀榱朔奖?，我們?cè)诙S空間中討論主成分的幾何意義：設(shè)有n個(gè)樣品，每個(gè)樣品有兩個(gè)觀測(cè)變量xl和x2，在由變量xl和x2

所確定的二維平面中，n個(gè)樣本點(diǎn)所散布的情況如橢圓狀。由圖可以看出這n個(gè)樣本點(diǎn)無(wú)論是沿著xl

軸方向或x2軸方向都具有較大的離散性，其離散的程度可以分別用觀測(cè)變量xl

的方差和x2

的方差定量地表示。顯然，如果只考慮xl和x2

中的任何一個(gè)，那么包含在原始數(shù)據(jù)中的經(jīng)濟(jì)信息將會(huì)有較大的損失。數(shù)學(xué)模型與幾何解釋?zhuān)瓗缀谓忉尀榱朔奖?，我們?cè)诙S空間中討論主如果我們將xl軸和x2軸先平移，再同時(shí)按逆時(shí)針?lè)较蛐D(zhuǎn)角度，得到新坐標(biāo)軸Fl和F2。Fl和F2是兩個(gè)新變量。如果我們將xl軸和x2軸先平移，再同時(shí)按逆時(shí)針?lè)较蛐D(zhuǎn)角平移、旋轉(zhuǎn)坐標(biāo)軸?????????????????????????????????????平移、旋轉(zhuǎn)坐標(biāo)軸????????????????????????????????????????????????????????????平移、旋轉(zhuǎn)坐標(biāo)軸??????????????????????????????????????????????????????????????????平移、旋轉(zhuǎn)坐標(biāo)軸???????????????????????????????根據(jù)旋轉(zhuǎn)變換的公式：根據(jù)旋轉(zhuǎn)變換的公式：旋轉(zhuǎn)變換的目的：為了使得n個(gè)樣品點(diǎn)在Fl軸方向上的離散程度最大，即Fl的方差最大。(變量Fl代表了原始數(shù)據(jù)的絕大部分信息，在研究某經(jīng)濟(jì)問(wèn)題時(shí)，即使不考慮變量F2也無(wú)損大局)。經(jīng)過(guò)上述旋轉(zhuǎn)變換原始數(shù)據(jù)的大部分信息集中到Fl軸上，對(duì)數(shù)據(jù)中包含的信息起到了濃縮作用。旋轉(zhuǎn)變換的目的：為了使得n個(gè)樣品點(diǎn)在Fl軸方向上的離散程度最Fl，F(xiàn)2除了可以對(duì)包含在Xl，X2中的信息起著濃縮作用之外，還具有不相關(guān)的性質(zhì)，這就使得在研究復(fù)雜的問(wèn)題時(shí)避免了信息重疊所帶來(lái)的虛假性。二維平面上的個(gè)點(diǎn)的方差大部分都?xì)w結(jié)在Fl軸上，而F2軸上的方差很小。Fl和F2稱(chēng)為原始變量x1和x2的綜合變量。F簡(jiǎn)化了系統(tǒng)結(jié)構(gòu)，抓住了主要矛盾。Fl，F(xiàn)2除了可以對(duì)包含在Xl，X2中的信息起著濃縮作用之外由此可概括出主成分分析的幾何意義：

主成分分析的過(guò)程也就是坐標(biāo)旋轉(zhuǎn)的過(guò)程，各主成分表達(dá)式就是新坐標(biāo)系與原坐標(biāo)系的轉(zhuǎn)換關(guān)系，新坐標(biāo)系中各坐標(biāo)軸的方向就是原始數(shù)據(jù)方差最大的方向。由此可概括出主成分分析的幾何意義：了解了主成分分析的基本思想、數(shù)學(xué)和幾何意義后，問(wèn)題的關(guān)鍵：

1、如何進(jìn)行主成分分析？（主成分分析的方法）基于相關(guān)系數(shù)矩陣還是基于協(xié)方差矩陣做主成分分析。當(dāng)分析中所選擇的經(jīng)濟(jì)變量具有不同的量綱，變量水平差異很大，應(yīng)該選擇基于相關(guān)系數(shù)矩陣的主成分分析。

2、如何確定主成分個(gè)數(shù)？主成分分析的目的是簡(jiǎn)化變量，一般情況下主成分的個(gè)數(shù)應(yīng)該小于原始變量的個(gè)數(shù)。關(guān)于保留幾個(gè)主成分，應(yīng)該權(quán)衡主成分個(gè)數(shù)和保留的信息。

3、如何解釋主成分所包含的經(jīng)濟(jì)意義？了解了主成分分析的基本思想、數(shù)學(xué)和幾何意義后，問(wèn)題的關(guān)鍵：3總體主成分的求解及其性質(zhì)矩陣知識(shí)回顧：（1）特征根與特征向量A、若對(duì)任意的k階方陣C，有數(shù)字與向量滿足：，則稱(chēng)為C的特征根，為C的相應(yīng)于的特征向量。B、同時(shí)，方陣C的特征根是k階方程的根。（2）任一k階方陣C的特征根的性質(zhì)：3總體主成分的求解及其性質(zhì)矩陣知識(shí)回顧：（3）任一k階的實(shí)對(duì)稱(chēng)矩陣C的性質(zhì)：A、實(shí)對(duì)稱(chēng)矩陣C的非零特征根的數(shù)目＝C的秩B、k階的實(shí)對(duì)稱(chēng)矩陣存在k個(gè)實(shí)特征根C、實(shí)對(duì)稱(chēng)矩陣的不同特征根的特征向量是正交的D、若是實(shí)對(duì)稱(chēng)矩陣C的單位特征向量，則若矩陣，是由特征向量所構(gòu)成的，則有：（3）任一k階的實(shí)對(duì)稱(chēng)矩陣C的性質(zhì)：主成分分析的目標(biāo)：1、從相關(guān)的X1，

X2，…Xk,求出相互獨(dú)立的新綜合變量（主成分）Y1,Y2…Yk。2、Y＝（Y1,Y2…Yk）’

所反映信息的含量無(wú)遺漏或損失的指標(biāo)—方差，等于X＝（X1,X2…Xk）’的方差

。X與Y之間的計(jì)算關(guān)系是：如何求解主成分？主成分分析的目標(biāo)：一、從協(xié)方差矩陣出發(fā)求解主成分（一）第一主成分：

設(shè)X的協(xié)方差陣為由于Σx為非負(fù)定的對(duì)稱(chēng)陣，則有利用線性代數(shù)的知識(shí)可得，必存在正交陣U，使得

一、從協(xié)方差矩陣出發(fā)求解主成分其中1，2，…，p為Σx的特征根，不妨假設(shè)12

…p。而U恰好是由特征根相對(duì)應(yīng)的特征向量所組成的正交陣。下面我們來(lái)看，是否由U的第一列元素所構(gòu)成為原始變量的線性組合是否有最大的方差。其中1，2，…，p為Σx的特征根，不妨假設(shè)1（二）第二主成分在約束條件下，尋找第二主成分因?yàn)樗詣t，對(duì)p維向量，有（二）第二主成分所以如果取線性變換：則的方差次大。類(lèi)推所以如果取線性變換：寫(xiě)為矩陣形式：寫(xiě)為矩陣形式：例１：設(shè)的協(xié)方差矩陣為：從協(xié)方差矩陣出發(fā)，求解主成分．（１）求協(xié)方差矩陣的特征根依據(jù)求解．例１：設(shè)的協(xié)方差矩陣為：（２）求特征根對(duì)應(yīng)的特征向量（２）求特征根對(duì)應(yīng)的特征向量（３）主成分：（４）各主成分的貢獻(xiàn)率及累計(jì)貢獻(xiàn)率：第一主成分貢獻(xiàn)率：第二主成分貢獻(xiàn)率：第三主成分貢獻(xiàn)率：（３）主成分：第一和第二主成分的累計(jì)貢獻(xiàn)率：由此可將以前三元的問(wèn)題降維為兩維問(wèn)題．第一和第二主成分包含了以前變量的絕大部分信息９７.８７５％．第一和第二主成分的累計(jì)貢獻(xiàn)率：從協(xié)方差矩陣出發(fā)求解主成分的步驟：1、求解各觀測(cè)變量的協(xié)方差矩陣。2、由協(xié)方差陣求出其特征根。3、各特征根對(duì)應(yīng)的特征向量。4、計(jì)算累積貢獻(xiàn)率，給出恰當(dāng)?shù)闹鞒煞謧€(gè)數(shù)。5、計(jì)算所選出的k個(gè)主成分的得分。

從協(xié)方差矩陣出發(fā)求解主成分的步驟：二、由相關(guān)矩陣求解主成分

當(dāng)分析中所選擇的經(jīng)濟(jì)變量具有不同的量綱，變量水平差異很大，應(yīng)該選擇基于相關(guān)系數(shù)矩陣的主成分分析。

量綱對(duì)于主成分分析的影響及消除方法——對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，以使每一個(gè)變量的均值為0，方差為1。

二、由相關(guān)矩陣求解主成分?jǐn)?shù)據(jù)標(biāo)準(zhǔn)化后,總體的協(xié)方差矩陣與總體的相關(guān)系數(shù)相等.主成分與原始變量的關(guān)系式為：數(shù)據(jù)標(biāo)準(zhǔn)化后,總體的協(xié)方差矩陣與總體的相關(guān)系數(shù)相等.主成分與例：企業(yè)經(jīng)濟(jì)效益綜合分析。用5個(gè)經(jīng)濟(jì)指標(biāo)進(jìn)行考核。用相關(guān)系數(shù)矩陣法求解主成分。其中計(jì)算出的相關(guān)系數(shù)矩陣為：例：企業(yè)經(jīng)濟(jì)效益綜合分析。用5個(gè)經(jīng)濟(jì)指標(biāo)進(jìn)行考核。用相關(guān)系數(shù)（1）計(jì)算其特征值：（2)各特征值的累計(jì)方差貢獻(xiàn)率為：（3）從以上方差貢獻(xiàn)率看，k=2時(shí)主成分個(gè)數(shù)較為合適。對(duì)應(yīng)的特征向量為：（1）計(jì)算其特征值：（4）建立第一和第二主成分：（4）建立第一和第二主成分：從相關(guān)系數(shù)矩陣出發(fā)求解主成分的步驟：1、標(biāo)準(zhǔn)化各觀測(cè)變量數(shù)據(jù)。2、求解標(biāo)準(zhǔn)化各觀測(cè)變量的相關(guān)系數(shù)矩陣。3、求解相關(guān)系數(shù)矩陣的特征根。4、求解各特征根對(duì)應(yīng)的特征向量。從相關(guān)系數(shù)矩陣出發(fā)求解主成分的步驟：三、主成分性質(zhì)1，主成分的協(xié)方差陣為對(duì)角陣2、P個(gè)隨機(jī)變量的總方差為協(xié)方差矩陣的所有特征根之和

說(shuō)明主成分分析把P個(gè)隨機(jī)變量的總方差分解成為P個(gè)不相關(guān)的隨機(jī)變量的方差之和。當(dāng)進(jìn)行相關(guān)系數(shù)矩陣求解主成分，各變量標(biāo)準(zhǔn)化后，則p個(gè)主成分總的方差之和等于p。

三、主成分性質(zhì)

3、貢獻(xiàn)率：

第i個(gè)主成分的方差在全部方差中所占比重，稱(chēng)為貢獻(xiàn)率，反映了原來(lái)P個(gè)指標(biāo)多大的信息，有多大的綜合能力。

4、累積貢獻(xiàn)率：

前k個(gè)主成分共有多大的綜合能力，用這k個(gè)主成分的方差和在全部方差中所占比重來(lái)描述，稱(chēng)為累積貢獻(xiàn)率。3、貢獻(xiàn)率：

5.原始變量與主成分之間的相關(guān)系數(shù)（因子負(fù)荷量）

和的相關(guān)密切程度與對(duì)應(yīng)線性組合系數(shù)向量成正比，與主成分標(biāo)準(zhǔn)差成正比，與原始變量的標(biāo)準(zhǔn)差成反比。當(dāng)原始變量標(biāo)準(zhǔn)化后，標(biāo)準(zhǔn)化