主成分分析方法講稿

1、關(guān)于主成分分析方法第1頁，共60頁，2022年，5月20日，17點25分，星期四問題的提出地理系統(tǒng)是多要素的復雜系統(tǒng)。變量太多，會增加分析問題的難度與復雜性，而且多個變量之間是具有一定的相關(guān)關(guān)系的能否在相關(guān)分析的基礎(chǔ)上，用較少的新變量代替原來較多的舊變量，而且使這些較少的新變量盡可能多地保留原來變量所反映的信息？ 主成分分析方法就是綜合處理這種問題的一種強有力的工具。主成分分析是把原來多個變量劃為少數(shù)幾個綜合指標的一種統(tǒng)計分析方法。從數(shù)學角度來看，這是一種降維處理技術(shù)第2頁，共60頁，2022年，5月20日，17點25分，星期四1 主成分分析方法的基本原理 假定有n個地理樣本，每個樣本共有p個

2、變量，構(gòu)成一個np階的地理數(shù)據(jù)矩陣第3頁，共60頁，2022年，5月20日，17點25分，星期四 當p較大時，在p維空間中考察問題比較麻煩。為了克服這一困難，就需要進行降維處理. 要求：較少的幾個綜合指標盡量多地反映原來較多變量指標所反映的信息，同時它們之間又是彼此獨立的第4頁，共60頁，2022年，5月20日，17點25分，星期四例，成績數(shù)據(jù)100個學生的數(shù)學、物理、化學、語文、歷史、英語的成績?nèi)缦卤恚ú糠郑?第5頁，共60頁，2022年，5月20日，17點25分，星期四對于多維變量的情況和二維類似，也有高維的橢球，只不過無法直觀地看見首先把高維橢球的主軸找出來，再用代表大多數(shù)數(shù)據(jù)信息的最

3、長的幾個軸作為新變量；這樣，主成分分析就基本完成注意，和二維情況類似，高維橢球的主軸也是互相垂直的。這些互相正交的新變量是原先變量的線性組合，叫做主成分.第6頁，共60頁，2022年，5月20日，17點25分，星期四正如二維橢圓有兩個主軸，三維橢球有三個主軸一樣，有幾個變量，就有幾個主成分選擇越少的主成分，降維就越好。什么是標準呢？那就是這些被選的主成分所代表的主軸的長度之和占了主軸長度總和的大部分。有些文獻建議，所選的主軸總長度占所有主軸長度之和的大約85%即可，其實，這只是一個大體的說法；具體選幾個，要看實際情況而定第7頁，共60頁，2022年，5月20日，17點25分，星期四定義：記x1

4、，x2，xP為原變量指標，z1，z2，zm（mp）為新變量指標第8頁，共60頁，2022年，5月20日，17點25分，星期四系數(shù)lij的確定原則： zi與zj（ij；i，j=1，2，m）相互無關(guān)z1是x1，x2，xP的一切線性組合中方差最大者，z2是與z1不相關(guān)的x1，x2，xP的所有線性組合中方差最大者； zm是與z1，z2，zm1都不相關(guān)的x1，x2，xP， 的所有線性組合中方差最大者。則新變量指標z1，z2，zm分別稱為原變量指標x1，x2，xP的第一，第二，第m主成分 第9頁，共60頁，2022年，5月20日，17點25分，星期四 從以上的分析可以看出，主成分分析的實質(zhì)就是確定原來變量

5、xj（j=1，2 ， p）在諸主成分zi（i=1，2，m）上的荷載 lij（ i=1，2，m； j=1，2 ，p）從幾何上看,找主成分的問題,就是找出P維空間中橢球體的主軸問題；從數(shù)學上容易知道，從數(shù)學上可以證明，它們分別是相關(guān)矩陣的m個較大的特征值所對應(yīng)的特征向量第10頁，共60頁，2022年，5月20日，17點25分，星期四特征值與特征向量與方差-協(xié)方差矩陣的聯(lián)系例如6個樣方、2個種的多度數(shù)據(jù)是：樣方123456物種X1564603物種X21187622第11頁，共60頁，2022年，5月20日，17點25分，星期四數(shù)據(jù)的中心化樣方123456總和物種X11202-4-10物種X25210

6、-4-40第12頁，共60頁，2022年，5月20日，17點25分，星期四第13頁，共60頁，2022年，5月20日，17點25分，星期四中心化后的原始數(shù)據(jù)矩陣第14頁，共60頁，2022年，5月20日，17點25分，星期四把坐標軸X1、X2剛性地旋轉(zhuǎn)一個角度，得到圖中新坐標軸Y1和Y2Y1Y2第15頁，共60頁，2022年，5月20日，17點25分，星期四6個樣方點在新坐標系中位置的數(shù)據(jù)為：與中心化后的原始數(shù)據(jù)有如下關(guān)系： 第16頁，共60頁，2022年，5月20日，17點25分，星期四每個平方和都是6個點在相應(yīng)坐標軸上方差的（6-1）倍 每一項都相當于數(shù)據(jù)的離差平方和，因為x1j,x2j與

7、y1j,y2j的平均值都為0?第17頁，共60頁，2022年，5月20日，17點25分，星期四由它的取值只依賴于坐標軸旋轉(zhuǎn)角度一個變量，取極大值的必要條件是對的導數(shù)為0。即 =0 =0第18頁，共60頁，2022年，5月20日，17點25分，星期四所以上述條件等同于因此，如果原坐標旋轉(zhuǎn)后的Y1軸是我們要求的使Var(Y1)最大的直線的話，則必然有Var(Y2)最小，且 。這說明6個樣方點對新坐標的離差矩陣應(yīng)為 是對角矩陣，并且第19頁，共60頁，2022年，5月20日，17點25分，星期四 和 是對稱離差矩陣S的兩個特征根（ ），而U的每一行是相應(yīng)的特征向量 第20頁，共60頁，2022年，5

8、月20日，17點25分，星期四一、主成分的基本理論第21頁，共60頁，2022年，5月20日，17點25分，星期四第22頁，共60頁，2022年，5月20日，17點25分，星期四二、主成分分析的幾何解釋進行主成分分析的目的，就是找出轉(zhuǎn)換矩陣U第23頁，共60頁，2022年，5月20日，17點25分，星期四2 主成分分析的解法一、用方差協(xié)方差矩陣求解主成分例例:設(shè)有一組古生物腕足動物貝殼標本的兩個變量:長度和寬度.所測量的數(shù)據(jù)列于表8-1.第24頁，共60頁，2022年，5月20日，17點25分，星期四X1X2X1X2321210410121165136681314610131572131771

9、3147891513951713981717914181910720201112第25頁，共60頁，2022年，5月20日，17點25分，星期四1、方差協(xié)方差的計算第26頁，共60頁，2022年，5月20日，17點25分，星期四主成分分析的實質(zhì)； 就是要求出方差協(xié)方差矩陣的特征向量及其對應(yīng)的特征值，即要找出方差協(xié)方差矩陣所確定的橢球的主軸，交確定其長度第27頁，共60頁，2022年，5月20日，17點25分，星期四方差協(xié)方差矩陣為 求特征值第28頁，共60頁，2022年，5月20日，17點25分，星期四特征向量的求解當 時, 化為聯(lián)立方程求得 同理求得 時的特征向量第29頁，共60頁，2022

10、年，5月20日，17點25分，星期四算出第一主成分I：特征值為37.9，特征向量為第二主成分II：特征值為6.5，特征向量為第30頁，共60頁，2022年，5月20日，17點25分，星期四特征向量的方向由I、II中包括的兩個數(shù)字控制第一主成分Z1的方差為37.9，第二主成分Z2的方差為6.5。兩者之和恰為X1和X2的總方差44.4?？梢姡瑑蓚€主成分Z1、Z2所代表的信息分別為86%和14%。如果用Z1代表原來的數(shù)據(jù),則僅損失信息14%。但若用X1和X2來代表原來的數(shù)據(jù)，則將損失信息46%或54%。第31頁，共60頁，2022年，5月20日，17點25分，星期四3、主成分得分的計算根據(jù)（8-3）

11、式，得到主成分的表達式為第32頁，共60頁，2022年，5月20日，17點25分，星期四原始數(shù)據(jù)的主成分得分Z1Z2Z1Z23.480.9315.422.410.14-3.616.171.747.711.213.085.799.96-0.7819.080.5111.46-2.119.83-0.156.123.9321.33-1.4714.37-3.3314.495.8812.030.0619.652.679.693.4520.974.1711.941.4723.971.5316.44-2.4926.130.9611.852.8828.21.816.260.33第33頁，共60頁，2022年，5

12、月20日，17點25分，星期四二、主成分分析的步驟對原始地理數(shù)據(jù)第34頁，共60頁，2022年，5月20日，17點25分，星期四進行標準化處理（標準差標準化），即其中第35頁，共60頁，2022年，5月20日，17點25分，星期四計算相關(guān)系數(shù)矩陣R第36頁，共60頁，2022年，5月20日，17點25分，星期四計算特征值和特征向量根據(jù)特征方程 計算特征值，即解的特征多項式，求 并使特征值按從大到小的順序排列，即列出關(guān)于每個特征值的特征向量 第37頁，共60頁，2022年，5月20日，17點25分，星期四計算主成分貢獻率及累計貢獻率 貢獻率:累計貢獻率: 一般取累計貢獻率達8595%的特征值所對

13、應(yīng)的第一、第二、第m（mp）個主成分第38頁，共60頁，2022年，5月20日，17點25分，星期四計算主成分載荷(主成分Zk與變量xi之間的相關(guān)系數(shù)) 第39頁，共60頁，2022年，5月20日，17點25分，星期四各主成分的得分： 第40頁，共60頁，2022年，5月20日，17點25分，星期四3 特征值與特征向量的計算方法雅可比法適合于對稱矩陣任一實對稱矩陣A，均存在一正交變換矩陣T，使那么 就是A的特征向量，T的列向量就是相應(yīng)的特征向量第41頁，共60頁，2022年，5月20日，17點25分，星期四二維情況如令 則將原始矩陣A化成了對角矩陣 。由于T是正交陣，A和對角線元素之和都等于a

14、11+a22第42頁，共60頁，2022年，5月20日，17點25分，星期四雅可比法的計算步驟1、選擇對稱矩陣中非對角線元素最大者，記為2、作正交變換第43頁，共60頁，2022年，5月20日，17點25分，星期四假設(shè)在原始矩陣的對角線以外元素中，以的絕對值為最大。設(shè)，作一個轉(zhuǎn)軸變換第44頁，共60頁，2022年，5月20日，17點25分，星期四第45頁，共60頁，2022年，5月20日，17點25分，星期四第46頁，共60頁，2022年，5月20日，17點25分，星期四第47頁，共60頁，2022年，5月20日，17點25分，星期四4 主成分分析方法應(yīng)用實例第48頁，共60頁，2022年，5

15、月20日，17點25分，星期四第49頁，共60頁，2022年，5月20日，17點25分，星期四第50頁，共60頁，2022年，5月20日，17點25分，星期四第51頁，共60頁，2022年，5月20日，17點25分，星期四例2,根據(jù)表1中給出的數(shù)據(jù)，對某農(nóng)業(yè)生態(tài)經(jīng)濟系統(tǒng)做主成分分析表1 某農(nóng)業(yè)生態(tài)經(jīng)濟系統(tǒng)各區(qū)域單元的有關(guān)數(shù)據(jù) 第52頁，共60頁，2022年，5月20日，17點25分，星期四第53頁，共60頁，2022年，5月20日，17點25分，星期四步驟如下：將表中的數(shù)據(jù)作標準差標準化處理，然后將它們代入公式計算相關(guān)系數(shù)矩陣表2相關(guān)系數(shù)矩陣 第54頁，共60頁，2022年，5月20日，17點

16、25分，星期四 （2）由相關(guān)系數(shù)矩陣計算特征值，以及各個主成分的貢獻率與累計貢獻率（見表3）。由表3可知，第一，第二，第三主成分的累計貢獻率已高達86.596%（大于85%），故只需要求出第一、第二、第三主成分z1，z2，z3即可。 第55頁，共60頁，2022年，5月20日，17點25分，星期四表3特征值及主成分貢獻率 第56頁，共60頁，2022年，5月20日，17點25分，星期四 （3）對于特征值=4.6610，=2.0890，=1.0430分別求出其特征向量e1，e2，e3，再用公式計算各變量x1，x2，x9在主成分z1，z2，z3上的載荷（表4）。 第57頁，共60頁，2022年，5月20日，17點25分，星期四表4 主成分載荷 第58頁，共60頁，2022年，5月20日，17點25分，星期四 第一主成分z1