第六章 主成分分析

PrincipalComponentsAnalysis主成分分析

在實際問題中，研究多指標（變量）問題是經(jīng)常遇到的，然而在多數(shù)情況下，不同指標之間是有一定相關(guān)性。由于指標較多再加上指標之間有一定的相關(guān)性，勢必增加了分析問題的復(fù)雜性。主成分分析就是設(shè)法將原來的指標重新組合成一族新的互相無關(guān)的、較少的綜合指標，盡可能多地反映原來指標的信息。這種將多個指標轉(zhuǎn)化為少數(shù)相互無關(guān)的綜合指標的統(tǒng)計方法叫主成分分析。1、主成分分析的基本思想多元問題的復(fù)雜性：指標(變量)多,指標間存在相關(guān)性。問題∶能否構(gòu)造出一些綜合指標使?jié)M足如下條件∶①指標個數(shù)盡可能少，②指標間相互獨立，③盡可能多地包含原指標所含的關(guān)于總體的信息。例如∶做一件上衣要測量的指標有∶身長、袖長、胸圍、腰圍、肩寬、肩厚等等十幾項指標。某服裝廠生產(chǎn)一批新型服裝，需將十幾項指標綜合為3項指標(分別反應(yīng)長度、胖瘦、特體)，用作分類的型號。

因此，主分量(主成分)分析是將原來眾多具有相關(guān)性的指標化為少數(shù)幾個相互獨立的綜合指標的一種統(tǒng)計方法。2、主成分數(shù)學(xué)模型及幾何解釋（1）這p個指標之間有較強的相關(guān)性（只有相關(guān)性較強才有必要從原始變量中提取出“公共主成分”）。（2）為了消除由于觀測量綱的差異及數(shù)量級的影響，將樣本進行標準化，使標準化后的變量均值為0，方差為1。2.1主成分模型設(shè)有n個樣品，每個樣品觀測p個指標：其中要求對這p個向量做線性組合設(shè)p維隨機變量的數(shù)學(xué)期望為0，的主分量指的是綜合變量它滿足如下條件∶①,其中是正交矩陣。即∶②在形如(1)的線性變換中，具有最大的方差；與相互獨立，且在與相互獨立的線性變換中具有最大的方差；如此類推。分別叫做x的第1、第2、…、(1)第主分量。3主成分推導(dǎo)及性質(zhì)問題∶的主分量是否存在?使①②成立的正交矩陣是否存在?問題解決思路∶假設(shè)主分量存在，看一下U應(yīng)滿足什么的條件，能否按照這個條件把U求出來。

設(shè)是的主分量，它們的方差分別為。由于

相互獨立，所以∶又因所以∶即

則有即是對應(yīng)的單位特征向量。是的特征值，由于

定理:設(shè)p維隨機變量的數(shù)學(xué)期望為0，且協(xié)方差陣為,它的特征值為為相應(yīng)的單位特征向量,則x第i主成分為

是樣本點在其第i個主成份方向上的方差（分散程度），如果的值很小，說明樣本間在坐標的方向上分散程度很小，這個主成份在分析樣本數(shù)據(jù)時所起作用不大，可以忽略不計。那么小到什么程度才認為無足輕重，可以忽略呢？為此引入方差貢獻率。稱比值為第k個主成分的方差貢獻率。主成份分析的方差貢獻率要說明主成份的方差貢獻率—

先要說明特征值的意義為前m個主成分的累計方差貢獻率。由于，所以p個主成分的方差貢獻率是依次遞減的，這樣對應(yīng)的第一主成分F1起的作用最大，其次是第二主成分F2…。通常按累計方差貢獻率要達到85%。主成分主要性質(zhì)1、F的協(xié)差陣為對角陣2、原變量方差之和與各主成分方差之和相等3、R

分析從原始數(shù)據(jù)陣X出發(fā)求主分量的缺點∶結(jié)果與測量單位有關(guān)。R分析∶從標準化數(shù)據(jù)陣出發(fā)求主分量。用代替求正交矩陣。第個主分量的貢獻率∶因子負荷量的樣本估計值∶§2.2主分量分析的計算步驟與應(yīng)用1.計算步驟(R分析)①列出觀測資料矩陣X，②計算樣本相關(guān)矩陣R，③計算R的特征值和特征向量--求正交變換，④計算貢獻率及累計貢獻率，確定主分量個數(shù)，建立主分量方程，⑤解釋各主分量的意義，⑥計算各樣本的主分量坐標y，⑦計算負荷量表。特征向量及特征根表

葉長 0.1485-0.95440.2515-0.06142/3處寬 -0.57350.09840.77340.25141/3處寬 -0.5577-0.2695-0.55850.55171/2處寬 -0.5814-0.0824-0.1629-0.7929

特征根 2.92001.02370.04890.0074

貢獻率72.999625.59191.22300.1856

累積貢獻率72.999698.591599.8145100.00第一主分量“葉寬”綜合因子第二主分量“葉長”綜合因子第三主分量“逐漸變尖”綜合因子(符號相反、對比度)第四主分量“尖翹程度”綜合因子(兩端與中間對比)應(yīng)用實例：服裝的定型分類問題：為了較好地滿足市場的需要，服裝生產(chǎn)廠要了解所生產(chǎn)的一種服裝究竟設(shè)計幾種型號合適，這些型號的服裝應(yīng)按這樣比例分配生產(chǎn)計劃才能達到較好的經(jīng)濟效益?，F(xiàn)對128個成年男子按16項指標進行測量,16項指標是:1、身長2、坐高3、胸圍4、頭高

5、褲長6、下襠7、手長8、領(lǐng)圍

9、前胸10、后背11、肩厚12、肩寬

13、袖長14、肋圍15、腰圍16、腿肚

原始數(shù)據(jù)矩陣應(yīng)是128×16階的矩陣

如第一列向量，即是128人按身長量出的尺寸。第二行向量，是第二個男子按上述16項指標量出的尺寸。1、樣本相關(guān)系數(shù)矩陣首先計算各指標的均值與樣本標準差指標12345678910111213141516樣本均值164.59085.7138.19675.519.435.83634.812.220.715.173.286.350.1樣本標準差