第十四講 多元相關

第十四講多元相關一、主成分分析二、因子分析三、典型相關分析方法。所研究的問題是：設有某個維總體一、主成分分析主成分分析是一種將多個指標化為少數(shù)幾個指標以便揭示問題背后隱藏深層次原因的統(tǒng)計每個樣品都測得個指標，而這個指標往往互有影響。能否將這個指標綜合成很少幾個綜合性指標(或特征)，要求這幾個綜合既能盡可能充分反映原來個指標的信息，且彼此間互不相關。（一）從個指標求主元的方法設為維隨機向量，那么如何將這個指標綜合成很少的幾個指標且要盡可能反映原來指標的作用，又彼此不相關呢？一個自然的方法是尋找指標線性組合(線性變換)。我們先來考慮第一個總合指標，令其中是待定的常向量。現(xiàn)在的任務是選取適當?shù)氖沟米畲笙薅鹊胤从吃瓉碇笜说淖饔?，這就相當于要求要有盡可能大的方差，即選取使得盡可能地大。說明是的無界函數(shù)。然而不能通過加大向量的長度使的方差變因為對任意的常數(shù)，有因此如果對不加大，即只要變長倍，相應的方差就擴大倍，也限制，問題就會變得毫無意義。一個自然的限制是令即要求是單位向量。從而問題變?yōu)椋涸诘臈l件下，求使達到最大的。定理19.1設總體的均值和協(xié)方差陣分別為是總體的個指標，令其中，則使得的方差和達到最大的正好是矩陣的最大特征根所對應的特征向量。證明用Lagrange乘數(shù)法來證明。令則有令可得這樣就有由于根據(jù)克萊姆法則知，上述齊次線性方程有非零解的充要條件是系數(shù)行列式為零，即這說明是矩陣的特征根，且由可知是對應于特征根的特征向量。又由可知欲使的方差最大，只要取為的最大特征根即可，這樣就是對應的單位特征向量。由定理19.1可知，第一個綜合指標為其中是的對應于矩陣最大特征值的單位特征向量，稱為第一主成分(或第一主元)。若協(xié)方差矩陣即是非負定的，由矩陣論知它有個非負的特征根，不妨設為且是對應的個特征向量。自然應為的第二大特征根所對應的單位特征向量，并稱為第二主成分。類似地，第二個綜合指標可以取為重復以上過程，可得的第個綜合指標稱為的第個主成分?？傊?，我們可得到個主成分且其中是協(xié)方差陣的非零特征根并有而是對應的單位特征向量。若用矩陣可表示如下其中且即矩陣是行正交矩陣。因此，所謂的主成分分析也可以看作是對原來的個指標進行了一次正交變換而得到個互不相關的綜合指標，即主成分這樣關于尋找總體的綜合指標——主成分的問題就轉(zhuǎn)化為求的協(xié)方差矩陣的特征值和標準正交特征向量的問題，歸納為如下幾個步驟：1.求的協(xié)方差陣的特征值，記為2.求對應的單位特征向量且要求正交。3.獲得第個主成分注：若，則可得到的個主成分；當

有重特征值時，主成分不唯一。實際應用時到底應取多少個主成分作為分析問題的綜合指標的問題留在后面討論。在實際應用時，經(jīng)常會遇到個指標的量綱不盡相同或取值彼此差異很大的問題，處理的一般方法是先將各指標進行標準化，即其中的協(xié)方差陣為但應注意這時即為相關矩陣其中因此求的主成分就是求的特征值和相應的單位特征向量，然后可得的分量的線性組合，即為所求的主成分。協(xié)方差陣和相關矩陣往往是未知的。這時在實際問題中，所研究的總體的均值需對總體進行抽樣，設樣本為取和的估計分別為——樣本均值（二）樣本主成分——樣本相關矩陣設的特征值為對應的單位特征向量為則稱為的第個樣本主成分。——樣本協(xié)方差陣同樣地，若記的特征值為對應的單位特征向量為則稱為標準化變量的第個樣本主成分，其中對于樣本可以得到相應的主成分的樣本為了區(qū)別起見，將這小節(jié)的主成分統(tǒng)稱為樣本主成分；而上一小節(jié)的主成分統(tǒng)稱為總體主成分。（二）貢獻率和主成分的解釋構(gòu)造綜合指標的目的是想用盡可能少的主成分來代替原有的個指標，且能對原始資料所具有的意義做出合理的解釋。那么到底應該選擇多少主成分才合理呢？下面就來討論總體主成分個數(shù)的選取問題，對樣本主成分也有類似的分析。設維總體的協(xié)方差陣為的第個主成分為由于這些主成分時互不相關的，因此有這說明的“總方差”(即個分量的方差之和)等于個互不相關的隨機變量的方差之和，其中具有最大的方差，次之且有方差具有最小方差這樣主成分依次集中了各分量的變化的主要部分，第一主成分的方差最大，即是以變化最大的方向向量為系數(shù)所得到的線性函數(shù)作為比值表明了方差在“全部方差”中所占的比重，顯然這個比值越大，表明這個變量“綜合”原始資料的能力越強。通常稱這個比值為第一主成分的貢獻率。類似地稱為第個主成分的貢獻率。而稱為前個主成分的累計貢獻率。這就是說，貢獻率約達，則對應的主成分反映的能力就越強，反之則弱。因此，在實用常常略去那些貢獻率小的主成分。經(jīng)驗指出：一般只要前個主成分的累計貢獻率超過85%就足夠了。這樣就可以用前個不相關的主成分的變化來刻畫的個相關分量的變化，即就是說可以用低維指標來反映高維指標的變化特性。例子參見P340.例某還海灣地區(qū)生物和地理環(huán)境之間的關系分析，在某海灣地區(qū)設置了274塊地，調(diào)查了8個環(huán)境變量和7個物種。環(huán)境變量的選擇是根據(jù)預備調(diào)查資料分析而確定的，變量名稱和物種名稱如表所示。由于量綱不同，現(xiàn)將它們進行標準化。環(huán)境因子(%)平均標準差物種平均(個/m2)標準差>250μm顆粒1.214.479Macoma

balthica23255996125-250顆粒20.3123.27Tellina

tenuis49.254462.5-125顆粒53.6721.36Hydrobia

ulvae374.21014<62.5顆粒24.7420.77Corophium

volutator540.51180燃燒損失1.5040.555Nereis

diversico