相關(guān)分析94762教學(xué)材料

相關(guān)分析

（CorrelationAnalysis）目錄主成份分析典型相關(guān)分析預(yù)備知識(shí)若V是非負(fù)定矩陣，存在正交矩陣U（U'U=IP)，使：

其中

為V的特征根，且K為矩陣V的秩，若U=（u1,...up），ui是V相應(yīng)特征值對(duì)應(yīng)的特征向量，U正交，所以u(píng)1,....up長(zhǎng)度為1，且兩兩正交。利用拉格朗日乘子法，令：則有：分別令其為0，得：

有非零解的充要條件要使a'Va最大即要最大，取對(duì)應(yīng)的特征向量為u1.所以u(píng)1為問(wèn)題的解，從而得y1=u’1x

若y1還不能充分反應(yīng)X，則求第二個(gè)綜合指標(biāo)y2，令y2=a'x，還需滿(mǎn)足y2與y1不相關(guān)，即cov(y2,y1)=0,而cov(y2,y1)=cov(a'x,u1'x)=a'cov(x,x)u1=a'Vu1=a'u1

所以

a'u1=0Max:a'Vas.t.a'a=1a'u1=0

y2=u2'x.................步驟（1）求X的協(xié)方差陣V的特征值，記為（2）求

對(duì)應(yīng)的單位特征向量uj，j=1，....，k。（3）取yj=u'jx即為X的第j個(gè)主成份，j=1，...，k貢獻(xiàn)率：表示第K個(gè)主成份提取了X中總信信息的份額。累計(jì)貢獻(xiàn)率：表明前M個(gè)主成份提取了X中總信息的份額。計(jì)算公式：通常情況下累計(jì)貢獻(xiàn)率超過(guò)85%就可以不往下求取主成份了。例題：由貢獻(xiàn)率可知主成份為y1，y2y1：反映學(xué)生魁梧與否的綜合指標(biāo)。y2：學(xué)生體型的綜合指標(biāo)。變量的標(biāo)準(zhǔn)化在實(shí)際問(wèn)題中，不同的變量往往會(huì)有不同的單位，這樣會(huì)引起很大的誤差，導(dǎo)致不合理的結(jié)果，所以要把變量標(biāo)準(zhǔn)化。即，令

這時(shí)X*=(X1*,X2*,....Xp*)T的協(xié)方差矩陣便是X=(X1，X2，...Xp)T的相關(guān)矩陣?yán)肵的相關(guān)矩陣作主成份分析典型相關(guān)分析設(shè)X和Y分別為p維和q維的隨機(jī)變量，研究X和Y之間的相關(guān)關(guān)系，從相關(guān)矩陣出發(fā)，找出兩隨機(jī)向量的各個(gè)分量?jī)蓛芍g的相關(guān)程度。但當(dāng)維度過(guò)大，分析就比較繁瑣。找出X、Y各個(gè)分量的一個(gè)線(xiàn)性組合z1和w1，并使z1和w1有最大的相關(guān)性。稱(chēng)z1和w1為典型變量。設(shè)x和y分別是維度為p、q的隨機(jī)變量，(x,y)'的協(xié)方差矩陣為：

其中設(shè)u=(u1,.....up)'，v=(v1,.....vq)'。令z1=u'x；w1=v'y。選取u、v使得z1和w1的相關(guān)系數(shù)最大D(z1)=D(u'x)=u'V11u=1，D(w1)=D(v'y)=v'V22v=1cov(z1,w1)=cov(u'x,v'y)=u'cov(x,y)v=u'V12v問(wèn)題變成為求u,v，使

Max:u'V12vs.t.u'V11u=1v'V22v=1利用拉格朗日乘子法因?yàn)閂12=V21'所以同理

既是A的特征根也是B的特征根，且求A、B特征值對(duì)應(yīng)的特征向量u1*，v1*。設(shè)u1*V11u1*=av1*V22v1*=b因V11>0，V22>0，所以a>0，b>0。則滿(mǎn)足u1'V11u1=1v1'V22v1=1所以z1=u1'xw1=v1'y為第一對(duì)典型變量步驟設(shè)(x,y)'的協(xié)方差矩陣為(1)計(jì)算A=V11-1V12V22-1V21(2)求出A的所有非零特征根，記為(3)求A的相應(yīng)于的規(guī)格化特征向量uj,并由式求vi，i=1,2,.....k(4)取zi=ui'x，wi=vi'y，zi，wi即為x,y的第i對(duì)典型變量，為典型相關(guān)系數(shù)。例題x1、x2表示高中入學(xué)考試數(shù)學(xué)英語(yǔ)的成績(jī)y1、y2表示高