典型相關(guān)分析(CCA)附算法應(yīng)用及程序

1、典型相關(guān)分析摘要利用典型相關(guān)分析的思想,提出了解決了當(dāng)兩組特征矢量構(gòu)成的總體協(xié)方差矩陣奇異時(shí),典型投影矢量集的求解問(wèn)題,使之適合于高維小樣本的情形,推廣了典型相關(guān)分析的適用范圍.首先,探討了將典型分析用于模式識(shí)別的理論構(gòu)架,給出了其合理的描述.即先抽取同一模式的兩組特征矢量,建立描述兩組特征矢量之間相關(guān)性的判據(jù)準(zhǔn)則函數(shù),然后依此準(zhǔn)則求取兩組典型投影矢量集,通過(guò)給定的特征融合策略抽取組合的典型相關(guān)特征并用于分類(lèi).最后,從理論上進(jìn)一步剖析了該方法之所以能有效地用于識(shí)別的內(nèi)在本質(zhì).該方法巧妙地將兩組特征矢量之間的相關(guān)性特征作為有效判別信息,既達(dá)到了信息融合之目的,又消除了特征之間的信息冗余,為兩組特

2、征融合用于分類(lèi)識(shí)別提出了新的思路.1、 典型相關(guān)分析發(fā)展的背景隨著計(jì)算機(jī)技術(shù)的發(fā)展,信息融合技術(shù)已成為一種新興的數(shù)據(jù)處理技術(shù),并已取得了可喜的進(jìn)展.信息融合的3個(gè)層次像素級(jí)、特征級(jí)、決策級(jí)。特征融合，對(duì)同一模式所抽取的不同特征矢量總是反映模式的不同特征的有效鑒別信息，抽取同一模式的兩組特征矢量，這在一定程度上消除了由于主客觀因素帶來(lái)的冗余信息，對(duì)分類(lèi)識(shí)別無(wú)疑具有重要的意義典型相關(guān)分析(CanoniealComponentAnalysis:CCA)是一種處理兩組隨機(jī)變量之間相互關(guān)系的統(tǒng)計(jì)方法。它的意義在于:用典型相關(guān)變量之間的關(guān)系來(lái)刻畫(huà)原來(lái)兩組變量之間的關(guān)系!實(shí)現(xiàn)數(shù)據(jù)的融合和降維!降低計(jì)算復(fù)雜程

3、度。2、 典型相關(guān)分析的基本思像CCA的目的是尋找兩組投影方向,使兩個(gè)隨機(jī)向量投影后的相關(guān)性達(dá)到最大。具體講,設(shè)有兩組零均值隨機(jī)變量 和 CCA首先要找到一對(duì)投影方向和,使得投影 和之間具有最大的相關(guān)性,和為第一對(duì)典型變量;同理,尋找第二對(duì)投影方向和,得到第二對(duì)典型變量和,使其與第一對(duì)典型變量不相關(guān),且和之間又具有最大相關(guān)性。這樣下去,直到x與y的典型變量提取完畢為止。從而x與y之間的相關(guān)性分析,只需通過(guò)分析少數(shù)幾對(duì)典型變量的關(guān)系即可達(dá)到目的。3、 CCA算法詳解(1)(2)(3)考慮到:的極值只與 和 的方向有關(guān),而與它們的大小無(wú)關(guān),為了得到唯一解不失一般性,加入限制條件:(4)問(wèn)題變?yōu)樵诩s

4、束條件式下,求使準(zhǔn)則函數(shù)式取最大值的典型投影矢量對(duì) 和 求解上述優(yōu)化問(wèn)題,可定義拉格朗日函數(shù):(5)分別對(duì)和求導(dǎo)數(shù),并令為零,得到：(6)(7) (8)(9)(10)(6)(6)(12)(11)(13)對(duì)H進(jìn)行奇異值分解：分別將， ， 與 ， ，看做是變換后的特征分量： (14)(15) （16） 投影后的組合特征用于分類(lèi)，其中變換矩陣為：（17）4、 典型相關(guān)分析應(yīng)用實(shí)例欲研究?jī)和螒B(tài)與肺通氣功能的關(guān)系，測(cè)得某小學(xué)40名812歲健康兒童（身高X1，體重X2，胸圍X3）與肺通氣功能（肺活量Y1，靜息通氣Y2和每分鐘最大通氣量Y3），分析兒童形態(tài)和肺通氣指標(biāo)的相關(guān)性，確定典型變量的對(duì)數(shù)。x1 =

5、140.6,135.7,140.2,152.1,132.2,147.1,147.5,130.6,154.9,142.4,136.5,162,148.9,136.3,159.5,165.9,134.5,152.5,138.2,144.2;x2 =43.7,39.5,48,52,36,45,47,38,48,42,38,58,42,33,49,55,41,53,35.5,42;x3 =77,63,75,88,62,78,76,61,87,74,69,95,80,68,87,93,61,83,66,76;y1 =2.6,2,2.6,2.8,2.1,2.8,3.1,2,2.9,2.33,1.98,3.

6、29,2.7,2.4,2.98,3.1,2.25,2.96,2.13,2.52;y2 =7,7,6.1,10.1,7.4,9.25,8.78,5.31,10.6,11.1,7.77,3.35,10.1,7.8,11.77,13.14,8.75,6.6,6.62,5.59;y3 =108,91,101,112,97,92,95,77,80,76,49,58,82,76,88,110,75,71,105,82;（1） 仿真結(jié)果分析結(jié)：（實(shí)驗(yàn)平臺(tái)：Matlab2014，程序見(jiàn)附錄）R1=0.9282R2=0.5302R3=0.0081R1=0.9282R2=0.5302R3=0.0081(2)結(jié)果分

7、析：三幅分別對(duì)應(yīng)不同特征值所對(duì)應(yīng)的兒童形態(tài)與肺通氣功能的關(guān)系，顯然，第一幅圖的線性關(guān)系最好，即兒童形態(tài)與肺通氣功能的相關(guān)性最大，變化趨勢(shì)一致，進(jìn)行特征融合以達(dá)到降維的目的。六、心得體會(huì)通過(guò)本次大作業(yè)，對(duì)小樣的典型相關(guān)分析查閱了很多文獻(xiàn)，對(duì)文獻(xiàn)的閱讀的辨別能力有了很大提升，抓住文獻(xiàn)中的重點(diǎn)要點(diǎn)，進(jìn)行深一步的理解；其次在程序的編寫(xiě)中，CCA的編寫(xiě)從原理到算法解析再到算法的邏輯結(jié)構(gòu)，一步步的將CCA的思想理解透徹并體現(xiàn)在MATLAB的程序中，在程序編寫(xiě)的過(guò)程中也遇到了很多挫折和編譯失敗的困惑，但是通過(guò)網(wǎng)上查閱和向教員請(qǐng)教以及同學(xué)的詢問(wèn)，一一得到解決，最終完成了本次大作業(yè)的撰寫(xiě)，其中也收獲到了很多東西

8、，學(xué)到了很多，希望以后能扎實(shí)學(xué)習(xí)，更進(jìn)一步。附錄：clear allclcx1=140.6,135.7,140.2,152.1,132.2,147.1,147.5,130.6,154.9,142.4,136.5,162,148.9,136.3,159.5,165.9,134.5,152.5,138.2,144.2;x2=43.7,39.5,48,52,36,45,47,38,48,42,38,58,42,33,49,55,41,53,35.5,42;x3=77,63,75,88,62,78,76,61,87,74,69,95,80,68,87,93,61,83,66,76;y1=2.6,2,2

9、.6,2.8,2.1,2.8,3.1,2,2.9,2.33,1.98,3.29,2.7,2.4,2.98,3.1,2.25,2.96,2.13,2.52;y2=7,7,6.1,10.1,7.4,9.25,8.78,5.31,10.6,11.1,7.77,3.35,10.1,7.8,11.77,13.14,8.75,6.6,6.62,5.59;y3=108,91,101,112,97,92,95,77,80,76,49,58,82,76,88,110,75,71,105,82;mx1=sum(x1)/20;mx2=sum(x2)/20;mx3=sum(x3)/20;my1=sum(y1)/20;

10、my2=sum(y2)/20;my3=sum(y3)/20;d=1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1;x1=x1-mx1.*d;x2=x2-mx2.*d;x3=x3-mx3.*d;y1=y1-my1.*d;y2=y2-my2.*d;y3=y3-my3.*d;%b=imread(1.jpg);%a=imread(2.jpg);%c=rgb2gray(a);%d=rgb2gray(b);%c=double(imresize(c,128,128);%d=double(imresize(d,128,128);%zushu = size(X,1);A=x1,x2

11、,x3;B=y1,y2,y3;Wx, Wy, r,n,m = CCA_algorithm(A,B);%CCA_zq.(Z,zushu,2)Z=WxY=WyU1=Wx(:,1);U2=Wx(:,2);U3=Wx(:,3);V1=Wy(:,1);V2=Wy(:,2);V3=Wy(:,3);figure(1);plot(U1,V1,*);figure(2);plot(U2,V2,r*);figure(3);plot(U2,V2,g)%CCA函數(shù)調(diào)用：function U,V,nmuta,nmutatwo,U_replace,V_replace=CCA_algorithm(X,Y)%計(jì)算典型相關(guān)分析的

12、程序n=size(X,1); p=size(X,2);q=size(Y,2);X=X-repmat(mean(X,1),n,1);Y=Y-repmat(mean(Y,1),n,1);Z=X Y;Covz=cov(Z);S11=Covz(1:p,1:p);S22=Covz(p+1:end,p+1:end);S12=Covz(1:p,p+1:end);%S21=Covz(p+1:end,1:p);S21=S12;k=1;Ip=eye(p);Iq=eye(q);if rank(S11)=p S11=S11+k*Ip;end if rank(S22)=q S22=S22+k*Iq;end %避免出現(xiàn)復(fù)

13、數(shù)，不使用S11(-1/2)K=S11(-1/2)*S12*S22(-1/2);d=rank(K);U1,S1,V1=svd(K,0);U2=U1(:,1:d);V2=V1(:,1:d);A=S11(-1/2)*U2;B=S22(-1/2)*V2;%A=S11(1/2)U2;%B=S22(1/2)V2;U=X*A;V=Y*B;nmuta=diag(S1);nmuta=nmuta(1:d);%使用下面的效果是一樣的M1=inv(S11)*S12*inv(S22)*S21;M2=inv(S22)*S21*inv(S11)*S12;V1,D1=eig(M1);V2,D2=eig(M2);%歸一化gu1=V1*S11*V1;gu1=1./sqrt(diag(gu1);gu1=repmat(gu1,p,1);a=V1.*gu1;gu2=V2*S22*V2;gu2=1./sqrt(diag(gu2);gu2=repmat(gu2,q,1);b=V2.*gu2;d1=size(find(diag(D1)=0),1);%對(duì)特征值自