第十章節(jié)典型相關(guān)分析

1、第十章節(jié)典型相關(guān)分析 第十章 典型相關(guān)分析 v10.1 引言 v10.2 總體典型相關(guān) v10.3 樣本典型相關(guān) v10.4 典型相關(guān)系數(shù)的顯著性檢驗(yàn) 第十章節(jié)典型相關(guān)分析 10.1 引言 v典型相關(guān)分析（canonical correlation analysis）是研 究?jī)山M變量之間相關(guān)關(guān)系的一種統(tǒng)計(jì)分析方法，它 能夠有效地揭示兩組變量之間的相互線性依賴關(guān)系。 v典型相關(guān)分析是由霍特林（Hotelling,1935,1936）首 先提出的。 第十章節(jié)典型相關(guān)分析 10.2 總體典型相關(guān) v一、典型相關(guān)的定義及導(dǎo)出 v二、典型相關(guān)變量的性質(zhì) v三、從相關(guān)矩陣出發(fā)計(jì)算典型相關(guān) 第十章節(jié)典型相關(guān)

2、分析 一、典型相關(guān)的定義及導(dǎo)出 v設(shè)x=(x1,x2, ,xp)和y=(y1,y2, ,yq)是兩組隨機(jī)變量，且 V(x)=11(0)，V(y)=22(0)，Cov(x, y)=12，即有 其中21=12。 v我們研究u=ax與v=by之間的相關(guān)關(guān)系，其中 a=(a1,a2, ,ap)，b=(b1,b2, ,bq) 現(xiàn)來計(jì)算一下u與v的相關(guān)系數(shù)。 Cov(u,v)=Cov(ax,by)=aCov(x,y)b=a12b V(u)=V(ax)=aV(x)a=a11a V(v)=V(by)=bV(y)b=b22b 1112 2122 V x y 第十章節(jié)典型相關(guān)分析 所以，u與v的相關(guān)系數(shù) 由于對(duì)任

3、意非零常數(shù)k1和k2，有 (k1u,k2v)=(u,v) 因此，為避免不必要的結(jié)果重復(fù)，我們常常限定u與v均為標(biāo) 準(zhǔn)化的變量，即附加約束條件 V(u)=1，V(v)=1 即 a11a=1，b22b=1 在此約束條件下，求aRp和bRq，使得 (u,v)=a12b 達(dá)到最大。 12 1122 , u v a b a ab b 第十章節(jié)典型相關(guān)分析 v容易證明， 有著相同的非零特征 值，且皆為正，其個(gè)數(shù)為m=rank(12)。將這些正特征值分別 記為 。設(shè)a1,a2, ,am為 的 相應(yīng)于 的特征向量，且滿足標(biāo)準(zhǔn)化條件 ai11ai=1，i=1,2, ,m 令 ，則有 從而b1,b2, ,bm為

4、的相應(yīng)于 的特征向量，并且滿足 1111 1112222122211112 和 222 12 0 m 11 11122221 222 12 , m 1 2221 1 ii i b a 11111 22211112222111122221 122 2221 1 1 ii i iiii i b a ab 11 22211112 222 12 0 m 第十章節(jié)典型相關(guān)分析 v可以證明，當(dāng)取a=a1,b=b1時(shí)，(u,v)=a12b達(dá)到最大值1(顯 然11)。我們稱 u1=a1x，v1=b1y 為第一對(duì)典型相關(guān)變量，稱1為第一個(gè)典型相關(guān)系數(shù) v第一對(duì)典型相關(guān)變量u1,v1提取了原始變量x與y之間相關(guān)的

5、主 要部分，如果這一部分還顯得不夠，可以在剩余相關(guān)中再求 出第二對(duì)典型相關(guān)變量u2=ax,v2=by，也就是a,b應(yīng)滿足標(biāo)準(zhǔn) 化條件且應(yīng)使得第二對(duì)典型相關(guān)變量不包括第一對(duì)典型相關(guān) 11 221222222221 2 11 1111122221 2 2 11 2 1 1 1 1,1,2, iiii i ii i iii i im b ba a a a a a 第十章節(jié)典型相關(guān)分析 變量所含的信息，即 (u2,u1)=(ax,a1x)=Cov(ax, a1x)=a11a1=0 (v2,v1)=(by,b1y)=Cov(by,b1y)=b22b1=0 在這些約束條件下使得 (u2,v2)=(ax,b

6、y)=a12b 達(dá)到最大。 v一般地，第i(1，表明第一個(gè)典型相關(guān)系數(shù)大于兩組 原始變量之間的相關(guān)系數(shù)。 11 22211112 R R R R 2 1 1/2 * 1 2 1 b1 1/21/2 * 11 2 1,2 1 a xxb yy11 1/2 1 211 第十章節(jié)典型相關(guān)分析 10.3 樣本典型相關(guān) v設(shè)數(shù)據(jù)矩陣為 則樣本協(xié)方差矩陣為 S可用來作為的估計(jì)。當(dāng)np+q時(shí)， 可分別作為 的估計(jì)；它們的非零 特征值 可用來估計(jì) ； 11111111 11 pq nnnnpnnq xxyy xxyy xy XY xy 1112 2122 SS S SS 1111 11122221222111

7、12 S S S SS S S S和 1111 1112222122211112 和 222 12m rrr 222 12m 第十章節(jié)典型相關(guān)分析 v相應(yīng)的特征向量 作為a1,a2, ,am的估計(jì)， 作為b1,b2, ,bm的估計(jì)。 的正平方根rj稱為第j個(gè)樣本典型相 關(guān)系數(shù)， 稱為第j對(duì)樣本典型相關(guān)變量，j=1,2, ,m 。將樣本(xi,yi)，i=1,2, ,n經(jīng)中心化后代入m對(duì)典型變量，即 令 則稱uij為第i個(gè)樣品xi的第j個(gè)樣本典型變量得分，稱vij為第i個(gè) 樣品yi的第j個(gè)樣本典型變量得分。由約束條件 可得 v同理可得 v對(duì)每個(gè)j，可畫出(uij,vij)，i=1,2, ,n的散

8、點(diǎn)圖，該圖也可用來 檢查是否有異常值出現(xiàn)。 12 , m a aa 12 , m b bb 2 j r jj a x b y和 1,2, ,1,2, ijjiijji uvin jmaxxbyy, 11 jj a S a =1 2 11 11 11 1,2, 11 nn ijjiijjj ii ujm nn axxxx aa S a=1, 2 1 1 1,2, 1 n ij i vjm n =1, 第十章節(jié)典型相關(guān)分析 v例10.3.1 某康復(fù)俱樂部對(duì)20名中年人測(cè)量了三個(gè)生 理指標(biāo)：體重(x1)、腰圍(x2)、脈搏(x3)和三個(gè)訓(xùn)練指 標(biāo)：引體向上(y1)、起坐次數(shù)(y2)、跳躍次數(shù)(y3)

9、。其 數(shù)據(jù)列于表10.3.1。 表10.3.1某康復(fù)俱樂部的生理指標(biāo)和訓(xùn)練指標(biāo)數(shù)據(jù) 編 號(hào)x1x2x3y1y2y3 11913650516260 21893752211060 3193385812101101 416235621210537 518935461315558 61823656410142 72113856810138 第十章節(jié)典型相關(guān)分析 81673460612540 917631741520040 10154335617251250 1116934501712038 12166335213210115 13154346414215105 14247465015050 15193

10、364667031 16202376212210120 17176375446025 1815732521123080 1915633541522573 201383368211043 第十章節(jié)典型相關(guān)分析 v 的特征值分別為0.6630、0.0402和0.0053 ，于是 r1=0.797，r2=0.201，r3=0.073 相應(yīng)的樣本典型變量系數(shù)為 1122 1221 11 0.8701,0.6961 0.3660.35310.4960.6691 0.3900.4930.226 0.5520.6460.192 0.1510.2250.035 RR RR 11 11122221 R R R

11、R 第十章節(jié)典型相關(guān)分析 因此，第一對(duì)樣本典型變量為 v如果需要，第二對(duì)樣本典型變量為 * 123 * 123 0.7751.8840.191 1.579,1.181,0.506 0.0590.2311.051 0.3500.3761.297 1.054 ,0.124,1.237 0.7161.0620.419 aaa bbb * 1123 * 1123 0.7751.5790.059 0.3501.0540.716 uxxx vyyy * 2123 * 2123 1.8841.1810.231 0.3760.1241.062 uxxx vyyy 第十章節(jié)典型相關(guān)分析 v例10.3.2 在研究

12、組織結(jié)構(gòu)對(duì)“職業(yè)滿意度”的影響時(shí)，作為其 中一部分，鄧訥姆(Dunham)調(diào)查了職業(yè)滿意度與職業(yè)特性相 關(guān)的程度。對(duì)從一大型零售公司各分公司挑出的n=784個(gè)行 政人員，測(cè)量了p=5個(gè)職業(yè)特性變量：用戶反饋(x1)、任務(wù)重 要性(x2)、任務(wù)多樣性(x3)、任務(wù)特性(x4)及自主權(quán)(x5)和q=7 個(gè)職業(yè)滿意度量：主管滿意度(y1)、事業(yè)前景滿意度(y2)、財(cái) 政滿意度(y3)、工作強(qiáng)度滿意度(y4)、公司地位滿意度(y5)、 工種滿意度(y6)及總體滿意度(y7)。對(duì)784個(gè)被測(cè)者的樣本相 關(guān)矩陣為 v 11 1.00 0.491.00 0.530.571.00 0.490.460.481.

13、00 0.510.530.570.571.00 R 第十章節(jié)典型相關(guān)分析 樣本典型相關(guān)系數(shù)和樣本典型變量系數(shù)列于表10.3.2中。 22 1221 1.00 0.431.00 0.270.331.00 0.240.260.251.00 0.340.540.460.281.00 0.370.320.290.300.351.00 0.400.580.450.270.590.31 1.00 0.330.320.200.190.300.370.21 0.300.210.160.080.270. R RR 350.20 0.310.230.140.070.240.370.18 0.240.220.120

14、.190.210.290.16 0.380.320.170.230.320.360.27 第十章節(jié)典型相關(guān)分析 表10.3.2 典型相關(guān)系數(shù)和典型變量系數(shù) 標(biāo)準(zhǔn)化變量 x1*0.420.340.860.790.03 x2*0.200.670.440.270.98 x3*0.170.850.260.470.91 x4*0.020.360.421.040.52 x5*0.460.730.980.170.44 rj0.550.240.120.070.06 標(biāo)準(zhǔn)化變量 y1*0.430.090.490.130.48 y2*0.210.440.780.340.75 y3*0.040.090.480.61

15、0.35 y4*0.020.930.010.400.31 y5*0.290.100.280.450.70 y6*0.520.550.410.690.18 y7*0.110.030.930.270.01 * 1 a * 2 a * 3 a * 4 a * 5 a * 1 b * 2 b * 3 b * 4 b * 5 b 第十章節(jié)典型相關(guān)分析 第一對(duì)樣本典型變量為 根據(jù)典型系數(shù)， 主要代表了用戶反饋和自主權(quán)這兩 個(gè)變量，三個(gè)任務(wù)變量顯得并不重要；而 主要代表 了主管滿意度和工種滿意度變量，其次代表了事業(yè) 前景滿意度和公司地位滿意度變量。我們也可從相 關(guān)系數(shù)的角度來解釋典型變量，原始變量與第一對(duì)

16、典型變量間的樣本相關(guān)系數(shù)列于表10.3.3中。 * 112345 * 11234567 0.420.200.170.020.46 0.430.210.040.020.290.520.11 uxxxxx vyyyyyyy 第十章節(jié)典型相關(guān)分析 v所有五個(gè)職業(yè)特性變量與第一典型變量u1*有大致相同的相關(guān) 系數(shù)，故u1*可以解釋為職業(yè)特性變量，這與基于典型系數(shù)的 解釋不同。v1*主要代表了主管滿意度、事業(yè)前景滿意度、公 司地位滿意度和工種滿意度，v1*可以解釋為職業(yè)滿意度公 司地位變量，這與基于典型系數(shù)的解釋基本相一致。第一對(duì) 典型變量u1*與v1*的樣本相關(guān)系數(shù)r1=0.55，可見，職業(yè)特性與 職

17、業(yè)滿意度之間有一定程度的相關(guān)性。 表10.3.3 原始變量與典型變量的樣本相關(guān)系數(shù) 原始變量樣本典型變量原始變量樣本典型變量 xu1*v1*yu1*v1* x1：用戶反饋0.830.46y1：主管滿意度0.420.76 x2：任務(wù)重要性0.730.40y2：事業(yè)前景滿意度0.360.64 x3：任務(wù)多樣性0.750.42y3：財(cái)政滿意度0.210.39 x4：任務(wù)特性0.620.34y4：工作強(qiáng)度滿意度0.210.38 x5：自主權(quán)0.860.48y5：公司地位滿意度0.360.65 y6：工種滿意度0.450.80 y7：總體滿意度0.280.50 第十章節(jié)典型相關(guān)分析 10.4 典型相關(guān)系

18、數(shù)的顯著性檢驗(yàn) v一、全部總體典型相關(guān)系數(shù)均為零的檢驗(yàn) v二、部分總體典型相關(guān)系數(shù)為零的檢驗(yàn) 第十章節(jié)典型相關(guān)分析 一、全部總體典型相關(guān)系數(shù)均為零的檢驗(yàn) v設(shè)(x,y)Np+q(,),0。又設(shè)S為樣本協(xié)方差矩陣，且 np+q。 v考慮假設(shè)檢驗(yàn)問題： H0：1=2= =m=0 H1：1,2, ,m至少有一個(gè)不為零 其中m=minp,q。若檢驗(yàn)接受H0，則認(rèn)為討論兩組變量之間 的相關(guān)性沒有意義；若檢驗(yàn)拒絕H0，則認(rèn)為第一對(duì)典型變量 是顯著的。(10.4.1)式實(shí)際上等價(jià)于假設(shè)檢驗(yàn)問題 H0：12=0，H1：120 H0成立表明x與y互不相關(guān)。 第十章節(jié)典型相關(guān)分析 檢驗(yàn)統(tǒng)計(jì)量為 對(duì)于充分大的n，當(dāng)H0成立時(shí)，統(tǒng)計(jì)量 在給定的下，若 ，則拒絕H0，認(rèn)為典 型變量u1與v1之間的相關(guān)性是顯著的；否則，就認(rèn) 為第一個(gè)典型相關(guān)系數(shù)不顯著。 2 1 1 1 m i i r 2 11 1 3ln 2 Qnpqpq 2 1 Qpq 第十章節(jié)典型相關(guān)分析 v例10.4.1 在例10.3.1中，假設(shè)為多元正態(tài)數(shù)據(jù)，欲 檢驗(yàn)： H0：1=2=3=0，H1：10 它的似然比統(tǒng)計(jì)量為 查2分布表得， ， 因此在=0.10的顯著性水平下，拒絕原假設(shè)H0，也 即認(rèn)為至少有一個(gè)典型相關(guān)是顯著的。 222 1123 11 111 10.6330 10.0402 10.0