第十章典型相關(guān)分析

1、（一）簡單相關(guān)系數(shù)（一）簡單相關(guān)系數(shù)相關(guān)分析是分析變量之間的相關(guān)關(guān)系。相關(guān)分析是分析變量之間的相關(guān)關(guān)系。11221()()Y-Y)()YYXXXX（0.540.560.580.600.620.6401000020000300004000050000WX1()()0 xxyy()()0 xxyy()()0 xxyy()()0 xxyy( , )x y變量X和Y的樣本相關(guān)系數(shù)樣本相關(guān)系數(shù)為22()()()()XYXX Y YrXXY Y2222)()(YYnXXnYXXYn 1、變量X、Y都是隨機變量隨機變量，且相互對稱相互對稱，所以 。|r|1。YXXYrr 2、相關(guān)系數(shù)只反映兩變量之間線性相關(guān)

2、的程度線性相關(guān)的程度，不能說明其非線性相關(guān)關(guān)系非線性相關(guān)關(guān)系。 3、相關(guān)系數(shù)雖能度量變量的線性相關(guān)程度，但不能確定變量之間的因果關(guān)系，也不能說明它具體接近哪一條直線。 下面的數(shù)據(jù)是公司連續(xù)26周銷售額和廣告成本以及該城市各主要百貨公司的銷售總額（含AFLFONSO公司的）和估計的競爭對手的廣告費。（美圓） 周次AFLFONSO公司百貨公司銷售總額X2其它百貨公司的廣告費X3Y銷售額 廣告費X112170787119003710113200021994291149003369873251680685109002819941262266506980038976892500這些數(shù)據(jù)能揭示出AFLFO

3、NSO公司的所做報紙廣告帶來的真實收益嗎？ 廣告費與銷售額的散點圖廣告費與銷售額的散點圖 16000001800000200000022000002400000260000001000020000300004000050000YX1009917. 0)()Y-Y)(21211XXXXYY（廣告費與市場占有率的散點圖廣告費與市場占有率的散點圖0.540.560.580.600.620.6401000020000300004000050000WX188217. 0 1、問題提出x3x1 x2x3x1 x2yxxyxx1221這時，產(chǎn)生了通徑 121212212,22,11y xy xx xy x

4、xy xx xrrrrrrX543210-1Y8765432Pearson相關(guān)系數(shù)表相關(guān)系數(shù)表該表的含義是說Pearson相關(guān)系數(shù)為相關(guān)系數(shù)為-0.283，Sig.是檢驗Ho:和Y不相關(guān)的顯著性水平（P值），因為Sig.0.214，則不能拒絕原假設(shè)，但是從前面的散點圖，實際上除了那個異常點外，二者是相關(guān)的。11(,),(,)nnRSRS) 1(61)()()(21211221nndSSRRSSRRrniininiiiniiisiiiSRD優(yōu)點：穩(wěn)健，不受極端值影響優(yōu)點：穩(wěn)健，不受極端值影響),(21pxxx),(21qyyy通常情況下，為了研究兩組變量如何討論兩組變量的關(guān)系呢？ 在解決實際問題

5、中，這種方法有廣泛的應(yīng)用。如，在工廠里常常要研究產(chǎn)品的p個質(zhì)量指標 和q個原材料的指標 之間的相關(guān)關(guān)系；也可以是采用典型相關(guān)分析來解決的問題。如果能夠采用類似于主成分的思想，分別找出兩組變量的線性組合既可以使變量個數(shù)簡化，又可以達到分析相關(guān)性的目的。),(21pxxx),(21qyyyX1X2X3X4X5Y1Y2Y3Y4Y5Y6Y7X11.000.490.530.490.510.330.320.200.190.300.370.21X20.491.000.570.460.530.300.210.160.080.270.350.20X30.530.571.000.480.570.310.230.1

6、40.070.240.370.18X40.490.460.481.000.570.240.220.120.190.210.290.16X50.510.530.570.571.000.380.320.170.230.320.360.27Y10.330.300.310.240.381.000.430.270.240.340.370.40Y20.320.210.230.220.320.431.000.330.260.540.320.58Y30.200.160.140.120.170.270.331.000.250.460.290.45Y40.190.080.070.190.230.240.260.2

7、51.000.280.300.27Y50.300.270.240.210.320.340.540.460.281.000.350.59Y60.370.350.370.290.360.370.320.290.300.351.000.31Y70.210.200.180.160.270.400.580.450.270.590.311.00：戶主受教育程度：家庭的年收入：戶主的年齡321yyy：每年外出看電影頻率率：每年去餐館就餐的頻21xxX1X2y1y2y3X11.000.800.260.670.34X20.801.000.330.590.34y10.260.331.000.370.21y20.6

8、70.590.371.000.35y30.340.340.210.351.00變量間的相關(guān)系數(shù)矩陣（兩兩相關(guān)）fyY1ey111Y2ey21Y3ey31fxX1ex111X2ex21典型相關(guān)分析是結(jié)構(gòu)方程模型的特例典型相關(guān)分析是結(jié)構(gòu)方程模型的特例y2y3y1x2x133122111112211111ybybybVxaxau33222211222221122ybybybvxaxau?),(11vu?),(22vu第二節(jié)第二節(jié) 總體典型相關(guān)分析總體典型相關(guān)分析 一、典型相關(guān)和典型相關(guān)變量的定義一、典型相關(guān)和典型相關(guān)變量的定義 設(shè)設(shè)X X和和Y Y分別為分別為p p和和q q維的隨機向量。如果存在維

9、的隨機向量。如果存在a a1 1和和b b1 1，使得，使得111111() 1,() 1(,)max(,)VarVar X Ya X b Y X Y則稱則稱 是是X X和和Y Y的第一對典型相關(guān)的第一對典型相關(guān)變量，其相關(guān)系數(shù)稱為典型相關(guān)系數(shù)。變量，其相關(guān)系數(shù)稱為典型相關(guān)系數(shù)。不妨假設(shè)不妨假設(shè) 0。1111,uva Xb Y 首先分別在每組變量中找出第一對線性組合，使其具有最大相關(guān)性，然后再在每組變量中找出第二對線性組合，使其分別與本組內(nèi)的第一線性組合不相關(guān)，第二對本身具有次大的相關(guān)性。如此下去，直至兩組變量的相關(guān)性被提取完為止。 1111212111112121ppqqua xa xa x

10、vb yb yb y11221122rrrprprrrqrqua xa xa xvb yb yb y從而達到降維的目的。1(,)rUuu),(1rvvV1212(,)pqxxxyyyZ其協(xié)方差陣為pqpq11122122 其中11是第一組變量的協(xié)方差矩陣；22是第二組變量的協(xié)方差矩陣；12和21是X和Y的其協(xié)方差矩陣。1u1 X1v1= Y 求第一對典型變量相關(guān)變量就等價于，求11211(,)pp1R11211(,)qq1R111()()1Var uVar X1111 111()()1Var vVar1122Y 滿足條件以下條件下111121(,)Cov X Y 可見典型相關(guān)分析就是求a1和b

11、1，即線性組合的系數(shù)，使二者的相關(guān)系數(shù)1達到最大，假設(shè)10。11,11( ,)u vCov u vmax121111(,)( )( )( )22VarVarVar11 111 Y Y Y 1112 1111 111121 1122 11(,)0(,)0 12112( , )u v 11222 12122221 111 10 112 1122221 11 并將其代入第一式，得11211122221 110 1121112222110p I1122221111210q I112111222211122221111200pq I I1111122221111222111122MM 1/21/21/2

12、1112221/22221111M AB1/21/2111222T 令1/21/21/2111222221/21121BA1/21/21/21/2111222222111BA TT1/21/21/22221111/21112222M CD1/21/2111222T 令1/21/21/2222111111/22212DC1/21/21/21/2222111111222DC T T2210p12,pa aaM2的p個非零特征根依次對應(yīng)的特征向量為12,pb bb 求TTTT的非零特征根。的非零特征根。222120p1,mtt1/21/211222111kkkka = tb akuka XkVkb

13、Y111121cov()a x,b ya b1/21/21/211112222111111t t1111t TT t21111 1 1111ttt t1/21/21/21/21111222222111111t t 111121cov()a x,b ya b22111111111111ppii ii iiit t t tt t t t1/21/21/211112222111111t t1111t TT t1/21/21/21/21111222222111111t t 第一對典型變量提取了原始變量X與Y之間相關(guān)的主要部分，如果這部分還不能足以解釋原始變量，可以在剩余的相關(guān)中再求出第二對典型變量和他

14、們的典型相關(guān)系數(shù)。2u2a x2v2b y在約束條件：2()1Var u2112a a2()1Var v2222b b122cov( ,)cov()0u u12111a x,a xa a12cov( ,)cov()0v v121112b y,b yb b 求使 達到最大的a和b。22cov(,)u v2122a b1,2,3,kr12221kkkkk1/21/211a = tb = a：戶主受教育程度：家庭的年收入：戶主的年齡321yyy：每年外出看電影頻率率：每年去餐館就餐的頻21xxX1X2y1y2y3X11.000.800.260.670.34X20.801.000.330.590.34

15、y10.260.331.000.370.21y20.670.590.371.000.35y30.340.340.210.351.00變量間的相關(guān)系數(shù)矩陣典型相關(guān)分析典型相關(guān)分析典型相典型相關(guān)系數(shù)關(guān)系數(shù)調(diào)整典型調(diào)整典型相關(guān)系數(shù)相關(guān)系數(shù)近似方差近似方差典型相關(guān)系典型相關(guān)系數(shù)的平方數(shù)的平方10.6879480.6878480.0052680.47327220.1868650.1866380.0096510.034919X組典型變量的系數(shù) U1U2X10.7689-1.4787X20.27211.6443Y組典型變量的系數(shù) V1V2Y10.04911.0003Y20.8975-0.5837Y30.19

16、000.29562112721. 07689. 0 xxu2126443. 14787. 1xxu32111900. 08975. 00491. 0yyyv32122956. 05837. 00003. 1yyyvkku a xkkv b yikrik;, 2 , 1,111/21/21111cov(,)cov()0kikikikiu ukia x,a xa aa at t1.X1.X組的典型變量之間組的典型變量之間互不相關(guān)互不相關(guān): :由于其特征向量是正交的。由于其特征向量是正交的。2.Y2.Y組的典型變量之間是互不相關(guān)組的典型變量之間是互不相關(guān)11111222222221cov(, )co

17、v()110kikkiikikiikikiv vbb kiy, ya at TT tt tcov( ,)cov(,)ijiiu vxyab1/2111/211222111jji12t t11/211/211222111jji12t t11/211/211222111jji12t t10jjiijijit TTt),min(, 2 , 121ppi同對相關(guān)系數(shù)為i ，不同對則為零。11122122RRRRRx典型變量系數(shù)矩陣11121212221212rrrp rpppraaaaaaaaaAaaa11121212221212rrrq rqqqrbbbbbbbbbBbbby典型變量系數(shù)矩陣1122

18、cov( ,)ijjpjpx a xa xa x),cov(),cov(),cov(2211ppjijijixaxxaxxaxpkxxkjkia1,pkxxxkjjiikiaux1,/),(cov( ,)ijx u1122cov( ,)ijjpjqx b yb yb y),cov(),cov(),cov(2211ppjijijiybxybxybxqkyxkjkib1,qkxyxkjjiikibvx1,/),(cov( ,)ijx v1122cov(,)ijjpjpy a xa xa x),cov(),cov(),cov(2211ppjijijixayxayxaypkxykjkia1,pkyxy

19、kjjiikiauy1,/),(cov(,)ijy u1122cov(,)ijjpjqy b yb yb y),cov(),cov(),cov(2211ppjijijiybxybxybxqkyykjkib1,qkyyykjjiikibvy1,/),(cov(,)ijy v典型變量的結(jié)構(gòu)，即變量間的相關(guān)系數(shù) U1U2X10.9866-0.1632X20.88720.4614 V1V2Y10.42110.8464Y20.9822-0.1101Y30.51450.3013典型變量的結(jié)構(gòu)，即變量間的相關(guān)系數(shù) V1V2X10.6787-0.0305X20.61040.0862 U1U2Y10.28970

20、.1582Y20.6757-0.0206Y30.35390.056312222,()/iiiipuu xu xu xmpX組原始變量被vi解釋的方差比例12222,()/iiiipvv xv xv xmpy組原始變量被ui解釋的方差比例y組原始變量被vi解釋的方差比例12222,()/iiiiquu yu yu ynq12222,()/iiiiqvv yv yv ynq 被典型變量解釋的被典型變量解釋的X組原始變量的方差組原始變量的方差被本組的典型變量解釋被本組的典型變量解釋被對方被對方Y(jié)組典型變量解釋組典型變量解釋比例比例累計比例累計比例典型相關(guān)典型相關(guān)系數(shù)平方系數(shù)平方比例比例累計比例累計比

21、例10.88030.88030.47330.41660.416620.11971.00000.03490.00420.4208 被典型變量解釋的被典型變量解釋的Y組原始變量的方差組原始變量的方差被本組的典型變量解釋被本組的典型變量解釋被對方被對方X組典型變量解釋組典型變量解釋比例比例累計比例累計比例典型相關(guān)典型相關(guān)系數(shù)平方系數(shù)平方比例比例累計比例累計比例1 0.46890.46890.47330.22190.22192 0.27310.74200.03490.00950.2315典型變量的結(jié)構(gòu) U1U2X10.9866-0.1632X20.88720.4614 V1V2Y10.42110.84

22、64Y20.9822-0.1101Y30.51450.301312222,()/iiiipuu xu xu xmp111122222,()/ 2(0.98660.8872 )/ 20.8803uu xu xm221222222,()/ 2(0.16320.4614 )/ 20.1198uuxuxm221222222,()/3qvvyvyvyn111121222,()/3qvv yv yv yn12222,()/iiiiqvv yv yv ynq222(0.42110.98220.5145 )/30.4689222(0.84640.11010.3013 )/30.2731典型變量的結(jié)構(gòu) V1V2

23、X10.6787-0.0305X20.61040.0862 U1U2Y10.28970.1582Y20.6757-0.0206Y30.35390.056312222,() /iiiipvv xv xv xmp111122222,()/2(0.67870.6104 )/20.4166vv xv xm221222222,()/2(0.03050.0862 )/20.0042vvxvxm12222,()/iiiiquu yu yu ynq111121222,()/3quu yu yu yn221222222,()/3quuyuyuyn222(0.28970.67570.3539 )/30.22192

24、22(0.15820.02060.0563 )/30.0095nqnnpnqpqpqpqpyyxxyyxxyyxxyyxxyyxxZ11441441331231221221111111yyyxxyxxSSSSnn1111ZZ樣本的協(xié)方差：qnqnpnpnqqppqqppqqppqqppyyyyxxxxyyyyxxxxyyyyxxxxyyyyxxxxyyyyxxxx111141414141313121312121212111111111Z)(111yxyyxyxxSSSSM令：)(112xyxxyxyySSSSM令：22221r), 2 , 1(riii和 2、計算特征根和特征向量（一）整體檢驗

25、)0:; 0:(10 xyxyHH0|xxyySSS ；即典型相關(guān)系數(shù)均為零, 0:10rH不為零中至少11), 2 , 1(:riHi檢驗的統(tǒng)計量yyyxxyxxSSSSS因為1xxxyxxxy1yxxxyxyyI0SSIS SS SISS0I又xy1xxyxyyxxSSSS00S所以，兩邊同時求行列式，有yyyxxyxxxy1xxyyyxxyxx1xxyxSSSSI0SSISSSSISS0Ixxxxxy1yyxyxxyxyxyySS|S|SSS S SSSyyxx11yyxxxyyxSSIS S S S0yyxx 11xyyxxxyy|S|IS S S SIM|S|S|(1)() IMII

26、IM IIM0yyxx 11xyyxxxyy|S|IS S S SIM|S|S|121(1)(1)(1)(1)ppii小，則支持備擇假設(shè)。0211(1)(1)rrkiii ki k kqpknQln)1(21) 1(近似服從自由度為(p-k)(q-k)的2分布。在給定的顯著性水平下，如果22 (p-k)(q-k)，則拒絕原假設(shè)，認為至少第k+1對典型變量之間的相關(guān)性顯著。 H0: 當(dāng)前和后面的典型相關(guān)系數(shù)均為零當(dāng)前和后面的典型相關(guān)系數(shù)均為零 H1: 至少當(dāng)前的典型相關(guān)系數(shù)為零至少當(dāng)前的典型相關(guān)系數(shù)為零LikelihoodRatioApprox FNum DFDen DFPr F 10.5083

27、34981341.2346199900.0001 20.96508130180.838299960.0001可見，前面兩對典型變量的相關(guān)性是很強的。X1X2X3X4X5Y1Y2Y3Y4Y5Y6Y7X11.000.490.530.490.510.330.320.200.190.300.370.21X20.491.000.570.460.530.300.210.160.080.270.350.20X30.530.571.000.480.570.310.230.140.070.240.370.18X40.490.460.481.000.570.240.220.120.190.210.290.16X5

28、0.510.530.570.571.000.380.320.170.230.320.360.27Y10.330.300.310.240.381.000.430.270.240.340.370.40Y20.320.210.230.220.320.431.000.330.260.540.320.58Y30.200.160.140.120.170.270.331.000.250.460.290.45Y40.190.080.070.190.230.240.260.251.000.280.300.27Y50.300.270.240.210.320.340.540.460.281.000.350.59Y6

29、0.370.350.370.290.360.370.320.290.300.351.000.31Y70.210.200.180.160.270.400.580.450.270.590.311.00 Canonical Correlation Analysis AdjustedCanonicalCorrelationApproxCanonicalCorrelationSquaredStandardError CanonicalCorrelation10.5537060.5530730.0069340.30659120.2364040.2346890.0094420.05588730.119186

30、.0.0098580.01420540.072228.0.0099480.00521750.057270.0.0099680.003280 LikelihoodRatioApprox FNum DFDen DFPrF10.63988477134.42373542018.150.000120.9228094133.82422434848.670.000130.9774354115.26341527578.390.000140.9915203010.65798199820.000150.9967201510.9600399920.0001當(dāng)前和后面的典型相關(guān)系數(shù)均為零的檢驗 U1U2U3U4U5X

31、10.42170.3429-0.8577-0.78840.0308X20.19511-0.66830.4434-0.26910.9832X30.1676-0.8532-0.25920.4688-0.9141X4-0.02290.3561-0.42311.04230.5244X50.45970.72870.9799-0.1682-0.4392X組的典型變量V1V2V3V4V5Y10.4252-0.08800.4918-0.1284-0.4823Y20.20890.4363-0.7832-0.3405-0.7499Y3-0.0359-0.0929-0.4778-0.60590.3457Y40.02

32、350.9260-0.00650.40440.3116Y50.2902-0.10110.2831-0.44690.7030Y60.5157-0.5543-0.41250.68760.1796Y7-0.1101-0.03170.92850.2739-0.0141Y組的典型變量 U1U2U3U4U5X10.82930.1093-0.4853-0.24690.0611X20.7304-0.43660.20010.00210.4857X30.7533-0.4661-0.10560.3020-0.3360X40.61600.2225-0.20530.66140.3026X50.86060.26600.3

33、8860.1484-0.1246 V1V2V3V4V5Y10.75640.04460.3395-0.1294-0.3370Y20.64390.3582-0.1717-0.3530-0.3335Y30.38720.0373-0.1767-0.53480.4148Y40.37720.7919-0.00540.28860.3341Y50.65320.10840.2092-0.43760.4346Y60.8040-0.2416-0.23480.40520.1964Y70.50240.16280.4933-0.18900.0678原始變量與本組典型變量之間的相關(guān)系數(shù) V1V2V3V4V5X10.4592

34、0.0258-0.0578-0.01780.0035X20.4044-0.10320.02390.00020.0278X30.4171-0.1102-0.01260.0218-0.0192X40.34110.0526-0.02450.04780.0173X50.47650.06290.04630.0107-0.0071 U1U2U3U4U5Y10.41880.01050.0405-0.0093-0.0193Y20.35650.0847-0.0205-0.0255-0.0191Y30.21440.0088-0.0211-0.03860.0238Y40.20880.1872-0.00060.020

35、80.0191Y50.36170.02560.0249-0.03160.0249Y60.4452-0.0571-0.02800.02930.0112Y70.27820.03850.0588-0.01360.0039原始變量與對應(yīng)組典型變量之間的相關(guān)系數(shù) Canonical Redundancy Analysis Raw Variance of the VAR Variables Explained by Their Own The Opposite Canonical Variables Canonical Variables Cumulative Cumulative Proportion Proportion Proportion Proportion 1 0.5818 0.5818 0.1784 0.1784 2 0.1080 0.6898 0.0060 0.1844 3 0.0960 0.7858 0.0014 0.1858 40.12230.9081 0.0006 0.1864 5 0.0919 1.0000 0.0003 0.1867 Raw Variance of the WITH