數(shù)據(jù)分析論文Notebook

1、典型相關(guān)分析在居民家庭人均收入與支出指標中的應(yīng)用摘要：現(xiàn)階段居民家庭的經(jīng)濟狀況對分析我省各個城市的經(jīng)濟水平具有重要的代表性，通過使用典型相關(guān)分析的原理和方法，對2011年遼寧省14個大中城市居民家庭人均收入與支出指標數(shù)據(jù)之間的關(guān)系進行了分析和比較研究，得出了各個城鎮(zhèn)居民收入與支出的主要構(gòu)成因素。關(guān)鍵詞：典型相關(guān)分析 相關(guān)系數(shù) 組合系數(shù) 巴泰勒特檢驗收入與支出指標1引言隨著我國經(jīng)濟建設(shè)的發(fā)展，城市居民家庭的收入與支出受到越來越多的重視。如何提高居民家庭的生活質(zhì)量，達到真正的富裕生活，一直是領(lǐng)導人不斷研究的問題。本文采用多元分析中的典型相關(guān)分析方法，根據(jù)居民家庭的收入與支出情況，給出了評價指標，并

2、與之前的數(shù)據(jù)進行比對。2典型相關(guān)分析的基本介紹2.1典型相關(guān)分析的基本思想典型相關(guān)分析（canonical correlation analysis，CCA）基本思想是類似于主成分分析法中把多變量與多變量之間的相關(guān)化為兩個變量之間相關(guān)的做法，首先在每組變量內(nèi)部找出具有最大相關(guān)性的一個線型變量組合，然后在每組變量內(nèi)找出第二對線性組合，使其本身具有最大的相關(guān)性，并分別與第一對線性組合不相關(guān)。如此下去，直到兩組變量內(nèi)個變量之間的相關(guān)性被提取完畢為止。有了這些最大相關(guān)的線性組合，在討論兩組變量之間的相關(guān)，就轉(zhuǎn)化為研究這些線性組合的最大相關(guān)，從而減少了研究變量的個數(shù)。2.2典型相關(guān)分析的基本原理設(shè)有兩隨

3、機變量組=（，）和=(,),不妨設(shè)pq.對于,，不妨設(shè)第一組變量的均值和協(xié)方差矩陣為E（X）= Cov（X）=第二組變量的均值和協(xié)方差矩陣為E（Y）= Cov（Y）=第一組與第二組變量的協(xié)方差矩陣為Cov（X,Y）=對于矩陣Z=X Y有均值向量=E（Z）=EE(X) E(Y)=協(xié)方差矩陣=E(Z-)(Z-)= =要研究兩組變量，和,之間的相關(guān)關(guān)系，首先分別作兩組變量的線性組合，即U=(,),=(,)分別為任意非零常系數(shù)向量，則可得，Var(U)=aCov(X)a=aVar(V)=bCov(Y)b=bCov(U,V)=aCov(X,Y)b=a則稱U與V為典型變量，它們之間的相關(guān)系數(shù)稱為典型相關(guān)系

4、數(shù)，即=Corr（U,V）=典型相關(guān)分析研究的問題是，如何選取典型變量的最優(yōu)線性組合.選取原則是：在所有的線性組合U和V中，選取典型相關(guān)系數(shù)為最大的U和V，即選取和使得=與之間的相關(guān)系數(shù)達到最大（在所有的U和V中），然后選取和使得與的相關(guān)系數(shù)在與和不相關(guān)的組合U和V中最大，繼續(xù)下去，直到所有分別與，,和，,都不相關(guān)的線性組合，為止。此時p等于諸變量X與Y之間的協(xié)方差矩陣的秩.典型變量和，和和是根據(jù)它們的相關(guān)系數(shù)由大到小逐對提取，直到兩組變量之間的相關(guān)性被分解完畢為止.2.3典型相關(guān)分析的應(yīng)用典型相關(guān)分析的用途很廣.在實際分析問題中，當我們面臨兩組多變量數(shù)據(jù)，并希望研究兩組變量之間的關(guān)系時，就要

5、用到典型相關(guān)分析.2.4 典型相關(guān)系數(shù)的檢驗典型相關(guān)系數(shù)顯著性檢驗，主要采用的是巴泰勒特（Bartlett）關(guān)于大樣本的檢驗.如果兩組變量X和Y之間互不相關(guān)，則協(xié)方差矩陣僅包含零，因而典型相關(guān)系數(shù)都變?yōu)榱?為此，即Cov（X,Y）=0對于矩陣A的p特征值，按照大到小排列為，這時作乘積：其中是A=的特征根。對于當n充分大，成立時，統(tǒng)計量近似服從pq個自由度的分布，若在給定的顯著性水平下，則拒絕原假設(shè)相關(guān)性，相關(guān)系數(shù)為，第一個典型相關(guān)系數(shù)為顯著的.接下來，為檢驗其余的典型相關(guān)系數(shù)的顯著性，先將剔出，在作乘積，作統(tǒng)計量為它近似服從自由度為的分布，若在給定的顯著性水平下，則拒絕原假設(shè)認為顯著，即第二對

6、典型相關(guān)變量具有相關(guān)性.如此進行下去，直至到第k個典型相關(guān)系數(shù)檢驗為不顯著時，即第k對典型變量不具有相關(guān)性時停止.2.5典型相關(guān)分析計算步驟2.5.1 原始數(shù)據(jù)矩陣2.5.2 對原始數(shù)據(jù)進行標準化變化并計算相關(guān)系數(shù)矩陣其中，分別為第一組變量和第二組變量的相關(guān)系數(shù)矩陣，=為第一組變量和第二組變量的相關(guān)系數(shù).2.5.3 求典型相關(guān)系數(shù)和典型變量計算矩陣以及矩陣的特征值和特征向量，分別得典型相關(guān)系數(shù)和典型變量.2.5.4 檢驗各典型相關(guān)系數(shù)的顯著性3對所選取的實例進行典型相關(guān)分析3.1 2011年遼寧省14個大中城市居民家庭人均收入與支出元城市收入支出工薪經(jīng)營財產(chǎn)轉(zhuǎn)移食品衣著設(shè)備用品醫(yī)療保健交通通信

7、文教娛樂居住雜項服務(wù)其他社會保障沈陽14339.52735.7166.06719.35384.82139.71032.01448.02428.32359.31364.9804.62742.62974.4大連15820.31630.3625.27147.16145.21676.0994.81128.22519.61741.81741.6623.64909.43381.0鞍山10546.81214.1482.07843.94671.41490.8719.81080.92095.51374.71572.2704.42741.01392.2撫順9121.3820.7133.66710.94041.19

8、75.7473.1895.41196.71090.2900.6433.84121.71291.5本溪10789.11267.4342.56239.04779.81583.5712.9976.61321.41291.6907.7545.94564.71662.7丹東8601.8932.569.76523.34470.31118.6675.91129.91110.81032.81402.4382.11668.51428.1錦州10081.33246.1161.35395.54190.91457.6560.71061.31356.61305.41460.6408.53165.41272.6營口102

9、87.92661.35228.66483.94511.31528.4819.5953.61074.41159.71409.2767.22270.61407.4阜新8386.3805.93163.34348.33462.71274.2594.9759795.41046.8820.8293.51760.0864.5遼陽10570.91763.32128.96172.64202.21284.5718.9766.81624959.91056.2458.21884.11812.7盤錦18229.9875.51223.65181.14358.12034.9878.51450.51963.21661.499

10、5.8580.54699.02873.4鐵嶺7763.11008.0397.65637.63566.71321.5805.0717.8939.3850.21815.1306.42629.4662.8朝陽8091.2701.5493.05034.53478.91121.3487.7892.61238.6745.41006.3347.52442.5781.9葫蘆島9213.02997.52331.76285.93771.71131.7619.7671.02071.31136.11065.1502.73865.41205.7說明：數(shù)據(jù)來源：遼寧統(tǒng)計年鑒2010；本數(shù)據(jù)在原來數(shù)據(jù)的基礎(chǔ)之上只保留了一位

11、小數(shù)；其中其他支出項包括：財產(chǎn)性支出、轉(zhuǎn)移性支出、購房與建房支出；在處理數(shù)據(jù)的過程中保留了四位小數(shù).在上表中各項收入與支出指標的數(shù)量單位相同，但數(shù)量級差異較大，因此從相關(guān)矩陣出發(fā)進行典型相關(guān)分析.記4項收入指標的數(shù)據(jù)矩陣為X=，10項支出指標的數(shù)據(jù)矩陣為Y=，即p=4，q=10，n=14.又記Z=（XY），R=，經(jīng)計算得各指標間的相關(guān)系數(shù)如表3.2表3.4所示.表3.2 收入指標的自相關(guān)系數(shù)（Rxx）工薪經(jīng)營財產(chǎn)轉(zhuǎn)移工薪1.00000.10380.46000.1801經(jīng)營0.10381.00000.13470.1892財產(chǎn)0.46000.13471.00000.5656轉(zhuǎn)移0.18010.18

12、920.56561.0000表3.3 支出指標的相關(guān)系數(shù)（Ryy）食品衣著設(shè)備用品醫(yī)療保健交通通信文教娛樂居住雜項服務(wù)其他社會保障食品1.00000.62370.73860.63260.70260.76790.42820.71650.42360.8509衣著0.62371.00000.82400.79720.58770.86450.21560.69080.33490.7742設(shè)備用品0.73860.82401.00000.58220.60420.74450.50970.66940.21920.7844醫(yī)療保健0.63260.79720.58221.00000.52770.80650.16620

13、.58430.29020.7519交通通信0.70260.58770.60420.52771.00000.75970.25480.66190.48800.7863文教娛樂0.76790.86450.74450.80650.75971.00000.20830.73950.39810.8458居住0.42820.21560.50970.16620.25480.20831.00000.2512-0.06360.1727雜項服務(wù)0.71650.69080.66940.58430.66190.73950.25121.00000.25880.6366其他0.42360.33490.21920.29020.

14、48800.3981-0.06360.25881.00000.5176社會保障0.85090.77420.78440.75190.78630.84580.17270.63660.51761.0000表3.4 收入與支出指標的互相關(guān)系數(shù)（Rxy）食品衣著設(shè)備用品醫(yī)療保健交通通信文教娛樂居住雜項服務(wù)其他社會保障工薪0.68560.84250.72850.78290.72340.79220.09380.59930.59270.9335經(jīng)營0.24280.25700.21340.05820.34840.36710.24340.44290.02490.1715財產(chǎn)0.65930.31280.40950.

15、15740.65550.40520.31210.52000.58090.4893轉(zhuǎn)移0.65860.11290.35180.22480.54650.36090.45940.64810.20390.3571從表3.2可以看出，收入指標間存在一定的多重共線性關(guān)系，財產(chǎn)收入和轉(zhuǎn)移收入的相關(guān)性最大為0.5656.從表3.3可以看出，支出指標間的多重共線性關(guān)系較收入指標復(fù)雜，正負相關(guān)性并存，居住與其他支出呈現(xiàn)負相關(guān).文教娛樂與衣著支出的相關(guān)系數(shù)最大為0.86447.從表3.4可以看出，收入指標與支出指標間有較強的線性相關(guān)性，工薪收入與社會保障支出的相關(guān)系數(shù)最大為0.93355.表3.2、表3.3、表3.

16、4表明，有必要對城市居民家庭收入和支出指標進行典型性相關(guān)分析.由標準化數(shù)據(jù)進行典型相關(guān)分析的計算公式和步驟，計算得表3.53.7.表3.5 典型相關(guān)系數(shù)組對1234決策系數(shù)1.00000.96740.59810.4881典型相關(guān)系數(shù)1.00000.98360.77330.6986表3.6 收入指標典型變量的組合系數(shù)（矩陣A）典型變量工薪經(jīng)營財產(chǎn)轉(zhuǎn)移F11.1025-0.0247-0.3264-0.1188F20.01470.27410.41740.6025F3-0.24760.56080.9426-1.031F40.10940.8077-0.81060.2825表3.7 支出指標典型變量的組合

17、系數(shù)（矩陣B）典型變量食品衣著設(shè)備用品醫(yī)療保健交通通信文教娛樂居住雜項服務(wù)其他社會保障G10.8800-0.41910.2378-0.17790.27010.2035-0.1424-0.0673-0.0539-1.5891G20.6468-0.2576-0.1332-0.24200.42720.03630.19440.55970.1581-0.4147G30.12632.5015-1.9085-1.95240.01500.17420.5043-0.2760-0.03700.8153G41.85540.21771.60840.94531.0838-1.7459-1.1047-1.14150.63

18、08-2.4252G5-0.7595-0.23090.06780.3667-1.01550.18260.40380.93251.0110-0.2434G60.33400.13380.2439-0.7907-1.2854-0.2060-0.37230.7995-0.01200.8094由巴泰勒特檢驗方法檢驗典型相關(guān)系數(shù)的顯著性，計算得表3.8.表3.8 典型相關(guān)系數(shù)的巴泰勒檢驗組對1234檢驗統(tǒng)計量的自由度4027167檢驗統(tǒng)計量的觀測值206.8777166.250615.17228.5587檢驗的最小顯著性概率000.15210.2859表3.6表明，城鎮(zhèn)居民收入（F1）的主要構(gòu)成因素是工薪

19、收入.表3.7表明，城鎮(zhèn)居民支出（G1）的主要構(gòu)成因素是食品、社會保障支出.表3.8表明，第1典型相關(guān)系數(shù)1高度顯著，第2典型相關(guān)系數(shù)2有較高的顯著性，第3和第4典型相關(guān)系數(shù)3和4相對講是不顯著的.4結(jié)論通過分析2010年遼寧省14個大中城市居民家庭人均收入與支出現(xiàn)狀，對比2005年的各個數(shù)據(jù)得出一下結(jié)論：結(jié)論一：城市居民家庭人均收入指標間存在一定的多重共線性關(guān)系，收入指標由2005年的相關(guān)性最大是工薪和財產(chǎn)收入為0.6831變化到2010年的財產(chǎn)和轉(zhuǎn)移收入為0.5656；支出指標間的多重共線性關(guān)系較收入指標復(fù)雜，正負相關(guān)性并存，負相關(guān)由2005年的居住與衣著、交通和通信、雜項商品和服務(wù)、其他

20、支出變化到2011年的居住與其他支出，最大相關(guān)系數(shù)由2005年的衣著與交通通信支出的0.8722變化到2010年的文教娛樂與衣著支出的0.86447；收入與支出指標間有較強的線性相關(guān)性，在2005年工薪收入與社會保障支出的相關(guān)性最大為0.9425，到2010年工薪收入與社會保障支出的相關(guān)系數(shù)最大為0.93355，總體呈現(xiàn)下降的趨勢.結(jié)論二：2005年城鎮(zhèn)居民收入（F1）的主要構(gòu)成因素是工薪和經(jīng)營收入，而2010年主要因素是工薪收入；2005年城鎮(zhèn)居民支出（G1）的主要構(gòu)成因素是衣著、交通通信、社會保障，而2011年的主要構(gòu)成因素是食品和社會保障支出；在分析典型性相關(guān)系數(shù)時，2005年與2011

21、年有相似的結(jié)論：第1典型相關(guān)系數(shù)1高度顯著，第2典型相關(guān)系數(shù)2有較高的顯著性，第3和第4典型相關(guān)系數(shù)3和4相對講是不顯著的.參考文獻1 包研科.數(shù)據(jù)分析教程.北京:清華大學出版社,20112于秀林，任雪松.多元統(tǒng)計分析.北京：中國統(tǒng)計出版社，20033付德印.Excel與多元統(tǒng)計分析.北京：中國統(tǒng)計出版社，2007附錄：1.使用MATLAB求自相關(guān)系數(shù)、互相關(guān)系數(shù)、典型相關(guān)系數(shù)和組合系數(shù)：function R,CCORR,ALPHA,BETA,LAMDA,Rxx,Ryy,Rxy=cca(X,Y)%CCA由兩組變量的相關(guān)矩陣求典型相關(guān)系數(shù)和典型變量% 語法%R,CCORR,ALPHA,BETA,

22、LAMDA,Rxx,Ryy,Rxy=cca(X,Y)% X第1組多維隨機變量的“np”數(shù)據(jù)矩陣% Y第2組多維隨機變量的“nq”數(shù)據(jù)矩陣% RX與Y的相關(guān)系數(shù)矩陣% CCORR典型相關(guān)系數(shù)% ALPHAX的典型變量（系數(shù)）% BETAY的典型變量（系數(shù)）% LAMDA典型決策系數(shù)（典型相關(guān)系數(shù)的平方）% X的自相關(guān)系數(shù)矩陣% Y的自相關(guān)系數(shù)矩陣% X與Y的互相關(guān)系數(shù)矩陣n,p=size(X);n,q=size(Y);Z=X,Y;% 求相關(guān)系數(shù)矩陣以及剖分R=corrcoef(Z);Rxx=R(1:p,1:p);Ryy=R(p+1:end,p+1:end);Rxy=R(1:p,p+1:end);

23、Ryx=Rxy'% 求典型變量（系數(shù)）和典型相關(guān)系數(shù)MF=sqrtm(inv(Rxx)*Rxy*inv(Ryy)*Ryx*sqrtm(inv(Rxx);MG=sqrtm(inv(Ryy)*Ryx*inv(Rxx)*Rxy*sqrtm(inv(Ryy);LF,LAMDA=eigs(MF);LG,LAMDA=eigs(MG);LAMDA=diag(LAMDA)'CCORR=sqrt(LAMDA)'ALPHA=LF'*sqrtm(inv(Rxx);BETA=LG'*sqrtm(inv(Ryy);輸入14個城市的收入矩陣和支出矩陣：X=14339.52735.7

24、166.06719.3; 15820.3 1630.3 625.27147.1; 10546.8 1214.1 482.07843.9; 9121.3 820.7 133.66710.9;10789.11267.4342.56239.0; 8601.8 932.5 69.76523.3; 10081.33246.1 161.35395.5; 10287.9 2661.35 228.66483.9; 8386.3805.93163.34348.3; 10570.91763.32 128.96172.6;18229.9 875.51 223.65181.1; 7763.1 1008.03 97.6

25、 5637.6 ; 8091.2701.54 93.05034.5; 9213.02997.52 331.76285.9; Y=5384.82139.71032.01448.02428.32359.31364.9804.62742.62974.4;6145.21676.0994.81128.22519.61741.81741.6623.64909.43381.0;4671.41490.8719.81080.92095.51374.71572.2704.42741.01392.2;4041.1975.7473.1895.41196.71090.2900.6433.84121.71291.5;47

26、79.81583.5712.9976.61321.41291.6907.7545.94564.71662.7;4470.31118.6675.91129.91110.81032.81402.4382.11668.51428.1;4190.91457.6560.71061.31356.61305.41460.6408.53165.41272.6;4511.31528.4819.5953.61074.41159.71409.2767.22270.61407.4;3462.71274.2594.9759795.41046.8820.8293.51760.0864.5;4202.21284.5718.

27、9766.81624959.91056.2458.21884.11812.7;4358.12034.9878.51450.51963.21661.4995.8580.54699.02873.4;3566.71321.5805.0717.8939.3850.21815.1306.42629.4662.8;3478.91121.3487.7892.61238.6745.41006.3347.52442.5781.9;3771.71131.7619.7671.02071.31136.11065.1502.73865.41205.7;調(diào)用M文件函數(shù)：R,CCORR,ALPHA,BETA,LAMDA,R

28、xx,Ryy,Rxy=cca(X,Y)結(jié)果為：R = Columns 1 through 11 1.0000 0.1038 0.4600 0.1801 0.6856 0.8425 0.7285 0.7829 0.7234 0.7922 0.0938 0.1038 1.0000 0.1347 0.1892 0.2428 0.2570 0.2134 0.0582 0.3484 0.3671 0.2434 0.4600 0.1347 1.0000 0.5656 0.6593 0.3128 0.4095 0.1574 0.6555 0.4052 0.3121 0.1801 0.1892 0.5656

29、1.0000 0.6586 0.1129 0.3518 0.2248 0.5465 0.3609 0.4594 0.6856 0.2428 0.6593 0.6586 1.0000 0.6237 0.7386 0.6326 0.7026 0.7679 0.4282 0.8425 0.2570 0.3128 0.1129 0.6237 1.0000 0.8240 0.7972 0.5877 0.8645 0.2156 0.7285 0.2134 0.4095 0.3518 0.7386 0.8240 1.0000 0.5822 0.6042 0.7445 0.5097 0.7829 0.0582

30、 0.1574 0.2248 0.6326 0.7972 0.5822 1.0000 0.5277 0.8065 0.1662 0.7234 0.3484 0.6555 0.5465 0.7026 0.5877 0.6042 0.5277 1.0000 0.7597 0.2548 0.7922 0.3671 0.4052 0.3609 0.7679 0.8645 0.7445 0.8065 0.7597 1.0000 0.2083 0.0938 0.2434 0.3121 0.4594 0.4282 0.2156 0.5097 0.1662 0.2548 0.2083 1.0000 0.599

31、3 0.4429 0.5200 0.6481 0.7165 0.6908 0.6694 0.5843 0.6619 0.7395 0.2512 0.5927 0.0249 0.5809 0.2039 0.4236 0.3349 0.2192 0.2902 0.4880 0.3981 -0.06360.9335 0.1715 0.4893 0.3571 0.8509 0.7742 0.7844 0.7519 0.7863 0.8458 0.1727 Columns 12 through 14 0.5993 0.5927 0.9335 0.4429 0.0249 0.1715 0.5200 0.5

32、809 0.4893 0.6481 0.2039 0.3571 0.7165 0.4236 0.8509 0.6908 0.3349 0.7742 0.6694 0.2192 0.7844 0.5843 0.2902 0.7519 0.6619 0.4880 0.7863 0.7395 0.3981 0.8458 0.2512 -0.0636 0.1727 1.0000 0.2588 0.6366 0.2588 1.0000 0.5176 0.6366 0.5176 1.0000CCORR = 1.0000 0.9836 0.7733 0.6986 0.0000 0 - 0.0000iALPH

33、A = 1.1025 -0.0247 -0.3264 -0.1188 0.0147 0.2741 0.4174 0.6025 -0.2476 0.5608 0.9426 -1.0310 0.1094 0.8077 -0.8106 0.2825BETA = 0.8800 -0.4191 0.2378 -0.1779 0.2701 0.2035 -0.1424 -0.0673 -0.0539 -1.5891 0.6468 -0.2576 -0.1332 -0.2420 0.4272 0.0363 0.1944 0.5597 0.1581 -0.4147 0.1263 2.5015 -1.9085

34、-1.9524 0.0150 0.1742 0.5043 -0.2760 -0.0370 0.8153 1.8554 0.2177 1.6084 0.9453 1.0838 -1.7459 -1.1047 -1.1415 0.6308 -2.4252 -0.7595 -0.2309 0.0678 0.3667 -1.0155 0.1826 0.4038 0.9325 1.0110 -0.2434 0.3340 0.1338 0.2439 -0.7907 -1.2854 -0.2060 -0.3723 0.7995 -0.0120 0.8094LAMDA = 1.0000 0.9674 0.59

35、81 0.4881 0.0000 -0.0000Rxx = 1.0000 0.1038 0.4600 0.1801 0.1038 1.0000 0.1347 0.1892 0.4600 0.1347 1.0000 0.5656 0.1801 0.1892 0.5656 1.0000Ryy = 1.0000 0.6237 0.7386 0.6326 0.7026 0.7679 0.4282 0.7165 0.4236 0.8509 0.6237 1.0000 0.8240 0.7972 0.5877 0.8645 0.2156 0.6908 0.3349 0.7742 0.7386 0.8240 1.0000 0.5822 0.6042 0.7445 0.5097 0.6694 0.2192 0.7844 0.6326 0.7972 0.5822 1.0000 0.5277 0.8065 0.1662 0.5843 0.2902 0.7519 0.7026 0.5877 0.6042 0.5277 1.0000 0.7597 0.2548 0.6619 0.