非參數(shù)統(tǒng)計__秩相關(guān)分析和秩回歸

1、第七章第七章 秩相關(guān)分析和秩回歸秩相關(guān)分析和秩回歸相關(guān)系數(shù)的度量相關(guān)系數(shù)的度量12211()()()()niiisnniiiiRR QQrRRQQ12211()()()()niiinniiiixxyyrxxyy常用的相關(guān)系數(shù)有三種:1. Pearson相關(guān)系數(shù)2. Spearman秩相關(guān)系數(shù)3. Kendall 相關(guān)系數(shù)1(1)/22()()(1)cdcdcdijijij nNNNNNNn nsign xxyyn n 7.1 Spearman秩相關(guān)系數(shù)及檢驗秩相關(guān)系數(shù)及檢驗檢驗問題設(shè)樣本 來自總體 ： 11nn(X,Y)(X ,Y ),(X ,Y )F(x,y)01H :XH :XY與Y不相關(guān)

2、與 正相關(guān).設(shè) 是 在 中的秩, 是 在 中的秩。Spearman秩相關(guān)系數(shù)：秩相關(guān)系數(shù)可簡化為：iRiX12n(X ,X ,X )iQiY12n(Y,Y ,Y )nnniiiii 1i 1i 1snnnn22iiiii 1i 1i 1i 111(RR )(QQ )nnr11(RR )(QQ )nnn2sii2i 16r1(RQ )n(n1) 檢驗檢驗在零假設(shè)成立時， 服從自由度為 的t分布。 時表示正相關(guān)。在存在重復(fù)數(shù)據(jù)的時候，可以采用平均秩，結(jié)不多的時候，T仍然可以采用。s2sn2Tr1 rn2 ,Tt 在大樣本情況下，可以采用正態(tài)近似進行檢驗：sn1rN(0,1)n 在出現(xiàn)打結(jié)的時候，需

3、要使用修正公式計算。當(dāng)例例7.1解答解答0.01t(10)3.1690.01/2t(10)3.1690.01c(12)0.727 相關(guān)系數(shù)及檢驗相關(guān)系數(shù)及檢驗 Kendall Kendall(1938)提出一種類似于Spearman秩相關(guān)的檢驗方法，從兩變量 是否協(xié)同(concordant)來檢驗變量之間的相關(guān)性。首先引入?yún)f(xié)同的概念：若 ， 則稱數(shù)對 和 協(xié)同。若 ， 則稱數(shù)對 和 不協(xié)同。ii(x ,y )jiji(xx)(yy) 0jiii(x ,y )jj(x ,y )jiji(x x)(y y) 0jiii(x ,y )jj(x ,y ) 01H :XH :XY與Y不相關(guān)與 正相關(guān).這

4、樣的樣本共有 個數(shù)對，用 表示協(xié)同的數(shù)對的數(shù)目， 表示不協(xié)同的數(shù)對數(shù)目。則 系數(shù)定義為：其中 ，易知nn(n1)/22 cNdNKendall cdcdcdijij1 i j nNNNN2SNNn(n1)/2n(n1)2sign(xx )(yy )n(n1) cdSNN11 在 取大值的時候拒絕. 具體檢驗時可以查零分布表,大樣本時可以采用正態(tài)近似。打結(jié)情況下用正態(tài)修正。 0H另一種轉(zhuǎn)換形式:將X的數(shù)據(jù)由小到大排序, 由于協(xié)同性考慮Y的秩, 記為: d1,d2,dn, 計算PQn(n1)/2 nijiij ii 1nijiij ii 1pIdd ,PpqIdd ,Qq例例7.2d1,d2, d

5、101 0Nc=38, Nd=7tao=2*31/90=0.6889結(jié)論: 拒絕H0, 體重與肺活量有關(guān)系.38 7 x-c(75,95,85,70,76,68,60,66,80,88)yck 2n 1k(n1)W 當(dāng)樣本中有結(jié)點時，采用修正的Kendall協(xié)和系數(shù)22i.i.c23R(R ) / nWk (nn)kT12g3iiT() 例例7.3 x1 x2 x3 y1 y2 y3 Rh SSR SSR1 657.5 Wc ka qchisq(0.95,9)1 16.91898 %查表值 ka1 24.35185 %計算值 (拒絕H0, 三個因素一致相關(guān))Kappa一致性一致性檢驗檢驗 實際

6、問題:1) 兩家不同醫(yī)院的專家對同一X光片會診診斷結(jié)果是否一致?2) 公司的兩個部門領(lǐng)導(dǎo)對一個項目的鑒定意見是否一致?01H :H :兩種方法不一致兩種方法一致Kappa一致性一致性檢驗檢驗 按光潔程度將產(chǎn)品分為三類: 優(yōu)等品、合格品和不合格品。兩位檢驗員分別對72件產(chǎn)品進行檢驗，檢驗結(jié)果如下：檢驗員1檢驗員2合計優(yōu)等合格不合格優(yōu)等174829合格512017不合格1031326合計32192172問兩個檢驗員檢驗結(jié)果是否一致？Kappa一致性一致性檢驗檢驗 列和B1BrA1p11p1rp1.Arpr1prrpr.行和p.1p.rp. 一般的 rr聯(lián)列表：一致性的度量公式：11221.rrro

7、iiinnnPpnKappa一致性一致性檢驗檢驗 .1reiiiPp p與一致性相反的是獨立性。Kappa統(tǒng)計量：1oeePPKP特別，當(dāng)Po=1，則K=1，顯然非對角線上的元素都為0，這時，一致性非常好。若Po=Pe，則K=0，則認為一致性較差。具體一致性程度的劃分為三種：1)0.4,2)0.40.83)0.8KKK較低中度較高（Kappa系數(shù)）Kappa一致性一致性檢驗檢驗 2.21var()()(1)eeiiiiieKPPp pppnP理論上可推導(dǎo)則正態(tài)近似(0,1)var()KZNK0.0251.96,0ZZK當(dāng)則例例 檢驗員1檢驗員2合計優(yōu)等合格不合格優(yōu)等174829合格512017

8、不合格1031326合計32192172解答解答 A ,1 ,2 ,3 1, 17 4 82, 5 12 03, 10 3 13 PA PA ,1 ,2 ,3 1, 0.23611111 0.05555556 0.11111112, 0.06944444 0.16666667 0.00000003, 0.13888889 0.04166667 0.1805556 rPA cPA Po Po1 0.5833333 Pe Pe1 0.3466435 K K1 0.3622675 （較低）一元線性回歸一元線性回歸例例多元線性回歸多元線性回歸多元線性回歸系數(shù)估計多元線性回歸系數(shù)估計例例X1=c(-0.

9、05, 0.25,0.60,0, 0.25,0.20, 0.15,0.05,-0.15, 0.15,0.20, 0.10,0.40,0.45,0.35,0.30, 0.50,0.50, 0.40,-0.05,-0.05,-0.10,0.20,0.10,0.50,0.60,-0.05,0, 0.05, 0.55)X2=c( 5.50,6.75,7.25,5.50,7.00,6.50,6.75,5.25,5.25,6.00,6.50,6.25,7.00,6.90,6.80,6.80,7.10,7.00,6.80,6.50,6.25,6.00,6.50,7.00,6.80,6.80,6.50,5.7

10、5,5.80,6.80)Y=c( 7.38,8.51,9.52,7.50,9.33,8.28,8.75,7.87,7.10,8.00,7.89,8.15,9.10,8.86,8.90,8.87,9.26,9.00,8.75,7.95,7.65,7.27,8.00,8.50,8.75,9.21,8.27,7.67,7.93,9.26)lm.sol x y mx-median(x)分組程序分組程序 y1-yx=mxx1-xx=mxy2mxx2mx例例7.5 X5.5, 5.8, 6.3, 6.5, 6.8, 6.9, 7.0, 7.2, X1med=6.65Y6.3, 5.5, 6.8, 7.6,

11、 7.0, 7.8, 6.6, 6.1, Y1med=6.7X7.3, 7.5, 7.6, 8.1, 8.2, 8.3, 9.1, X2med=8.1Y7.9, 8.4, 7.1, 8.0, 9.0, 9.6, 8.7, Y2med=8.412128.46.71.17248.1 6.650.6586:1.17240.6586medmedBMmedmedeBMiBMiiYYXXmedian yxyx 回歸方程例例7.5 xy67896789一元線性回歸一元線性回歸 lm(yx)Call:lm(formula = y x)Coefficients:(Intercept) x 0.7996 0.92

12、88 :0.92880.7996yx回歸方程一元線性回歸一元線性回歸擬合效果圖形： plot(x,y) abline(lm(yx)xy67896789jiijjiyysxx1）Theil方法：當(dāng)X沒有重復(fù)數(shù)據(jù)時，任給i S for(i in 1:14)for(j in (i+1):15)Si,j Sx Sm Sm1 0.969697al al1 0.6909091:0.96970.6909yx回歸方程三種方法的效果圖形三種方法的效果圖形 0.92880.7996yx最小二乘法1.17240.6586BMyx方法0.96970.6909Theilyx方法課后習(xí)題課后習(xí)題7.5 plot(x,y)

13、X33 45 30 20 39 34 34 21 27 38 30Y76 103 69 50 86 85 74 58 62 88 210 xy20253035404550100150200異常值1）BM方法 mx-median(x)y1-yx=mxx1-xx=mxy2mxx2mx BM BM1 2.157895 alf alf1 5.8947372.15795.8947yx2）Theil方法 x0 y0 S for(i in 1:9)for(j in (i+1):10)Si,j Sx Sm Sm1 2 al al1 10.7510.752yx關(guān)于關(guān)于和和的檢驗問題的檢驗問題 0001000010:,:,:HHHH圖形分析：xy67896789n1n2xmed1）BM方法100200#( ,):,#( ,):,iiimediiiimedinx yxxyxnx yxxyx122212:4:()()44nnnnnnn0在H 的假定下構(gòu)造統(tǒng)計量關(guān)于關(guān)于和和的檢驗問題的檢驗問題 22212200.05