相關(guān)與回歸Spearman相關(guān)檢驗(yàn)注意課件

第六章相關(guān)與回歸Spearman相關(guān)檢驗(yàn)注意：通常認(rèn)為為相關(guān)程度較高。6rs的顯著性檢驗(yàn)前面計(jì)算的rs是抽自兩個(gè)總體的樣本數(shù)據(jù)計(jì)算的結(jié)果，從這一相關(guān)系數(shù)的大小，可以猜測總體的秩相關(guān)系數(shù)是否與零有顯著差異，但是否為真，還應(yīng)進(jìn)行假設(shè)檢驗(yàn)。檢驗(yàn)可以研究兩個(gè)總體是否存在相關(guān)，也可以分別研究相關(guān)的方向，即是正相關(guān)，還是負(fù)相關(guān)。雙側(cè)檢驗(yàn)：單側(cè)檢驗(yàn)：當(dāng)n≤30時(shí)，根據(jù)n和rs查找相應(yīng)的概率P（H0為真時(shí)，R為某值可能的概率）。若P值小于顯著性水平α，則拒絕H0;若P值大于顯著性水平α，則不能拒絕H0

。若n>30,則計(jì)算Z統(tǒng)計(jì)量，該統(tǒng)計(jì)量近似服從正態(tài)分布。例題：經(jīng)濟(jì)發(fā)展水平X和衛(wèi)生水平Y(jié)之間的相關(guān)分析顯著性檢驗(yàn)：因?yàn)槲粗该飨嚓P(guān)的方向，因此，只需檢驗(yàn)是否相關(guān)，可以建立雙側(cè)檢驗(yàn)：R語言中函數(shù)cor.test()可完成Speraman秩相關(guān)檢驗(yàn)，其調(diào)用格式為：cor.test(x,y,alternative=c("two.sided","less","greater"),method=c("pearson","kendall","spearman"),exact=NULL,conf.level=0.95,continuity=FALSE,...)

x,ynumericvectorsofdatavalues.xandymusthavethesamelength.Alternativeindicatesthealternativehypothesisandmustbeoneof"two.sided","greater"or"less".Youcanspecifyjusttheinitialletter."greater"correspondstopositiveassociation,"less"tonegativeassociation.Methodacharacterstringindicatingwhichcorrelationcoefficientistobeusedforthetest.Oneof"pearson","kendall",or"spearman",canbeabbreviated.Exactalogicalindicatingwhetheranexactp-valueshouldbecomputed.UsedforKendall'stauandSpearman'srho.See‘Details’forthemeaningofNULL(thedefault).conf.levelconfidencelevelforthereturnedconfidenceinterval.CurrentlyonlyusedforthePearsonproductmomentcorrelationcoefficientifthereareatleast4completepairsofobservations.Continuitylogical:iftrue,acontinuitycorrectionisusedforKendall'stauandSpearman'srhowhennotcomputedexactly.解：書上例6.1的R程序如下：>d=read.table("E:\\Rwork\\DM1.txt")>x=d[,2];y=d[,1]>rx=rank(x);ry=rank(y)>rsd=rbind(rx,ry,(rx-ry)^2)>cor.test(x,y,meth="spearman")輸出結(jié)果：rsd的輸出結(jié)果：練習(xí)：美國1920到1980年間擁有拖拉機(jī)和擁有馬匹的農(nóng)場的百分比為年份1920193019401950196019701980擁有拖拉機(jī)9.230.951.872.789.987.790.2擁有馬匹91.888.080.643.616.714.410.5是否二者之間有某種相關(guān)？何種相關(guān)？同分的處理Kendallτ檢驗(yàn)Kendallτ檢驗(yàn)是從另一個(gè)角度來看相關(guān),其檢驗(yàn)的假設(shè)為：Kendallτ相關(guān)系數(shù):

nc是X與Y協(xié)同的對(duì)數(shù)，或得+1的對(duì)數(shù)。nd是X與Y不協(xié)同的對(duì)數(shù)，或得-1的對(duì)數(shù)。

從定義可以看出，當(dāng)二變量是相關(guān)的，則K的絕對(duì)值大，反之當(dāng)K的絕對(duì)值接近1，則x與Y是相互無關(guān)的。值界于-1～1之間。當(dāng)樣本容量足夠大時(shí)

檢驗(yàn)過程：例：下表列出了20個(gè)國家和地區(qū)的出生率X(%)及人均收入Y（美元），括號(hào)中位相應(yīng)的秩，我們想檢驗(yàn)這兩者之間是否為負(fù)相關(guān)。兩種方法的比較：Theil回歸和最小中位數(shù)二乘回歸在經(jīng)濟(jì)計(jì)量學(xué)中，最簡單的模型是只有一個(gè)因變量Y和一個(gè)解釋變量X的線性回歸模型。例如，在一般情況下，消費(fèi)支出總是隨著家庭收入的增加而變動(dòng)的，如果用Yi為消費(fèi)支出，Xi為家庭收入，為未列入方程的，對(duì)有影響的其它眾多因素，即隨即擾動(dòng)項(xiàng)。若用簡單線性回歸模型表示它們的關(guān)系即為Theil方法的思想：從殘差出發(fā)，尋求斜率β，使得所有觀測值對(duì)（xi,yi)與（xj,yj)擬合回歸直線后的殘差之差的正負(fù)符號(hào)相等。記則第j個(gè)與第i個(gè)殘差之差為Theil回歸要求β使得如果x1,x2,…,xn是按升冪排列的，那么為對(duì)子（xi,di)中按Kendall定義的協(xié)同的數(shù)目減去不協(xié)同的數(shù)目，即x與d之間的Kendall相關(guān)系數(shù)為記所有兩個(gè)不同數(shù)據(jù)點(diǎn)連線的斜率為解：R程序如下：>d=read.table("E:\\Rwork\\CPIGINI.txt",header=T)>x=d[,1];y=d[,2]>n=nrow(d)>s=NULL;>for(iin1:(n-1))for(jin(i+1):n)+s=c(s,(y[j]-y[i])/(x[j]-x[i]))>b=median(s);a=median(y-b*x)>e=y-a-b*x>coef=c(a,b)輸出結(jié)果：試建立該種魚年齡與長度的回歸方程。Theil回歸中對(duì)β的檢驗(yàn)相比普通最小二乘，Theil回歸能接受一定數(shù)據(jù)污染，為什么最小中位數(shù)二乘是最穩(wěn)健的？Theil回歸是計(jì)算所有斜率的中位數(shù)，首先它不受leverage的影響(leverage就是線性回歸中X(X‘X)^{-1}X’這個(gè)hat矩陣的對(duì)角線元素大小，這個(gè)數(shù)越大，其對(duì)應(yīng)的點(diǎn)對(duì)回歸結(jié)果的影響也就越大，如果不幸這個(gè)leverage很大的點(diǎn)還是個(gè)outlier，那結(jié)果就非常不可靠了