非參數(shù)統(tǒng)計(jì) 單一樣本的推斷問(wèn)題.ppt

1、胡雪梅,QQ:182048520 E-mail：,第三章,數(shù)學(xué)與統(tǒng)計(jì)學(xué)院,單一樣本的推斷問(wèn)題,主要內(nèi)容,第一節(jié) 符號(hào)檢驗(yàn)和分位數(shù)推斷,假設(shè)總體 ， 是總體的中位數(shù)，對(duì)于假設(shè)檢驗(yàn)問(wèn)題： 是待檢驗(yàn)的中位數(shù)取值,定義: ，則 在零假設(shè)情況下 ，在顯著性水平為 的拒絕域?yàn)?其中k是滿(mǎn)足上式最大的k值。,例3.1. 假設(shè)某地16座預(yù)出售的樓盤(pán)均價(jià)，單位(百元/平方米)如下表所示： 36 32 31 25 28 36 40 32 41 26 35 35 32 87 33 35,解一: 用t檢驗(yàn)法,用T統(tǒng)計(jì)量,結(jié)論: 不能拒絕H0。,解二: 用符號(hào)檢驗(yàn)法,在顯著性水平0.05下，拒絕H0。 符號(hào)檢驗(yàn)與t檢驗(yàn)

2、得到了相反的結(jié)論，到底選擇哪一種結(jié)果呢？,結(jié)論：符號(hào)檢驗(yàn)在總體分布未知的情況下優(yōu)于t 檢驗(yàn)！,補(bǔ)充: R中的t檢驗(yàn)法的用法,t-test(x) X1,X2,XnN(a, 2), H0 : a=a0 , H1: aa0,補(bǔ)充: R中的t檢驗(yàn)法的用法,例如, 某食品廠用自動(dòng)裝罐機(jī)裝罐頭食品,每罐質(zhì)量為500g, 現(xiàn)從每天生產(chǎn)的罐頭中隨機(jī)抽測(cè)9罐,其質(zhì)量分別為: 510, 505, 498, 503, 492, 502, 497, 506, 495(單位:g) 欲檢驗(yàn)H0: a=500, H1: a500, t.test(x-500) data: x - 500 t = 0.46, df = 8,

3、p-value = 0.6578 alternative hypothesis: mean is not equal to 0 95 percent confidence interval: -3.567471 5.345249 sample estimates: mean of x 0.8888889,2) 配對(duì)t檢驗(yàn)法 X1,X2,XnN(a1, 12), Y1,Y2,YnN(a2, 22), H0 : a1=a2 , H1: a1a2,補(bǔ)充: R中的t檢驗(yàn)法的用法,例如, 欲比較甲乙兩種輪胎的耐磨性, 現(xiàn)抽取數(shù)據(jù)如下: 甲: 4900,5220,5500,6020,6340,7660,8

4、650,4870 乙: 4930,4900,5140,5700,6110,6880,7930,5010 欲檢驗(yàn)H0 : a1=a2 , H1: a1a2, x y t.test(x,y,alternative=“l(fā)ess”,paired=T),補(bǔ)充: R中的t檢驗(yàn)法的用法,Paired t-Test data: x and y t = 2.8312, df = 7, p-value = 0.9873 alternative hypothesis: mean of differences is less than 0 95 percent confidence interval: NA 534.

5、1377 sample estimates: mean of x - y 320 接受H0, 認(rèn)為兩種輪胎無(wú)顯著性差異.,結(jié)果討論,例 生產(chǎn)過(guò)程是否需要調(diào)整。 某企業(yè)生產(chǎn)一種鋼管，規(guī)定長(zhǎng)度的中位數(shù)是l0米?，F(xiàn)隨機(jī)地： 從正在生產(chǎn)的生產(chǎn)線(xiàn)上選取10根進(jìn)行測(cè)量，結(jié)果： 9.8 10.1 9.7 9.9 9.8，10.0，9.7 10.0，9.9 9.8,分析：中位數(shù)是這個(gè)問(wèn)題中所關(guān)心的一個(gè)位置參數(shù)。 若產(chǎn)品長(zhǎng)度真正的中位數(shù)大于或小于10米，則生產(chǎn)過(guò)程 需要調(diào)整。這是一個(gè)雙側(cè)檢驗(yàn)，應(yīng)建立假設(shè),大樣本結(jié)論,當(dāng)n較大時(shí) ： 當(dāng)n不夠大的時(shí)候可用修正公式進(jìn)行調(diào)整。 雙邊： ，p-值 左側(cè)： ，p-值 右側(cè)

6、： ，p-值,例3.2 設(shè)某化妝品廠商有A和B兩個(gè)品牌，為了解顧客對(duì)A品牌和B品牌在使用上的差異，將A品牌和B品牌同時(shí)交給45個(gè)顧客使用，一個(gè)月后得到如下數(shù)據(jù)： 喜歡A品牌的客戶(hù)人數(shù)：22人 喜歡B品牌的客戶(hù)人數(shù)：18人 不能區(qū)分的人數(shù)： 5人,解：假設(shè)檢驗(yàn)問(wèn)題：,由給定的數(shù)據(jù)知：,運(yùn)用大樣本的性質(zhì)，,結(jié)論：不能拒絕零假設(shè)。,符號(hào)檢驗(yàn)在配對(duì)樣本比較中的應(yīng)用,配對(duì)樣本(x1,y1), (x2,y2) , (xn,yn) 將 記為“+”， 記為“-” ， 記為“0”，記P+ 為“+”比例， P- 為“-”比例， 那么假設(shè)檢驗(yàn)問(wèn)題： 可以用符號(hào)秩檢驗(yàn)。,H0:P+=P- H1:P+=P-,例3.4

7、如右表是某種商品在12家超市促銷(xiāo)活動(dòng)前后的銷(xiāo)售額對(duì)比表，用符號(hào)檢驗(yàn)分析促銷(xiāo)活動(dòng)的效果如何？,連 促銷(xiāo)前 促銷(xiāo)后 鎖 銷(xiāo)售額 銷(xiāo)售額 符號(hào) 店 1 42 40 + 2 57 60 - 3 38 38 0 4 49 47 + 5 63 65 - 6 36 39 - 7 48 49 - 8 58 50 + 9 47 47 0 10 51 52 - 11 83 72 + 12 27 33 -,結(jié)論：不能拒絕零假設(shè)。,根據(jù)同樣原理，可以將中位數(shù)符號(hào)檢驗(yàn)推廣為任意分位點(diǎn)的符號(hào)檢驗(yàn)。,例3.1. 假設(shè)某地16座預(yù)出售的樓盤(pán)均價(jià)，單位(百元/平方米) 36,32,31,25,28,36,40,32,41,26

8、,35,35,32,87,33,35,36 32 31 25 28 36 40 32 41 26 35 35 32 87 33 35 - - - - - - 0 - + - - - - + - -,S+=2, S-=13, Pbinom(15, 0.75)minS+,S-2=0 因此,拒絕H0。,binom.test(sum(x40),length(x)-1,0.75) Exact binomial test data: sum(x 40) out of length(x)-1 number of successes = 2, n = 15, p-value = 9.23e-07 altern

9、ative hypothesis: p is not equal to 0.75,R編程計(jì)算：,95 percent confidence interval: 0.01657591 0.40460270 sample estimates: probability of success 0.1333333,Cox-Staut趨勢(shì)存在性檢驗(yàn),檢驗(yàn)原理: 設(shè)數(shù)據(jù)序列： ，雙邊假設(shè)檢驗(yàn)問(wèn)題： 令： 取數(shù)對(duì) ， ， 為正的數(shù)目， 為負(fù)的數(shù)目, 當(dāng)正號(hào)或者負(fù)號(hào)太多的時(shí)候，認(rèn)為數(shù)據(jù)存在趨勢(shì)。在零假設(shè)情況下 Di服從二項(xiàng)分布。從而轉(zhuǎn)化為符號(hào)檢驗(yàn)問(wèn)題。,X1,X2,Xn,例3.6 某地區(qū)32年來(lái)的降雨量如下表

10、問(wèn) （1）：該地區(qū)前10年來(lái)降雨量是否有變化？ （2）：該地區(qū)32年來(lái)降雨量是否有變化？,年份 1971 1972 1973 1974 1975 1976 1977 1978 降雨量 206 223 235 264 229 217 188 204 年份 1979 1980 1981 1982 1983 1984 1985 1986 降雨量 182 230 223 227 242 238 207 208 年份 1987 1988 1989 1990 1991 1992 1993 1994 降雨量 216 233 233 274 234 227 221 214 年份 1995 1996 1997

11、1998 1999 2000 2001 2002 降雨量 226 228 235 237 243 240 231 210,=5,結(jié)論: 不能拒絕零假設(shè)。, x y binom.test(sum(xy),length(x),0.5) Exact binomial test data: sum(x y) out of length(x) number of successes = 2, n = 5, p-value = 1 alternative hypothesis: p is not equal to 0.5, x y binom.test(sum(xy),length(x-y),0.5) E

12、xact binomial test data: sum(x y) out of length(x - y) number of successes = 2, n = 16, p-value = 0.004181 alternative hypothesis: p is not equal to 0.5 結(jié)論: 拒絕H0, 認(rèn)為降雨量有明顯變化., rain year anova(lm(rain(year) Analysis of Variance Table Response: rain Terms added sequentially (first to last) Df Sum of S

13、q Mean Sq F Value Pr(F) year 1 535.36 535.3637 1.579228 0.2185691 Residuals 30 10170.11 339.0035 接受H0,認(rèn)為降雨量線(xiàn)性趨勢(shì)并不顯著.,隨機(jī)游程檢驗(yàn),游程的概念 一個(gè)總體，如按性別區(qū)分的人群，按產(chǎn)品是否有毛病區(qū)分的總體等等，隨機(jī)從中抽取一個(gè)樣本，樣本也可以分為兩類(lèi)；類(lèi)型I和類(lèi)型E。若凡屬類(lèi)型I的給以符號(hào)A，類(lèi)型E的給以符號(hào)B，則當(dāng)樣本按某種順序排列(如按抽取時(shí)間先后排列)時(shí)，一個(gè)或者一個(gè)以上相同符號(hào)連續(xù)出現(xiàn)的段，就被稱(chēng)作游程，也就是說(shuō)，游程是在一個(gè)兩種類(lèi)型的符號(hào)的有序排列中，相同符號(hào)連續(xù)出現(xiàn)的段。

14、,例如，將某售票處排隊(duì)等候購(gòu)票的人按性別區(qū)分，男以A表示，女以B表示。按到來(lái)的時(shí)間先后觀察序列為：AABABB。在這個(gè)序列中，AA為一個(gè)游程，連續(xù)出現(xiàn)兩個(gè)A；B是一個(gè)游程，A也是一個(gè)游程，BB也是一個(gè)游程。于是，在這個(gè)序列中，A的游程有2個(gè)，B的游程也有2個(gè)，序列共有4個(gè)游程。每一個(gè)游程所包含的符號(hào)的個(gè)數(shù),稱(chēng)為游程的長(zhǎng)度。如上面的序列中，有一個(gè)長(zhǎng)度為2的A游程、一個(gè)長(zhǎng)度為2的B游程，長(zhǎng)度為1的A游程、B游程也有1個(gè)。,游程: 01111為兩個(gè)游程 游程長(zhǎng)度: 一個(gè)游程中數(shù)據(jù)的個(gè)數(shù) 一個(gè)序列里游程個(gè)數(shù)記為R. 例3.7 序列1100001110110000111100 R=8，游程長(zhǎng)度分別為2,

15、4,3,1,2,4,4,2 極端情況: 000001111111 R=2 0101010101010 R=2min(n0,n1)+1 所以, 2R2min(n0,n1)+1 極端情況都說(shuō)明數(shù)據(jù)不具有隨機(jī)性。 R服從什么分布呢？,檢驗(yàn)原理和計(jì)算方法,設(shè)是由0或者1組成的序列 ，假設(shè)檢驗(yàn)問(wèn)題：,R為游程個(gè)數(shù)，假設(shè)有 個(gè)0， 個(gè)1， ，這時(shí)R取任何一個(gè)值的概率都是 ，R的條件分布,建立了抽樣分布之后，在零假設(shè)成立時(shí)，可以計(jì)算 或者 的值，進(jìn)行檢驗(yàn)。,X1,X2,Xn,小樣本的例子(p69 例3.8),H0: 樣本中的觀測(cè)是隨機(jī)產(chǎn)生的. Ha: 樣本中的觀測(cè)是隨機(jī)產(chǎn)生的 = .05 n1 = 18 n

16、2 = 8 R = 12 由于 7 R = 12 17,不能拒絕 H0,Runs Test: 大樣本的例子,經(jīng)驗(yàn)表明： 如果 n1或 n2 20, R 的抽樣分布近似為正態(tài),Runs Test:大樣本例子(p70 例3.10),H0: 樣本中的觀測(cè)是隨機(jī)產(chǎn)生的. Ha: 樣本中的觀測(cè)是隨機(jī)產(chǎn)生的 = .05 n1 = 40 n2 = 10 如果 -1.96 Z 1.96,不能拒絕 H0 否則 拒絕H0. 1 1 2 3 4 5 6 7 8 9 0 11 NNN F NNNNNNN F NN FF NNNNNN F NNNN F NNNNN 12 13 FFFF NNNNNNNNNNNN R =

17、 13,Runs Test: 大樣本例子,-1.96 Z = -1.81 1.96, 不能拒絕 H0,/web/packages/tseries/index.html, library(tseries) run1=c(1,1,1,0,rep(1,7),0,1,1,0,0,rep(1,6), + 0,rep(1,4),0,rep(1,5),rep(0,4),rep(1,13) ff=as.factor(run1) runs.test(ff) Runs Test data: ff Standard Normal = -1.8074, p-value

18、= 0.0707 alternative hypothesis: two.sided,Wilcoxon符號(hào)秩檢驗(yàn),基本概念及性質(zhì) 對(duì)稱(chēng)分布的中心一定是中位數(shù)，在對(duì)稱(chēng)分布情況下，中位數(shù)不唯一，研究對(duì)稱(chēng)中心比中位數(shù)更有意義。,例：下面的數(shù)據(jù)中，O是對(duì)稱(chēng)中心嗎？,稱(chēng)連續(xù)分布F(x)關(guān)于 對(duì)稱(chēng),如果,稱(chēng) 是分布的對(duì)稱(chēng)中心。,Wilcoxon符號(hào)秩檢驗(yàn)既考慮了Xi-M0的符號(hào)，又考慮其大小。,Wilcoxon符號(hào)秩檢驗(yàn)原理以及性質(zhì),如果數(shù)據(jù)關(guān)于0點(diǎn)對(duì)稱(chēng)，那么對(duì)稱(chēng)中心兩側(cè)的數(shù)據(jù)疏密程度應(yīng)該一樣，取正值數(shù)據(jù)在絕對(duì)值樣本中的秩和與取負(fù)值在絕對(duì)值樣本中的秩和相近。,用 表示 在絕對(duì)值樣本中的秩，Wilcoxon

19、符號(hào)秩統(tǒng)計(jì)量定義為：,正等級(jí)的總和即正秩次總和,負(fù)等級(jí)的總和即負(fù)秩次總和,Wilcoxon符號(hào)秩檢驗(yàn)原理以及性質(zhì),例3.11 如果樣本值：9,13,-7,10,-18,4，計(jì)算符號(hào)秩統(tǒng)計(jì)量。,Wilcoxon符號(hào)秩檢驗(yàn)步驟：,3. 令 表示和 對(duì)應(yīng)的 的秩和，令 表示 和 對(duì)應(yīng)的 的秩和。,2. 找出 的秩，打結(jié)時(shí)取平均秩。,1. 計(jì)算,4. 雙邊檢驗(yàn) ,取 ，當(dāng)W很小時(shí)拒絕零假設(shè)；對(duì) ,取 ；對(duì) ，取 。,5. 根據(jù)W的值查Wilcoxon符號(hào)秩檢驗(yàn)分布表。對(duì)n很大的時(shí)候，可以采用正態(tài)近似。,Wilcoxon符號(hào)秩統(tǒng)計(jì)量分布,在小樣本情況下可以計(jì)算Wilcoxon符號(hào)秩統(tǒng)計(jì)量的精確分布。在大

20、樣本情況下可以使用正態(tài)近似：,計(jì)算出Z值以后，查正態(tài)分布表對(duì)應(yīng)的p-值，如果p-值很小，則拒絕零假設(shè)。,在小樣本情況下，用連續(xù)性修正公式：,例3.12,為了解垃圾郵件對(duì)大型公司決策層工作發(fā)影響程度，某網(wǎng)站收集了19家大型公司的CEO郵箱里每天收到的垃圾郵件數(shù)，得到如下數(shù)據(jù): (單位：封) 310 350 370 377 389 400 415 425 440 295 325 296 250 340 298 365 375 360 385 問(wèn)收到垃圾郵件的數(shù)量的中心位置是否超出320封？,使用Wilcoxon符號(hào)秩檢驗(yàn)法計(jì)算如下：,例3.12,結(jié)論：不拒絕原假設(shè)。,例3.12,用R的內(nèi)置函數(shù)計(jì)算 格式: wilcox.test(x, y, alternative=two.sided, mu=0, paired=F, exact=T, correct=T) alternative two.sided“ or greater or less mu X分布的中心位置 paired 是否是配