非參數(shù)統(tǒng)計(jì)方法簡介.pptVIP

非參數(shù)統(tǒng)計(jì)方法簡介,廖海仁 2011.3.17,提 綱,統(tǒng)計(jì)的穩(wěn)健性 參數(shù)統(tǒng)計(jì) vs 非參數(shù)統(tǒng)計(jì) 單總體位置參數(shù)的檢驗(yàn) 1）中位數(shù)的符號檢驗(yàn) 2）符號秩和檢驗(yàn) 分布的一致性檢驗(yàn): 2檢驗(yàn) 兩總體的比較與檢驗(yàn) 多總體的比較與檢驗(yàn),統(tǒng)計(jì)之都論壇的一個(gè)帖子,標(biāo)題：心理統(tǒng)計(jì)求教，方差分析還是T檢驗(yàn)?zāi)兀?內(nèi)容： 問題是這樣的：對我校4個(gè)年級的大學(xué)生適應(yīng)心理進(jìn)行分析，每個(gè)年級得出50組數(shù)據(jù)，現(xiàn)在要比較不同年級之間適應(yīng)性的差異性，到底要用什么檢驗(yàn)，用spss這樣操作呢？小妹在此求教求真理，謝謝各位大哥了！ 回答一： 一般與人的行為相關(guān)的數(shù)據(jù)都是偏態(tài)的分布，方差分析和t-test就不適用了吧,統(tǒng)計(jì)的穩(wěn)健性,指統(tǒng)計(jì)的一種性質(zhì)：當(dāng)真實(shí)模型與理論模型有不大的偏離時(shí)，統(tǒng)計(jì)方法仍能維持較為良好的性質(zhì)，至少不致變得太壞。 實(shí)際應(yīng)用中總體的分布的假定的分布常略有偏離；大量的觀測數(shù)據(jù)中常存在部分異常數(shù)據(jù)。 （1）對總體分布的穩(wěn)健性 若性能與總體的正態(tài)性有較強(qiáng)的依賴關(guān)系者，如F檢驗(yàn)，其穩(wěn)健性較差；而與總體均值相關(guān)的統(tǒng)計(jì)方法，如t檢驗(yàn)之類，其穩(wěn)健性相對較好。 （2）對異常數(shù)據(jù)的穩(wěn)健性 典型例子：樣本均值估計(jì)總體均值，受異常數(shù)據(jù)影響較大，相對中位數(shù)與截?cái)嗑蹈环€(wěn)健。 獲得對異常數(shù)據(jù)穩(wěn)健性的途徑：a) 設(shè)計(jì)有效的方法發(fā)現(xiàn)并剔除異常值；b) 設(shè)計(jì)對個(gè)別異常數(shù)據(jù)不敏感的統(tǒng)計(jì)方法,參數(shù)統(tǒng)計(jì) vs 非參數(shù)統(tǒng)計(jì),參數(shù)統(tǒng)計(jì) 假設(shè)總體分布函數(shù)已知（大多數(shù)基于正態(tài)假設(shè)）或只帶有一些未知參數(shù) 非參數(shù)統(tǒng)計(jì) 如果在一個(gè)統(tǒng)計(jì)問題中，如果其總體分布不能用有限個(gè)實(shí)數(shù)來刻畫，只能對它做一些分布連續(xù)、有密度、具有某些矩等一般性的假定，則稱為非參數(shù)統(tǒng)計(jì)問題。,非參數(shù)方法的特點(diǎn),方法的適用面廣而效率可能較低 大樣本理論占重要位置 所謂大樣本統(tǒng)計(jì)方法是指根據(jù)統(tǒng)計(jì)量的極限性質(zhì)而得出的統(tǒng)計(jì)方法 大樣本理論依賴于概率論的極限理論 從數(shù)據(jù)本身獲取信息 具有良好的穩(wěn)健性,基本概念,秩(Rank): 把樣本X1,X2,Xn按大小排列為X(1) = X(2) = X(n), 若Xi=X (Ri) ,則稱Ri為Xi的秩， 全部n個(gè)秩構(gòu)成秩統(tǒng)計(jì)量。秩統(tǒng)計(jì)量是非參數(shù)統(tǒng)計(jì)的一個(gè)主要工具。 Statistical Methods Based on RankE.L. Lehmann Order Statistics H.A. David 中位數(shù)(Median) 均值(Mean) 優(yōu)點(diǎn)：（1）有時(shí)比數(shù)學(xué)期望更有代表性； （2）受少數(shù)異常值的影響很小 （3）理論上總是存在 性質(zhì)：設(shè)X有概率密度函數(shù)f(x), 另h(a)=E|X-a|, 當(dāng)a為X的中位數(shù)m時(shí)，h(a)達(dá)到最小值。 缺點(diǎn)：（1）X1+X2的中位數(shù)與X1,X2的中位數(shù)缺乏簡單聯(lián)系，數(shù)學(xué)上處理復(fù)雜且不方便 （2）中位數(shù)可能不唯一，對于離散型，定義可能不理想 （3）實(shí)際計(jì)算的復(fù)雜度遠(yuǎn)大于均值計(jì)算的復(fù)雜度,樣本數(shù)據(jù)分析的一般步驟,數(shù)據(jù)探查 R: plot, hist, boxplot 分布的檢驗(yàn) 使用QQ圖 R：qqnorm, qqline Shapiro-Wilk Normality test（正態(tài)分布檢驗(yàn)）(適合小樣本 N2000) R: shapiro.test(x) Kolmogorov-Smironov test (K-S分布檢驗(yàn)) (適合大樣本） ks.test(x, “pnorm“, mean = mean(x), sd = sqrt(var(x) 使用具體的假設(shè)檢驗(yàn)方法：方差分析、T檢驗(yàn)、非參數(shù)方法等,中位數(shù)的符號檢驗(yàn),在總體分布為正態(tài)分布時(shí)，要檢驗(yàn)其均值是否為，使用t檢驗(yàn)： T= (X- ) / (s/sqrt(n) t(n-1)。當(dāng)分布未知時(shí)，此方法可能有風(fēng)險(xiǎn) 中位數(shù)檢驗(yàn)：檢驗(yàn)其中位數(shù)是否為M0 H0: M=M0 H1: M M0 (雙邊假設(shè)檢驗(yàn)） 符號檢驗(yàn)檢驗(yàn)統(tǒng)計(jì)量： S+ = #Xi: Xi-M0 0, i=1,2,3,n 將其轉(zhuǎn)化為二項(xiàng)分布檢驗(yàn)： S+ binom(n, ) R實(shí)現(xiàn)：無直接函數(shù)，自己借用binom.test(s, n, p=0.5, ),符號秩和檢驗(yàn),符號檢驗(yàn)不足：不考察值的大小，不能檢驗(yàn)出偏度非常大的分布（實(shí)例中的值明顯偏大于6064，卻沒有檢驗(yàn)出來）。 符號秩和檢驗(yàn)（又稱Wilcoxon符號秩檢驗(yàn)）基本思想：考察 |xi-M0| 的秩，假定總體是連續(xù)的，且對其中位數(shù)是對稱的，則 W+ = Ri(+) 服從中點(diǎn)為n(n+1)/4的對稱分布。 符號秩和檢驗(yàn)一般比符號檢驗(yàn)更有效(強(qiáng)勢） R： wilcox.test()可用來進(jìn)行符號秩和檢驗(yàn) wilcox.test(x, y = NULL, alternative = c(“two.sided“, “l(fā)ess“, “greater“), mu = 0, paired = FALSE, exact = NULL, correct = TRUE, = FALSE, conf.level = 0.95, .),分布的一致性檢驗(yàn)：2檢驗(yàn),用來檢驗(yàn)數(shù)據(jù)分布是否與假設(shè)分布是否一致(擬合優(yōu)度檢驗(yàn)） H0: X具有分布F H1: X不具有分布F 理論（Pearson定理）：若F(x)完全已知，則 K = m(ni- npi)2 / npi 2(m-1) 其中n= ni, pi是第i個(gè)區(qū)間的理論概率, m為區(qū)間數(shù)。 （區(qū)間的選擇：不宜太大，也不宜太小，每個(gè)區(qū)間一般至少要有5個(gè)數(shù)據(jù)，總區(qū)間數(shù)可選5-10個(gè)） R: chisq.test chisq.test(x, y = NULL, correct = TRUE, p = rep(1/length(x), length(x), rescale.p = FALSE, simulate.p.value = FALSE, B = 2000),r x c 列聯(lián)表,一般,若總體中的個(gè)體可按兩個(gè)屬性A與B分類，A有r個(gè)等級A1,A2,Ar；B有個(gè)等級B1,B2,Bc,從總體中抽取大小為n的樣本設(shè)其中有nij個(gè)屬于等級Ai和Bj，nij稱為頻數(shù)，將r個(gè)nij(i=1,2,r; j=1,2,)排列為一個(gè)r行列的二維列聯(lián)表（表2），簡稱r 表。,兩總體獨(dú)立性的2檢驗(yàn),統(tǒng)計(jì)量 的漸近分布是自由度為 (r1)(1) 的2分布，式中Eijninj/n 稱為期望頻數(shù)。 假設(shè)： H0（零假設(shè)）: 對任意的i, j, 事件“一個(gè)觀測值在行i”與事件”同樣的觀測在列j”是獨(dú)立性。 H1（備擇假設(shè)）: 行與列不獨(dú)立 R: wilcox.test,Fisher精確檢驗(yàn),2檢驗(yàn)只允許20%以下的個(gè)子的期望頻數(shù)小于5，如果不滿足此條件，則應(yīng)該使用Fisher精確檢驗(yàn) 基本思想：固定各邊緣和的條件下，根據(jù)超幾何分布，可以計(jì)算觀測頻數(shù)出現(xiàn)任一種特定排列的條件概率。把實(shí)際出現(xiàn)的觀測頻數(shù)排列以及比它呈現(xiàn)更多關(guān)聯(lián)跡象的所有可能排列的條件概率算出來并相加，若所得結(jié)果小于給定的顯著水平，則判定所考慮的兩個(gè)屬性存在關(guān)聯(lián)，從而拒絕H0。 fisher.test(x, y = NULL, workspace = 200000, hybrid = FALSE, control = list(), or = 1, alternative = “two.sided“, = TRUE, conf.level = 0.95, simulate.p.value = FALSE, B = 2000),兩樣本W(wǎng)ilcoxon秩和檢驗(yàn),在正態(tài)總體的假定下，兩樣本的均值檢驗(yàn)通常使用t檢驗(yàn)，但t檢驗(yàn)并不穩(wěn)健 基本思想：將樣本X1,X2,Xm和Y1,Y2,Yn混合起來，并把N=(m+n)個(gè)觀測值從小到大排列起來每一個(gè)觀察在混合排列中都有自己的秩。計(jì)算X與Y樣本的秩和Wx與Wy. 假設(shè)檢驗(yàn)(檢驗(yàn)兩樣本中值是否相等）：H0: Mx=My H1: Mx My R: wilcox.test,兩樣本尺度參數(shù)的Mood檢驗(yàn),兩獨(dú)立樣本方差之比的F檢驗(yàn)對于總體非正態(tài)或數(shù)據(jù)有嚴(yán)重污染時(shí)不一定適用。 設(shè)兩連續(xù)總體X與Y獨(dú)立，樣本X1, X2, ,XmF(x-1/1) Y1, Y2, , YmF(x-2/2) , 而且F(0)=1/2, 1 = 2 (若不相等，可以通過平移來使它們相等） 假設(shè)檢驗(yàn)： H0: 1 = 2 H1: 1 2 構(gòu)造統(tǒng)計(jì)量：記R11, R12, , R1m為X的觀察值在混合樣本中的秩， M = m(R1i-(N+1)/2)2 R: mood.test(x, y, alternative = c(“two.sided“, “l(fā)ess“, “greater“), .) 注意：做檢驗(yàn)時(shí)必須保證兩樣本中值相等！,兩樣本尺度參數(shù)的Ansari-Bradley檢驗(yàn),檢驗(yàn)兩樣本方差是否相等（相當(dāng)于F檢驗(yàn)） R: ansari.test(x, y, alternative = c(“two.sided“, “l(fā)ess“, “greater“), exact = NULL, = FALSE, conf.level = 0.95, .),多樣本位置