非參數(shù)假設(shè)檢驗(yàn)方法

非參數(shù)假設(shè)檢驗(yàn)方法第一頁，共60頁。例如，從1500到1931年的432年間，每年爆發(fā)戰(zhàn)爭(zhēng)的次數(shù)可以看作一個(gè)隨機(jī)變量，椐統(tǒng)計(jì)，這432年間共爆發(fā)了299次戰(zhàn)爭(zhēng)，具體數(shù)據(jù)如下:戰(zhàn)爭(zhēng)次數(shù)X0123422314248154發(fā)生X次戰(zhàn)爭(zhēng)的年數(shù)在概率論中，大家對(duì)泊松分布產(chǎn)生的一般條件已有所了解，容易想到，每年爆發(fā)戰(zhàn)爭(zhēng)的次數(shù)，可以用一個(gè)泊松隨機(jī)變量來近似描述.也就是說，我們可以假設(shè)每年爆發(fā)戰(zhàn)爭(zhēng)次數(shù)分布X近似泊松分布.現(xiàn)在的問題是：上面的數(shù)據(jù)能否證實(shí)X具有泊松分布的假設(shè)是正確的？第二頁，共60頁。又如，某鐘表廠對(duì)生產(chǎn)的鐘進(jìn)行精確性檢查，抽取100個(gè)鐘作試驗(yàn)，撥準(zhǔn)后隔24小時(shí)以后進(jìn)行檢查，將每個(gè)鐘的誤差（快或慢）按秒記錄下來.問該廠生產(chǎn)的鐘的誤差是否服從正態(tài)分布？再如，某工廠制造一批骰子，聲稱它是均勻的.為檢驗(yàn)骰子是否均勻，要把骰子實(shí)地投擲若干次，統(tǒng)計(jì)各點(diǎn)出現(xiàn)的頻率與1/6的差距.也就是說，在投擲中，出現(xiàn)1點(diǎn)，2點(diǎn)，…，6點(diǎn)的概率都應(yīng)是1/6.問題是：得到的數(shù)據(jù)能否說明“骰子均勻”的假設(shè)是可信的？第三頁，共60頁。本章只介紹2擬合優(yōu)度檢驗(yàn)、柯爾莫哥洛夫以及斯米爾諾夫檢驗(yàn)、偏度峰度檢驗(yàn)。除此還有：獨(dú)立性、符號(hào)檢驗(yàn)、游程檢驗(yàn)、秩和檢驗(yàn)等等。K.皮爾遜這是一項(xiàng)很重要的工作，不少人把它視為近代統(tǒng)計(jì)學(xué)的開端。解決這類問題的工具是英國(guó)統(tǒng)計(jì)學(xué)家K.皮爾遜在1900年發(fā)表的一篇文章中引進(jìn)的所謂2檢驗(yàn)法.2檢驗(yàn)法是在總體X的分布未知時(shí)，根據(jù)來自總體的樣本，檢驗(yàn)關(guān)于總體分布的假設(shè)的一種檢驗(yàn)方法。第四頁，共60頁。一、2擬合優(yōu)度檢驗(yàn)適用范圍廣：一個(gè)離散、連續(xù)、正態(tài)總體都適用。1、多項(xiàng)分布的2檢法離散總體第五頁，共60頁。對(duì)一次抽樣來說，現(xiàn)在對(duì)總體X進(jìn)行假設(shè)，即對(duì)X的分布律進(jìn)行假設(shè)第六頁，共60頁。由于頻率是概率的近似表現(xiàn)，那么當(dāng)容量n較大時(shí)，為了進(jìn)行檢驗(yàn)，還必須知道其分布，否則進(jìn)行不了檢驗(yàn)。第七頁，共60頁。為此在1900年，英國(guó)統(tǒng)計(jì)學(xué)家KarlPearson首先提出從該統(tǒng)計(jì)量直觀上判斷有，另外，用該統(tǒng)計(jì)量對(duì)總體分布律進(jìn)行檢驗(yàn)，還必須知道其分布。Pearson給出了其漸近分布。類似于以前的檢驗(yàn)方法，取一個(gè)知道分布標(biāo)準(zhǔn)化的度量。第八頁，共60頁。定理1由此可以建立H0的拒絕域只要給定一組樣本觀察值，代入檢驗(yàn)統(tǒng)計(jì)量計(jì)算后，就能得出結(jié)論。第九頁，共60頁。例1某商場(chǎng)為了研究顧客對(duì)一類商品的某三種品牌商品的喜好比例，以便為下次進(jìn)貨提供較科學(xué)的依據(jù)?，F(xiàn)隨機(jī)觀察購(gòu)買此商品的150名顧客，并記錄下其所買的品牌，統(tǒng)計(jì)人數(shù)如下：品牌甲乙丙所購(gòu)買的人數(shù)615336依據(jù)這些數(shù)據(jù)，是否可以斷定顧客對(duì)此三種品牌的商品喜好確實(shí)存在著顯著的差異？(=0.05)解若對(duì)此三種品牌的商品喜好確實(shí)不存在著顯著的差異就意味著，對(duì)三種品牌的商品喜好比例p1,p2,p3相等。第十頁，共60頁。此是m=3，n1

=61，n2=53，n3

=36，n=150故有理由拒絕H0認(rèn)為顧客對(duì)此三種品牌的商品喜好確實(shí)存在著顯著的差異.第十一頁，共60頁。例264只某種雜交的幾內(nèi)亞豬的后代，其中34只紅色，10只黑色，20只白色，根據(jù)遺傳模型，它們之間的比例應(yīng)為9:3:4，問以上數(shù)據(jù)在0.05的水平下體現(xiàn)的與遺傳模型是否吻合。解若基本吻合，則p1=9/16，p2=3/16，p3=4/16此是m=3，n1

=34，n2=10，n3

=20，n=64認(rèn)為基本吻合第十二頁，共60頁。例3在一個(gè)暗盒中存放有白色與黑色兩色乒乓球，問該盒中的白、黑球的個(gè)數(shù)是否相等？為此作以下試驗(yàn)，用不返回抽取發(fā)式從此盒中取球，直到取出的球是白色球?yàn)橹?，并記錄下抽取的次?shù)。共重復(fù)獨(dú)立試驗(yàn)了100次，結(jié)果如下：抽取次數(shù)X12345試驗(yàn)累計(jì)數(shù)43311565解若兩色球個(gè)數(shù)相等，則每次取到白球的概率為1/2以抽取次數(shù)X為考查對(duì)象，則X服從幾何分布，即計(jì)算得第十三頁，共60頁。此是m=5,n1

=43,n2=31,n3

=15,n4

=6,n5=5，n=100計(jì)算有結(jié)論：接受H0第十四頁，共60頁。若X的分布函數(shù)F(x)的具有明確表達(dá)式F0(x)，不含未知參數(shù)。根據(jù)樣本信息推斷X的分布函數(shù)是否為F0(x).第一步：第二步：采用分組離散化方法計(jì)算例4驗(yàn)證一枚骰子是否均勻。電話號(hào)碼的數(shù)字出現(xiàn)的概率等等問題。第十五頁，共60頁。第三步：記數(shù)第四步：檢驗(yàn)其中m為分組數(shù)H0的拒絕域?yàn)橐话阌衝>50，npi>5最好npi>10，否則應(yīng)重新分組。使得npi>5最好npi>10.第十六頁，共60頁。定理2（R.A.Fisher）(3)若X的分布函數(shù)F(x)的具有明確表達(dá)式F0(x;)，但含r個(gè)未知參數(shù)。根據(jù)樣本信息推斷X的分布函數(shù)是否為F0(x).第一步：由樣本進(jìn)行參數(shù)的點(diǎn)估計(jì)后，將參數(shù)估計(jì)值代入分布函數(shù)中，使得分布函數(shù)成為已知函數(shù)F0(x;)。第二步：仿造情形(2)分組離散。第三步：其中m為分組數(shù)，r為分布函數(shù)中待估參數(shù)數(shù).令第十七頁，共60頁。(3)若X的分布函數(shù)F(x)的具有明確表達(dá)式F0(x;)，但含r個(gè)未知參數(shù)。根據(jù)樣本信息推斷X的分布函數(shù)是否為F0(x).第一步：由樣本進(jìn)行參數(shù)的點(diǎn)估計(jì)后，將參數(shù)估計(jì)值代入分布函數(shù)中，使得分布函數(shù)成為已知函數(shù)F0(x;)。第二步：仿造情形(2)分組離散。第三步：其中m為分組數(shù)，r為分布函數(shù)中待估參數(shù)數(shù).令第四步：檢驗(yàn)H0的拒絕域?yàn)橐话阌衝>50，npi>5最好npi>10，否則應(yīng)重新分組。使得npi>5最好npi>10.第十八頁，共60頁。下面列出了84個(gè)依特拉斯坎人男子的頭顱的最大寬度(mm),試驗(yàn)證這些數(shù)據(jù)是否來自正態(tài)總體?141148132138154142150146155158150140147148144150149145149158143141144144126140144142141140145135147146141136140146142137148154137139143140131143141149148135148152143144141143147146150132142142143153149146149138142149142137134144146147140142140137152145例50.1)(=a解所求問題為檢驗(yàn)假設(shè)第十九頁，共60頁。由最大似然估計(jì)法得在H0為真的前提下,X的概率密度的估計(jì)為第二十頁，共60頁00870.05190.17520.31200.28110.13360.03750.734.3614.7226.2123.6111.223.156.7941.5524.4010.02=87.67例5的擬合檢驗(yàn)計(jì)算表第二十一頁，共60頁。故在水平0.1下接受H0,認(rèn)為樣本服從正態(tài)分布.X的概率密度的基本符合第二十二頁，共60頁。讓我們回到檢驗(yàn)每年爆發(fā)戰(zhàn)爭(zhēng)次數(shù)分布是否服從泊松分布.按參數(shù)為=0.69的泊松分布，計(jì)算事件X=i的概率pi

，將有關(guān)計(jì)算結(jié)果列表如下:pi的估計(jì)是根據(jù)觀察結(jié)果，得參數(shù)的極大似然估計(jì)為假設(shè)H0:X～P()=0.69，i=0,1,2,3,4戰(zhàn)爭(zhēng)次數(shù)實(shí)測(cè)頻數(shù)x01234fi

22314248154pinpi216.7149.551.612.0第二十三頁，共60頁。因H0所假設(shè)的理論分布中有一個(gè)未知參數(shù)，戰(zhàn)爭(zhēng)次數(shù)實(shí)測(cè)頻數(shù)x01234fi

22314248154pinpi216.7149.551.612.0<5的要合并，即將發(fā)生3次及4次戰(zhàn)爭(zhēng)的組歸并為一組.按=0.05，自由度為4-1-1=2查2分布表得故認(rèn)為每年發(fā)生戰(zhàn)爭(zhēng)的次數(shù)X服從參數(shù)為0.69的泊松分布.2=2.43<5.991，由于統(tǒng)計(jì)量的實(shí)測(cè)值未落入否定域.第二十四頁，共60頁。奧地利生物學(xué)家孟德爾進(jìn)行了長(zhǎng)達(dá)八年之久的豌豆雜交試驗(yàn)，并根據(jù)試驗(yàn)結(jié)果，運(yùn)用他的數(shù)理知識(shí)，發(fā)現(xiàn)了遺傳的基本規(guī)律.在此，我們以遺傳學(xué)上的一項(xiàng)偉大發(fā)現(xiàn)為例，說明統(tǒng)計(jì)方法在研究自然界和人類社會(huì)的規(guī)律性時(shí)，是起著積極的、主動(dòng)的作用.孟德爾子二代子一代…黃色純系…綠色純系第二十五頁，共60頁。由于隨機(jī)性，觀察結(jié)果與3:1總有些差距，因此有必要去考察某一大小的差異是否已構(gòu)成否定3:1理論的充分根據(jù)，這就是如下的檢驗(yàn)問題.這里，n=70+27=97,k=2,檢驗(yàn)孟德爾的3:1理論:假設(shè)H0:p1=3/4,p2=1/4

H1:p1=3/4,p2=1/4至少一不成立理論頻數(shù)為：

np1=72.75,np2實(shí)測(cè)頻數(shù)為70，27.他的一組觀察結(jié)果為：黃70，綠27近似為2.59:1，與理論值相近.根據(jù)他的理論，子二代中,黃、綠之比近似為3:1，第二十六頁，共60頁。由于統(tǒng)計(jì)量2的實(shí)測(cè)值統(tǒng)計(jì)量自由度為m-1=12=0.4158<3.841，按=0.05，自由度為1，查2分布表得2(1)未落入否定域.故認(rèn)為試驗(yàn)結(jié)果符合孟德爾的3:1理論.這些試驗(yàn)及其它一些試驗(yàn)，都顯示孟德爾的3:1理論與實(shí)際是符合的.這本身就是統(tǒng)計(jì)方法在科學(xué)中的一項(xiàng)重要應(yīng)用.用于客觀地評(píng)價(jià)理論上的某個(gè)結(jié)論是否與觀察結(jié)果相符，以作為該理論是否站得住腳的印證.第二十七頁，共60頁。例6某種動(dòng)物的后代按體格的屬性分為三類，據(jù)觀察某一群此類動(dòng)物其中各類的數(shù)目分別為10,53,46.按照遺傳模型其各類的頻率應(yīng)為p2:2p(1-p):(1-p)2，問這些數(shù)據(jù)是否與此模型相吻合。在=0.05的顯著性水平。解(1)用最大似然估計(jì)法估計(jì)參數(shù)p.第二十八頁，共60頁。例6某種動(dòng)物的后代按體格的屬性分為三類，據(jù)觀察某一群此類動(dòng)物其中各類的數(shù)目分別為10,53,46.按照遺傳模型其各類的頻率應(yīng)為p2:2p(1-p):(1-p)2，問這些數(shù)據(jù)是否與此模型相吻合。在=0.05的顯著性水平。解(1)用最大似然估計(jì)法估計(jì)參數(shù)p(2)計(jì)算(3)假設(shè)(4)計(jì)算20.40614.440548.5595二0.1024-2.221648.2216三0.40292.218912.2189一類別第二十九頁，共60頁。例6某種動(dòng)物的后代按體格的屬性分為三類，據(jù)觀察某一群此類動(dòng)物其中各類的數(shù)目分別為10,53,46.按照遺傳模型其各類的頻率應(yīng)為p2:2p(1-p):(1-p)2，問這些數(shù)據(jù)是否與此模型相吻合。在=0.05的顯著性水平。解(1)用最大似然估計(jì)法估計(jì)參數(shù)p.(2)計(jì)算(3)假設(shè)(4)計(jì)算2(5)H0的拒絕域(6)結(jié)論接受H0，認(rèn)為此數(shù)據(jù)基本符合模型的。第三十頁，共60頁。(4)2擬合優(yōu)度檢驗(yàn)法的特點(diǎn)1)適用面廣，離散和連續(xù)總體均可以使用，是考察實(shí)測(cè)頻率與理論頻率的差異。2)此法從本質(zhì)上看，只是檢驗(yàn)了理論分布函數(shù)的而未真正檢驗(yàn)然而雖然樣本與分組情況都具有隨機(jī)性，但是當(dāng)分布函數(shù)較為光滑時(shí)，即使F(x)與F0(x)有差異，也不應(yīng)該太大。故此法雖有誤差，但是常用的方法之一。3)2擬合優(yōu)度檢驗(yàn)法依賴于區(qū)間的劃分，即依賴與分組情況。即使，但若恰好在分組點(diǎn)處的兩函數(shù)值相差不大，即便H0是不真，但2的檢驗(yàn)統(tǒng)計(jì)值不改變。從而2擬合優(yōu)度檢驗(yàn)法的精度不高，容易范取偽錯(cuò)誤。第三十一頁，共60頁。二、柯爾莫哥洛夫檢驗(yàn)為了進(jìn)一步提高精度，柯爾莫哥洛夫針對(duì)一個(gè)總體的分布函數(shù)，在采用分組離散化后利用經(jīng)驗(yàn)分布函數(shù)的性質(zhì)的方法，較完整的考察了經(jīng)驗(yàn)分布函數(shù)Fn(x)與理論分布函數(shù)F(x)的差異。提高了檢驗(yàn)的精度。但假定分布函數(shù)是連續(xù)的。設(shè)總體X的分布函數(shù)F(x)連續(xù)，故可以選用第三十二頁，共60頁。定理3設(shè)分布函數(shù)F(x)連續(xù)，則定理4設(shè)分布函數(shù)F(x)連續(xù)，則第三十三頁，共60頁。1、選用Dn為檢驗(yàn)統(tǒng)計(jì)量，假設(shè)H0的拒絕域?yàn)?2、當(dāng)n>40或100時(shí)，可得一近似求Dn,值方法假設(shè)H0的拒絕域仍為:即此種方法雖較精確，但計(jì)算量較大。第三十四頁，共60頁。例7某林區(qū)中，隨機(jī)抽取340株樹木組成的樣本，測(cè)其胸徑，經(jīng)整理后數(shù)據(jù)統(tǒng)計(jì)如下：胸徑分組(cm)10~1414~1818~2222~2626~3030~3434~3838~4242~46組間值121620242832364944株數(shù)41134761126622105試用柯爾莫哥洛夫檢驗(yàn)法檢驗(yàn)該林區(qū)的樹木胸徑是否服從正態(tài)分布()解(1)第三十五頁，共60頁。解組號(hào)分組值頻率組上限標(biāo)準(zhǔn)化經(jīng)驗(yàn)函數(shù)理論函數(shù)110~140.011814-2.23880.01180.01260.0008214~180.03218-1.67980.04380.04650.0027318~220.10022-0.98070.14380.16350.0197422~260.223526-0.28170.36730.38970.0224526~300.3294300.41730.69670.66280.0339630~340.1941341.11640.89060.86860.022734~380.0647381.81540.95550.96560.0101838~420.0294422.51440.98450.99400.0095942~460.0151463.21341.00000.99930.0007(4)求(5)檢驗(yàn)接受H0第三十六頁，共60頁。柯爾莫哥洛夫檢驗(yàn)法，除了分布檢驗(yàn)外，還可以用來未知分布函數(shù)F(x)進(jìn)行區(qū)域估計(jì)。實(shí)際有xyo第三十七頁，共60頁。三、斯米爾諾夫檢驗(yàn)比較兩個(gè)總體的真分布是否相同.第三十八頁，共60頁。三、偏度、峰度檢驗(yàn)1.問題的提出根據(jù)第五章關(guān)于中心極限定理的論述知道,正態(tài)分布隨機(jī)變量較廣泛地存在于客觀世界,因此,當(dāng)研究一連續(xù)型總體時(shí),人們往往先考察它是否服從正態(tài)分布.上面介紹的檢驗(yàn)法雖然是檢驗(yàn)總體分布的較一般的方法,但用它來檢驗(yàn)總體的正態(tài)性時(shí),犯第II類錯(cuò)誤的概率往往較大.為此,在對(duì)檢驗(yàn)正態(tài)總體的種種方法進(jìn)行比較后,認(rèn)為“偏度、峰度檢驗(yàn)法”較好第三十九頁，共60頁。2.隨機(jī)變量的偏度和峰度的定義第四十頁，共60頁。3.樣本偏度和樣本峰度的定義第四十一頁，共60頁。4.偏度、峰度檢驗(yàn)法第四十二頁，共60頁。第四十三頁，共60頁。于是得拒絕域以上檢驗(yàn)法稱為偏度、峰度檢驗(yàn)法.使用該檢驗(yàn)法時(shí)注意樣本容量應(yīng)大于100.第四十四頁，共60頁。例8試用偏度、峰度檢驗(yàn)法檢驗(yàn)本節(jié)例5中的數(shù)據(jù)是否來自正態(tài)總體?解第四十五頁，共60頁。下面來計(jì)算樣本中心距第四十六頁，共60頁。則樣本偏度和樣本峰度為于是得拒絕域第四十七頁，共60頁。解例9試檢驗(yàn)這顆骰子的六個(gè)面是否勻稱?根據(jù)題意需要檢驗(yàn)假設(shè)把一顆骰子重復(fù)拋擲300次,結(jié)果如下:H0:這顆骰子的六個(gè)面是勻稱的.其中X表示拋擲這骰子一次所出現(xiàn)的點(diǎn)數(shù)(可能值只有6個(gè)),第四十八頁，共60頁。在H0為真的前提下,第四十九頁，共60頁。所以拒絕H0,認(rèn)為這顆骰子的六個(gè)面不是勻稱的.第五十頁，共60頁。在一試驗(yàn)中,每隔一定時(shí)間觀察一次由某種鈾所放射的到達(dá)計(jì)數(shù)器上的粒子數(shù),共觀察了100次,得結(jié)果如下表:例10第五十一頁，共60頁。解所求