擬合優(yōu)度的卡方檢驗(yàn)

1、 在前面的課程中，我們已經(jīng)了解了假在前面的課程中，我們已經(jīng)了解了假設(shè)檢驗(yàn)的基本思想，并討論了當(dāng)總體分布設(shè)檢驗(yàn)的基本思想，并討論了當(dāng)總體分布為正態(tài)時(shí)，關(guān)于其中未知參數(shù)的假設(shè)檢驗(yàn)為正態(tài)時(shí)，關(guān)于其中未知參數(shù)的假設(shè)檢驗(yàn)問題問題 . 然而可能遇到這樣的情形，總體服從何然而可能遇到這樣的情形，總體服從何種理論分布并不知道，要求我們直接對(duì)總體種理論分布并不知道，要求我們直接對(duì)總體分布提出一個(gè)假設(shè)分布提出一個(gè)假設(shè) . 例如，從例如，從1500到到1931年的年的432年間，每年年間，每年爆發(fā)戰(zhàn)爭(zhēng)的次數(shù)可以看作一個(gè)隨機(jī)變量，椐統(tǒng)爆發(fā)戰(zhàn)爭(zhēng)的次數(shù)可以看作一個(gè)隨機(jī)變量，椐統(tǒng)計(jì)，這計(jì)，這432年間共爆發(fā)了年間共爆發(fā)了2

2、99次戰(zhàn)爭(zhēng)，具體數(shù)據(jù)次戰(zhàn)爭(zhēng)，具體數(shù)據(jù)如下如下:戰(zhàn)爭(zhēng)次數(shù)戰(zhàn)爭(zhēng)次數(shù)X01234 22314248154 發(fā)生發(fā)生 X次戰(zhàn)爭(zhēng)的年數(shù)次戰(zhàn)爭(zhēng)的年數(shù) 在概率論中，大家對(duì)泊松分布產(chǎn)生的一在概率論中，大家對(duì)泊松分布產(chǎn)生的一般條件已有所了解，容易想到，每年爆發(fā)戰(zhàn)般條件已有所了解，容易想到，每年爆發(fā)戰(zhàn)爭(zhēng)的次數(shù)，可以用一個(gè)泊松隨機(jī)變量來近似爭(zhēng)的次數(shù)，可以用一個(gè)泊松隨機(jī)變量來近似描述描述 . 也就是說，我們可以假設(shè)每年爆發(fā)戰(zhàn)也就是說，我們可以假設(shè)每年爆發(fā)戰(zhàn)爭(zhēng)次數(shù)分布爭(zhēng)次數(shù)分布X近似泊松分布近似泊松分布.上面的數(shù)據(jù)能否證實(shí)上面的數(shù)據(jù)能否證實(shí)X 具有具有泊松分布的假設(shè)是正確的？泊松分布的假設(shè)是正確的？現(xiàn)在的問題是：現(xiàn)在的

3、問題是：又如，某鐘表廠對(duì)生產(chǎn)的鐘進(jìn)行精確性檢又如，某鐘表廠對(duì)生產(chǎn)的鐘進(jìn)行精確性檢查，抽取查，抽取100個(gè)鐘作試驗(yàn)，撥準(zhǔn)后隔個(gè)鐘作試驗(yàn)，撥準(zhǔn)后隔24小時(shí)小時(shí)以后進(jìn)行檢查，將每個(gè)鐘的誤差（快或慢）以后進(jìn)行檢查，將每個(gè)鐘的誤差（快或慢）按秒記錄下來按秒記錄下來.問該廠生產(chǎn)的鐘的誤差是否服從正態(tài)問該廠生產(chǎn)的鐘的誤差是否服從正態(tài)分布？分布？再如，某工廠制造一批骰子，再如，某工廠制造一批骰子，聲稱它是均勻的聲稱它是均勻的.為檢驗(yàn)骰子是否均勻，要把骰子實(shí)地投擲為檢驗(yàn)骰子是否均勻，要把骰子實(shí)地投擲若干次，統(tǒng)計(jì)各點(diǎn)出現(xiàn)的頻率與若干次，統(tǒng)計(jì)各點(diǎn)出現(xiàn)的頻率與1/6的差距的差距.也就是說，在投擲中，出也就是說，在投擲

4、中，出現(xiàn)現(xiàn)1點(diǎn)，點(diǎn)，2點(diǎn)，點(diǎn)，6點(diǎn)的概點(diǎn)的概率都應(yīng)是率都應(yīng)是1/6.得到的數(shù)據(jù)能否說明得到的數(shù)據(jù)能否說明“骰子均勻骰子均勻”的假設(shè)是可信的？的假設(shè)是可信的？問題是：問題是：K.皮爾遜皮爾遜這是一項(xiàng)很重要的工作，不少人這是一項(xiàng)很重要的工作，不少人把它視為近代統(tǒng)計(jì)學(xué)的開端把它視為近代統(tǒng)計(jì)學(xué)的開端. 解決這類問題的工具是英國統(tǒng)計(jì)學(xué)家解決這類問題的工具是英國統(tǒng)計(jì)學(xué)家K.皮爾遜在皮爾遜在1900年發(fā)表的一篇文章中引進(jìn)年發(fā)表的一篇文章中引進(jìn)的所謂的所謂 檢驗(yàn)法檢驗(yàn)法.2 檢驗(yàn)法檢驗(yàn)法是在總體是在總體X 的分布未知時(shí)，的分布未知時(shí)，根據(jù)來自總體的樣本，檢驗(yàn)關(guān)于總體分根據(jù)來自總體的樣本，檢驗(yàn)關(guān)于總體分布的假設(shè)

5、的一種檢驗(yàn)方法布的假設(shè)的一種檢驗(yàn)方法. 2 H0：總體：總體X的分布函數(shù)為的分布函數(shù)為F(x) 然后根據(jù)樣本的經(jīng)驗(yàn)分布和所假設(shè)的理論分然后根據(jù)樣本的經(jīng)驗(yàn)分布和所假設(shè)的理論分布之間的吻合程度來決定是否接受原假設(shè)布之間的吻合程度來決定是否接受原假設(shè). 使用使用 對(duì)總體分布進(jìn)行檢驗(yàn)時(shí)，對(duì)總體分布進(jìn)行檢驗(yàn)時(shí)，我們先提出原假設(shè)我們先提出原假設(shè):2檢驗(yàn)法檢驗(yàn)法這種檢驗(yàn)通常稱作這種檢驗(yàn)通常稱作擬合優(yōu)度檢驗(yàn)擬合優(yōu)度檢驗(yàn)，它是一，它是一種非參數(shù)檢驗(yàn)種非參數(shù)檢驗(yàn). 在用在用 檢驗(yàn)假設(shè)檢驗(yàn)假設(shè)H0時(shí)，若在時(shí)，若在H0下下分布類型已知，但其參數(shù)未知，這時(shí)需要先分布類型已知，但其參數(shù)未知，這時(shí)需要先用極大似然估計(jì)法估計(jì)

6、參數(shù)，然后作檢驗(yàn)用極大似然估計(jì)法估計(jì)參數(shù)，然后作檢驗(yàn). 2檢驗(yàn)法檢驗(yàn)法分布擬合的分布擬合的 的基本原理和步的基本原理和步驟如下驟如下:2檢驗(yàn)法檢驗(yàn)法3.根據(jù)所假設(shè)的理論分布根據(jù)所假設(shè)的理論分布,可以算出總體可以算出總體X的的值落入每個(gè)值落入每個(gè)Ai的概率的概率pi,于是于是npi就是落入就是落入Ai的的樣本值的樣本值的理論頻數(shù)理論頻數(shù).1. 將總體將總體X的取值范圍分成的取值范圍分成k個(gè)互不重迭的小個(gè)互不重迭的小區(qū)間區(qū)間,記作記作A1, A2, , Ak .2.把落入第把落入第i個(gè)小區(qū)間個(gè)小區(qū)間Ai的樣本值的個(gè)數(shù)記的樣本值的個(gè)數(shù)記作作fi ， 稱為稱為實(shí)測(cè)頻數(shù)實(shí)測(cè)頻數(shù). 所有實(shí)測(cè)頻數(shù)之和所有實(shí)

7、測(cè)頻數(shù)之和f1+ f2+ + fk等于樣本容量等于樣本容量n.kiiiinpnpf122)( iinpf 標(biāo)志著經(jīng)驗(yàn)分布與理論分布之間的差異的大小標(biāo)志著經(jīng)驗(yàn)分布與理論分布之間的差異的大小.皮爾遜引進(jìn)如下統(tǒng)計(jì)量表示經(jīng)驗(yàn)分布皮爾遜引進(jìn)如下統(tǒng)計(jì)量表示經(jīng)驗(yàn)分布與理論分布之間的差異與理論分布之間的差異:統(tǒng)計(jì)量統(tǒng)計(jì)量 的分布是什么的分布是什么?2 在理論分布在理論分布已知的條件下已知的條件下,npi是常量是常量實(shí)測(cè)頻數(shù)實(shí)測(cè)頻數(shù)理論頻數(shù)理論頻數(shù)皮爾遜證明了如下皮爾遜證明了如下定理定理:kiiiinpnpf122)( 若原假設(shè)中的理論分布若原假設(shè)中的理論分布F(x)已經(jīng)完全給已經(jīng)完全給定，那么當(dāng)定，那么當(dāng) 時(shí)

8、，統(tǒng)計(jì)量時(shí)，統(tǒng)計(jì)量n的分布漸近的分布漸近(k-1)個(gè)自由度的個(gè)自由度的 分布分布.2 2 如果理論分布如果理論分布F(x)中有中有r個(gè)未知參數(shù)需用個(gè)未知參數(shù)需用相應(yīng)的估計(jì)量來代替，那么當(dāng)相應(yīng)的估計(jì)量來代替，那么當(dāng) 時(shí)，統(tǒng)時(shí)，統(tǒng)計(jì)量計(jì)量 的分布漸近的分布漸近 (k-r-1)個(gè)自由度的個(gè)自由度的 分分布布.n2 為了便于理解，我們對(duì)定理作一為了便于理解，我們對(duì)定理作一點(diǎn)直觀的說明點(diǎn)直觀的說明.是是k個(gè)近似個(gè)近似正態(tài)正態(tài)的變量的平方和的變量的平方和.kiiiinpnpf122)( 這些變量之間存在著一個(gè)制約關(guān)系：這些變量之間存在著一個(gè)制約關(guān)系：kiiiiinpnpfp10)(故統(tǒng)計(jì)量故統(tǒng)計(jì)量 漸近漸

9、近(k-1)個(gè)自由度的個(gè)自由度的 分布分布.2 2 在理論分布在理論分布F(x)完全給定的情況下，每個(gè)完全給定的情況下，每個(gè)pi 都是確定的常數(shù)都是確定的常數(shù). 由由棣莫佛拉普拉斯中心極棣莫佛拉普拉斯中心極限定理，當(dāng)限定理，當(dāng)n充分大時(shí)，實(shí)測(cè)頻數(shù)充分大時(shí)，實(shí)測(cè)頻數(shù) fi 漸近正態(tài)，漸近正態(tài)，因此因此 在在F(x)尚未完全給定的情況下，每個(gè)未知尚未完全給定的情況下，每個(gè)未知參數(shù)用相應(yīng)的估計(jì)量代替，就相當(dāng)于增加一個(gè)參數(shù)用相應(yīng)的估計(jì)量代替，就相當(dāng)于增加一個(gè)制約條件，制約條件，因此，自由度也隨之減少一個(gè)因此，自由度也隨之減少一個(gè). . 若有若有r個(gè)未知參數(shù)需用相應(yīng)的估計(jì)量來代個(gè)未知參數(shù)需用相應(yīng)的估計(jì)量

10、來代替，替，自由度就減少自由度就減少r個(gè)個(gè). .此時(shí)統(tǒng)計(jì)量此時(shí)統(tǒng)計(jì)量 漸近漸近(k-r-1)個(gè)自由度的個(gè)自由度的 分布分布.2 2 如果根據(jù)所給的樣本值如果根據(jù)所給的樣本值 X1,X2, ,Xn算得算得統(tǒng)計(jì)量統(tǒng)計(jì)量 的實(shí)測(cè)值落入拒絕域，則拒絕原假的實(shí)測(cè)值落入拒絕域，則拒絕原假設(shè)，否則就認(rèn)為差異不顯著而接受原假設(shè)設(shè)，否則就認(rèn)為差異不顯著而接受原假設(shè).2 得拒絕域得拒絕域:) 1(22k ) 1(22rk (不需估計(jì)參數(shù)不需估計(jì)參數(shù))(估計(jì)估計(jì)r 個(gè)參數(shù)個(gè)參數(shù)) )(22P查查 分布表可得臨界值分布表可得臨界值2 2 ，使得，使得 根據(jù)這個(gè)定理，對(duì)給定的顯著性水平根據(jù)這個(gè)定理，對(duì)給定的顯著性水平

11、， 皮爾遜定理是在皮爾遜定理是在n無限增大時(shí)推導(dǎo)出來無限增大時(shí)推導(dǎo)出來的，因而在使用時(shí)要注意的，因而在使用時(shí)要注意n要足夠大要足夠大，以及，以及npi 不太小不太小這兩個(gè)條件這兩個(gè)條件. 根據(jù)計(jì)算實(shí)踐，要求根據(jù)計(jì)算實(shí)踐，要求n不小于不小于50，以及，以及npi 都不小于都不小于 5. 否則應(yīng)適當(dāng)合并區(qū)間，使否則應(yīng)適當(dāng)合并區(qū)間，使npi滿足這個(gè)要求滿足這個(gè)要求 . 讓我們回到開始的一個(gè)例子，檢驗(yàn)每讓我們回到開始的一個(gè)例子，檢驗(yàn)每年爆發(fā)戰(zhàn)爭(zhēng)次數(shù)分布是否服從泊松分布年爆發(fā)戰(zhàn)爭(zhēng)次數(shù)分布是否服從泊松分布.提出假設(shè)提出假設(shè)H0: X服從參數(shù)為服從參數(shù)為 的泊松分布的泊松分布 按參數(shù)按參數(shù)為為0.69的泊松

12、分布，計(jì)算事件的泊松分布，計(jì)算事件X=i 的的概率概率pi ，=0.69X 將有關(guān)計(jì)算結(jié)果列表如下將有關(guān)計(jì)算結(jié)果列表如下:pi的估計(jì)是的估計(jì)是，i=0,1,2,3,4!69. 069. 0iepii根據(jù)觀察結(jié)果，得參數(shù)根據(jù)觀察結(jié)果，得參數(shù) 的極大似然估計(jì)為的極大似然估計(jì)為 因因H0所假設(shè)的理論分布中有一個(gè)未知所假設(shè)的理論分布中有一個(gè)未知參數(shù)，故自由度為參數(shù)，故自由度為4-1-1=2.x 0 1 2 3 4fi 223 142 48 15 4 0.58 0.31 0.18 0.01 0.02n 216.7 149.5 51.6 12.0 2.16 iiinpnpf2)(0.1830.376 0.

13、251 1.623戰(zhàn)爭(zhēng)次數(shù)戰(zhàn)爭(zhēng)次數(shù)實(shí)測(cè)頻數(shù)實(shí)測(cè)頻數(shù)ip ip 14.162.43將將n 5的組予以合并，即將發(fā)生的組予以合并，即將發(fā)生3次及次及4次次戰(zhàn)爭(zhēng)的組歸并為一組戰(zhàn)爭(zhēng)的組歸并為一組.ip 故認(rèn)為每年發(fā)生戰(zhàn)爭(zhēng)的次數(shù)故認(rèn)為每年發(fā)生戰(zhàn)爭(zhēng)的次數(shù)X服從服從參數(shù)為參數(shù)為0.69的泊松分布的泊松分布.按按 =0.05，自由度為，自由度為4-1-1=2查查 分布表得分布表得2 =5.991)2(205. 0 2 =2.435.991，由于統(tǒng)計(jì)量由于統(tǒng)計(jì)量2 的實(shí)測(cè)值的實(shí)測(cè)值未落入否定域未落入否定域. 奧地利生物學(xué)家孟德爾進(jìn)行了長奧地利生物學(xué)家孟德爾進(jìn)行了長達(dá)八年之久的豌豆雜交試驗(yàn)達(dá)八年之久的豌豆雜交試驗(yàn)

14、, 并根據(jù)并根據(jù)試驗(yàn)結(jié)果試驗(yàn)結(jié)果,運(yùn)用他的數(shù)理知識(shí)運(yùn)用他的數(shù)理知識(shí), 發(fā)現(xiàn)了發(fā)現(xiàn)了遺傳的基本規(guī)律遺傳的基本規(guī)律. 在此，我們以遺傳學(xué)上的一項(xiàng)偉大發(fā)現(xiàn)為在此，我們以遺傳學(xué)上的一項(xiàng)偉大發(fā)現(xiàn)為例，說明統(tǒng)計(jì)方法在研究自然界和人類社會(huì)的例，說明統(tǒng)計(jì)方法在研究自然界和人類社會(huì)的規(guī)律性時(shí)，是起著積極的、主動(dòng)的作用規(guī)律性時(shí)，是起著積極的、主動(dòng)的作用.孟德爾孟德爾子二代子二代子一代子一代黃色純系黃色純系綠色純系綠色純系他的一組觀察結(jié)果為：他的一組觀察結(jié)果為：黃黃70，綠，綠27近似為近似為2.59:1，與理論值相近，與理論值相近. 根據(jù)他的理論，子二代中根據(jù)他的理論，子二代中, 黃、綠之比黃、綠之比 近似為近似

15、為3:1， 由于隨機(jī)性，觀察結(jié)果與由于隨機(jī)性，觀察結(jié)果與3:1總有些差總有些差距，因此有必要去考察某一大小的差異是否距，因此有必要去考察某一大小的差異是否已構(gòu)成否定已構(gòu)成否定3:1理論的充分根據(jù)，這就是如理論的充分根據(jù)，這就是如下的檢驗(yàn)問題下的檢驗(yàn)問題.這里，這里，n=70+27=97, k=2,檢驗(yàn)孟德爾的檢驗(yàn)孟德爾的3:1理論理論:提出假設(shè)提出假設(shè)H0: p1=3/4, p2=1/4理論頻數(shù)為：理論頻數(shù)為： np1=72.75, np2=24.25實(shí)測(cè)頻數(shù)為實(shí)測(cè)頻數(shù)為70，27.2 由于統(tǒng)計(jì)量由于統(tǒng)計(jì)量的實(shí)測(cè)值的實(shí)測(cè)值2122)(iiiinpnpf 統(tǒng)計(jì)量統(tǒng)計(jì)量) 1 (2 自由度為自由度為k-1=12 =0.41583.841，按按 =0.05，自由度為，自由度為1，查，查 分布表得分布表得2 =3.841) 1 (205. 0 未落入否定域未落入否定域.故認(rèn)為試驗(yàn)結(jié)果符合故認(rèn)為試驗(yàn)結(jié)果符合孟德爾的孟德爾的3:1理論理論. 這些試驗(yàn)及其它一些試驗(yàn)，都顯這些試驗(yàn)及其它一些試驗(yàn)，都顯 示孟德爾的示孟德爾的3: 1理論與實(shí)際是符合的理論與實(shí)際是符合的. 這本身就是這本身就是統(tǒng)計(jì)方法在科學(xué)中的一項(xiàng)統(tǒng)計(jì)方法在科學(xué)中的一項(xiàng)