對(duì)方差分析(ANOVA)的直觀解釋及計(jì)算

對(duì)方差分析（ANOVA）的直觀解釋及計(jì)算前言：在網(wǎng)上找資料時(shí)感覺(jué)網(wǎng)絡(luò)上對(duì)于ANOVA解釋大多都僅僅停留在如何計(jì)算F-statistic，卻鮮有對(duì)ANOVA解釋。寫這篇文章就是希望能給ANOVA一個(gè)通俗的解釋，讓即便是非數(shù)學(xué)，非統(tǒng)計(jì)出身的同學(xué)們也能直觀的理解他。本文將主要講單因素方差分析（one-wayANOVA)，以后再慢慢講多因素和其他。首先來(lái)說(shuō)說(shuō)我們?yōu)槭裁匆肁NOVA。在做一些實(shí)驗(yàn)時(shí)，我們通常會(huì)把樣本分成不同的組，給予不同的對(duì)待。例如，我們想研究某種藥物在不同劑量下對(duì)人們的作用。我們可能會(huì)將病人隨機(jī)分為同等大小的三組:組每天吃一片，B組每天吃兩片，C組每天吃三片。因?yàn)槲覀冎谎芯窟@個(gè)藥品計(jì)量對(duì)病人的影響，所以是單因素（藥劑量）分析，如果想要加入別的因素，例如，年齡，就需要用到多因素分析了。在上述實(shí)驗(yàn)中，我們給了三種不同的計(jì)量，所以這個(gè)藥物計(jì)量因素下有三個(gè)水平（level）。實(shí)驗(yàn)結(jié)束以后，你老板問(wèn)你，這三組病人的表現(xiàn)有顯著的區(qū)別嗎？這個(gè)時(shí)候，你就可以使用ANOVA來(lái)回答你老板的問(wèn)題啦。雖然ANOVA叫做方差分析，但是他的目的是檢驗(yàn)每個(gè)組的平均數(shù)是否相同（敲黑板！）。也就是說(shuō)，ANOVA的零假設(shè)（nullhypothesis）是?，F(xiàn)在，我們換一個(gè)角度考慮這個(gè)問(wèn)題，如果這三組病人的表現(xiàn)并沒(méi)有顯著的區(qū)別，那他們其實(shí)是同一個(gè)總體的三次隨機(jī)抽樣。反過(guò)來(lái)說(shuō)，我們想要分析，是不是有一組病人他們的表現(xiàn)非常與眾不同，讓這組病人不是來(lái)自同一個(gè)總體。在具體說(shuō)如何理解ANOVA之前，我們先來(lái)說(shuō)ANOVA有哪些假設(shè)。如果你的實(shí)驗(yàn)不能滿足ANOVA的假設(shè)，那你需要考慮別的分析方法或者改變實(shí)驗(yàn)設(shè)計(jì)。ANOVA有主要有以下3個(gè)假設(shè)：方差的同質(zhì)性（homogeneityofvariance）。可以理解為每組樣本背后的總體（也叫族群）都有相同的方差；族群遵循正態(tài)分布；每一次抽樣都是獨(dú)立的。在我們的例子中，每一個(gè)病人只能提供一個(gè)數(shù)據(jù)。對(duì)于一些實(shí)驗(yàn)一個(gè)樣本需要提供多個(gè)數(shù)據(jù)，有其他相應(yīng)的ANOVA分析方法。假設(shè)我們得到的結(jié)果是這樣的：現(xiàn)在，我們終于可以來(lái)看方差分析。ANOVA中有兩個(gè)重要概念：組間均方（meansquaredbetween,MSB），相當(dāng)于每個(gè)族群相對(duì)于總體的方差；組內(nèi)均方（meansquarederror,MSE），也就是每個(gè)分布自身的方差。下圖是這兩個(gè)概念的一個(gè)圖像化的理解：有了一個(gè)直觀的理解以后，我們可以開(kāi)始說(shuō)如何計(jì)算這兩個(gè)變量。簡(jiǎn)單來(lái)說(shuō)，MSE是每組方差的平均值。假設(shè)我們的數(shù)據(jù)是這樣：從圖中可以看出，MSE來(lái)自各組的平均數(shù)。所以，同樣，看圖發(fā)現(xiàn)，MSB來(lái)自各組平均值的方差。前面說(shuō)過(guò)，如果這三組數(shù)據(jù)并無(wú)顯著差別，我們可以將這個(gè)實(shí)驗(yàn)理解為從同一總體中，隨機(jī)抽取三組樣本。MSB就是總體的方差估計(jì)。我們知道，抽樣分布的平均值方差是總體方差除以樣本大小，即。假設(shè)，A，B，C都有34人，最后我們需要做的，就是對(duì)比組間均方（MSB）和組內(nèi)均方（MSE）。最簡(jiǎn)單的對(duì)比方法就是把他們相除，也就是我們常說(shuō)的F-statistics，即。我們來(lái)思考一下，這樣的對(duì)比會(huì)有哪些結(jié)果：第一種，MSB大，MSE小，較大。這個(gè)情況說(shuō)明，至少有一個(gè)分布相對(duì)其他分布較遠(yuǎn)，且每個(gè)分布都非常集中，即每個(gè)分布方差較小。所以，我們不能得出三個(gè)分布都有相同的均值，于是拒絕H0。一個(gè)極端的例子和一個(gè)更極端的例子：第二種，MSB小，MSE大，較小。這個(gè)情況有兩種可能，當(dāng)然也可以是這兩種可能的混合。一是每組的平均值都相對(duì)集中，二是每組的方差很大，導(dǎo)致我們無(wú)法把每組分開(kāi)。所以我們無(wú)法拒絕零假設(shè)。兩個(gè)極端的例子：第三種，較小。這個(gè)時(shí)候MSB和MSE比較balance，可能是每組的平均值很集中，且每組方差很小；或者每組的方差較大，平均值也都離的不太遠(yuǎn)?？傊?，我們無(wú)法很好的剝離出某一組的分布。所以，我們同樣無(wú)法拒絕零假設(shè)。以下是兩個(gè)普通的例子：以上是對(duì)ANOVA的一個(gè)總體的理解。接下來(lái)說(shuō)說(shuō)具體說(shuō)說(shuō)如何通過(guò)F-statistics來(lái)計(jì)算P值，從而量化我們的決定。很明顯，由于p值很大，所以我們無(wú)法拒絕零假設(shè)，也就是說(shuō)ANOVA的結(jié)果告訴我們?nèi)M平均值相同?？吹竭@里，想必大家也明白了，ANOVA就是把方差拆成兩個(gè)部分進(jìn)行對(duì)比。為什么要拆成這兩部分呢？在我們的實(shí)驗(yàn)中，導(dǎo)致每個(gè)病人數(shù)據(jù)不同的原因主要有兩方面：我們給病人不同的藥物劑量；病人本身不同，比如年輕的病人代謝速度快，有些病人對(duì)這個(gè)藥物比較敏感，等等。第一種不同，我們稱之為組間變量，第二種稱為組內(nèi)變量。我們主要關(guān)心的是組間變量，病人個(gè)體的不同或者其他隨機(jī)因素導(dǎo)致結(jié)果不同我們統(tǒng)統(tǒng)稱之為誤差。這也解釋了為什么，MSB是來(lái)自每組平均值的方差，而MSE是來(lái)自