方差分析原理

1、方差分析原理與單因素方差分析方差分析ANOVA(analysis of variance) 在現(xiàn)實的生產(chǎn)和經(jīng)營管理過程中，影響產(chǎn)品質(zhì)量、在現(xiàn)實的生產(chǎn)和經(jīng)營管理過程中，影響產(chǎn)品質(zhì)量、數(shù)量或銷量的因素往往很多，如農(nóng)作物的收獲量受數(shù)量或銷量的因素往往很多，如農(nóng)作物的收獲量受作物品種、肥料種類及數(shù)量等的影響；不同地區(qū)、作物品種、肥料種類及數(shù)量等的影響；不同地區(qū)、不同時期對某種產(chǎn)品的銷量有影響等等。在眾多因不同時期對某種產(chǎn)品的銷量有影響等等。在眾多因素中，有些因素影響大些，有些則小些。素中，有些因素影響大些，有些則小些。 現(xiàn)實中常常需要分析哪幾種因素對生產(chǎn)或銷售起顯現(xiàn)實中常常需要分析哪幾種因素對生產(chǎn)或銷

2、售起顯著影響，并需知道起顯著作用的因素如何進(jìn)行最優(yōu)著影響，并需知道起顯著作用的因素如何進(jìn)行最優(yōu)組合，可以獲得最理想的效果。組合，可以獲得最理想的效果。 方差分析是解決這些問題的一種有效方法方差分析是解決這些問題的一種有效方法什么是方差分析高產(chǎn)油菜品種的選取問題 品種品種田塊田塊A A1 1A A2 2A A3 3A A4 4A A5 51 12562562442442502502882882062062 22222223003002772772802802122123 32802802902902302303153152202204 429829827527532232227927921221

3、2平均畝產(chǎn)平均畝產(chǎn)264264277.25277.25269.75269.75285.50285.50212.50212.50消費者對四個行業(yè)的投訴次數(shù) 行業(yè)觀測值零售業(yè)旅游業(yè)航空公司家電制造業(yè)12345675766494034534468392945565131492134404451657758方差分析解決的問題 分析不同品種的畝產(chǎn)（四個行業(yè)之間的服務(wù)質(zhì)量）分析不同品種的畝產(chǎn)（四個行業(yè)之間的服務(wù)質(zhì)量）是否有顯著差異，實質(zhì)是判斷是否有顯著差異，實質(zhì)是判斷“品種品種”這個分類這個分類型自變量對型自變量對“畝產(chǎn)畝產(chǎn)”這個數(shù)值型因變量是否有顯這個數(shù)值型因變量是否有顯著影響（著影響（“行業(yè)行業(yè)”對對

4、“投訴次數(shù)投訴次數(shù)”）。）。 做出這樣的判斷最終被歸結(jié)為檢驗四個品種的平做出這樣的判斷最終被歸結(jié)為檢驗四個品種的平均畝產(chǎn)量（平均投訴次數(shù)）是否相等。均畝產(chǎn)量（平均投訴次數(shù)）是否相等。 如果均值相等，就意味著如果均值相等，就意味著“品種品種” 對對“畝產(chǎn)畝產(chǎn)”（“行行業(yè)業(yè)”對對“投訴次數(shù)投訴次數(shù)”）沒有顯著影響。）沒有顯著影響?！胺讲罘治觥敝小胺讲睢钡暮x 19231923年，年，F(xiàn)isherFisher首先提出了首先提出了“方差分析方差分析”，通常，通常認(rèn)為他是這一方法的創(chuàng)始人認(rèn)為他是這一方法的創(chuàng)始人 “方差分析方差分析”所分析的并非是所分析的并非是“方差方差”，而是研，而是研究數(shù)據(jù)間的究數(shù)據(jù)

5、間的“變異變異”，是在可比較的群組中，把，是在可比較的群組中，把總的變異按各指定的變異來源進(jìn)行分解的一種技總的變異按各指定的變異來源進(jìn)行分解的一種技巧。巧。 方差分析檢驗的是均值是否相等，而不是方差是方差分析檢驗的是均值是否相等，而不是方差是否相等否相等方差分析中的有關(guān)術(shù)語 試驗指標(biāo)試驗指標(biāo)(指標(biāo)指標(biāo)): y 如畝產(chǎn)，投訴次數(shù)如畝產(chǎn)，投訴次數(shù) 因子因子(因素因素)（factor） 影響試驗指標(biāo)影響試驗指標(biāo)y的因素的因素 A,B,C 如品種，行業(yè)如品種，行業(yè) 因子的水平（處理）（因子的水平（處理）（treatment） 因子的不同表現(xiàn)因子的不同表現(xiàn) A1,A2,Ar或或 B1,B2,Bs 如五個

6、不同品種，四個行業(yè)（零售業(yè)、旅游業(yè)、航空如五個不同品種，四個行業(yè)（零售業(yè)、旅游業(yè)、航空公司、家電制造業(yè)）公司、家電制造業(yè)）方差分析中的有關(guān)術(shù)語 觀測值觀測值 在每個因子水平下得到的樣本數(shù)據(jù)在每個因子水平下得到的樣本數(shù)據(jù) yij 水平數(shù)水平數(shù): r ;s 單因子方差分析單因子方差分析(one-way ANOVA) 只有一個因子只有一個因子 多因子方差分析多因子方差分析(MANOVA) 兩個及兩個以上的個因子兩個及兩個以上的個因子方差分析的基本思想和原理(圖形分析)不同行業(yè)被投訴次數(shù)的散點圖不同行業(yè)被投訴次數(shù)的散點圖020406080012345行業(yè)被投訴次數(shù) 零售業(yè) 旅游業(yè) 航空公司 家電制造從

7、從散點圖上可以看出散點圖上可以看出不同行業(yè)被投訴的次數(shù)是有明顯差異的不同行業(yè)被投訴的次數(shù)是有明顯差異的即即使是在同一個行業(yè)，不同企業(yè)被投訴的次數(shù)也明使是在同一個行業(yè)，不同企業(yè)被投訴的次數(shù)也明顯不同顯不同家電制造也被投訴的次數(shù)較高，航空公司被投訴的次數(shù)較低家電制造也被投訴的次數(shù)較高，航空公司被投訴的次數(shù)較低行行業(yè)與被投訴次數(shù)之間有一定的關(guān)系業(yè)與被投訴次數(shù)之間有一定的關(guān)系如果行業(yè)與被投訴次數(shù)之間沒有關(guān)系，那么它們被如果行業(yè)與被投訴次數(shù)之間沒有關(guān)系，那么它們被投訴的次數(shù)應(yīng)該差不多相同，在散點圖上所呈現(xiàn)的投訴的次數(shù)應(yīng)該差不多相同，在散點圖上所呈現(xiàn)的模式也就應(yīng)該很接近模式也就應(yīng)該很接近方差分析的基本思想

8、和原理(圖形分析)僅從散點圖上觀察還不能提供充分的證據(jù)證明不僅從散點圖上觀察還不能提供充分的證據(jù)證明不同行業(yè)被投訴的次數(shù)之間有顯著差異同行業(yè)被投訴的次數(shù)之間有顯著差異這種差異也可能是由于抽樣的隨機(jī)性所造成的這種差異也可能是由于抽樣的隨機(jī)性所造成的需要有更準(zhǔn)確的方法來檢驗這種差異是否顯著，需要有更準(zhǔn)確的方法來檢驗這種差異是否顯著，也就是進(jìn)行方差分析也就是進(jìn)行方差分析所以叫方差分析，因為雖然我們感興趣的是均值，所以叫方差分析，因為雖然我們感興趣的是均值，但在判斷均值之間是否有差異時則需要借助于方差但在判斷均值之間是否有差異時則需要借助于方差這個名字也表示：它是通過對這個名字也表示：它是通過對數(shù)據(jù)誤

9、差來源數(shù)據(jù)誤差來源的分析的分析判斷不同總體的均值是否相等。因此，進(jìn)行方差分判斷不同總體的均值是否相等。因此，進(jìn)行方差分析時，需要考察數(shù)據(jù)誤差的來源。析時，需要考察數(shù)據(jù)誤差的來源。 方差分析的基本思想和原理 比較兩類誤差，以檢驗均值是否相等比較兩類誤差，以檢驗均值是否相等 比較的基礎(chǔ)是方差比比較的基礎(chǔ)是方差比 如果系統(tǒng)誤差顯著地不同于隨機(jī)誤差，則均值就是不相等如果系統(tǒng)誤差顯著地不同于隨機(jī)誤差，則均值就是不相等的；反之，均值就是相等的的；反之，均值就是相等的 誤差是由各部分的誤差占總誤差的比例來測度的誤差是由各部分的誤差占總誤差的比例來測度的方差分析的基本思想和原理方差分析的基本思想和原理(兩類誤

10、差)隨機(jī)誤差隨機(jī)誤差因素的同一水平因素的同一水平( (總體總體) )下，樣本各觀察值之間的差異下，樣本各觀察值之間的差異比如，同一行業(yè)下不同企業(yè)被投訴次數(shù)是不同的比如，同一行業(yè)下不同企業(yè)被投訴次數(shù)是不同的這種差異可以看成是隨機(jī)因素的影響，稱為這種差異可以看成是隨機(jī)因素的影響，稱為隨機(jī)誤差隨機(jī)誤差 系統(tǒng)誤差（處理誤差）系統(tǒng)誤差（處理誤差）因素的不同水平因素的不同水平( (不同總體不同總體) )下，各觀察值之間的差異下，各觀察值之間的差異比如，不同行業(yè)之間的被投訴次數(shù)之間的差異比如，不同行業(yè)之間的被投訴次數(shù)之間的差異這種差異這種差異可能可能是由于抽樣的隨機(jī)性所造成的，是由于抽樣的隨機(jī)性所造成的，也

11、可能也可能是由于行是由于行業(yè)本身所造成的，后者所形成的誤差是由系統(tǒng)性因素造成的，業(yè)本身所造成的，后者所形成的誤差是由系統(tǒng)性因素造成的，稱為稱為系統(tǒng)誤差系統(tǒng)誤差方差分析的基本思想和原理(兩類方差)數(shù)據(jù)的誤差用平方和數(shù)據(jù)的誤差用平方和(sum of squares)(sum of squares)表示，稱為方差表示，稱為方差組內(nèi)方差組內(nèi)方差(within groups)(within groups)因素的同一水平因素的同一水平( (同一個總體同一個總體) )下樣本數(shù)據(jù)的方差下樣本數(shù)據(jù)的方差比如，零售業(yè)被投訴次數(shù)的方差比如，零售業(yè)被投訴次數(shù)的方差組內(nèi)方差只包含組內(nèi)方差只包含隨機(jī)誤差隨機(jī)誤差組間方差組

12、間方差(between groups)(between groups)因素的不同水平因素的不同水平( (不同總體不同總體) )下各樣本之間的方差下各樣本之間的方差比如，四個行業(yè)被投訴次數(shù)之間的方差比如，四個行業(yè)被投訴次數(shù)之間的方差組間方差既包括組間方差既包括隨機(jī)誤差隨機(jī)誤差，也包括，也包括系統(tǒng)誤差系統(tǒng)誤差方差分析的基本思想和原理(方差的比較)若不同行業(yè)對投訴次數(shù)沒有影響，則組間誤差中只包含隨若不同行業(yè)對投訴次數(shù)沒有影響，則組間誤差中只包含隨機(jī)誤差，沒有系統(tǒng)誤差。這時，組間誤差與組內(nèi)誤差經(jīng)過機(jī)誤差，沒有系統(tǒng)誤差。這時，組間誤差與組內(nèi)誤差經(jīng)過平均后的數(shù)值就應(yīng)該很接近，它們的比值就會接近平均后的數(shù)值

13、就應(yīng)該很接近，它們的比值就會接近1 1若不同行業(yè)對投訴次數(shù)有影響，在組間誤差中除了包含隨若不同行業(yè)對投訴次數(shù)有影響，在組間誤差中除了包含隨機(jī)誤差外，還會包含有系統(tǒng)誤差，這時組間誤差平均后的機(jī)誤差外，還會包含有系統(tǒng)誤差，這時組間誤差平均后的數(shù)值就會大于組內(nèi)誤差平均后的數(shù)值，它們之間的比值就數(shù)值就會大于組內(nèi)誤差平均后的數(shù)值，它們之間的比值就會大于會大于1 1當(dāng)這個比值大到某種程度時，就可以說不同水平之間存在當(dāng)這個比值大到某種程度時，就可以說不同水平之間存在著顯著差異，也就是自變量對因變量有影響著顯著差異，也就是自變量對因變量有影響判斷行業(yè)對投訴次數(shù)是否有顯著影響，實際上也就是檢驗被投判斷行業(yè)對投訴

14、次數(shù)是否有顯著影響，實際上也就是檢驗被投訴次數(shù)的差異主要是由于什么原因所引起的。如果這種差異主訴次數(shù)的差異主要是由于什么原因所引起的。如果這種差異主要是系統(tǒng)誤差，說明不同行業(yè)對投訴次數(shù)有顯著影響要是系統(tǒng)誤差，說明不同行業(yè)對投訴次數(shù)有顯著影響方差分析的基本假定每個每個總體都應(yīng)服從正態(tài)分布總體都應(yīng)服從正態(tài)分布對于因素的每一個水平，其觀察值是來自服從正態(tài)分布總體的簡對于因素的每一個水平，其觀察值是來自服從正態(tài)分布總體的簡單隨機(jī)樣本單隨機(jī)樣本比如，每個行業(yè)被投訴的次數(shù)必需服從正態(tài)分布比如，每個行業(yè)被投訴的次數(shù)必需服從正態(tài)分布各個各個總體的方差必須相同總體的方差必須相同各組觀察數(shù)據(jù)是從具有相同方差的總體

15、中抽取的各組觀察數(shù)據(jù)是從具有相同方差的總體中抽取的比如，四個行業(yè)被投訴次數(shù)的方差都相等比如，四個行業(yè)被投訴次數(shù)的方差都相等觀觀察值是獨立的察值是獨立的比如，每個行業(yè)被投訴的次數(shù)與其他行業(yè)被投訴的次數(shù)獨立比如，每個行業(yè)被投訴的次數(shù)與其他行業(yè)被投訴的次數(shù)獨立方差分析中的基本假定在上述假定條件下，判斷行業(yè)對投訴次數(shù)是否在上述假定條件下，判斷行業(yè)對投訴次數(shù)是否有顯著影響，實際上也就是檢驗具有同方差的有顯著影響，實際上也就是檢驗具有同方差的四個正態(tài)總體的均值是否相等四個正態(tài)總體的均值是否相等如果四個總體的均值相等，可以期望四個樣本如果四個總體的均值相等，可以期望四個樣本的均值也會很接近的均值也會很接近四

16、個樣本的均值越接近，推斷四個總體均值相等四個樣本的均值越接近，推斷四個總體均值相等的證據(jù)也就越充分的證據(jù)也就越充分樣本均值越不同，推斷總體均值不同的證據(jù)就越樣本均值越不同，推斷總體均值不同的證據(jù)就越充分充分 方差分析中基本假定 如果原假設(shè)成立，即如果原假設(shè)成立，即H0: m m1 = m m2 = m m3 = m m4四個行業(yè)被投訴次數(shù)的均值都相等四個行業(yè)被投訴次數(shù)的均值都相等意味著意味著每個樣本都來自均值為每個樣本都來自均值為m、方差為差為2的同一正態(tài)總體的同一正態(tài)總體 方差分析中基本假定若備擇假設(shè)成立，即若備擇假設(shè)成立，即H1: mi (i=1，2，3，4)不全相等不全相等至少有一個總體

17、的均值是不同的至少有一個總體的均值是不同的四個樣本分別來自均值不同的四個正態(tài)總體四個樣本分別來自均值不同的四個正態(tài)總體 問題的一般提法設(shè)因素有設(shè)因素有r個水平，每個水平的均值分別用個水平，每個水平的均值分別用m m1、m m2、m mr 表示表示要檢驗要檢驗r個水平個水平(總體總體)的均值是否相等，需要提出如的均值是否相等，需要提出如下假設(shè)下假設(shè)： H0: m m1 m m2 m mr H1: m m1 , m m2 , ，m mr不全相等不全相等設(shè)設(shè)m m1為零售業(yè)被投訴次數(shù)的均值，為零售業(yè)被投訴次數(shù)的均值，m m2為旅游業(yè)被投為旅游業(yè)被投訴次數(shù)的均值，訴次數(shù)的均值，m m3為航空公司被投訴

18、次數(shù)的均值，為航空公司被投訴次數(shù)的均值，m m4為家電制造業(yè)為家電制造業(yè)被投訴次數(shù)的均值被投訴次數(shù)的均值，提出的假設(shè)為提出的假設(shè)為H0: m m1 m m2 m m3 m m4 H1: m m1 , m m2 , m m3 , m m4 不全相等本節(jié)小結(jié) 方差分析采用數(shù)理統(tǒng)計方法對所得結(jié)果進(jìn)行分析，方差分析采用數(shù)理統(tǒng)計方法對所得結(jié)果進(jìn)行分析，以鑒別各種因素對研究對象的某些特性值影響大以鑒別各種因素對研究對象的某些特性值影響大小。小。 方差分析是檢驗多個總體均值是否相等的一種統(tǒng)方差分析是檢驗多個總體均值是否相等的一種統(tǒng)計方法。計方法。 方差分析是通過對試驗結(jié)果的分析去判斷因子是方差分析是通過對試

19、驗結(jié)果的分析去判斷因子是否顯著的一種統(tǒng)計方法。否顯著的一種統(tǒng)計方法。 方差分析方法是解決具有相同方差的方差分析方法是解決具有相同方差的(k2) )個正個正態(tài)總體的均值是否有顯著差異問題的有效方法。態(tài)總體的均值是否有顯著差異問題的有效方法。單因素方差分析單因素方差分析(one-way ANOVA) 解決一個因子的不同水平的試驗結(jié)果之間的差異顯著性問解決一個因子的不同水平的試驗結(jié)果之間的差異顯著性問題。題。 解決一個因子的不同水平對試驗結(jié)果的影響程度問題。解決一個因子的不同水平對試驗結(jié)果的影響程度問題。1、模型與假設(shè)的提出考慮因子考慮因子A取取r個水平，分析這個水平，分析這r個水平對指標(biāo)個水平對指

20、標(biāo)y的的影響影響在每個在每個Ai下下, ,重復(fù)做重復(fù)做m次試驗，次試驗，i=1,2,r一般情況，假定在一般情況，假定在Ai水平下的指標(biāo)水平下的指標(biāo) 其中其中要求要求yij 的方差的方差2 2是相同的是相同的2(,)1,2,1,2,ijiyNirjmm 單因子方差分析數(shù)據(jù)(表)模型 水平水平重復(fù)重復(fù) A1 A2 Ai Ar12jm y11 y21 yi1 yr1 y12 y22 yi2 yr2 y1j y2j yij yrj y1m y2m yim yrm假設(shè)的提出 在單因子方差分析中就是要通過對數(shù)據(jù)在單因子方差分析中就是要通過對數(shù)據(jù)yij的的分析去判斷分析去判斷1 ,2 , r是否全部相同是否

21、全部相同 yij 的數(shù)據(jù)結(jié)構(gòu)形式的數(shù)據(jù)結(jié)構(gòu)形式: : yij = =i+ +ij i 為在為在Ai水平下水平下 yij 的平均水平的平均水平 ij為在第為在第i水平下第水平下第j 次試驗的隨機(jī)誤差，且次試驗的隨機(jī)誤差，且2(0,)ijN 即要檢驗假設(shè)即要檢驗假設(shè) H0: 1 =2 =r 是否成立是否成立 討論因子討論因子A的不同水平對試驗結(jié)果之間差異的影響是否顯的不同水平對試驗結(jié)果之間差異的影響是否顯著的問題著的問題假設(shè)的另一種提法ai為因子為因子A A的第的第i水平的水平的效應(yīng)效應(yīng): : ai = i - 其中其中: : 為總的平均水平，為總的平均水平， 11riirmm111()0rrri

22、iiiiiarmmmm yij 的數(shù)據(jù)結(jié)構(gòu)形式的數(shù)據(jù)結(jié)構(gòu)形式: yij =+ ai+i j 為總的平均水平為總的平均水平 ij為在第為在第i水平下第水平下第j次試驗的隨機(jī)誤差次試驗的隨機(jī)誤差單因子方差分析數(shù)據(jù)結(jié)構(gòu)模型120(0,)1,2,1,2,ijiijriiijyaaNirjmm 即要即要檢驗假設(shè)檢驗假設(shè) H0: a1 = a2 = ar= 0 是否成立是否成立 討論討論因子因子A的不同水平的效應(yīng)是否可以忽略不計的問題的不同水平的效應(yīng)是否可以忽略不計的問題2、檢驗統(tǒng)計量的確定 yij取值不同主要原因有：一是可能取值不同主要原因有：一是可能A取不同水平所引起取不同水平所引起的；的；二是二是隨

23、機(jī)誤差引起隨機(jī)誤差引起的。的。 偏差平方和的分解是構(gòu)建適用于方差分析的偏差平方和的分解是構(gòu)建適用于方差分析的 F 統(tǒng)計量的重統(tǒng)計量的重要工具。要工具。 是區(qū)分是區(qū)分系統(tǒng)性誤差系統(tǒng)性誤差（條件誤差（條件誤差)和和隨機(jī)誤差隨機(jī)誤差(偶然性誤差偶然性誤差)的的主要方法。主要方法。偏差平方和的分解 數(shù)據(jù)總的差異可用總偏差平方和數(shù)據(jù)總的差異可用總偏差平方和ST來表示來表示 引入引入Ai 水平的均值水平的均值( (組平均組平均) )_211()rmTijijSyy_11mijijyymn 總的偏差平方和分解211211221111()()()()rmTijijrmijiiijrmrmijiiijijeAS

24、yyyyyyyyyySS11()()0rmijiiijyyyy其中 總偏差平方和總偏差平方和 ST: 因子因子A偏差平方和偏差平方和 (組間偏差平方和組間偏差平方和) SA : 隨機(jī)偏差平方和隨機(jī)偏差平方和 (組內(nèi)偏差平方和組內(nèi)偏差平方和) Se : :221111()()rmrmTijiijijSyya2221111()()()rmrrAiiiiijiiSyym yym a221111()()rmrmeijiijiijijSyyn 各偏差平方和的含義 組內(nèi)組內(nèi)偏差平方和偏差平方和 Se :反映了同一水平下的試驗值與其平均值的偏差平方和反映了同一水平下的試驗值與其平均值的偏差平方和反映各總體的

25、樣本均值之間的差異程度反映各總體的樣本均值之間的差異程度是由隨機(jī)因素引起的是由隨機(jī)因素引起的 組間組間偏差平方和偏差平方和 SA :反映了由于因子水平變化所引起的組平均與總平均的偏反映了由于因子水平變化所引起的組平均與總平均的偏差平方和差平方和反映每個樣本各觀察值的離散狀況反映每個樣本各觀察值的離散狀況一般是由隨機(jī)因素和系統(tǒng)誤差引起的一般是由隨機(jī)因素和系統(tǒng)誤差引起的如果原假設(shè)如果原假設(shè)成立成立，則表明，則表明沒有系統(tǒng)誤差沒有系統(tǒng)誤差，組間平方和，組間平方和SSA SSA 除以自由除以自由度后的度后的均方均方與組內(nèi)平方和與組內(nèi)平方和SSESSE和除以自由度后的和除以自由度后的均方差異均方差異就不會太大；就不會太大；如果如果組間均方組間均方顯著地大于顯著地大于組內(nèi)均方組內(nèi)均方，說明各水平，說明各水平( (總體總體) )之間的差異之間的差異不僅有隨機(jī)誤差，還有系統(tǒng)誤差不僅有隨機(jī)誤差，還有系統(tǒng)誤差判斷因素的水平是否對其觀察值有影響，實際上就是比較判斷因素的水平是否對其觀察值有影響，實際上就是比較組間均方組間均方與與組內(nèi)均方組內(nèi)均方之間差異的大小之間差異的大小統(tǒng)計量的構(gòu)建 由于由于 , ,且相互獨立，則且相互獨立，則: : 由于由于 ，所以在，所以在 H0為真時，為真時，2(0,)ijN22( (1)eSr m2(0,)iNm22(1)ASr在假設(shè)在假設(shè)H0成立