應(yīng)用統(tǒng)計(jì)學(xué)：方差分析

第三章方差分析概述單因素方差分析（one-wayANOVA）單響應(yīng)變量方差分析（ANOVA）協(xié)方差分析（ANCOVA）多響應(yīng)變量方差分析（MANOVA）一、概述方差分析:英國(guó)統(tǒng)計(jì)兼遺傳學(xué)家費(fèi)舍爾在設(shè)計(jì)多種農(nóng)業(yè)試驗(yàn)，特別是田間試驗(yàn)，并對(duì)試驗(yàn)進(jìn)行評(píng)估中發(fā)展起來(lái)的。主要用于研究某種因素（如廣告）對(duì)所感興趣的因變量（如銷售額）是否有顯著影響抽樣得到的實(shí)驗(yàn)數(shù)據(jù)顯示出實(shí)驗(yàn)結(jié)果的差異性，其原因可能有三類：觀測(cè)條件不同（影響因素）引起試驗(yàn)結(jié)果有所不同此結(jié)果差異是系統(tǒng)性的其他影響因素不同引起試驗(yàn)結(jié)果有所不同此結(jié)果差異是系統(tǒng)性的——干擾：其他條件不變由于各種隨機(jī)因素的干擾，試驗(yàn)結(jié)果也會(huì)有所不同此差異是偶然性的協(xié)方差分析方差分析的目的將觀測(cè)條件不同而引起的系統(tǒng)差異與隨機(jī)因素引起的偶然差異用數(shù)量形式區(qū)別開(kāi)來(lái)，以確定在實(shí)驗(yàn)中有沒(méi)有系統(tǒng)性因素在起作用。例1某公司希望對(duì)新進(jìn)銷售人員進(jìn)行銷售培訓(xùn)以保證銷售業(yè)績(jī)。如何培訓(xùn)才能達(dá)到好的效果成為公司關(guān)注的問(wèn)題。為此設(shè)置了兩組培訓(xùn)課程。為了比較它們的有效性，進(jìn)行了一項(xiàng)實(shí)驗(yàn)：隨機(jī)選擇三組新進(jìn)銷售人員，每組五人。一組接受A課程銷售訓(xùn)練一組接受銷售B課程銷售訓(xùn)練另一組C沒(méi)有參與任何訓(xùn)練（對(duì)照組）當(dāng)前兩組的訓(xùn)練課程結(jié)束后，三組人員都開(kāi)始實(shí)踐。兩個(gè)星期后統(tǒng)計(jì)了各組銷售人員的銷售記錄如下：銷售培訓(xùn)會(huì)提高銷售人員的業(yè)績(jī)嗎？注意不僅不同組中銷售員的業(yè)績(jī)有區(qū)別，同一組中接受相同培訓(xùn)的銷售員的業(yè)績(jī)也有區(qū)別銷售業(yè)績(jī)：組內(nèi)差異：隨機(jī)因素造成組間差異：培訓(xùn)和隨機(jī)因素造成如果三組銷售人員的平均業(yè)績(jī)沒(méi)有顯著差別（組間差異不明顯），則說(shuō)明銷售訓(xùn)練失敗如果接受銷售訓(xùn)練的銷售人員的業(yè)績(jī)顯著突出，則說(shuō)明銷售訓(xùn)練成功影響業(yè)績(jī)的因素：培訓(xùn)課程隨機(jī)因素：如個(gè)人特質(zhì)、運(yùn)氣從上表可以看出，各組樣本數(shù)據(jù)差異較大，尤其是3組與1、2組的均值具有一定的差異。這是否說(shuō)明銷售訓(xùn)練會(huì)提高銷售業(yè)績(jī)呢？當(dāng)然這種差異也許是由于隨機(jī)因素所造成，所以需要進(jìn)行統(tǒng)計(jì)檢驗(yàn)。影響業(yè)績(jī)的因素：培訓(xùn)課程隨機(jī)因素：如個(gè)人特質(zhì)、運(yùn)氣方差分析的假設(shè)為：如果原假設(shè)成立，說(shuō)明培訓(xùn)對(duì)銷售業(yè)績(jī)沒(méi)有顯著影響，組間差異與各組內(nèi)差異都是隨機(jī)因素造成的。如果備擇假設(shè)成立，說(shuō)明培訓(xùn)對(duì)銷售業(yè)績(jī)有顯著影響，各組內(nèi)的差異由隨機(jī)因素造成，而組間差異則由隨機(jī)因素和銷售訓(xùn)練所導(dǎo)致的系統(tǒng)性差異造成。檢驗(yàn)方法：組間變異是否遠(yuǎn)大于組內(nèi)變異方差分析的術(shù)語(yǔ)因素：一個(gè)獨(dú)立的變量，是方差分析研究的對(duì)象。在例1中，“培訓(xùn)”就是一個(gè)待研究的因素。水平：因素的不同狀態(tài)就稱為“水平”。分組是按因素的不同水平劃分的。例1中，因素“培訓(xùn)”分為三個(gè)水平（A課程、B課程、無(wú)訓(xùn)練）。響應(yīng)變量(性能指標(biāo)）：在分組試驗(yàn)中，對(duì)試驗(yàn)對(duì)象所觀測(cè)記錄的變量稱為“響應(yīng)變量”，它是受“因素”影響的變量，如例1中“銷售業(yè)績(jī)”。方差分析的類型單因素方差分析（一維方差分析）：檢驗(yàn)由單一因素影響的一個(gè)或幾個(gè)獨(dú)立的響應(yīng)變量的組間均值差異是否顯著。如上例，一個(gè)影響因素（培訓(xùn)）的不同水平對(duì)一個(gè)響應(yīng)變量（銷售業(yè)績(jī)）的影響分析。（one-wayANOVA過(guò)程）單響應(yīng)變量多因素方差分析：對(duì)一個(gè)響應(yīng)變量是否受一個(gè)或多個(gè)因素影響進(jìn)行分析，包括協(xié)方差分析。常用的是雙因素方差分析。（Univariate過(guò)程）多響應(yīng)變量多因素方差分析：研究一個(gè)或多個(gè)因素變量與多個(gè)響應(yīng)變量集之間的關(guān)系。（Multivariate過(guò)程）重復(fù)測(cè)量方差分析：因素對(duì)響應(yīng)變量影響的試驗(yàn)如果是重復(fù)測(cè)量的，就需要用重復(fù)測(cè)量方差分析。（RepeatedMeasures過(guò)程）問(wèn)題的表述和假設(shè)按實(shí)驗(yàn)因素水平形成分組數(shù)據(jù)同一組中的數(shù)據(jù)看成是來(lái)自同一總體，它們有一個(gè)理論上的均值，不同組的數(shù)據(jù)來(lái)自不同總體，一般認(rèn)為這些總體具有相同方差（其他條件保持不變），而它們的均值可能相同，也可能不同。方差分析的目的：通過(guò)假設(shè)檢驗(yàn)，判斷實(shí)驗(yàn)因素對(duì)響應(yīng)變量是否有顯著影響，即各組均值是相同，還是不同一般地，有r個(gè)水平的因素，H0:1=2=…=r=對(duì)上例，r=3二、單因素方差分析方差分析的

檢驗(yàn)方法:基本思路：判斷樣本均值的變異是由于因素的不同水平造成的，還是純粹由于隨機(jī)因素造成的。研究數(shù)據(jù)間的“變異”（也稱為平方和），即離差平方和：變異來(lái)源分解，組內(nèi)變異（樣本與組均值的離差平方和）：隨機(jī)因素造成，記作S組內(nèi)。組間變異（組均值與總均值的離差平方和）：可能單純由于隨機(jī)因素造成，也可能是因素的不同水平造成，記作S組間。S組內(nèi)+S組間=S總（總變異：樣本與總均值的離差平方和）S組間和S組內(nèi)的比值反映了兩種差異大小的對(duì)比，比值越大說(shuō)明因素各個(gè)水平引起的差異越顯著服從F分布通過(guò)F值與其臨界值的比較，推斷各組均值是否相同。結(jié)論：在0.05水平上培訓(xùn)對(duì)銷售業(yè)績(jī)的影響不顯著。平方和/自由度=均方和檢驗(yàn)統(tǒng)計(jì)量：因素水平試驗(yàn)次數(shù)123…j…r123……ix11x12x13x1jx1rx21x22x2jx2rx31x32x3jx3rxi1xi2xijxir…………設(shè)：因素有r個(gè)水平，各水平的實(shí)驗(yàn)次數(shù)為nj，得到樣本數(shù)據(jù)如表單因素方差分析的一般模型方差分析步驟F檢驗(yàn)計(jì)算各水平均值和總均值計(jì)算檢驗(yàn)統(tǒng)計(jì)量F計(jì)算離差平方和：S計(jì)算均方和：S/自由度⒈計(jì)算水平均值和總均值因素水平試驗(yàn)次數(shù)123…j…r12……ix11x12x13x1jx1rx21x22x2jx2rxi1xi2xijxir…………水平均值2、計(jì)算離差平方和誤差項(xiàng)離差平方和：組內(nèi)變異S組內(nèi)總離差平方和（總變異S總）水平項(xiàng)離差平方和：組間變異S組間三個(gè)離差平方和的關(guān)系為：三個(gè)離差平方和的關(guān)系為：證明：SSTSSESSA3、計(jì)算均方和離差平方和自由度均方和MSSSASSESSTr-1r(nj-1)=n-rn-1MSA=SSA/(r-1)MSE=SSE/(n-r)自由度：觀測(cè)值的個(gè)數(shù)約束條件數(shù)4、計(jì)算檢驗(yàn)統(tǒng)計(jì)量和假設(shè)檢驗(yàn)～F(r-1,n-r)建立假設(shè)本例r=3。培訓(xùn)例水平均值⒈計(jì)算水平均值和總均值培訓(xùn)例-續(xù)拒絕域接受域F=3.17<3.89，接受原假設(shè)，培訓(xùn)沒(méi)有顯著效果單因素方差分析過(guò)程

one-wayANOVA分析→比較均值→單因素ANVOA響應(yīng)變量因素“對(duì)比”對(duì)話框：均值多項(xiàng)式比較例如：4mean1-mean3“兩兩比較…”對(duì)話框：選擇均值多重比較方法方差相等時(shí)可選擇的比較方法方差不等時(shí)可選擇的比較方法與對(duì)照組的配對(duì)比較用t檢驗(yàn)完成各組均值的配對(duì)比較“選項(xiàng)”對(duì)話框：輸出統(tǒng)計(jì)量描述統(tǒng)計(jì)量固定因素和隨機(jī)效應(yīng)的統(tǒng)計(jì)量等方差檢驗(yàn)顯示均值圖培訓(xùn)-銷售業(yè)績(jī)SPSS輸出結(jié)果多重比較檢驗(yàn)方法LSD(Least-significantdifference)最小顯著性差異法：用t檢驗(yàn)完成個(gè)組均值間的配對(duì)比較。Duncan多重極差檢驗(yàn)：將進(jìn)行比較的各組均值分成幾個(gè)有顯著差異的子集。一個(gè)子集中均值之間的差異不顯著。Dunnett法：指定一個(gè)組作對(duì)照組(last)，其他各組分別與對(duì)照組進(jìn)行配對(duì)均值比較。例有五種治療麻疹的藥，要比較它們的療效。假定將30個(gè)病人分成五組，每組6人使用同一種藥，記錄病人從使用藥物開(kāi)始到痊愈所需時(shí)間（天）如表。試進(jìn)行方差分析。輸入數(shù)據(jù)：痊愈時(shí)間和組別調(diào)用“One-WayANOVA”過(guò)程，選擇如下選項(xiàng)：方差齊性檢驗(yàn)多重比較方法：LSD,Duncan，輸出描述統(tǒng)計(jì)量。Duncan多重極差檢驗(yàn)結(jié)果說(shuō)明：所有5個(gè)待比較組分為兩個(gè)子集（3，2，4，5）和（1，5），屬同一子集的藥物可認(rèn)為無(wú)明顯差異。對(duì)于第一個(gè)子集，“2、3、4、5藥物治愈所需天數(shù)均值相等”的假設(shè)接受的概率僅為0.067，略大于0.05。單因素方差分析例一DVD廠商希望了解不同年齡段（agegroup)的消費(fèi)者對(duì)其生產(chǎn)的一種新型DVD的評(píng)價(jià)(dvdscore)做單因素方差分析，畫(huà)出均值圖多重均值比較第四組評(píng)價(jià)最高第三組評(píng)價(jià)次高比較第三組均值與第四組均值是否有顯著差異一、二組評(píng)價(jià)較低五、六組評(píng)價(jià)最低比較32歲以下和46歲以上人群是否有顯著差異用單因素ANOVA中的contrast選項(xiàng)：1）mean3-mean42)0.5mean1+0.5mean2-0.5mean5-0.5mean632歲到45歲的評(píng)價(jià)無(wú)顯著差異32歲以下和46歲以上消費(fèi)者的評(píng)價(jià)無(wú)顯著差異例：某企業(yè)準(zhǔn)備上市一種新型香水，需要進(jìn)行市場(chǎng)調(diào)研。經(jīng)驗(yàn)表明除香水氣味外，香水包裝對(duì)需求也有很大影響?，F(xiàn)對(duì)三種不同的包裝、三種不同香型的香水進(jìn)行測(cè)試，每種組合采用一個(gè)不同的市場(chǎng)調(diào)查，調(diào)查結(jié)果見(jiàn)下表。1.923.152.54包裝311.53.29包裝21.582.042.8包裝1流行激情高雅AB三、單響應(yīng)變量方差分析——以雙因素方差分析為例雙因素不重復(fù)試驗(yàn)B1B2…BmA1A2…An

x11x12…x1mx21x22x2mxn1xn2xnm…兩因素分別為A（包裝）和B（香型），A有n種水平（n=3），B有m種水平(m=3)，每種因素組合只有一個(gè)樣本值，這樣的實(shí)驗(yàn)稱為不重復(fù)試驗(yàn)。實(shí)驗(yàn)數(shù)據(jù)建立下表不重復(fù)試驗(yàn)不能識(shí)別因素間的交互作用列均值行均值雙因素不重復(fù)試驗(yàn)方差分析方法與單因素方差分析類似，總變異可分成兩個(gè)因素的離差平方和及誤差平方和：方差分析表：因素的主效應(yīng)檢驗(yàn)離差平方和自由度均方和MSSASBSESTn-1m-1(n-1)(m-1)nm-1MSA=SA/(n-1)MSB=SB/(m-1)MSE=SE/(n-1)(m-1)檢驗(yàn)統(tǒng)計(jì)量FA=MSA/MSEFB=MSB/MSE行效應(yīng)（A因素）顯著性檢驗(yàn)列效應(yīng)（B因素）顯著性檢驗(yàn)B香型A包裝包裝1包裝2包裝31高雅2激情3流行2.83.292.542.041.53.151.5811.92Bj2.882.231.5Ai2.141.932.542.20離差平方和自由度均方和MSSA=0.57SB=2.85SE=1.57ST=4.992248MSA=0.285MSB=1.425MSE=0.392檢驗(yàn)統(tǒng)計(jì)量FA=0.73FB=3.64F=6.94結(jié)論：包裝與香型的影響都不顯著雙因素重復(fù)試驗(yàn)兩因素分別為A和B，A有n種水平，B有m種水平，兩種因素不同水平共有mn中組合，在每種因素組合（i,j）下作d次重復(fù)試驗(yàn)，以減輕誤差的干擾，實(shí)驗(yàn)數(shù)據(jù)建立下表A1…j…m1x111,x112,…x11d

x1j1,x1j2,…x1jd

x1m1,x1m2,…x1md…

ixi11,xi12,…xi1d

xij1,xij2,…xijd

xim1,xim2,…ximd…

nxn11,xn12,…xn1d

xnj1,xnj2,…xnjd

xnm1,xnm2,…xnmdB雙因素方差分析符號(hào)說(shuō)明

雙因素分析模型在雙因素模型中可以進(jìn)行多種檢驗(yàn)：因素A的主效應(yīng)檢驗(yàn)因素B的主效應(yīng)檢驗(yàn)因素A和因素B的交互作用檢驗(yàn)雙因素方差分析表

sumofsquaresdfmeansquareF-RatioacrossSSAnm-1MSA=SSA/(nm-1)MSA/MSWfactorASS(a)n-1MS(a)=SS(a)/(n-1)MS(a)/MSWfactorBSS(b)m-1MS(b)=SS(b)/(m-1)MS(b)/MSWinteractSS(ab)(n-1)(m-1)MS(ab)=SS(ab)/(n-1)(m-1)MS(ab)/MSWwithinSSWN-nmMSW=SSW/(N-nm)

totalSSTN-1

香水例“單變量”過(guò)程數(shù)據(jù)格式響應(yīng)變量因素協(xié)變量隨機(jī)因素“模型”對(duì)話框：模型設(shè)定自定義模型指定模型類型建立全模型指定主效應(yīng)指定所有三維交互效應(yīng)指定所有四維交互效應(yīng)選擇分解平方和的方法：指定交互效應(yīng)指定所有兩維交互效應(yīng)本例只有主效應(yīng)“對(duì)比”對(duì)話框：效應(yīng)比較默認(rèn)：無(wú)效應(yīng)比較改變效應(yīng)比較設(shè)置比較因素每個(gè)水平的效應(yīng)因素變量每一水平都與參考水平比較：選擇last或first為參考水平因素每一水平都與其前面?zhèn)€水平比較因素每一水平都與后續(xù)水平比較“圖”對(duì)話框：因變量均數(shù)分布圖選擇橫坐標(biāo)選擇縱坐標(biāo)散點(diǎn)圖框“兩兩比較”對(duì)話框：多重比較與one-wayANOVA相同Save對(duì)話框：保存“選項(xiàng)”對(duì)話框比較主效應(yīng)均值指定輸出統(tǒng)計(jì)量效應(yīng)量估計(jì)顯示觀測(cè)功效參數(shù)估計(jì)：因變量與自變量的回歸系數(shù)等等方差檢驗(yàn)觀測(cè)量均值對(duì)方差的圖擬合度不足的檢驗(yàn)香型與包裝方差分析結(jié)果新食品定價(jià)和廣告策略研究為了確定新食品的定價(jià)和廣告策略，某企業(yè)做了一次市場(chǎng)研究：選出24家商場(chǎng)分別以高、中、低三種價(jià)格，和高、低兩種廣告策略推銷產(chǎn)品，經(jīng)過(guò)一段時(shí)間之后統(tǒng)計(jì)各家商場(chǎng)的銷售量，并對(duì)此作方差分析。新食品銷售的均值圖價(jià)格低高低廣告高廣告1.銷售量的價(jià)格效應(yīng)較明顯2.廣告效應(yīng)較不明顯3.交互作用：低價(jià)格高廣告的銷量較大方差分析表四、協(xié)方差分析基本思想：在方差分析中引入其它獨(dú)立變量，以矯正由于非試驗(yàn)因素對(duì)響應(yīng)變量的影響干擾方差分析的準(zhǔn)確性。方差分析應(yīng)在“其它條件不變”下實(shí)施。但是，這一點(diǎn)有時(shí)難以做到。前例：在研究?jī)r(jià)格和廣告對(duì)新食品銷售的影響時(shí)，如果所選擇的商場(chǎng)規(guī)模不同，也會(huì)對(duì)銷售量產(chǎn)生影響。我們收集了各個(gè)參加試驗(yàn)商場(chǎng)的規(guī)模，做銷售量對(duì)商場(chǎng)規(guī)模的散點(diǎn)圖銷售量對(duì)商場(chǎng)規(guī)模散點(diǎn)圖：綠色點(diǎn)-高廣告，紅色點(diǎn)-低廣告很明顯：做高廣告的商場(chǎng)規(guī)模偏小，低廣告的商場(chǎng)規(guī)模較大。一般來(lái)說(shuō)，規(guī)模大的商場(chǎng)銷量較大，規(guī)模小的商場(chǎng)銷量較小。因此，商場(chǎng)規(guī)模的差異可能會(huì)干擾對(duì)廣告效應(yīng)的評(píng)估。將Storesiz作為協(xié)變量引入后的方差分析結(jié)果協(xié)變量調(diào)整后的均值圖協(xié)變量調(diào)整前的均值圖廣告效應(yīng)變得明顯了協(xié)變量調(diào)整前協(xié)變量調(diào)整后協(xié)變量的作用機(jī)理：?jiǎn)我蛩乩悍姨m曾有一條法規(guī)：只有城市可以從事商業(yè)性賣酒。當(dāng)這條法規(guī)取消時(shí)，人們開(kāi)始擔(dān)心農(nóng)村的交通事故會(huì)因此增多。一些研究者在12個(gè)鄉(xiāng)村鎮(zhèn)進(jìn)行了試驗(yàn)：其中4個(gè)村鎮(zhèn)只允許商店賣酒、4個(gè)村鎮(zhèn)商店和飯店都可以賣酒，最后4個(gè)村鎮(zhèn)作為對(duì)照組，不許賣酒。一年后統(tǒng)計(jì)的交通事故數(shù)如表。對(duì)此數(shù)據(jù)進(jìn)行方差分析，發(fā)現(xiàn)賣酒模式對(duì)交通事故影響不顯著。組間變異不比組內(nèi)變異顯著地大結(jié)論是否可信？影響交通事故的其他因素：由于道路狀況、天氣狀況等的差別，有些鄉(xiāng)鎮(zhèn)比另一些鄉(xiāng)鎮(zhèn)更容易發(fā)生交通事故，選取解禁前各鄉(xiāng)鎮(zhèn)年交通事故數(shù)numpre為參考變量，從數(shù)據(jù)表中可以看出，第二組各城鎮(zhèn)在未解禁前事故率就相當(dāng)高，解禁后的事故率相對(duì)來(lái)說(shuō)并不很高。不同城鎮(zhèn)的交通事故數(shù)差異很大（甚至同一試驗(yàn)組的城鎮(zhèn)之間），原因何在？accidnum解禁后事故數(shù)vs解禁前事故數(shù)組間相關(guān)組內(nèi)亦相關(guān)且相關(guān)度更高剔除協(xié)變量影響后的組間變異與組內(nèi)變異協(xié)變量調(diào)整后，組間變異增大，組內(nèi)變異減小協(xié)變量調(diào)整后模型:Intercept+numpre+group協(xié)變量調(diào)整前模型:Intercept+group均值圖比較未考慮協(xié)變量協(xié)變量調(diào)整后協(xié)變量調(diào)整后調(diào)整前協(xié)變量調(diào)整后，賣酒模式對(duì)交通事故數(shù)影響顯著調(diào)整前調(diào)整后的成對(duì)比較飯店里賣酒對(duì)交通事故影響最大bT為X對(duì)Z回歸的系數(shù)X與Z的協(xié)方差為0時(shí)SST(Xa