地質(zhì)數(shù)據(jù)處理2012級08方差分析

1、第八章 方差分析第一節(jié)第一節(jié) 方差分析的基本問題方差分析的基本問題 第二節(jié)第二節(jié) 單因素方差分析單因素方差分析第三節(jié)第三節(jié) 雙因素方差分析雙因素方差分析第一節(jié) 方差分析的基本問題一一. 方差分析的概念方差分析的概念二二. 方差分析的原理方差分析的原理三三. 方差分析的假定方差分析的假定什么是方差分析？在科學(xué)實驗和生產(chǎn)實踐中，影響一事物的因素影響一事物的因素往往是很多的，有因素影響大一些，有的因素影響小一些。例如：農(nóng)業(yè)研究不同的肥料對作物產(chǎn)量的影響； 工業(yè)生產(chǎn)研究不同廠家的機器對生產(chǎn)出的燈泡壽命的影響； 地質(zhì)研究礦床中不同的構(gòu)造部位對礦體品位的影響 。為了穩(wěn)定的生產(chǎn)或者探究科學(xué)原因，我們有必要找

2、出影響事物的因素影響事物的因素。在假設(shè)檢驗一章，我們討論過兩個正態(tài)總體均值兩個正態(tài)總體均值的檢驗問題?？梢钥吹?，若兩個總體的方差雖屬未知，但若它們相等，就可用 t 檢驗法檢驗法來檢驗其均值是均值是否有顯著的差異否有顯著的差異。若我們的試驗中，出現(xiàn)了三個或更多的總體三個或更多的總體，怎樣檢驗它們均值的差異均值的差異呢？這就是方差分析方差分析所要討論的問題。如果我們的試驗中，只有1個因素在改變個因素在改變，而其它保持不變的話，我們稱這個試驗為單因素試驗單因素試驗；若有2個因素在改變個因素在改變，則稱為雙因素試驗雙因素試驗；若有多個個因素在改變因素在改變，則稱為多因素試驗多因素試驗。因素所處的狀態(tài)狀

3、態(tài)稱為水平水平。什么是方差分析什么是方差分析? （一個例子）礦石顏色對礦石品位（礦石顏色對礦石品位（%）的影響）的影響取樣編號取樣編號無色無色粉色粉色橘黃橘黃綠色綠色1234526.528.725.129.127.231.228.330.827.929.627.925.128.524.226.530.829.632.431.732.8【例例】礦石因其礦物由于含有不同的雜質(zhì)而呈現(xiàn)不同的顏色，而顏色不同可以直觀地判斷成礦環(huán)境的差異。礦石礦物的顏色共有四種，分別為無色、粉色、橘黃色和綠色?，F(xiàn)對同一個礦床中不同顏色的礦石分別進行取樣，分析礦石的顏色是否對礦石品位產(chǎn)生影響。什么是方差分析? （例子的進一

4、步分析）1. 檢驗礦石顏色對礦石品位是否有影響，也就是檢驗四種顏色礦石的平均品位是否相同2. 設(shè) 1、 2、 3、 4分別為無色、粉色、橘黃色、綠色礦石的平均品位，檢驗下面的假設(shè)H0: 1 1 2 2 3 3 4 4 H1: 1 1 , 2 2 , 3 3 , 4 4 不全相等不全相等3. 檢驗上述假設(shè)所采用的方法就是方差分析什么是方差分析?(概念要點歸納)1. 檢驗多個總體均值是否相等總體均值是否相等通過對各觀察數(shù)據(jù)差異的影響因素分析來判斷多多個總體均值是否相等個總體均值是否相等2. 變量一個定類尺度的自變量（因素）自變量（因素）每個因素有2個或多個 (k 個) 處理水平或分類（因素水平）水

5、平或分類（因素水平）一個定距或比例尺度的因變量（觀察）因變量（觀察）抽樣獲得因變量的樣本值（觀察值）樣本值（觀察值）3. 用于分析完全隨機化試驗隨機化試驗設(shè)計方差分析的基本思想和原理方差分析的基本思想和原理（幾個基本概念）1. 因素因素或因子所要檢驗的對象稱為因子要分析礦石顏色對礦石品位是否有影響，礦石顏色礦石顏色是要檢驗的因素或因子2.水平水平因素的具體表現(xiàn)稱為水平A1、A2、A3、 A4四種顏色就是因素的水平3.觀察值觀察值在每個因素水平下得到的樣本值每種顏色礦石的品位品位就是觀察值方差分析的基本思想和原理（幾個基本概念）1.試驗試驗這里只涉及一個因素，因此稱為單因素四水平的試驗2.總體總

6、體因素的每一個水平可以看作是一個總體比如A1、A2、A3、 A4四種顏色可以看作是四個總體3.樣本數(shù)據(jù)樣本數(shù)據(jù)上面數(shù)據(jù)可以看作是從這四個總體中抽取的樣本數(shù)據(jù)方差分析的基本思想和原理（兩類誤差）由前面的例子可以看到，無色和橘黃色的礦石品位大多要低一些。但這種差異，究竟是由隨機誤差隨機誤差產(chǎn)生的，還是由于顏色之間的差異顏色之間的差異產(chǎn)生的？這正是方差分析需要回答的問題。這兩種差異，分別稱為隨機誤差隨機誤差和系統(tǒng)誤差系統(tǒng)誤差方差分析的基本思想和原理（兩類誤差）1.隨機誤差隨機誤差在因素的同一水平(同一個總體)下，樣本的各觀察值之間的差異比如，同一種顏色的礦物在不同采點上的品位是不同的不同采點的品位的

7、差異可以看成是隨機因素的影響，或者說是由于抽樣的隨機性所造成的，稱為隨機誤差隨機誤差 2.系統(tǒng)誤差系統(tǒng)誤差在因素的不同水平(不同總體)下，各觀察值之間的差異比如，同一采點，不同顏色礦物的品位也是不同的這種差異可能是由于抽樣的隨機性所造成的，也可能是由于顏色本身所造成的，后者所形成的誤差是由系統(tǒng)性因素造成的，稱為系統(tǒng)誤差系統(tǒng)誤差方差分析的基本思想和原理（兩類方差）1. 組內(nèi)方差組內(nèi)方差因素的同一水平(同一個總體)下樣本數(shù)據(jù)的方差比如，無色礦物A1在5個采點的品位的方差組內(nèi)方差只包含隨機誤差隨機誤差2. 組間方差組間方差因素的不同水平(不同總體)下各樣本之間的方差比如，A1、A2、A3、A4四種顏

8、色礦物的品位之間的方差組間方差既包括隨機誤差隨機誤差，也包括系統(tǒng)誤差系統(tǒng)誤差方差分析的基本思想和原理（方差的比較）1.如果不同顏色(水平)對品位(結(jié)果)沒有影響，那么在組間方差中只包含有隨機誤差，而沒有系統(tǒng)誤差。這時，組間方差與組內(nèi)方差就應(yīng)該很接近，兩個方差的比值就會接近兩個方差的比值就會接近12.如果不同的水平對結(jié)果有影響，在組間方差中除了包含隨機誤差外，還會包含有系統(tǒng)誤差，這時組間方差就會大于組內(nèi)方差，組間方差與組內(nèi)方組間方差與組內(nèi)方差的比值就會大于差的比值就會大于13.當(dāng)這個比值大到某種程度比值大到某種程度時，就可以說不同水平之間存在著顯著差異顯著差異方差分析中的基本假定方差分析中的基本

9、假定1. 每個總體都應(yīng)服從正態(tài)分布對于因素的每一個水平，其觀察值是來自服從正態(tài)分布總體的簡單隨機樣本比如，每種顏色礦物的品位必需服從正態(tài)分布2. 各個總體的方差必須相同對于各組觀察數(shù)據(jù)，是從具有相同方差的總體中抽取的比如，四種顏色礦物的品位的方差都相同3. 觀察值是獨立的比如，每個采點的品位都與其他采點的品位獨立方差分析中的基本假定1. 在上述假定條件下，判斷顏色對品位是否有顯著影響，實際上也就是檢驗具有同方差的四個正態(tài)總體的均值是否相等的問題 2. 如果四個總體的均值相等，可以期望四個樣本的均值也會很接近四個樣本的均值越接近，我們推斷四個總體均值相等的證據(jù)也就越充分樣本均值越不同，我們推斷總

10、體均值不同的證據(jù)就越充分 方差分析中基本假定 如果原假設(shè)成立，即H0: 1 = 2 = 3 = 4四種顏色礦石品位的均值都相等沒有系統(tǒng)誤差 這意味著每個樣本都來自均值為 、方差為2的同一正態(tài)總體 方差分析中基本假定 如果備擇假設(shè)成立，即H1: i (i=1，2，3，4)不全相等 至少有一個總體的均值是不同的 有系統(tǒng)誤差 這意味著四個樣本分別來自均值不同的四個正態(tài)總體 第二節(jié) 單因素方差分析一一. 單因素方差分析的步驟單因素方差分析的步驟二二. 方差分析中的多重比較方差分析中的多重比較三三. 單因素方差分析中的其他問題單因素方差分析中的其他問題單因素方差分析的數(shù)據(jù)結(jié)構(gòu) 觀察值觀察值 ( i )因

11、素因素(A) j 水平水平A1 水平水平A2 水平水平As12:nj x11 x12 x1s x21 x22 x2s : : : : : : : : xn11 xn22 xnss注意：每個水平的觀察值注意：每個水平的觀察值nj可以是不同的可以是不同的單因素方差分析的步驟單因素方差分析的步驟提出假設(shè)1. 假設(shè)H0: 1 = 2 = s (因素有s個水平）H1: 1 ，2 ， ，s不全相等2. 對前面的例子H0: 1 = 2 = 3 = 4顏色對品位沒有影響H0: 1 ，2 ，3， 4不全相等顏色對品位有影響構(gòu)造檢驗的統(tǒng)計量1. 為檢驗H0是否成立，需確定檢驗的統(tǒng)計量 2. 構(gòu)造統(tǒng)計量需要計算水平

12、的均值全部觀察值的總均值離差平方和均方(MS) 構(gòu)造檢驗的統(tǒng)計量(計算水平的均值 )1.假定從第j個總體中抽取一個容量為nj的簡單隨機樣本，第j個總體的樣本均值為該樣本的全部觀察值總和除以觀察值的個數(shù)2.計算公式為 構(gòu)造檢驗的統(tǒng)計量(計算全部觀察值的總均值 )1.全部觀察值的總和除以觀察值的總個數(shù)2.計算公式為 構(gòu)造檢驗的統(tǒng)計量構(gòu)造檢驗的統(tǒng)計量(前例計算結(jié)果 )四種顏色礦石的品位及均值四種顏色礦石的品位及均值采點采點( j )水平水平A ( j )無色無色(A1)粉色粉色(A2)橘黃色橘黃色(A3)綠色綠色(A4)1234526.528.725.129.127.231.228.330.827.

13、929.627.925.128.524.226.530.829.632.431.732.8合計合計136.6147.8132.2157.3573.9水平均值水平均值觀察值個數(shù)觀察值個數(shù) x.1 =27.32n1=5x.2=29.56n2=5x.3=26.44n3=5x.4=31.46n4=5總均值總均值x =28.695構(gòu)造檢驗的統(tǒng)計量(計算總離差平方和 SST)1.全部觀察值 與總平均值 的離差平方和2.反映全部觀察值的離散狀況3.其計算公式為構(gòu)造檢驗的統(tǒng)計量構(gòu)造檢驗的統(tǒng)計量(計算誤差平方和或組內(nèi)平方和 SSE)1.每個水平或組的各樣本數(shù)據(jù)與其組平均值的離差平方和2.反映每個樣本各觀察值的離

14、散狀況，又稱組內(nèi)離差平方和3.該平方和反映的是隨機誤差的大小4.計算公式為 構(gòu)造檢驗的統(tǒng)計量(計算水平平方和 SSA)1.各組平均值 與總平均值 的離差平方和2.反映各總體的樣本均值之間的差異程度，又稱組間平方和，3.組間平方和包含系統(tǒng)誤差和隨機誤差4.計算公式為 構(gòu)造檢驗的統(tǒng)計量(三個平方和的關(guān)系)總離差平方和(SST)、誤差項離差平方和(SSE)、水平項離差平方和 (SST) 之間的關(guān)系 2.2.2.22xxxxxxxxxxxxxxjjjijjijjjijij構(gòu)造檢驗的統(tǒng)計量構(gòu)造檢驗的統(tǒng)計量(三個平方和的作用)1. SST反映了全部數(shù)據(jù)總的誤差程度；SSE反映了組內(nèi)誤差（隨機誤差）的大?。?/p>

15、SSA反映了組間誤差的大小2.如果原假設(shè)成立，即1 2 s為真，則表明沒有系統(tǒng)誤差，組間平方和SSA除以自由度后的均方均方與組內(nèi)平方和SSE和除以自由度后的均方均方差異就不會太大；如果組間均方組間均方顯著地大于組內(nèi)均方組內(nèi)均方，說明各水平(總體)之間的差異不僅有隨機誤差，還有系統(tǒng)誤差3.判斷因素的水平是否對其觀察值有影響，實際上就是比較組間方差組間方差與組內(nèi)方差組內(nèi)方差之間差異的大小4.為檢驗這種差異，需要構(gòu)造一個用于檢驗的統(tǒng)計量構(gòu)造檢驗的統(tǒng)計量(計算均方 MS)1.各離差平方和的大小與觀察值的多少有關(guān)，為了消除觀察值多少對離差平方和大小的影響，需要將其平均，這就是均方，也稱為方差；2.計算方

16、法是用離差平方和除以相應(yīng)的自由度；3.三個平方和的自由度分別是：SST 的自由度為n-1（1個約束條件），其中n為全部觀察值的個數(shù)；SSA的自由度為s-1（1個約束條件），其中s為因素水平(總體)的個數(shù)；SSE 的自由度為n-s（s個約束條件）。構(gòu)造檢驗的統(tǒng)計量(計算均方 MS)1. SSA的均方也稱組間方差組間方差，記為MSA，計算公式為構(gòu)造檢驗的統(tǒng)計量(計算檢驗的統(tǒng)計量 F )1.將MSA和MSE進行對比，即得到所需要的檢驗統(tǒng)計量F2.當(dāng)H0為真時，二者的比值服從分子自由度為s-1、分母自由度為 n-s 的 F 分布，即 構(gòu)造檢驗的統(tǒng)計量(F分布與拒絕域)統(tǒng)計決策（假設(shè)檢驗） 將統(tǒng)計量的值

17、F與給定的顯著性水平的臨界值F進行比較，作出接受或拒絕原假設(shè)H0的決策根據(jù)給定的顯著性水平，在F分布表中查找與第一自由度df1s-1、第二自由度df2=n-s 相應(yīng)的臨界值 F ； 一般取0.05若FF ，則拒絕原假設(shè)H0 ，表明均值之間的差異是顯著的，所檢驗的因素(A)對觀察值有顯著影響；若F F ，則不能拒絕原假設(shè)H0 ，表明所檢驗的因素(A)對觀察值沒有顯著影響 。單因素方差分析表(基本結(jié)構(gòu))方差來源方差來源平方和平方和SS自由度自由度df均方均方MSF 值值組間組間(因素影響因素影響) 組內(nèi)組內(nèi)(誤差誤差) 總和總和SSASSESSTs-1n-sn-1MSAMSEMSA單因素方差分析（

18、輸出結(jié)果）方差分析：單因素方差分析方差分析：單因素方差分析SUMMARYSUMMARY組組計數(shù)計數(shù)求和求和平均平均方差方差列 1列 15 5136.6136.627.3227.322.6722.672列 2列 25 5147.8147.829.5629.562.1432.143列 3列 35 5132.2132.226.4426.443.2983.298列 4列 45 5157.3157.331.4631.461.6581.658方差分析方差分析差異源差異源SSSSdfdfMSMSF FP-valueP-value F critF crit組間組間76.845576.84553 325.615

19、25.615 10.48610.4860.00050.0005 3.23893.2389組內(nèi)組內(nèi)39.08439.08416162.44282.4428總計總計115.93115.931919單因素方差分析（一個例子）對對D地層的四個組的含礦性分析地層的四個組的含礦性分析 樣本樣本含礦元素含量(%)D1D2D3D4123456757554645545347 624960545655 5149485547 7068636960 直觀判斷有沒有差別？直觀判斷有沒有差別？單因素方差分析單因素方差分析（計算結(jié)果）解：設(shè)四個組的均值分別為，1、2 、3、4 ，則需要檢驗如下假設(shè) H0: 1 = 2 =

20、3 = 4 (四個組的含礦性無顯著差異) H1: 1 ，2 ，3， 4不全相等 (有顯著差異)輸出的結(jié)果如下差異源差異源SS自由度自由度MSFP-值 值臨界值臨界值組間組間845.21743281.7391 14.78741 3.31E-05 3.127354組內(nèi)組內(nèi)3621919.05263總和總和1207.21722方差分析中的多重比較方差分析中的多重比較（作用）1.多重比較是通過對總體均值之間的配對比較來進一步檢驗到底哪些均值之間存在差異2.多重比較方法有多種，其中Fisher提出的最小最小顯著差異顯著差異方法，簡寫為LSD，該方法可用于判斷到底哪些均值之間有差異3. LSD方法是對檢驗

21、兩個總體均值是否相等的t檢驗方法的總體方差估計加以修正(用MSE來代替)而得到的 方差分析中的多重比較（步驟）1.提出假設(shè)H0: i = j (第i個總體的均值等于第j個總體的均值)H1: i j (第i個總體的均值不等于第j個總體的均值)2.檢驗的統(tǒng)計量為 方差分析中的多重比較（基于統(tǒng)計量x.i-x.j的LSD方法）1.通過判斷樣本均值之差的大小來檢驗 H02.檢驗的統(tǒng)計量為 ：x.i x.j3.檢驗的步驟為 提出假設(shè)H0: i = j (第i個總體的均值等于第j個總體的均值)H1: i j (第i個總體的均值不等于第j個總體的均值)計算LSD方差分析中的多重比較（實例 ）1.根據(jù)前面的計算

22、結(jié)果: x1=27.3; x2=29.5; x3=26.4; x4=31.42.提出假設(shè)H0: i = j ；H1: i j3.計算LSD方差分析中的多重比較（實例 ）|x1-x2|= |27.3-29.5| =2.22.096 顏色1與顏色2的品位有顯著差異|x1-x3|= |27.3-26.4| =0.92.096 顏色1與顏色4的品位有顯著差異|x2-x3|= |29.5-26.4| =3.12.096 顏色2與顏色3的品位有顯著差異|x2-x4|= |29.5-31.4| =1.92.096 顏色3與顏色4的品位有顯著差異第三節(jié) 雙因素方差分析一一. 雙因素方差分析的基本問題雙因素方差

23、分析的基本問題二二. 雙因素方差分析的數(shù)據(jù)結(jié)構(gòu)雙因素方差分析的數(shù)據(jù)結(jié)構(gòu)三.三. 雙因素方差分析的步驟雙因素方差分析的步驟四.四. 一個應(yīng)用實例一個應(yīng)用實例雙因素方差分析的基本問題雙因素方差分析（概念要點）1.分析兩個因素(因素A和因素B)對試驗結(jié)果的影響；2.分別對兩個因素進行檢驗，分析是一個因素在起作用，還是兩個因素都起作用，還是兩個因素都不起作用；3.如果A和B對試驗結(jié)果的影響是相互獨立的，分別判斷因素A和因素B對試驗指標(biāo)的影響，這時的雙因素方差分析稱為無交互作用無交互作用的雙因素方差分析；4.如果除了A和B對試驗結(jié)果的單獨影響外，因素A和因素B的搭配還會對結(jié)果產(chǎn)生一種新的影響，這時的雙因

24、素方差分析稱為有交互作用有交互作用的雙因素方差分析；5.對于無交互作用的雙因素方差分析，其結(jié)果與對每個因素分別進行單因素方差分析的結(jié)果相同。雙因素方差分析的基本假定1. 每個總體都服從正態(tài)分布；對于因素的每一個水平，其觀察值是來自正態(tài)分布總體的簡單隨機樣本2. 各個總體的方差必須相同；對于各組觀察數(shù)據(jù)，是從具有相同方差的總體中抽取的3. 觀察值是獨立的。雙因素方差分析的數(shù)據(jù)結(jié)構(gòu)雙因素方差分析的數(shù)據(jù)結(jié)構(gòu)(只觀察1次) 因素因素A(i) 因素因素(B) j 平均值平均值 B1 B2 BsA1A2:Ar x11 x12 x1s x21 x22 x2s : : : : : : : : xr1 xr2

25、xrs : :平均值平均值 雙因素方差分析的數(shù)據(jù)結(jié)構(gòu) 是因素A的第i個水平下各觀察值的平均值 是因素B的第j個水平下的各觀察值的均值 是全部 kr 個樣本數(shù)據(jù)的總平均值雙因素方差分析的步驟提出假設(shè)1. 對因素A提出的假設(shè)為H0: 1 = 2 = = i = = r (i為第i個水平的均值)H1: i (i =1,2, , r) 不全相等2. 對因素B提出的假設(shè)為H0: 1 = 2 = = j = = s (j為第j個水平的均值)H1: j (j =1,2,s) 不全相等構(gòu)造檢驗的統(tǒng)計量1. 為檢驗H0是否成立，需確定檢驗的統(tǒng)計量 2. 構(gòu)造統(tǒng)計量需要計算總離差平方和兩個因素的水平項平方和誤差項

26、平方和均方 構(gòu)造檢驗的統(tǒng)計量(計算總離差平方和 SST)1.全部觀察值 與總平均值 的離差平方和2.反映全部觀察值的離散狀況3.計算公式為構(gòu)造檢驗的統(tǒng)計量(計算SSA、SSB和SSE)1.因素A的離差平方和SSA構(gòu)造檢驗的統(tǒng)計量(各平方和的關(guān)系) 總離差平方和(SST)、水平項離差平方和 (SSA和SSB) 、誤差項離差平方和(SSE) 之間的關(guān)系 xxxxxxxxxxjiijjiij.構(gòu)造檢驗的統(tǒng)計量(計算均方 MS)1.各離差平方和的大小與觀察值的多少有關(guān)，為消除觀察值多少對離差平方和大小的影響，需要將其平均，這就是均方，也稱為方差2.計算方法是用離差平方和除以相應(yīng)的自由度3.三個平方和的

27、自由度分別是總離差平方和SST的自由度為 rs-1因素A的離差平方和SSA的自由度為 r-1因素B的離差平方和SSB的自由度為 s-1隨機誤差平方和SSE的自由度為 (r-1)(s-1)=rs-(r+s-1) 構(gòu)造檢驗的統(tǒng)計量(計算均方 MS)1.因素A的均方，記為MSA，計算公式為2. 因素B的均方，記為MSB ，計算公式為3. 隨機誤差項的均方，記為MSE ，計算公式為構(gòu)造檢驗的統(tǒng)計量(計算檢驗的統(tǒng)計量 F)1.為檢驗因素A的影響是否顯著，采用下面的統(tǒng)計量 2.為檢驗因素B的影響是否顯著，采用下面的統(tǒng)計量 統(tǒng)計決策 將統(tǒng)計量的值F與給定的顯著性水平的臨界值F進行比較，作出接受或拒絕原假設(shè)H0的決策：根據(jù)給定的顯著性水平在F分布表中查找相應(yīng)的臨界值 F ；若FA F ，則拒絕原假設(shè)H0 ，表明均值之間的差異是顯著的，即所檢驗的因素(A)對觀察值有顯著影響；若FB