試驗設(shè)計與數(shù)據(jù)處理讀書筆記整理-

1、試驗設(shè)計與數(shù)據(jù)處理試驗設(shè)計與數(shù)據(jù)處理筆記谷鐘汝說明此文檔為試驗設(shè)計與數(shù)據(jù)處理的讀書筆記,其中較為詳細(xì)介紹了正交設(shè)計、均勻設(shè)計等內(nèi)容,以及相關(guān)的SAS實現(xiàn),方便同學(xué)學(xué)習(xí)。此文檔僅為學(xué)習(xí)交流之用。谷鐘汝試驗設(shè)計與數(shù)據(jù)處理目錄目錄第一章試驗設(shè)計概述 (3一、類型 (3二、基本概念 (3三、三要素和四原則 (4第二章比較試驗與方差分析 (7一、兩個處理的水平對比 (7二、方差分析 (8第三章單因素優(yōu)化試驗設(shè)計 (17一、均分法 (17二、對分法 (17三、黃金分割法 (17四、分?jǐn)?shù)法 (17第四章多因素優(yōu)化試驗 (18一、因素輪換法 (18二、隨機(jī)試驗 (18三、拉丁方設(shè)計 (18第五章正交設(shè)計 (2

2、1一、原理 (21二、用正交表安排實驗 (21三、一般的正交分析 (21四、有交互作用的正交設(shè)計 (28五、水平不等的正交設(shè)計 (31六、獨立重復(fù)試驗 (36七、篩選實驗 (39八、正交設(shè)計與區(qū)組設(shè)計 (41第六章均勻設(shè)計 (47一、原理及簡單介紹 (47二、均勻表的介紹 (47三、均勻設(shè)計的實驗結(jié)果分析 (49第七章穩(wěn)健性設(shè)計 (561E-mail :904374049 谷鐘汝 河北大學(xué)生命科學(xué)學(xué)院 2一、 基本概念 (56試驗設(shè)計與數(shù)據(jù)處理第一章試驗設(shè)計概述3 試驗設(shè)計與數(shù)據(jù)處理第一章試驗設(shè)計概述試驗設(shè)計(design of experiment, DOE:對試驗進(jìn)行科學(xué)合理的安排,以達(dá)到

3、最好的試驗效果。一、類型1.演示實驗就是我們中小學(xué)時做的那種實驗。2.驗證實驗3.比較實驗檢驗一種或多種處理的效果,比如對生產(chǎn)工藝效果的檢驗,對一種新藥物療效的檢驗,這種實驗的設(shè)計需要結(jié)合專業(yè)設(shè)計和統(tǒng)計設(shè)計兩方面的知識。4.優(yōu)化實驗按實驗因素的數(shù)目不同可以分為單因素實驗設(shè)計和多因素實驗設(shè)計;按實驗?zāi)康牟煌梢苑譃橹笜?biāo)水平優(yōu)化和穩(wěn)健性優(yōu)化(指標(biāo)水平優(yōu)化的目的是優(yōu)化實驗指標(biāo)的平均水平,而穩(wěn)健性優(yōu)化的目的是減少產(chǎn)品指標(biāo)的波動標(biāo)準(zhǔn)差;按形式不同可以分為實物實驗和計算實驗;按過程不同還可以分為序貫實驗設(shè)計和整體實驗設(shè)計(序貫實驗就是從一個起點出發(fā),稱為“爬山法”,如0.618法、分?jǐn)?shù)法、因素輪換法;整體

4、實驗就是在實驗之前就已經(jīng)把實驗的位置確定好了,如正交設(shè)計和均勻設(shè)計。5.探索實驗二、基本概念1.實驗因素因素或因子,是實驗的設(shè)計者希望考察的實驗條件。因素的具體取值就是水平(level。2.處理按照因素的給定水平對實驗對象所做的操作稱為處理。接受處理的實驗對象稱為實驗單元。3.實驗指標(biāo)E-mail:904374049 谷鐘汝河北大學(xué)生命科學(xué)學(xué)院 衡量實驗結(jié)果好壞程度的指標(biāo)稱為實驗指標(biāo),也成為響應(yīng)變量(response variable。例題:大豆的產(chǎn)量實驗,考察N對大豆產(chǎn)量的影響,每畝地的施肥量分別為0、1、2、3Kg。則N肥施加量就是實驗因素,它有四個水平,按每一種N肥量的水平所做的施肥就是

5、一種處理,共有四中處理,其中施肥量為0的也可以稱為空白處理。播種大豆的地就是實驗單元,大豆的畝產(chǎn)量就是實驗指標(biāo)。這屬于單因素實驗,若同時考察N肥和P肥的施加量,就變成了雙因素實驗,若P肥也有四個水平,那么就會有16個處理三、三要素和四原則1.三要素試驗設(shè)計的一項重要工作就是確定可能影響試驗指標(biāo)的實驗因素,并根據(jù)專業(yè)知識初步確定因素水平的范圍。實驗的因素應(yīng)該盡量選擇為數(shù)量因素,少用或不用品質(zhì)因素。實驗效應(yīng)用試驗指標(biāo)反映,也要盡量選擇數(shù)量的試驗指標(biāo)。2.四原則隨機(jī)化是指每個處理以概率均等的原則,隨機(jī)地選擇實驗單元。統(tǒng)計學(xué)中的很多方法都是建立在獨立樣本的基礎(chǔ)上的,用隨機(jī)化原則設(shè)計和實施的實驗就可以保

6、證實驗數(shù)據(jù)的獨立性。由于實驗的個體差異、操作差異以及其他影響因素的存在,同一處理對不同的實驗單元所產(chǎn)生的效果也是有差異的。通過一定數(shù)量的重復(fù)試驗,該處理的真實效應(yīng)就會比較確定的顯現(xiàn)出來。獨立重復(fù)實驗在相同的處理條件下對不同的實驗單元做多次實驗,這是人們通常意義下的獨立重復(fù)試驗。在相同的處理條件下對同一個樣品做多次重復(fù)試驗,以排除操作方法產(chǎn)生的誤差。例外:研究減肥效果的一個實驗,對受試者每隔一周測量一次體重,連續(xù)測量五周作為一個實驗周期,這樣得到的五次測量數(shù)據(jù)不是在同一個實驗條件下的五次獨立實驗數(shù)據(jù),因為有關(guān)聯(lián)性,但也屬于重復(fù)試驗,具體統(tǒng)計分析方法,見胡良平寫的現(xiàn)代統(tǒng)計學(xué)與SAS應(yīng)用一書。試驗設(shè)

7、計與數(shù)據(jù)處理第一章試驗設(shè)計概述 對照組不施加任何處理因素。對照組要采用一種無藥理作用的安慰劑,因為精神心理因素也很重要。但要求采用雙盲實驗(受試者與實驗者都不知道服用的是安慰劑還是藥物。對照組不施加處理因素,但施加與處理組因素相同的實驗條件。對照組在試驗中是一種處理,在統(tǒng)計分析中作為實驗因素的一個水平。例如N肥施肥量的四個水平,0就是空白對照組。人為劃分的時間、空間、設(shè)備等實驗條件稱為區(qū)組(block。區(qū)組因素也是影響試驗指標(biāo)的因素,但并不是實驗者所要考察的因素,也稱為非處理因素。因為所有的實驗條件都不是理想的,他們之間必然存在差異,最好的解決方法就是把區(qū)組因素也納入實驗中。例如施肥實驗中,但

8、是地塊土壤的狀況對單產(chǎn)也有影響,有的地塊土壤松軟,有的地塊比較堅硬。所以說這塊土壤的狀況就是試驗中要考察的區(qū)組。四個原則之間的關(guān)系按照是否考察區(qū)組因素,隨機(jī)設(shè)計可以分為兩種方式:完全隨機(jī)化設(shè)計每一個處理都隨機(jī)的選取實驗單元,適用于實驗的例數(shù)較大或?qū)嶒瀱卧町愋〉那闆r。還是施肥的例子(哈哈,全書就這一個例子,將實驗地分為100塊,每一個水平都隨機(jī)的選擇其中的25個塊地。隨機(jī)化區(qū)組設(shè)計如果上述例子中的實驗塊地只有16塊,那么完全隨機(jī)化的話,不同的處理所分配到的這塊土壤的性狀就會好壞不均,導(dǎo)致結(jié)果失真,則這個時候就要采用隨機(jī)化區(qū)組設(shè)計,使好地和差地在幾個處理中均衡分配。這個試驗中的好壞就是區(qū)組因素,

9、選取的16個試驗地塊中要包括8個好地和8個差地。這種方式就是隨機(jī)化區(qū)組設(shè)計,其目的就是把性狀不同的實驗單元均衡的非配給每個處理。試驗中的各個處理和各區(qū)組內(nèi)的實驗次數(shù)都相同時稱為平衡設(shè)計(balanced designE-mail:904374049 谷鐘汝河北大學(xué)生命科學(xué)學(xué)院 之前的施肥實驗中,如果不考慮區(qū)組因素,那么4種施肥量的處理中,每一個處理都分配到4塊試驗樣地,重復(fù)4次;如果考慮好壞,那么每一個處理都分配都2個好地和2個差地,是重復(fù)次數(shù)為2次的實驗。區(qū)組原則與對照原則的關(guān)系相同點就是,同屬于費希爾提出的局部控制原則;差異就是統(tǒng)計分析中,對照組的比較實驗屬于單因素實驗,而區(qū)組因素則是影響

10、實驗指標(biāo)的其他因素,與實驗因素共同構(gòu)成了多因素實驗。試驗設(shè)計與數(shù)據(jù)處理第二章比較試驗與方差分析 第二章比較試驗與方差分析比較試驗的目的就是水平對比,兩個處理之間的水平對比用t檢驗,多個處理之間的水平對比則要用方差分析。一些簡單的例題可以用Excel的數(shù)據(jù)分析工具解決,但是復(fù)雜的則需要用SPSS或者SAS來解決,但是軟件之間的算法不同。一、兩個處理的水平對比案例:研究一種新安眠藥的療效,安慰組6人,服藥組8人,原始數(shù)據(jù)如下圖: 1.先做方差齊性檢驗 由結(jié)果可以看出雙側(cè)檢驗的p=2×0.013351=0.02670<0.05,說明兩個處理下的方差有顯著差異,所以要采用雙樣本異方差分

11、析。雙樣本異方差分析 由結(jié)果可以看出單側(cè)檢驗p=0.041663<0.05,可以認(rèn)為有顯著差異,雙側(cè)則認(rèn)為沒有顯著差異。選擇單側(cè)還是雙側(cè),原則就是能否利用專業(yè)知識確定。比如本例中可以利用專業(yè)知識確定該安眠藥至多是無效,則可以選擇單側(cè)檢驗。這里的P值表示判定該安眠藥顯著有效所犯錯誤的概率,這個錯誤是指該安眠藥無效而判定它有效的錯誤(當(dāng)該E-mail:904374049 谷鐘汝河北大學(xué)生命科學(xué)學(xué)院 安眠藥有效時而判定它有效時是正確判斷,也即棄真錯誤關(guān)于方差齊性的問題:在試驗的處理數(shù)目多于兩個時,要使用方差分析比較多個處理間平均水平的差異,而方差分析的前提條件就是方差齊性,所以等方差的假設(shè)是普

12、遍的。等方差的檢驗效率要比異方差要高,當(dāng)樣本量較小時,兩者相差較大,但是在大樣本(每個處理的樣本大于30時,兩種檢驗相差不大,此時推薦用異方差,因為等方差的假設(shè)總是近似的,其檢驗結(jié)果就是一種“軟結(jié)論”。兩個處理的比例差異檢驗:例如要檢驗?zāi)撤N藥物的有效性,有效的病例記為1,無效的記為0,然后用t檢驗即可,但是要注意,如果是檢驗兩個比例是否相等,那么使用等方差t檢驗;如果檢驗兩個比例的差異是否超出了一定的程度,就要使用異方差t 檢驗。不合格品率等問題也都可以做類似的處理。這種檢驗實際上就是醫(yī)學(xué)統(tǒng)計中四個表的相關(guān)性檢驗,并且具有更強(qiáng)的檢驗功能,一方面可以做單側(cè)檢驗,另一方面還可以檢驗兩個比例的差異是

13、否達(dá)到某一個界限。二、方差分析1.單因素方差分析案例:四種炮彈結(jié)構(gòu)對直射距離的影響。 1.4. 結(jié)果解釋差異源:組間表示處理之間,反應(yīng)因素各水平之間的差異;組內(nèi)反映處理內(nèi)的差異,也就是隨機(jī)誤差。離差平方和:SS 就是離差平方和,SSA 表示組間離差平方和,也就是因素A 的離差平方和 SSA =(yi y 2nij=1a i=1 組內(nèi)平方和記為 SSE 也就是誤差平方和 總離差平方和為 SST =SSA +SSE自由度:組間的自由度也就是因素的自由度,是因素水平數(shù)減1,總自由度是數(shù)據(jù)個數(shù)減1,本例是31,組內(nèi)的自由度也就是誤差的自由度,等于總自由度減因素的自由度,即31-3=28均方:也就是離差

14、平方和除以自由度:MSA =SSA/(a 1 MSE =SSE/(n a F 統(tǒng)計量:構(gòu)造出來的F 統(tǒng)計量等于因素的均方除以誤差的均方。 2. 雙因素方差分析案例:加上區(qū)組因素的炮彈結(jié)構(gòu)對直射舉例的影響。 2.1. 數(shù)據(jù)準(zhǔn)備 2.2. 方法 2.3. 輸出結(jié)果 “樣本”是指行因素,也就是區(qū)組因素火炮;列是指炮彈結(jié)構(gòu)因素;內(nèi)部是指誤差項,另外還有一個交互項,指的是交互效應(yīng)?？梢钥闯鯬=0.058>0.05,略大于0.05,但是我們還不能就此說他們之間不存在顯著差異。需要進(jìn)一步的檢驗:方法有兩種:一個是增大樣本量,另一個就是做進(jìn)一步的統(tǒng)計分析。第二種方法:由于三個因素都不顯著,則可以把最不顯

15、著的一項歸入誤差項,來增加誤差項的自由度,提高檢驗的效率?？梢钥闯鼋换ロ椀腜值最大,則把它劃入誤差項,即認(rèn)為火炮與炮彈結(jié)構(gòu)之間沒有交互作用。這就屬于重復(fù)試驗無交互作用的情況了。然而此時Excel的不足之處就顯示出來了,沒有提供此項分析功能,可以借助SPSS或SAS 來解決。不過也可以手算:手算可以幫助理解其中的算法,但是過程太繁瑣。誤差平方和SSE=5290.5+546.5=5837.0誤差自由度Df=19+6=25均方誤差MSE=5837/25=223.48炮彈結(jié)構(gòu)因素A(列FA=MSA/MSE=1010.11/223.48=4.326區(qū)組因素火炮B(樣本FB=MSB/MSE=478.95/

16、223.48=2.051A因素的P值則可以用公式“=FDIST(4.326,3,25”B因素的P值公式“=FDIST(2.051,3,25”得出的結(jié)果為:A因素的P值為0.0138,B因素的P值為0.1323。則可以認(rèn)為不同結(jié)構(gòu)炮彈對直射距離有顯著影響,不同火炮對其沒有影響。關(guān)于誤差項的合并:此例中涉及到了誤差項的合并,把不顯著的因素和交互作用合并到誤差項中,使其他因素和交互作用的顯著性增加,這是多因素方差分析的通用做法。一般是把均方小于誤差項的均方或者P值大于0.20的項合并到誤差項中,對于正交設(shè)計,由于合并誤差項后其他因素的離差平方和不變,因此可以同時合并多項。附:單方差分析原理單因素方差

17、分析通過一個簡單的例子,通俗的解釋方差分析的思想。1、【案例】2004年雅典奧運會,要考察北京(第一組、上海(第二組和廣州(第三組的三組居民在關(guān)于“國際奧委會全球合作伙伴”的態(tài)度上有沒有顯著的差異,即要檢驗從“態(tài)度”上看,這三組居民的樣本是取自態(tài)度相同的同一總體還是取自態(tài)度不同的總體。2、方差分析思想介紹:組間的變差:假定將三個城市的居民按前面所述分成三個組,由于種種原因,每一組居民在“態(tài)度得分”上也是隨機(jī)波動的。因此從每一組中個隨機(jī)地抽取5位居民,測量了他們的“態(tài)度得分”如表1所示,表中還給出了每個樣本的平均態(tài)度得分值。表1 表2第一組第二組第三組82 79 8381 80 8482 80

18、8382 81 8583 80 85 X1=82X2=80X3=84樣本1 樣本2 樣本379 80 8182 84 8484 83 8480 80 8580 83 81 X1=81X2=82X3=83那么,現(xiàn)在的一個問題是:這三個組的態(tài)度真的是有差異的嗎?換句話說,表格中樣本均值 X的不同是由于潛在總體均值的不同產(chǎn)生的嗎?(表示其中一個組的全體居民的平均態(tài)度分,如果不是,那么樣本均值 X中的這些差異是否可以僅僅認(rèn)為是由于隨機(jī)波動造成的?為了說明這一點,假定我們從某一組(比如北京組中抽取三個樣本,如表2所示。正如我們所預(yù)料的,盡管在這種情況下三個樣本取自同一總體,因而其均值是相同的, 但抽樣的

19、波動也引起了各個 X之間的微小差別。因此,我們可以將問題重新敘述如下:表1中 X間的差別和表2中 X間的差別大體上階數(shù)相同呢(因此說明表1中的 X間的差別也是由于隨機(jī)波動造成的,還是表1中X間的差別大得多,從而足以說明潛在總體的均值之間存在差異?由直觀上看,似乎后一種解釋更符合實際,那么怎樣給出一個正確的檢驗?zāi)?和通常那樣,在總體均值中“無差異”的假設(shè)稱為原假設(shè),即:H0:1=2=3檢驗H0首先要求測量一下樣本均值之間相差多少,為此要找到一個合適的、能描述各組之間變差的量,我們可以先求出這三個樣本的總平均值X。X=1X=1(82+80+84=82其中c表示小組數(shù)或列數(shù),然后計算樣本均值 X相對

20、于其總均值 X的總方差S x2=1( XX2=1(82822+(80822+(84822=4由S x2的定義可知,它是一個描述組間(列間變差的量。對于表2中的數(shù)據(jù),由于三個樣本取自同一總體,那么應(yīng)該樣本間的變差較小,事實上,計算得到的結(jié)果為1。組內(nèi)的變差:前面給出的各組均值之間的方差S x2還不能完全說明問題。例如,考慮表3中的數(shù)據(jù),顯然,它的總方差S x2和表1中的相同。但是,每一組的樣本態(tài)度得分都是十分不穩(wěn)定,每列都有很大的隨機(jī)波動。比如圖1與圖2分別給出了潛在總體的可能形狀。從圖2中可以看到,表3對應(yīng)的三個組的態(tài)度得分是十分不穩(wěn)定的,因此三個樣本都有可能是取自同一總體的,也就是說,樣本均

21、值之間的差異可以解釋為是隨機(jī)波動產(chǎn)生的。但是對于表1,從圖1中可以看到,樣本均值之間的差異卻很難用隨機(jī)因素來解釋,因為在這種情況下三個組內(nèi)的態(tài)度得分并非那么不穩(wěn)定?，F(xiàn)在我們也就有了比較的標(biāo)準(zhǔn)。在圖2中,我們的結(jié)論是:三個之間并不是完全相同的,因為樣本均值的方差S x2相對于隨機(jī)波動來說是比較大的,因此我們拒絕H0。那 么我們怎樣才能夠度量這些隨機(jī)波動即組內(nèi)的變差呢?從直觀上看,應(yīng)當(dāng)是每個樣本內(nèi)觀測值的變化程度或偏離其均值的程度。為此我們先計算表1中第一個樣本內(nèi)的偏差平方和:(X1X12=(82822+(81822+(82822+(82822+(83822=2表3樣本1 樣本2 樣本380 79

22、 8185 84 8786 76 8078 83 8781 78 85X1=82X2=80X3=84 類似地計算第2個樣本和第3個樣本的內(nèi)的偏差平方和,將它們向相加,然后用所有3個樣本的總自由度(每個樣本的自由度都為n-1=4去除,這樣就得到了聯(lián)合方差S p2。S p2=2+2+4=2聯(lián)合方差的計算繼續(xù)推廣到C組(列數(shù)據(jù),每組數(shù)據(jù)有n個觀測值的情形:S p2=(X1X12+(X2X22+···+(X cX c2由S p2的定義可以知道,它是一個描述組內(nèi)變差的量,對于表3中的數(shù)據(jù),我們有理由猜測其聯(lián)合方差一定比表1的大得多,事實上表3中數(shù)據(jù)的聯(lián)合方差為343。F比值

23、: E-mail :904374049 谷鐘汝 河北大學(xué)生命科學(xué)學(xué)院那么現(xiàn)在就可以給出檢驗統(tǒng)計量了,是否拒絕原假設(shè),要看組間變差相對于組內(nèi)變 差來說是否足夠大,也就是說要考察比值S x 2/S p 2的大小。但是,我們習(xí)慣上是用一個稍微修改一下的比值:F =nS x 2S p 2 其中一個分子多乘上一個n 是為了使當(dāng)H 0為真時分子的值平均上來說等于分母(試想為什么?如果H 0為真,那么F 比值將圍繞著1波動;如果H 0不真,此時幾個值是不相同的,那么nS x 2將相對地會大于S p 2,這時F 比值將傾向于比1大得多。因此,F 值越大,則原假設(shè)越不可信。為了從數(shù)量上來度量H 0的可信程度,就

24、像通常我們求H 0的概率值那樣,這時,概率值就等于F 分布中超過實際觀測值的尾部概率。除此之外,還需知道自由度,因為F 分布是取決于分子方差的自由度(c 1和分母方差的自由度c (n 1的。第一自由度(分子自由度df 1=c 1第二自由度(分母自由度df 2=c (n 1綜上所述,那么解決此問題的具體方法歸納如下:對于表1中的數(shù)據(jù),我們求出的三個樣本間的總方差為S x 2=4以及三個樣本的聯(lián)合方差S p 2=23 F 的比值:F =nS x 2p 2=5×423=30 自由度:df 1=c 1=31=2df 2=c (n 1=3(51=12查表可知,F 大于臨界值,也就是概值小于0.

25、001這就意味著如果H 0為真,那么抽取到如表1中的數(shù)據(jù),有這么大差異的三個樣本的機(jī)會小于千分之一,因此可以認(rèn)為表1中的三個組的態(tài)度得分均值是不同的,即來自三試驗設(shè)計與數(shù)據(jù)處理 第二章 比較試驗與方差分析個城市的三個組的居民,其態(tài)度得分屬于三個不同的總體。 最后,方差分析可以簡潔的用一張表格來表示:表4方差分析表變差的來源 變差(平方和SS 自由度df 方差(平均平方和MSS F 比值組間變差(由于X 間的差異造成的 SS b =n ( X 1X 2+( X 2X 2+····+( X c X 2 c 1 MSS b =SSb (=nS x 2 F =M

26、SS bMSS w=nSx 2S p 2組內(nèi)變差(由于隨機(jī)波動造成的殘差 SS w =(X 1X 12+(X 2X 22+···+(X c X c 2 c (n 1 MSS w=SS wc (n 1=S p 2總和 SS t =(X X 2nc 1用自由度去除對應(yīng)變差,就得到了表4中的方差,根據(jù)各組可能屬于不同的總體(態(tài)度有差異的總體這一事實,可以“解釋”組間的方差。組內(nèi)的方差是“不能解釋的”,因為它們是無法系統(tǒng)地(用總體的差異來解釋的隨機(jī)或偶然的方差。因此F 比值有時也叫方差比,也就是F =可以解釋的方差不能解釋的方差樣本量不相等的方差分析上文表1中,每一組所取

27、的觀測數(shù)(n=5是相同的,一般來說,這是收集數(shù)據(jù)比較有效的辦法,即讓所有的樣本有相同的樣本量n 。但是,當(dāng)樣本量n 1,n 2,n 3,···不相同時,如何分析?方法如下:現(xiàn)在總觀測數(shù)是n 1+n 2+···+n c =N ,而不再是nc 。表中所有數(shù)值的總平均為E-mail:904374049 谷鐘汝河北大學(xué)生命科學(xué)學(xué)院 X=Xn1+n2+···+n c=XN或者,將總均值X清楚的表示成各組均值的一種加權(quán)平均的形式,即X=n1X1+n2X2+···+n c X c12c=n

28、X那么各組(列之間的變差也就相應(yīng)的變成SS b=n1(X1X2+n2(X2X2+···自由度也做相應(yīng)的變化,總自由度不再是nc1,而是df=n1+n2+···+n c1=N1組(列內(nèi)自由度c(n1則變成列內(nèi)自由度df=(n11+(n21+···+(n31=(n i1=Nc修改后的方差分析表變差的來源變差(平方和SS自由度df方差(平均平方和MSSF比值列間變差(由于列均值X i間的差異造成的SS列=( X iX2ci=1c1MSS列=SS列(=nS x2F=MSS列殘=nS x2S p2(列內(nèi)變差殘差(由

29、于觀測值X ij和列均值X i間的差異造成的SS殘=(X ijn ij=1ci=1X i2(n i1ci=1=NcMSS殘=SS殘(n i1ci=1=S p2合計SS總=(X ijn ij=1ci=1X2n11ci=1=N1其中X=全部X ij的總平均X=X ijn i=n i X in i試驗設(shè)計與數(shù)據(jù)處理第三章單因素優(yōu)化試驗設(shè)計 第三章單因素優(yōu)化試驗設(shè)計一、均分法均分法是單因素試驗設(shè)計方法,它是在因素水平的試驗范圍a,b內(nèi)按等間隔安排實驗點,但是均分法適合于每一個處理費用都不高的簡單實驗。二、對分法對分法也就是等分發(fā)、平分法,應(yīng)用的很廣泛,比如地下輸電線路發(fā)生故障,這種實驗不是整體設(shè)計,而

30、是每一次試驗后才能確定下一次實驗位置,屬于序貫實驗,原理很簡單。三、黃金分割法黃金分割法就是0.618法,由華羅庚教授提出來的,應(yīng)用也很廣泛,其實本質(zhì)上跟對分法是沒有區(qū)別的。當(dāng)時華羅庚在基層發(fā)現(xiàn),實際生活中有兩類問題:一類關(guān)于組織管理,一類關(guān)于產(chǎn)品的質(zhì)量。把生產(chǎn)組織好,盡量減少窩工現(xiàn)象,找出影響工期的原因,合理安排時間,統(tǒng)籌人力物力,使產(chǎn)品生產(chǎn)的觀呢更好更快更多,在這一方面,統(tǒng)籌法大有可為。再就是優(yōu)選法,它能以最少的實驗次數(shù),迅速找到生產(chǎn)的最優(yōu)方案。黃金分割法適用于試驗指標(biāo)或目標(biāo)函數(shù)是單峰函數(shù)的情況,要求實驗的因素水平可以精確測量,但是試驗指標(biāo)只要能比較出好壞就行。四、分?jǐn)?shù)法分?jǐn)?shù)法也就是斐波那

31、契法,是用斐波那契數(shù)列安排實驗的。和0.618法相似,也是適用于試驗范圍a,b內(nèi)目標(biāo)函數(shù)為單峰的情況,但是需要預(yù)先給出實驗次數(shù),尤其適用于因素水平僅取整數(shù)值或有限個值的情況。E-mail:904374049 谷鐘汝河北大學(xué)生命科學(xué)學(xué)院 第四章多因素優(yōu)化試驗概述:日本在20世紀(jì)60年代開始推廣正交設(shè)計的方法,10年間使用正交表超過100萬次,豐田公司當(dāng)時對正交設(shè)計方法的評價是:在為公司產(chǎn)品質(zhì)量改進(jìn)做出貢獻(xiàn)的各種方法中,田口方法占50%。20世紀(jì)20年代以來,歐美國家也積極推廣使用試驗設(shè)計的方法,但是局限于數(shù)學(xué)方法奧秘的析因設(shè)計,從80年代開始,正交設(shè)計被引入美國,首先在福特公司開始使用,之后取得

32、了廣泛應(yīng)用,所以說,試驗設(shè)計技術(shù)是過去50年日本工業(yè)快速增長的決定性因素。一、因素輪換法因素輪換法是一種簡單的多因素優(yōu)化方法,它的想法是每次試驗中只變化一個因素的水平,其他因素的水平保持固定不變,希望逐一地把每一個因素對實指標(biāo)的影響摸清,分別找到每個因素的最優(yōu)水平。這個方法只適合于因素間沒有交互作用的情況,當(dāng)因素間有交互作用的時候,每次變動一個因素的做法不能反應(yīng)因素間交互作用的效果。二、隨機(jī)試驗隨機(jī)試驗是按照隨機(jī)化的原則選擇試驗點或者實驗因素水平(隨機(jī)布點,上邊的因素輪換法是一種選擇因素水平的試驗方法,正交設(shè)計、均勻設(shè)計、析因設(shè)計都是合理的選擇實驗因素水平的方法,但是在一些特殊的情況下,可能這

33、些人為精心設(shè)計的實驗條件難以實現(xiàn),就要采用隨機(jī)試驗法,一種情況就是實驗水平只能觀測,不能嚴(yán)格控制(比如利用氣象氣球收集氣象數(shù)據(jù)。另一種就是試驗水平間有約束關(guān)系,比如有約束的配方設(shè)計(后期介紹。三、拉丁方設(shè)計1.定義拉丁方設(shè)計是正交設(shè)計、均勻設(shè)計、析因設(shè)計等試驗設(shè)計方法的起源,所謂的拉丁方就是用字母或者數(shù)字排列的具有一定性質(zhì)的方陣,每一個字母在每行和每列中恰好出現(xiàn)一次。方陣的行數(shù)或例數(shù)就是拉丁方的階數(shù)二階的拉丁方表A B a bB A b a三階拉丁方表試驗設(shè)計與數(shù)據(jù)處理第四章 多因素優(yōu)化試驗 A B C B C A C A B(標(biāo)準(zhǔn)拉丁方表:就是第一行和第一列的排列順序是按字母排序 用途一般的

34、拉丁方設(shè)計,用于安排只有一個處理因素和兩個區(qū)組因素時的水平比較。 案列考察四種催化劑(處理因素A 的效果,同時考慮反應(yīng)溫度(區(qū)組因素B 和原材料的批次(區(qū)組因素C 的影響。三個因素都取4個水平。如果此實驗中只有一個區(qū)組因素B ,那么就可以直接用雙因素方差分析,但是現(xiàn)在又多了一個C 因素,因此采用拉丁方設(shè)計。1.1. 4階拉丁方設(shè)計表區(qū)組因素B區(qū)組因素C1 2 3 4 1 b a c d 2 d c a b 3 c d b a 4abdc表中的a 、b 、c 、d 分別表示因素A 的四個水平。上表可以進(jìn)行轉(zhuǎn)化,如下表。表格化的4階拉丁方設(shè)計實驗號 區(qū)組因素B區(qū)組因素C區(qū)組因素A1 1 12 2

35、1 2 13 1 3 34 1 4 45 2 1 46 2 2 37 2 3 18 2 4 29 3 1 3 10 3 2 4 11332E-mail:904374049 谷鐘汝河北大學(xué)生命科學(xué)學(xué)院 12 3 4 113 4 1 114 4 2 215 4 3 416 4 4 3這個表格可以看出拉丁方設(shè)計具有的一個重要性質(zhì)正交性。正交性可以保證每個因素的水平在統(tǒng)計學(xué)上是不相關(guān)的,具體表現(xiàn)在兩個方面:(1均勻分散性。表的每一列中不同數(shù)字出現(xiàn)的次數(shù)相等。(2整齊可比性。表的任意兩列所構(gòu)成的有序數(shù)對出現(xiàn)的次數(shù)相等。拉丁方也被成為兩向區(qū)組設(shè)計,也就是有一個處理因素和兩個區(qū)組因素,是平衡設(shè)計,每種搭配下

36、都是做一次實驗,因此也稱為平衡雙向區(qū)組設(shè)計。實際上,區(qū)組因素可以跟試驗因素互換的,這并不影響正交性。所以,進(jìn)一步來講,拉丁方設(shè)計還可以用來安排兩個處理因素和一個區(qū)組因素,或者三個處理因素沒有區(qū)組因素的試驗設(shè)計。其他形式的變化,試驗中有一個實驗因素,和三個區(qū)組因素的成為希臘拉丁方設(shè)計,只要再找一個與前三列正交的列就行。還有一中就是尤登方區(qū)組設(shè)計,是行數(shù)和列數(shù)不相等的“不完全”拉丁方區(qū)組設(shè)計,也就是缺少一行或幾行的拉丁方設(shè)計,此時便不再有正交性。試驗設(shè)計與數(shù)據(jù)處理第五章正交設(shè)計 第五章正交設(shè)計一、原理正交設(shè)計就是在全面實驗的樣本點中挑選出部分有代表性的樣本點做實驗,這些點具有正交性。是由日本學(xué)者田

37、口玄一于40年代提出來的,正交試驗設(shè)計就是使用orthogonal array來安排實驗。常見的正交表有L4(23,L8(27,L16(45以及混合水平L18(2×37等。用正交表安排實驗就是把實驗的因素(包括區(qū)組因素安排到正交表列,允許有空白列,把因素水平按安排到正交表的行。L n(a p表示最多可以安排P個水平數(shù)目為a的因素,需要做n次實驗(含有n個處理性質(zhì):正交性。正交表的列之間具有正交性,正交性可以保證每兩個因素的水平在統(tǒng)計學(xué)上是不相關(guān)的,具體表現(xiàn)在兩個方面:均勻分散性。在正交表的每一列中,不同數(shù)字出現(xiàn)的次數(shù)相等。整齊可比性。對于正交表的任意兩列,將同一行的兩個數(shù)字看做有序數(shù)

38、對,每種數(shù)對出現(xiàn)的次數(shù)是相等的。例如L9(34表,有序數(shù)對一共有9個,(1,1(1,2(1,3 (2,1(2,2(2,3(3,1(3,2(3,3,它們各出現(xiàn)一次。二、用正交表安排實驗選擇合適的正交試驗表,在實施過程中有一個問題需要強(qiáng)調(diào),那就是做實驗的順序要依照隨機(jī)化的原則,可以采用抽簽的方式確定。按隨機(jī)化順序做實驗的目的是盡量避免實驗因素外的其他因素對實驗的影響,避免實驗受區(qū)組因素的影響。比如說假如實驗員在實驗過程中對這項實驗逐漸熟悉,則實驗的效果會越來越好,當(dāng)然也可以把人也看成一個區(qū)組因素,3個人便是3個水平將其放到空白列上,那么該列的1、2、3水平便是三個不同的人,這樣就避免了人為變動所造

39、成的誤差。三、一般的正交分析案列1:某化工廠生產(chǎn)一種化工產(chǎn)品,采收率低并且不穩(wěn)定,一般在60%-80%之間波動。現(xiàn)在希望通過試驗設(shè)計,找到好的生產(chǎn)方案,提高采收率。分析:三個因素,每個因素三個水平,因此選擇L9(34正交試驗表。1.數(shù)據(jù)準(zhǔn)備原始的因素與水平表水平因素E-mail:904374049 谷鐘汝河北大學(xué)生命科學(xué)學(xué)院 A反應(yīng)溫度B加堿量C催化劑種類1 A1=80 B1=35 C1=甲種2 A2=85 B2=48 C2=乙種3 A3=90 B3=55 C3=丙種放到L9(34正交試驗表中列號 1 2 3 4試驗號 A B C D(空白列實驗結(jié)果y1 1 1 1 1 512 1 2 2 2

40、 713 1 3 3 3 584 2 1 2 3 825 2 2 3 1 696 2 3 1 2 597 3 1 3 2 778 3 2 1 3 859 3 3 2 1 842.結(jié)果分析簡便的一種方法,無需統(tǒng)計學(xué)知識。分為兩種:一是直接看好的條件,比如8號試驗的采收率最高,但是8號試驗條件不一定就是最優(yōu)方案。二就是通過計算得到。方法如下:試驗號 A B C D(空白列實驗結(jié)果y1 1 1 1 1 512 1 2 2 2 713 1 3 3 3 584 2 1 2 3 825 2 2 3 1 696 2 3 1 2 597 3 1 3 2 77試驗設(shè)計與數(shù)據(jù)處理第五章正交設(shè)計 8 3 2 1 3

41、 859 3 3 2 1 84T1 180 210 195 204T2 210 225 237 207T3 246 201 204 225T1均60 70 65 68T2均70 75 79 69T3均82 67 68 75R 22 8 14 7用excel計算結(jié)果如上圖,T1,T2,T3分別為各個因素1、2、3水平的結(jié)果之和TT1A=y1+y2+y3 T1B=y1+y4+y7Ti均=Ti/3 “T1均”行A因素下的值為60表示反應(yīng)溫度為80時的平均采收率為60%R=最大值-最小值,可以反應(yīng)對試驗的影響程度。需要說明的是,空白列的各個值也需要計算出來。從上表中可以看出最優(yōu)的實驗條件為:A3B2C

42、2分析極差:可以看出A因素的影響最大,B因素的影響最小。畫趨勢圖: 、 從圖中可以看出反應(yīng)溫度越高越好,因而有必要進(jìn)一步判斷實驗的反應(yīng)溫度是否還可以提高。成本分析:比如B 因素對采收量沒有多大的影響,那么就要在考慮到成本的基礎(chǔ)上適當(dāng)?shù)膶 做出調(diào)整。綜合分析與撒細(xì)網(wǎng):得到最優(yōu)的水平搭配后,還可以在該基礎(chǔ)上微調(diào),最后一步是對得出的最有搭配進(jìn)行驗證。以上的方法稱為直觀分析法,通過極差的大小來評價各因素對試驗指標(biāo)影響的程度,但是,極差的大小并沒有一個客觀的評價標(biāo)準(zhǔn),而且不能估計試驗過程及試驗結(jié)果測定中必然存在的誤差,因而不能區(qū)分某因素各水平所對應(yīng)的試驗結(jié)果的差異究竟是由于水平的改變所引起的,還是由試

43、驗誤差所引起的。這時候便要用到下邊的方法了方差分析法。SST =(y i y 2ni=1因素A 的離差平方和:SSA =n i (T i y2a i=1 其中a=3是A 因素的水平數(shù),i n 是在第i 水平下所做的實驗的次數(shù),也就是計算 T i 時所用到的數(shù)據(jù)個數(shù)。本例中i n =n/a=9/3=3,A 因素在每一個水平下都是做了3次實驗。 Ti 是在前面的直觀分析方法中計算出的A 因素的每一水平下的實驗平均值。然后可以分別計算出SSB 和SSC 。這里有兩種方法計算:方法一:空白列計算。本例中的第四列沒有安排因素,是空白列,雖然空白列上沒有因素,但是在數(shù)據(jù)的方差分析中也有自己的作用,actu

44、ally 空白列恰好反映了誤差程度。同樣按照上述的方式計算空白列的離差平方和,如果有多個空白列,那就要分別計算出相應(yīng)的離差平方和相加,空白列的自由度之和就是誤差平方和的自由度。方法二:公式:SSE=SSTSSASSBSSC這是一個通用的方法,如果不考慮交互作用的話,上述公式即為:誤差平方和=總離差平方和-各因素離差平方和之和特例:有的時候方法一不適用,因為這時候列離差平方和只是誤差平方和的一部分,空白列離差平方和的自由度小于誤差平方和的自由度,用空白列做誤差就會減少誤差平方和的自由度,從而降低方差分析的效率,使得一些對試驗指標(biāo)有顯著影響的因素被誤認(rèn)為沒有顯著影響。方差分析表因素A SSA a-

45、1 SSA/(a-1 MSA/MSE因素B SSB a-1 SSB/(a-1 MSB/MSE因素C SSC a-1 SSC/(a-1 MSC/MSE誤差(空白列SSE a-1 SSE/(n-1總和SST n-1SPSS實現(xiàn)方差分析步驟在其他文章中寫道,下邊主要是用SAS實現(xiàn)的方差分析。SAS實現(xiàn)方法:DATA zhjiao1;input A B C y;output; cards;1 1 1 51 12 2 711 3 3 582 1 2 82 2 23 69 2 3 1 593 1 3 77 3 2 1 85 3 3 2 84 proc anova; class A B C; model y

46、=A B C; means A B C; run;解釋:Proc anova 是調(diào)用方差分析命令其中的class A B C意思是指定A、B、C這三個變量為定類變量,Model y=A B C指明方差分析模型中的試驗指標(biāo)與因素,即因變量與自變量Means A B C語句用于計算因素各個水平的均值。其中切記數(shù)據(jù)后邊不要輸入“;”這個本人測試過,否則SAS可能會把數(shù)據(jù)塊的一行或者幾行作為程序語句處理。同樣,本例中要注意,輸入數(shù)據(jù)的時候,不要輸入空白列的值 結(jié)果: 關(guān)于自由度的計算:各列的自由度是水平數(shù)減1,總自由度是試驗次數(shù)減1,模型的自由度6是三個因素自由度之和。本列中的P值雖然都大于0.05,

47、但是還不能急于斷定3各因素均不顯著,這時要剔除一個最不顯著的因素。觀察到B的P值為0.4674,最不顯著,踢出師門。然后重新做方差分析。只需將上述語句改為“model=A C”結(jié)果為: 關(guān)于剔除不顯著因素的討論:可以看出剔除B因素后A、C因素的離差平方和都沒有改變,這是由于正交表的正交性決定的額,是正交表的一個優(yōu)良性質(zhì),但是剔除B因素后SSE從86增加到了184,正好增加了98(B因素的離差平方和。所以有的書上也叫此種方法為合并誤差項。Actually,剔除B因素后把B因素所在的第2列和空白列第4列都作為了誤差項,這時候的SSE的自由度為4。關(guān)于為什么將其并入誤差項,原因就是B因素太不顯著了,

48、SSE就到了86,而SSB只有98。我們還可以發(fā)現(xiàn),剔除B因素前F A=8,47大于剔除B因素后的7.91,但是顯著性卻提高了,為什么F值減小而顯著性反而提高呢?這正是把B因素并入誤差項的緣故,它使得誤差項的自由度增大,提高了檢驗的功效。除了用SAS實現(xiàn)方差分析,還可以用EXCEL的函數(shù)計算得到,步驟有些繁瑣,不過為了練習(xí)一下函數(shù),還是試一下數(shù)據(jù)輸入: 主要用了以下的函數(shù):計算水平1均值:B11=SUMIF(B$2:B$10,$A2,$E$2:$E$10/3SUMIF函數(shù)的使用說明:SUMIF(range,criteria,sum_rangerange 為用于條件判斷的單元格區(qū)域。criter

49、ia 為確定哪些單元格將被相加求和的條件,其形式可以為數(shù)字、表達(dá)式、文本或單元格內(nèi)容。例如,條件可以表示為32、"32"、">32" 、"apples"或A1。條件還可以使用通配符:問號(? 和星號(*,如需要求和的條件為第二個數(shù)字為2的,可表示為"?2*",從而簡化公式設(shè)置。問號匹配任意單個字符;星號匹配任意一串字符。如果要查找實際的問號或星號,請在該字符前鍵入波形符( sum_range 是需要求和的實際單元格。補(bǔ)充:SUMIF函數(shù)可對滿足某一條件的單元格區(qū)域求和,該條件可以是數(shù)值、文本或表達(dá)式,可以應(yīng)用

50、在人事、工資和成績統(tǒng)計中。仍以上圖為例,在工資表中需要分別計算各個科室的工資發(fā)放情況。要計算銷售部2001年5月加班費情況。則在F15中輸入公式為=SUMIF($C:$C,"銷售部",$F:$F ,其中"$C:$C"為提供邏輯判斷依據(jù)的單元格區(qū)域,"銷售部"為判斷條件即只統(tǒng)計$C:$C區(qū)域中部門為"銷售部"的單元格,$F:$F為實際求和的單元格區(qū)域。多條件求平均數(shù):A VERAGEIFS(計算數(shù)據(jù)區(qū)域,條件區(qū)域1,條件1,條件區(qū)域2,條件2,條件區(qū)域3,條件3,即求同時符合三個條件的數(shù)據(jù)記錄平均數(shù),例如: =A V

51、ERAGEIFS(G3:G16,B3:B16,"手機(jī)",G3:G16,">=4000" 。 SST=DEVSQ(E2:E10DEVSQ函數(shù)的使用說明:返回數(shù)據(jù)點與各自樣本均值偏差的平方和F值的計算只是用了一下絕對引用:F A(B17=B16/$F16P值的計算:B18=FDIST(B17,B15,$F15FDIST函數(shù)使用說明:=FDIST(F值,因素的自由度,誤差的自由度四、有交互作用的正交設(shè)計1.原理若因素間有交互作用,則需要考慮其交互作用。安排有交互作用的正交設(shè)計不僅要把實驗因素安排在正交表的列上,同時還要把正交表所附帶的交互作用表查出交互作

52、用所在的列,把因素與交互作用都安排在正交表上,這就是表頭設(shè)計交互作用表列號 1 2 3 4 5 6 71 32 5 4 7 62 1 6 7 4 53 7 6 5 44 1 2 35 3 26 1第1列與第2列的交互作用列體現(xiàn)在第3列(A×B,然后第3個因素放在第4列,因為第3列已經(jīng)放了交互作用,便不能再放置其他因素,這就是避免混雜原則。表頭設(shè)計表頭A B A×B C A×C D設(shè)計列號 1 2 3 4 5 6 72.案例在降低柴油機(jī)耗油率的研究中,根據(jù)專業(yè)技術(shù)人員的分析,影響耗油率的4個主要因素和水平見下表。(耗油率越小越好因素名稱單位1水平2水平A 噴嘴器的噴

53、嘴形式類型B 噴油泵柱塞直徑mm 16 14C 供油提前角度(° 30 33B 配氣相位(°120 140實驗號 A B A×B C A×C D 空白y1 2 3 4 5 6 71 1 1 1 1 1 1 1 228.62 1 1 1 2 2 2 2 225.83 1 2 2 1 1 2 2 230.24 1 2 2 2 2 1 1 218.05 2 1 2 1 2 1 2 220.86 2 1 2 2 1 2 1 215.87 2 2 1 1 2 2 1 228.5直接看好的條件是8號試驗,水平搭配為A2B2C2D1直觀分析法:T1-220 5.65

54、2.75 4.425 7.025 2.35 0.55 2.725T2-220 -0.025 2.875 1.2 -1.4 3.275 5.075 2.9R 5.675 0.125 3.225 8.425 0.925 4.525 0.175 從上表中可以看出:C因素對其影響最大,其次是A因素,最小的是B因素,但是不能說明B因素對耗油率沒有影響,因為A×B的極差值為3.225并不小。說明A與B 之間可能存在交互作用。方差分析法:SAS實現(xiàn)過程:data zhjiao2;input A B C D y; output;cards;1 1 1 1 228.6 1 12 2 225.8 1 2

55、 1 2 230.21 2 2 1 218.02 1 1 1 220.8 2 1 2 2215.8 2 2 1 2 228.5 2 221214.8 proc anova ; class A B C D; model y=A B C D A*B A*C; means A B C D; run ;輸出結(jié)果: 解釋:B 因素的P 值最大,不顯著;但是A 與C 的交互作用還要經(jīng)一部考慮,把最不顯著的B 因素剔除后重新做方差分析即可。然而任何統(tǒng)計軟件都有規(guī)定,如果方差分析中包含某一個交互作用,那么就必須同時包含兩個因素。此時有兩個解決方案:一個是用EXCEL 計算,計算步驟省略,無非就是各個函數(shù)的應(yīng)用;第二個解決方案就是把A×B ,A×C 作為兩個因素AB ,AC 看待,將對應(yīng)的列水平也同時輸入到SAS 里。SAS 過程修改如下: data zhjiao3;input A AB C AC D y; output ; cards ; 1 1 1 1 1 228.6 1