方開泰、劉民千、周永道《試驗設計與建?！氛n件-1

1、試驗設計和建模周永道四川大學數學學院試驗設計和分析教材教材: : 方開泰、劉民千、周永道方開泰、劉民千、周永道(2011(2011) )，試驗設計，試驗設計 和建模。和建模。 期末最終成績構成期末最終成績構成: 期末考試期末考試: 70% 作業(yè)作業(yè): 10% 隨堂測試隨堂測試: 10% 小課題小課題: 10%軟件: MATLAB， SPSS 參考書 方開泰、馬長興，正交與均勻試驗設計，科學出版社，2001. Douglas C. Montgomery. Design and Analysis of Experiments, 6th Edition，中國郵電出版社, 2007. Hamada,

2、M. and Wu, Jeff C.F., Experiments: Planning, Analysis, and Parameter Design Optimization , Wiley, 2000. Cornell, J.A. Experiments with Mixtures, 3nd Ed., Wiley, 2002. Fang, K.T., Li, R. and Sudjianto, A. Design and Modeling for Computer Experiments, Chapman & Hall/CRC Press, London, 2005.第一章1.1

3、1.1 科學試驗科學試驗1.1.1 試驗的重要性試驗的重要性 科學試驗是人們認識自然、了解自然的重要手段。 許多重要的科學規(guī)律都通過科學試驗發(fā)現(xiàn)和證實。 隨著科學和技術的發(fā)展，試驗涉及的因素越來越多，它們之間的關系更加復雜，光憑經驗已不能達到預期要求，于是產生了試驗設計這門學科。 設計一個試驗涉及到試驗目的、試驗方案、技術保證、分析數據以及有關組織管理等。這些環(huán)節(jié)有的是屬于管理科學，有的是需要數學和統(tǒng)計學的方法來設計試驗方案，后者稱為統(tǒng)計試驗設計統(tǒng)計試驗設計, 它是統(tǒng)計學的一個重要分支。 是統(tǒng)計學的重要分支，它能大量節(jié)省試驗是統(tǒng)計學的重要分支，它能大量節(jié)省試驗的次數。能將試驗數據從隨機誤差的煙

4、幕的次數。能將試驗數據從隨機誤差的煙幕中去偽存真，抓住事物的規(guī)律。中去偽存真，抓住事物的規(guī)律。 所以所以一個精心設計的試驗是認識世界的一個精心設計的試驗是認識世界的有效方法有效方法 (Atkinson and Donev (1992)。 奠定了現(xiàn)代遺傳理論的基礎例例1.1.1 1孟德爾豌豆實驗孟德爾豌豆實驗例例1.1.2 2化工試驗化工試驗在某化工產品的合成工藝中，考慮反應溫度(A)、壓力(B) 和催化劑用量(C)，并選擇了試驗范圍分別為：溫度(A): 80oC120oC；壓力(B): 46 大氣壓；催化劑用量(C): 0.5%1.5%； 我們需要選擇這三個因素的最佳組合，以達到高產的目的。許

5、多產品都是混合多種成分在一起形成的。許多產品都是混合多種成分在一起形成的。面粉水糖蔬菜汁 椰子汁鹽發(fā)酵粉乳酸鈣 咖啡粉香料色素面包面包怎樣確定各種成分的比例呢？怎樣確定各種成分的比例呢？經驗經驗試驗試驗混料試驗混料試驗例例1.1.3 3 加工面包試驗加工面包試驗例例1.41.4環(huán)保試驗環(huán)保試驗 在水及食物中的某些化學元素，吃多了對人體是在水及食物中的某些化學元素，吃多了對人體是有害的，為了研究這些元素對人體健康的影響。有害的，為了研究這些元素對人體健康的影響。Cadmium (Cd)鎘 Copper (Cu) 銅Zinc (ZN) 鋅Nickel (Ni)鎳Chromium(Cr) 鉻Lead

6、 (Pb)鉛因素因素0 200 200 200 200 20 0 20 0.01, 0.05, 0.1, 0.2, 0.4, 0.8, 1, 2, 4, 5, 8, 10, 12, 14, 16, 18, 200.01, 0.05, 0.1, 0.2, 0.4, 0.8, 1, 2, 4, 5, 8, 10, 12, 14, 16, 18, 200.01, 0.05, 0.1, 0.2, 0.4, 0.8, 1, 2, 4, 5, 8, 10, 12, 14, 16, 18, 200.01, 0.05, 0.1, 0.2, 0.4, 0.8, 1, 2, 4, 5, 8, 10, 12, 14

7、, 16, 18, 200.01, 0.05, 0.1, 0.2, 0.4, 0.8, 1, 2, 4, 5, 8, 10, 12, 14, 16, 18, 200.01, 0.05, 0.1, 0.2, 0.4, 0.8, 1, 2, 4, 5, 8, 10, 12, 14, 16, 18, 20范圍 和 水平 增加產量增加產量 提高質量提高質量 降低成本降低成本 縮短研究時間縮短研究時間科學試驗是人類了解自然的手段，通過試驗來了解科學試驗是人類了解自然的手段，通過試驗來了解因素和指標（響應）之間的關系，希望因素和指標（響應）之間的關系，希望一個好的試驗設計是用最少的試驗次數獲得最多的一個好

8、的試驗設計是用最少的試驗次數獲得最多的有用信息。有用信息。 試驗設計試驗設計的目的的目的v水平組合的比較v建模v參數估計v證實猜想v優(yōu)化v篩選v發(fā)現(xiàn)規(guī)律v等等Experiments are performed by investigators in virtually all fields of inquiry, usually to discover something about a particular process or system.Scientific experiments are of essential importance in peoplessurviving and

9、exploring of nature.A well designed experiment is an efficient method of learning about the worldThe Usefulness of Experimental Design多因素多因素統(tǒng)計模型未知統(tǒng)計模型未知響應曲面多峰響應曲面多峰當代科學當代科學試驗的復雜性試驗的復雜性非線性非線性響應曲面無解析表達響應曲面無解析表達多峰非線性模型瞎子摸象1.1.2 試驗的重要元素試驗的重要元素讓我們首先通過一個例子來介紹一些重要元素 例例 在一個化工試驗中, 試驗者希望通過如下 的可控變量來增加產量: x1:原料

10、品種原料品種 m1, m2, m3x2:加酸量加酸量 (ml) 10,28x3:反應時間反應時間 (時) 0.5, 3.5因素(因子) 在試驗中可控的并用于考察對試驗結果(y)的變量稱為 因素因素 或 因子因子 (factor)。如反應溫度、壓力、催化劑品種、施化肥量、水稻品種等。如反應溫度、壓力、催化劑品種、施化肥量、水稻品種等。 因素可以是 定量定量 的, 也可以是 定性定性 的。 水平 （level) 因素變化的范圍稱為試驗區(qū)域試驗區(qū)域, 在本例中,試驗區(qū)域為: m1, m2, m3 x 10,28 x 0.5,3.5.原料品種: m1, m2, m3加酸量:10,19,28反應時間:

11、0.5, 1.5, 2.5, 3.5水平組合 因素諸水平的組合稱為 水平組合水平組合 (level-combination), 如 m2, 10, 2.5, m1, 28, 0.5 。水平組合在文獻中又稱為 處理組合處理組合 。 一一個個因因子子設計設計 (Factorial design) 是一組水平是一組水平組合組合。 處理, 響應 在試驗環(huán)境下對確定的水平組合所作的試驗稱為一個 處理處理 (trial 或或 run) 。 試驗的結果稱為 響響應應 (response), 響應可以是定性的, 也可是定量的。 不可控的諸微小因素之總和, 稱為 隨機誤差隨機誤差。 同樣條件下的兩次試驗結果可能

12、不同。隨機誤差存在于一切試驗之中。隨機誤差存在于一切試驗之中。 隨機誤差 (random error)隨機誤差隨機誤差隨機誤差可假定遵從 正態(tài)分布 。 方差 給出隨機誤差大之度量 。),N(202令 為重復試驗之響應值 , y, yn11 iiy , i, , n,me=+=這里, 為真值, m獨立同分布,遵從 。 1i, i, , ne=),N(201221/, 1() .1niiniiyynyynms=- 和 的無偏估計為 m2AA1A2yLevely29.532.0Response31.033.030.534.5Total190.5均值 = 190.5/6 = 31.75自由度 : 56

13、2211()16.3753.2755iymeandfs=-=y - mean-2.250.25-0.751.25-1.252.750(y - mean)25.06250.06250.56251.56251.56257.562516.375隨機誤差隨機誤差: : 部份因子設計部份因子設計設有 s 個因素, 它們分別取個水平。則全部水平組合有 s, q, q1一個一個 水平組合水平組合 可視為可視為 s 維空間的一個點維空間的一個點, 稱為稱為試驗點試驗點 。1N siq=個。 例如, 一個六因素, 五水平的全面試驗至少需要 次試驗。6515625 N = 全面試驗若所有的水平組合都作相同重復數的

14、試驗, 稱為全面試驗全面試驗 。 在農業(yè)、生物等試驗中，很難做到試驗條件完全一樣。 區(qū)組的概念成為古典試驗設計中非常有用的工具，同一區(qū)組的試驗有十分近似的試驗環(huán)境。 區(qū)組設計可以避免或減少系統(tǒng)誤差的干擾，從而大大提高試驗結論的可靠性。 在體育比賽中，區(qū)組及有關設計已在普遍使用。 區(qū)組 試驗的環(huán)境隨著時間的推移，可能有趨勢型的變化，如室溫漸高、濕度漸小、電壓波動加劇等。 為了使試驗的結論更加可靠，隨機化隨機化是用來減少試驗誤差的重要手段。常用的是對試驗次序隨機化，哪個試驗先做，哪個試驗后做，隨機決定。 若試驗有區(qū)組，要根據試驗的具體情形采取所有試驗的完全隨機化，或僅區(qū)組內的試驗隨機化。 隨機化

15、同一個試驗重復兩次或多次是減少試驗誤差干擾的一種方法，在傳統(tǒng)的計算方法中經常使用。 若 y1, ym 是同一個試驗條件下的響應，且 yi 獨立同分布，方差為 ，則均值 均值的方差 重復11miiyym=2s( )2/Var yms=傳統(tǒng)試驗的三個基本原則三個基本原則： 重復性、隨機化、分區(qū)組重復性、隨機化、分區(qū)組 針對不同的試驗，試驗者要選擇合適的試驗方法，建立相應的統(tǒng)計模型 統(tǒng)計模型試驗的組織和管理 一支專業(yè)隊伍 明確的試驗目標 科學的試驗方案 試驗中，處理可控與不可控因素A. 試驗實現(xiàn)方式：試驗實現(xiàn)方式：1.1.3 試驗的類型試驗的類型 傳統(tǒng)的試驗傳統(tǒng)的試驗 實驗室試驗實驗室試驗 工業(yè)試驗

16、工業(yè)試驗 計算機試驗計算機試驗 計算機模擬計算計算機模擬計算 尋找近似模型尋找近似模型B. 因素約束條件因素約束條件 無約束試驗無約束試驗 諸因素可以自由的選擇試驗的值，不受其它因素約束，試驗區(qū)域是一個超矩形 混料試驗混料試驗 因素之間的取值會相互影響，例如或 單因素試驗單因素試驗 水平數可以適當多取，而且可以考慮做重復試驗 多因素試驗多因素試驗 各因素的水平數一般不能取得很大 二水平試驗 多水平試驗C. 因素個數因素個數D. 響應個數響應個數 單響應試驗單響應試驗 每次試驗只觀察一個響應值。如產量 多響應試驗多響應試驗 每次試驗觀察多個響應值。如鞋子橡膠底的試驗響應：強度、彈性和最大彎曲次數

17、等等 多媒體試驗多媒體試驗 試驗有無窮多個的響應。例如，響應是人的指紋、化學或生物中指紋曲線、聲音的曲線、圖像的顏色及深淺，等等E. 試驗輪次試驗輪次 單一試驗單一試驗 一次試驗達到要求一次試驗達到要求 序貫試驗序貫試驗 優(yōu)選法優(yōu)選法 響應曲面分析響應曲面分析 均勻序貫試驗均勻序貫試驗 單區(qū)組試驗單區(qū)組試驗 每次試驗在相同或十分近似的條件下進行每次試驗在相同或十分近似的條件下進行 區(qū)組試驗區(qū)組試驗 目的是使得組內的差異比組間差異小目的是使得組內的差異比組間差異小 常見的區(qū)組有以日、月、年、批次、雙胞胎，常見的區(qū)組有以日、月、年、批次、雙胞胎，等等等等F. 試驗分組試驗分組例例1.5. (自由落

18、體運動自由落體運動) 若不計空氣阻力，自由落體運動的初始速度為零，記下落時間為x (秒)(s)，下落距離y (米)(m)，人們發(fā)現(xiàn)它們之間有如下規(guī)律 g 為重力加速度。設想試驗者對關系(1.3) 一無所知，希望通過試驗來揭示y 和x 之間的關系 (1.3)試驗結果可用二次回歸模型擬合 方差分析模型方差分析模型 因子設計，正交設計因子設計，正交設計 參數回歸模型參數回歸模型 最優(yōu)設計最優(yōu)設計 非參數回歸模型非參數回歸模型 均勻設計均勻設計 穩(wěn)健回歸模型穩(wěn)健回歸模型例例1.6：威布爾生長曲線：威布爾生長曲線方差分析模型方差分析模型1 +, 1 , 1 0ijjijjijjqyj= , , q, i

19、= , , n ,memaeaa=+=在在0,10中取若干個點作試驗，設中取若干個點作試驗，設 x1, , xq 為為試驗點，試驗點，n1, , nq 為其重復數，其統(tǒng)計模型為為其重復數，其統(tǒng)計模型為 二水平試驗在西方被廣泛推薦二水平試驗在西方被廣泛推薦 二水平不足以揭示非線性關系二水平不足以揭示非線性關系 多水平試驗值得推薦多水平試驗值得推薦二水平試驗的不足二水平試驗的不足試驗范圍對，試驗范圍對，但水平不合適但水平不合適試驗范圍及水平試驗范圍及水平都對，但不能揭都對，但不能揭示示A和和Y之間更復之間更復雜的關系雜的關系試驗范試驗范圍錯圍錯只能預報四個水平處的響只能預報四個水平處的響應值，進一

20、步采用回歸模應值，進一步采用回歸模型是有益的。型是有益的。 方差分析模型方差分析模型 因子設計，正交設計因子設計，正交設計 參數回歸模型參數回歸模型 最優(yōu)設計最優(yōu)設計 非參數回歸模型非參數回歸模型 均勻設計均勻設計 穩(wěn)健回歸模型穩(wěn)健回歸模型根據專業(yè)知識根據專業(yè)知識, 可選用適當的回歸模型可選用適當的回歸模型, 比如比如用二次模型用二次模型 ,2210 xxy(x) ,332210 xxxy(x) ,)()(11xfxfy(x)mm回歸模型回歸模型其中函數其中函數 f1, fm已知已知, 但參數但參數 b1, bm未知。未知?；蛉文Ｐ突蛉文Ｐ透话愕馗话愕? 給定試驗次數給定試驗次數 n，

21、希望能獲得最精確的，希望能獲得最精確的回歸系數回歸系數 b b0, b, b1, 的估計。的估計。 缺點：對模型的變化缺乏穩(wěn)健性。缺點：對模型的變化缺乏穩(wěn)健性。 Kiefer, J.C. (1958), Ann Math.Stat. Kiefer, J.C. (1959), JRSS, B, with discussion Atkinson, A.C. and Donev, A.N. (1992), Optimal Experimental Designs, Clavendon Press, Oxford三次回歸模型的三次回歸模型的D-最優(yōu)設計及其擬合最優(yōu)設計及其擬合如果采用如果采用4 4次多

22、項式模型次多項式模型, ,效果會顯著地改進。效果會顯著地改進。 方差分析模型方差分析模型 因子設計，正交設計因子設計，正交設計 參數回歸模型參數回歸模型 最優(yōu)設計最優(yōu)設計 非參數回歸模型非參數回歸模型 均勻設計均勻設計 穩(wěn)健回歸模型穩(wěn)健回歸模型, g(x)y式中函數形式式中函數形式 g(x)未知。希望通過試驗求未知。希望通過試驗求得得g(x)一個近似模型。這時，一個自然的一個近似模型。這時，一個自然的想法是將試驗點在想法是將試驗點在0,2上均勻散布，即均上均勻散布，即均勻設計。勻設計。 若試驗者對模型未知，這時將面對非參若試驗者對模型未知，這時將面對非參數回歸模型數回歸模型非參數回歸模型非參數

23、回歸模型均勻設計及其擬合多項式回歸均勻設計及其擬合多項式回歸均勻設計均勻設計是一種是一種試驗設計方試驗設計方法法。它可以用較少的試驗次數，。它可以用較少的試驗次數，安排多因素、多水平的析因試驗安排多因素、多水平的析因試驗，當試驗者對析因試驗的統(tǒng)計模，當試驗者對析因試驗的統(tǒng)計模型未知時，型未知時，均勻設計均勻設計是最好的設是最好的設計方法。計方法。均勻設計均勻設計也是也是仿真試驗仿真試驗設計設計和和穩(wěn)健設計穩(wěn)健設計的重要方法的重要方法。 方差分析模型方差分析模型 因子設計，正交設計因子設計，正交設計 參數回歸模型參數回歸模型 最優(yōu)設計最優(yōu)設計 非參數回歸模型非參數回歸模型 均勻設計均勻設計 穩(wěn)健

24、回歸模型穩(wěn)健回歸模型 穩(wěn)健回歸模型常用于部分模型已知的情形2012 y( )xxh xbbb例如： )()(xhxfy此時，可用一些 穩(wěn)健設計穩(wěn)健設計 或 均勻設計均勻設計.其中 f(x) 為已知函數，h(x) 為 偏離真實函數 的部分。)(xfy( )yg x穩(wěn)健回歸模型穩(wěn)健回歸模型即 f(x) 為參數 的線性函數。b回歸模型回歸模型:yi, xi1, xi2, , xi,p-1, i = 1, , ny = b0 + b1x1 + b2x2 + + b p-1 x p-1 + E() = 0,Var() = s2 未知或 yi = b0 + b1xi1 + b2xi2 + + b p-1

25、xi, p-1 + i i,n i.i.d. E(i) = 0, Var(i) = s2.或更一般的, yi= b1 g1(xi) + b2 g2(xi) + + b p gp(xi) + i i,n i.i.d. E(i) = 0, Var(i) = s2.xi=( xi1, xi2, , xi,p-1), i=1, , n 一般回歸模型的矩陣表示一般回歸模型的矩陣表示:y = Gb b + E( ) = 0,Cov( ) = s2In其中 y : n1, G : np, b b : p1, : n1 其元素 i.i.d.(1.14).,)()()()()()()()()(,12121222

26、211121121npnpnnppnxgxgxgxgxgxgxgxgxgyyybbb b bG Gy線性模型 (1.14) 包括很多有用的模型: 線性模型 通過原點的線性模型 二次模型 中心化二次模型y = b0 + b1x1 + b2x2 + + b p-1 x p-1 + y = b1x1 + b2x2 + + b p-1 x p-1 + bbbkjijiijkiiixxxy110bbbkjijjiiijkiiiixxxxxxy110)()(1.16)對于模型 (1.14) (a) 估計估計 模型 (1.14) 的最小二乘估計為 性質: yGGG)(1b12)()(Cov ,)(GGEsb

27、bb)/()()(22pnGyGysbbs其中 M=GG 為 信息矩陣信息矩陣, 或有時稱 M=GG/n 為信息矩陣. s s 2 2 的估計的矩陣表達形式的估計的矩陣表達形式() () (),1Q()yX yXy(IH)yHX(XX) X其中帽子矩陣yHIyQ)( E)(Eb bE(y) = Xb bCov(y) = s2In)(tr)()(2nIHIXHIXsbb0)()tr()tr(tr21222pnnnssssXX(XXXX)X(XHI1yHIyQ)( )(112npnpnb bs為無偏估計. 對于線性模型 (1.16), 在實際中常檢驗下面的假設: (k=p-1)A. 檢驗模型是否有意義. H0: b1 = = bk = 0 VS H1: 某 bj 0, 1 j kB. 檢驗某個變量 xj 是否對模型有顯著貢獻. H0: bj = 0 VS H1: bj 0(b) 假設檢驗假設檢驗 更一般的假設 H0: Cb b = f VS H1: Cb b f情形 A 和 B 都是情形 C 的特殊情形y = Xb b + , Nn (0,s2 In)Ab b = c, A: q p (q p), c: q 1. Rank(A) = q, 在某些限制 Ab b = c 下的估計;沒有限制下的估計.22,ssb bb b