第06課 黑盒測(cè)試5-正交法與比較選擇

1、正交試驗(yàn)設(shè)計(jì)方法正交試驗(yàn)設(shè)計(jì)方法v正交試驗(yàn)設(shè)計(jì)方法是從大量的試驗(yàn)數(shù)據(jù)正交試驗(yàn)設(shè)計(jì)方法是從大量的試驗(yàn)數(shù)據(jù)中挑選適量的、有代表性的點(diǎn)，從而合中挑選適量的、有代表性的點(diǎn)，從而合理地安排測(cè)試的一種科學(xué)的試驗(yàn)設(shè)計(jì)方理地安排測(cè)試的一種科學(xué)的試驗(yàn)設(shè)計(jì)方法法v使用已經(jīng)造好了的表格使用已經(jīng)造好了的表格正交表來安正交表來安排試驗(yàn)并進(jìn)行數(shù)據(jù)分析。排試驗(yàn)并進(jìn)行數(shù)據(jù)分析。v正交實(shí)驗(yàn)正交實(shí)驗(yàn)?zāi)康模河行У?、合理地減少需進(jìn)行的實(shí)驗(yàn)數(shù)量 相關(guān)概念：因子：有可能影響實(shí)驗(yàn)指標(biāo)的條件因子的水平（或狀態(tài)）：影響實(shí)驗(yàn)因子的因素正交表：記為L(zhǎng) 次數(shù)（水平數(shù)因子數(shù)）， 例如L 8（4124）表示實(shí)驗(yàn)次數(shù)為8，1個(gè)4水平的因子，4個(gè)2水平的因

2、子。正交實(shí)驗(yàn)法案例分析案例分析為提高某化工產(chǎn)品的轉(zhuǎn)化率，選擇了三個(gè)有關(guān)因素為提高某化工產(chǎn)品的轉(zhuǎn)化率，選擇了三個(gè)有關(guān)因素進(jìn)行條件試驗(yàn)，反應(yīng)溫度（進(jìn)行條件試驗(yàn)，反應(yīng)溫度（A），反應(yīng)時(shí)間），反應(yīng)時(shí)間（B），用堿量（），用堿量（C），并確定了它們的試驗(yàn)范），并確定了它們的試驗(yàn)范圍如下：圍如下：A：80 90B：90分鐘分鐘150分鐘分鐘C：5%7%l試驗(yàn)的目的是搞清楚因子試驗(yàn)的目的是搞清楚因子A、B、C對(duì)轉(zhuǎn)化率有對(duì)轉(zhuǎn)化率有什么影響，哪些是主要的，哪些是次要的，從什么影響，哪些是主要的，哪些是次要的，從而確定最適生產(chǎn)條件，即溫度、時(shí)間及用堿量而確定最適生產(chǎn)條件，即溫度、時(shí)間及用堿量各為多少才能使轉(zhuǎn)化率最

3、高。各為多少才能使轉(zhuǎn)化率最高。在試驗(yàn)范圍內(nèi)都選了三個(gè)水平（即各因素的不同狀在試驗(yàn)范圍內(nèi)都選了三個(gè)水平（即各因素的不同狀態(tài)），如下所示：態(tài)），如下所示：vA：A1=80 ，A2=85 ，A3=90；vB：B1=90分鐘，分鐘，B2= 120分鐘，分鐘，B3= 150分鐘；分鐘；vC：C1=5%，C2=6%，C3=7%。（1）全面試驗(yàn)法：取三因子所有水平取三因子所有水平之間的組合，之間的組合，即即A1B1C1、A1B1C2、A1B1C3、A3B3C3，共，共有有33 27次試次試驗(yàn)。用左圖表驗(yàn)。用左圖表示立方體的示立方體的27個(gè)節(jié)點(diǎn)。個(gè)節(jié)點(diǎn)。A1A2A3B1B2B3C1C2C3v全面試驗(yàn)法對(duì)各因子

4、與指標(biāo)間的關(guān)系剖析的比較全面試驗(yàn)法對(duì)各因子與指標(biāo)間的關(guān)系剖析的比較清楚。但試驗(yàn)次數(shù)太多。特別是當(dāng)因子數(shù)目多，清楚。但試驗(yàn)次數(shù)太多。特別是當(dāng)因子數(shù)目多，每個(gè)因子的水平數(shù)目也很多時(shí)，試驗(yàn)量非常大。每個(gè)因子的水平數(shù)目也很多時(shí)，試驗(yàn)量非常大。如選如選6個(gè)因子，每個(gè)因子取個(gè)因子，每個(gè)因子取5個(gè)水平時(shí)，全面試驗(yàn)個(gè)水平時(shí)，全面試驗(yàn)法需法需56 15625次試驗(yàn)，這實(shí)際上是不可能實(shí)現(xiàn)次試驗(yàn)，這實(shí)際上是不可能實(shí)現(xiàn)的。如果應(yīng)用下面的方法，則只需做的。如果應(yīng)用下面的方法，則只需做25次試驗(yàn)就次試驗(yàn)就行了。而且在某種意義上講，這行了。而且在某種意義上講，這25次試驗(yàn)就代表次試驗(yàn)就代表了了15625次試驗(yàn)。次試驗(yàn)。（2

5、）簡(jiǎn)單對(duì)比法：）簡(jiǎn)單對(duì)比法：即變化一個(gè)因素而固定其他因素，如首先固定即變化一個(gè)因素而固定其他因素，如首先固定B、C于于B1、C1，使，使A變化。變化。B1C1A1A2A3（好結(jié)果）A3C1B1B2 （好結(jié)果）B3A3B2C1C2 （好結(jié)果）C3v如得出如得出A3結(jié)果最好，則結(jié)果最好，則固定固定A于于A3，C還是還是C1，使使B變化。變化。v得出結(jié)果以得出結(jié)果以B2為最好，為最好，則固定則固定B于于B2，A于于A3，使使C變化。變化。v試驗(yàn)結(jié)果以試驗(yàn)結(jié)果以C2最好。于最好。于是就認(rèn)為最好的工藝條是就認(rèn)為最好的工藝條件是件是A3B2C2。v這種方法也有一定的效果，但缺點(diǎn)很多。首先這這種方法也有一定

6、的效果，但缺點(diǎn)很多。首先這種方法的選點(diǎn)代表性很差，如按上述方法進(jìn)行試種方法的選點(diǎn)代表性很差，如按上述方法進(jìn)行試驗(yàn)，試驗(yàn)點(diǎn)完全分布在一個(gè)角上，而在一個(gè)很大驗(yàn)，試驗(yàn)點(diǎn)完全分布在一個(gè)角上，而在一個(gè)很大的范圍內(nèi)沒有選點(diǎn)，因此這種試驗(yàn)法不全面，所的范圍內(nèi)沒有選點(diǎn)，因此這種試驗(yàn)法不全面，所選的工藝條件選的工藝條件A3B2C2不一定是不一定是27個(gè)組合中最好個(gè)組合中最好的。其次，用這種方法比較條件好壞時(shí)，是把單的。其次，用這種方法比較條件好壞時(shí)，是把單個(gè)的試驗(yàn)數(shù)據(jù)拿來，進(jìn)行數(shù)值上的簡(jiǎn)單比較，而個(gè)的試驗(yàn)數(shù)據(jù)拿來，進(jìn)行數(shù)值上的簡(jiǎn)單比較，而試驗(yàn)數(shù)據(jù)中必然包含著誤差成分，所以單個(gè)數(shù)據(jù)試驗(yàn)數(shù)據(jù)中必然包含著誤差成分，所

7、以單個(gè)數(shù)據(jù)的簡(jiǎn)單比較不能剔除誤差，必然造成結(jié)論的不穩(wěn)的簡(jiǎn)單比較不能剔除誤差，必然造成結(jié)論的不穩(wěn)定。定。v簡(jiǎn)單對(duì)比法的最大優(yōu)點(diǎn)就是試驗(yàn)次數(shù)少，例如，簡(jiǎn)單對(duì)比法的最大優(yōu)點(diǎn)就是試驗(yàn)次數(shù)少，例如，6因子因子5水平試驗(yàn)，在不重復(fù)時(shí)，只用水平試驗(yàn)，在不重復(fù)時(shí)，只用5（61）（51）25次試驗(yàn)就可以了。次試驗(yàn)就可以了。A1 A2 A3B3B2B1C1C2C3v考慮兼顧以上兩種方法的優(yōu)點(diǎn)，從全面試驗(yàn)的點(diǎn)考慮兼顧以上兩種方法的優(yōu)點(diǎn)，從全面試驗(yàn)的點(diǎn)中選擇具有典型性、代表性的點(diǎn)，使試驗(yàn)點(diǎn)在試中選擇具有典型性、代表性的點(diǎn)，使試驗(yàn)點(diǎn)在試驗(yàn)范圍內(nèi)分布的很均勻，能反映全面情況。但我驗(yàn)范圍內(nèi)分布的很均勻，能反映全面情況。但我

8、們又希望試驗(yàn)點(diǎn)盡量的少，為此還要具體考慮一們又希望試驗(yàn)點(diǎn)盡量的少，為此還要具體考慮一些問題。如上例，對(duì)應(yīng)于些問題。如上例，對(duì)應(yīng)于A有有A1、A2、A3三個(gè)平三個(gè)平面，對(duì)應(yīng)于面，對(duì)應(yīng)于B、C也各有三個(gè)平面，共也各有三個(gè)平面，共9個(gè)平面。個(gè)平面。則這則這9個(gè)平面上的點(diǎn)都應(yīng)當(dāng)一樣多，即對(duì)每個(gè)因子個(gè)平面上的點(diǎn)都應(yīng)當(dāng)一樣多，即對(duì)每個(gè)因子的每個(gè)水平都要同等看待。具體來說，每個(gè)平面的每個(gè)水平都要同等看待。具體來說，每個(gè)平面上都有上都有3行、行、3列，要求在每行、每列上的點(diǎn)一樣列，要求在每行、每列上的點(diǎn)一樣多。多。（3）正交試驗(yàn)法）正交試驗(yàn)法 9個(gè)平面中每個(gè)個(gè)平面中每個(gè)平面上恰好有平面上恰好有3個(gè)點(diǎn)，而每個(gè)個(gè)

9、點(diǎn)，而每個(gè)平面的每行每平面的每行每列都有且僅有列都有且僅有1個(gè)點(diǎn)，總共個(gè)點(diǎn)，總共9個(gè)個(gè)點(diǎn)。這樣的試點(diǎn)。這樣的試驗(yàn)方案，試驗(yàn)驗(yàn)方案，試驗(yàn)點(diǎn)分布均勻，點(diǎn)分布均勻，試驗(yàn)次數(shù)也不試驗(yàn)次數(shù)也不多。多。A1A2A3B1B2B3C1C2C3147396825ABC1 12 23 34 4111112122231333421235223162312731328321393321 列號(hào)列號(hào)行號(hào)行號(hào)實(shí)驗(yàn)號(hào)水平組合實(shí)驗(yàn)條件溫度時(shí)間加堿量123456789A1B1C1A1B2C2A1B3C3A2B1C2A2B2C3A2B3C1A3B1C3A3B2C1A3B3C28080808585859090909012015090

10、12015090120150567675756正交試驗(yàn)法正交試驗(yàn)法v當(dāng)因子數(shù)和水平數(shù)都不太大時(shí)，尚可通過作圖的當(dāng)因子數(shù)和水平數(shù)都不太大時(shí)，尚可通過作圖的辦法來選擇分布很均勻的試驗(yàn)點(diǎn)。但是，因子數(shù)辦法來選擇分布很均勻的試驗(yàn)點(diǎn)。但是，因子數(shù)和水平數(shù)多了，作圖的方法就不行了。和水平數(shù)多了，作圖的方法就不行了。v按照正交表來安排試驗(yàn)，既能使試驗(yàn)點(diǎn)分布得很按照正交表來安排試驗(yàn)，既能使試驗(yàn)點(diǎn)分布得很均勻，又能減少試驗(yàn)次數(shù)，而且計(jì)算分析簡(jiǎn)單，均勻，又能減少試驗(yàn)次數(shù)，而且計(jì)算分析簡(jiǎn)單，能夠清晰地闡明試驗(yàn)條件與指標(biāo)之間的關(guān)系。能夠清晰地闡明試驗(yàn)條件與指標(biāo)之間的關(guān)系。常用的正交表常用的正交表v用用L代表正交表，常

11、用代表正交表，常用 的有的有L8(27)、 L9(34)、 L16(45)、 L8(424)等。等。vL8(27) 7表示正交表的列數(shù)，表示正交表的列數(shù)，2為因子的水平數(shù)，為因子的水平數(shù)，8表示正交表的行數(shù)。表示正交表的行數(shù)。vL16(237),有有7列是列是3水平的，有水平的，有1列是列是2水平的水平的做做16個(gè)試驗(yàn)最多可以考察個(gè)試驗(yàn)最多可以考察1個(gè)個(gè)2水平的因子和水平的因子和7個(gè)個(gè)3水平的因子。水平的因子。v行數(shù)行數(shù)(即試驗(yàn)次數(shù)即試驗(yàn)次數(shù))=(每列水平數(shù)每列水平數(shù)-1) + 1常用的正交表常用的正交表L4（23 ） 列號(hào)123試驗(yàn)號(hào)1111212232124221常用的正交表常用的正交表L

12、8(27) 列號(hào)列號(hào)1234567試驗(yàn)號(hào)試驗(yàn)號(hào)1111111121112222312211224122221152121212621221217221122182212112常用的正交表常用的正交表L8(2441)0000000112010110110310013101011100211110常用的正交表常用的正交表L18(3661)常用的正交表常用的正交表L12(211) 列號(hào)列號(hào)1234567891011試驗(yàn)號(hào)試驗(yàn)號(hào)1111111111112111112222223112221112224121221221125122122121216122212212117212211221218212

13、12221112921122212211102221111221211221212111221222112121221常用的正交表常用的正交表L16（45） 列號(hào)列號(hào)12345試驗(yàn)號(hào)試驗(yàn)號(hào)111111212222313333414444521234622143723412824321931342103243111331241234213134142314423141543241正交表性質(zhì)：1）每一列中各數(shù)字出現(xiàn)的次數(shù)都一樣多；）每一列中各數(shù)字出現(xiàn)的次數(shù)都一樣多；2）任何兩列所構(gòu)成的各有序數(shù)對(duì)出現(xiàn)的次數(shù)都一樣）任何兩列所構(gòu)成的各有序數(shù)對(duì)出現(xiàn)的次數(shù)都一樣多。多。正交表的選擇正交表的選擇5個(gè)個(gè)3水平

14、因子及水平因子及1個(gè)個(gè)2水平因子，需要哪一水平因子，需要哪一種正交表？種正交表？起碼的實(shí)驗(yàn)次數(shù)為：起碼的實(shí)驗(yàn)次數(shù)為：5*(3-1)+1*(2-1)+1=12次次即在正交表行數(shù)不小于即在正交表行數(shù)不小于12行，既有行，既有2水平列又有水平列又有3水平列水平列的正交表中選擇，的正交表中選擇，L18（2*37）適合。適合。選擇正交表選擇正交表v已經(jīng)公布了很多正交表，可以從下面的渠道獲得正交表因特網(wǎng)數(shù)理統(tǒng)計(jì)書籍相關(guān)軟件例如：正交設(shè)計(jì)助手由正交表導(dǎo)出測(cè)試用例由正交表導(dǎo)出測(cè)試用例 v示例示例有5個(gè)因子A,B,C,D,E,其中A因子的水平數(shù)為4，其水平分別為（A1、A2、A3、A4）,另外四個(gè)因子的水平數(shù)為

15、2，其中B因子的水平為（B1、B2）， C因子的水平為（C1、C2）， D因子的水平為（D1、D2），E因子的水平為（E1、E2），因此選用正交表為：L 8（4124）正交實(shí)驗(yàn)法測(cè)試思想正交實(shí)驗(yàn)法測(cè)試思想 v正交表可分為正交表可分為統(tǒng)一水平數(shù)正交表：表中各個(gè)因子的水平數(shù)是一樣的混合水平數(shù)正交表：表中的各個(gè)因子數(shù)的水平數(shù)不同v測(cè)試思想測(cè)試思想根據(jù)被測(cè)軟件的規(guī)格說明書找出影響其功能實(shí)現(xiàn)的操作對(duì)象和外部因素，把它們當(dāng)作因子，而把各個(gè)因子的取值當(dāng)作狀態(tài)，構(gòu)造出二元的因素分析表；然后，利用正交表進(jìn)行各因子的狀態(tài)組合，構(gòu)造有效的測(cè)試輸入數(shù)據(jù)集正交表的因子對(duì)應(yīng)被測(cè)對(duì)象的測(cè)試因素因子的水平可以看成是各測(cè)試因素

16、的取值。正交實(shí)驗(yàn)法設(shè)計(jì)步驟正交實(shí)驗(yàn)法設(shè)計(jì)步驟v 設(shè)計(jì)步驟設(shè)計(jì)步驟 依據(jù)被測(cè)對(duì)象說明構(gòu)造因子狀態(tài)表 加權(quán)篩選，生成因素分析表 選取合適的正交表，生成測(cè)試數(shù)據(jù)集 根據(jù)被測(cè)對(duì)象的特征，補(bǔ)充由正交表無法得到的測(cè)試用例選擇正交表時(shí)可能遇到的兩種情況選擇正交表時(shí)可能遇到的兩種情況v根據(jù)前面獲得的因子數(shù)和狀態(tài)數(shù)選擇正交表，選擇正交表可能遇到下面的情況因子數(shù)和水平數(shù)與正交表相吻合因子數(shù)和水平數(shù)與正交表不吻合，可以遵循下面的原則 正交表的列數(shù)不能小于因子數(shù)； 正交表的水平數(shù)不能小于因子的最大狀態(tài)數(shù)。1. 正交表的行數(shù)取最小值實(shí)例實(shí)例1：因子數(shù)與水平數(shù)剛好符合正交表：因子數(shù)與水平數(shù)剛好符合正交表 v個(gè)人信息查詢系

17、統(tǒng)中的一個(gè)窗口v要測(cè)試的控件有3個(gè)，也就是要考慮的因素有三個(gè)； 姓名 身份證號(hào)碼 手機(jī)號(hào)碼v每個(gè)因素里的狀態(tài)有兩個(gè)：填與不填。 v表中的因素?cái)?shù)=3； v表中至少有3個(gè)因素?cái)?shù)的水平數(shù)=2 v行數(shù)取最少的一個(gè)。 v從正交表公式中開始查找，結(jié)果為： L4(23) v測(cè)試用例如下：測(cè)試用例如下： 1：填寫姓名、填寫身份證號(hào)、填寫手機(jī)號(hào)：填寫姓名、填寫身份證號(hào)、填寫手機(jī)號(hào) 2：填寫姓名、不填身份證號(hào)、不填手機(jī)號(hào)：填寫姓名、不填身份證號(hào)、不填手機(jī)號(hào) 3：不填姓名、填寫身份證號(hào)、不填手機(jī)號(hào)：不填姓名、填寫身份證號(hào)、不填手機(jī)號(hào) 4：不填姓名、不填身份證號(hào)、填寫手機(jī)號(hào)：不填姓名、不填身份證號(hào)、填寫手機(jī)號(hào)v增補(bǔ)測(cè)

18、試用例增補(bǔ)測(cè)試用例 5：不填姓名、不填身份證號(hào)、不填手機(jī)號(hào)：不填姓名、不填身份證號(hào)、不填手機(jī)號(hào)v測(cè)試用例可以看出：如果按每個(gè)因素兩個(gè)水平數(shù)測(cè)試用例可以看出：如果按每個(gè)因素兩個(gè)水平數(shù)來考慮的話，需要來考慮的話，需要8個(gè)測(cè)試用例，而通過正交實(shí)驗(yàn)個(gè)測(cè)試用例，而通過正交實(shí)驗(yàn)法進(jìn)行的測(cè)試用例只有法進(jìn)行的測(cè)試用例只有5個(gè)，大大減少了測(cè)試用例個(gè)，大大減少了測(cè)試用例數(shù)。用最小的測(cè)試用例集合去獲取最大的測(cè)試覆數(shù)。用最小的測(cè)試用例集合去獲取最大的測(cè)試覆蓋率。蓋率。實(shí)例實(shí)例2：因子數(shù)水平數(shù)與正交表不相同的情況：因子數(shù)水平數(shù)與正交表不相同的情況微軟Powerpoint程序的打印測(cè)試，也需要考慮4個(gè)因素，每個(gè)因素也有多個(gè)選項(xiàng)v 打印范圍分：全部、當(dāng)前幻燈片、給定范圍v 打印內(nèi)容分：幻燈片、講義、備注頁、大綱視圖v 打印顏色/灰度分: 彩色、灰度、黑白v 打印效果分：幻燈片加框和幻燈片不加框。實(shí)例實(shí)例2：因子數(shù)水平數(shù)與正交表不相同的情況：因子數(shù)水平數(shù)與正交表不相同的情況微軟Powerpoint打印測(cè)試，有4個(gè)因子，水平數(shù)（從2到4 ）是不相等的。由于水平數(shù)不等，采用包含和組合的方法選取合適的正交表公式 v表中的因子數(shù)=4v表中至少有4個(gè)因子的水平數(shù)=2v行數(shù)取最少的一個(gè)最后選中正交表公式：