性能測(cè)試結(jié)果的可靠性

1、第14章  通用性能測(cè)試結(jié)果分析截至第13章，小白已經(jīng)完成了LoadRunner測(cè)試腳本的編寫(xiě)、場(chǎng)景的建立，并成功地執(zhí)行測(cè)試及分析了整個(gè)測(cè)試結(jié)果、產(chǎn)生了測(cè)試報(bào)告。本書(shū)對(duì)于 LoadRunner這一強(qiáng)大的工具也已經(jīng)基本介紹完畢了。但是，在實(shí)際工作中，性能測(cè)試工程師可能并不一定采用LoadRunner，而是使用其他的工 具甚至自行編程來(lái)取得相關(guān)的性能測(cè)試數(shù)據(jù)。那么，有沒(méi)有通用的一些分析性能測(cè)試數(shù)據(jù)的經(jīng)驗(yàn)?zāi)?？本章的?nèi)容就能夠回答上述這個(gè)問(wèn)題。如果說(shuō)第12章中LoadRunner所提供的性能圖表與測(cè)試報(bào)告是汽車(chē)中的自動(dòng)擋，那么本章就是汽車(chē)中的手動(dòng)擋。作為一名性能測(cè)試工程師，必須能夠脫離工具軟

2、件的束縛，直接從原始的數(shù)據(jù)中得到正確的結(jié)論，才稱(chēng)得上合格。初學(xué)者都知道，性能測(cè)試得到的數(shù)據(jù)，如果不進(jìn)行分析，得到的結(jié)果是沒(méi)有多大價(jià)值的。而在分析性能測(cè)試結(jié)果的過(guò)程中，往往需要用到簡(jiǎn)單的數(shù)學(xué)知識(shí)來(lái)進(jìn) 行評(píng)估、敏銳的觀察能力來(lái)發(fā)現(xiàn)隱藏在數(shù)據(jù)中的性能問(wèn)題；另外，出色的文檔編寫(xiě)能力和圖表制作能力則有利于將測(cè)試工程師了解到的事實(shí)有效地傳遞到相關(guān)人員的 印象當(dāng)中。其中，工作中最重要、也可能是最耗費(fèi)時(shí)間與精力、同時(shí)又是收獲最大的部分就是發(fā)現(xiàn)性能問(wèn)題。本章將依據(jù)以上這幾種能力分為3節(jié)來(lái)介紹：第1節(jié)介紹判別測(cè)試數(shù)據(jù)是否可靠的要點(diǎn)，其中包含了一些簡(jiǎn)單的統(tǒng)計(jì)學(xué)知識(shí)。第2節(jié)通過(guò)幾個(gè)范例來(lái)講解發(fā)現(xiàn) 性能的技巧與經(jīng)驗(yàn)。第

3、3節(jié)將列出編寫(xiě)性能測(cè)試報(bào)告的注意事項(xiàng)與要點(diǎn)，同時(shí)，對(duì)Office Excel軟件中的畫(huà)圖功能也進(jìn)行了較詳細(xì)的說(shuō)明。14.1  性能測(cè)試結(jié)果的可靠性性能測(cè)試的結(jié)果往往由大量數(shù)據(jù)組成，在我們拿到這些數(shù)據(jù)之后，首先要判斷這些數(shù)據(jù)是否可靠。一些簡(jiǎn)單的統(tǒng)計(jì)學(xué)指標(biāo)可以使我們很快地從數(shù)據(jù)中獲得對(duì)于 性能的基本印象。因此，本節(jié)先借助一些數(shù)學(xué)知識(shí)，讓我們能夠使用統(tǒng)計(jì)學(xué)上的簡(jiǎn)單指標(biāo)對(duì)結(jié)果進(jìn)行簡(jiǎn)單歸納；之后，再介紹判斷性能測(cè)試結(jié)果可靠性的幾條經(jīng)驗(yàn)規(guī) 則。本節(jié)中將要介紹、同時(shí)也是測(cè)試結(jié)果分析中較為常用的數(shù)學(xué)指標(biāo)有如下幾種：平均值（Mean Value）；中值（Median Value）；正常值（Normal

4、 Value）；標(biāo)準(zhǔn)偏差（Standard Deviation）；正態(tài)分布（Normal Distribution）；一致分布（Uniform Distribution）；置信區(qū)間（Confidence Intervals）。為了理解方便，我們就使用小白獲得的一手響應(yīng)時(shí)間作為例子，學(xué)習(xí)如上數(shù)學(xué)指標(biāo)的具體含義，從而獲得總體性能的更直觀印象。小白手中有關(guān)公司網(wǎng)站響應(yīng)時(shí)間的數(shù)據(jù)一共分為4組，分別代表了客戶(hù)端不同操作端系統(tǒng)、不同瀏覽器下訪(fǎng)問(wèn)首頁(yè)的數(shù)據(jù)，分別如表14-1、表14-2、表14-3、表14-4所示。表14-1  Windows XP下通過(guò)IE 6訪(fǎng)問(wèn)公司網(wǎng)站的響應(yīng)時(shí)間數(shù)據(jù)（秒）56

5、4813104457810表14-2  Windows XP下通過(guò)Firefox 3訪(fǎng)問(wèn)公司網(wǎng)站的響應(yīng)時(shí)間數(shù)據(jù)（秒）112578224121311表14-3  Windows Vista下通過(guò)IE 7訪(fǎng)問(wèn)公司網(wǎng)站的響應(yīng)時(shí)間數(shù)據(jù)（秒）666812121448666表14-4  Windows Vista下通過(guò)Firefox 3訪(fǎng)問(wèn)公司網(wǎng)站的響應(yīng)時(shí)間數(shù)據(jù)（秒）6678876696119從以上數(shù)據(jù)來(lái)初步觀察，響應(yīng)時(shí)間長(zhǎng)短參差不齊，表面上看分布也沒(méi)有什么規(guī)律。【實(shí)戰(zhàn)演練：平均值的計(jì)算】（5+6+4+8+13+10+4+4+5+7+8+10）/12 = 7；（1+12+5+

6、7+8+2+2+4+12+13+1+1）/12 = 5.67；（6+6+6+8+12+12+14+4+8+6+6+6+6）/12 = 8.33；（6+6+7+8+8+7+6+6+9+6+11+9）/12 = 7.41。以上數(shù)值的單位均為秒。從結(jié)果中可以發(fā)現(xiàn)，表14-2響應(yīng)時(shí)間的平均值確實(shí)是最短的。但是，需要注意的是，表14-2中的數(shù)據(jù)"兩極分化"比較嚴(yán) 重，既有很短的1秒，也有很長(zhǎng)的13秒，而在平均值5.67秒附近的數(shù)值卻很少。這樣的情況就可能暴露出網(wǎng)站性能的某些問(wèn)題，或者是數(shù)據(jù)采集中的不科學(xué) 性。讀者在實(shí)際工作中得到測(cè)試結(jié)果的時(shí)候，不能單單記錄數(shù)值，同時(shí)還要思考如下等問(wèn)題

7、：響應(yīng)時(shí)間很短是否由于緩存的緣故？響應(yīng)時(shí)間很長(zhǎng)是否是Web應(yīng)用代碼的問(wèn)題？不同瀏覽器的響應(yīng)時(shí)間有什么規(guī)律？在測(cè)試過(guò)程中，對(duì)得到的數(shù)據(jù)多問(wèn)幾個(gè)為什么，有助于提高測(cè)試的準(zhǔn)確性?！局兄凳鞘裁础克^中值（Median Value），就是將數(shù)據(jù)從小到大排列起來(lái)，中間那個(gè)數(shù)的數(shù)值。將中值的定義應(yīng)用于實(shí)際，比如對(duì)于表14-1來(lái)說(shuō)，其數(shù)據(jù)從小到大的排列依次為：1. 4 4 4 5 5 6 7 8 8 10 10 13 如果這一系列數(shù)據(jù)的個(gè)數(shù)為單數(shù)，中值就是中間那個(gè)數(shù)的值。如果類(lèi)似表14-1的

8、情況，數(shù)據(jù)個(gè)數(shù)是12，為偶數(shù)，則中值一般認(rèn)為是最中間兩個(gè)數(shù)值（這里是第6個(gè)和第7個(gè)）的平均值，即（6+7）/2=6.5。經(jīng)過(guò)計(jì)算，表14-1、表14-2、表14-3、表14-4的中值分別為6.5、4.5、6和7?！局兄蹬c平均值的關(guān)系】中值雖然不等同于平均值，但若中值與平均值越接近，則說(shuō)明數(shù)據(jù)分布的越均勻。正常值（Normal Value）并不一定意味著它的值是正常的。所謂正常值，是指在數(shù)據(jù)結(jié)果中出現(xiàn)頻率最多的那個(gè)值，通俗地說(shuō)，就是在它們中間最容易碰到的數(shù)值。表 14-1、表14-2、表14-3和表14-4中的正常值分別為1、4、6、6秒，可見(jiàn)，正常值與平均值、中值可能會(huì)有很大差別?！緦?shí)戰(zhàn)演練：

9、正常值的判斷】設(shè)想這樣一個(gè)場(chǎng)景：小白所測(cè)試的Web應(yīng)用有某部分代碼出現(xiàn)了問(wèn)題，導(dǎo)致數(shù)據(jù)庫(kù)連接經(jīng)常超時(shí)，測(cè)得的響應(yīng)時(shí)間序列為20、25、30、26、26、 27、26等，在這樣的數(shù)值當(dāng)中，26是正常值，但它絕不是網(wǎng)站正常時(shí)應(yīng)該具備的響應(yīng)時(shí)間，因此，它又是"不正常"的。實(shí)際工作中這樣的情況并不鮮見(jiàn)，讀 者在處理數(shù)據(jù)時(shí)一定要首先保證數(shù)據(jù)的有效性。性能測(cè)試中正常值的意義在于發(fā)現(xiàn)當(dāng)前配置下，多數(shù)情況采集到的數(shù)值是什么。標(biāo)準(zhǔn)偏差提供了比中值更準(zhǔn)確的方法，來(lái)確定數(shù)值是否"聚集"在平均值附近。標(biāo)準(zhǔn)偏差（Standard Deviation）是一種度量數(shù)據(jù)分布分散程度的標(biāo)

10、準(zhǔn)，它可以用來(lái)衡量具體數(shù)據(jù)值偏離平均值（算術(shù)平均值）的程度。標(biāo)準(zhǔn)偏差越小，這些值偏離平均值就越 少，數(shù)據(jù)就越可信。反之，數(shù)值偏離平均值越大，數(shù)據(jù)就越不可信?！緦?shí)戰(zhàn)演練：Excel計(jì)算標(biāo)準(zhǔn)偏差】標(biāo)準(zhǔn)偏差的計(jì)算不是本書(shū)講解的內(nèi)容，我們只需理解它的含義會(huì)用工具計(jì)算就可以了。常見(jiàn)的計(jì)算標(biāo)準(zhǔn)偏差的工具軟件就是微軟的Excel。如圖14-1中新建了一個(gè)工作表，其中有4列，每一列分別包含表14-1到表14-4的測(cè)試數(shù)據(jù)。下面舉例計(jì)算前面表14-1中數(shù)據(jù)（已經(jīng)錄入在圖14-1工作表的A列之中）的標(biāo)準(zhǔn)偏差。首先，單擊工作表中的A列，然后選擇"插入"|"函數(shù)"命 令，如圖1

11、4-2所示。之后Excel將彈出函數(shù)選擇對(duì)話(huà)框，在其中找到計(jì)算標(biāo)準(zhǔn)偏差的STDEV函數(shù)即可，如圖14-3所示。 （點(diǎn)擊查看大圖）圖14-1  在Excel中新建工作表輸入測(cè)試數(shù)據(jù) （點(diǎn)擊查看大圖）圖14-2  在Excel中插入函數(shù)以計(jì)算標(biāo)準(zhǔn)偏差 （點(diǎn)擊查看大圖）圖14-3  選擇STDEV函數(shù)計(jì)算標(biāo)準(zhǔn)偏差 （點(diǎn)擊查看大圖）圖14-4  輸入計(jì)算范圍并獲得標(biāo)準(zhǔn)偏差結(jié)果計(jì)算標(biāo)準(zhǔn)偏差需要輸入一系列的數(shù)值，這也是在圖14-2中要首先選中A列或其他列的原因。在圖14-3中單擊"確定"按鈕之后，Excel

12、將彈出函 數(shù)參數(shù)對(duì)話(huà)框。如果其中的Number1文本框內(nèi)沒(méi)有數(shù)值，讀者可以填入文字A1:A12，以表示A列的所有12個(gè)數(shù)值作為計(jì)算的輸入，依次類(lèi)推。確認(rèn)輸 入數(shù)據(jù)無(wú)誤后，單擊"確定"按鈕，計(jì)算結(jié)果將立即顯示在當(dāng)前的對(duì)話(huà)框內(nèi)，如圖14-4所示。對(duì)測(cè)試結(jié)果進(jìn)行標(biāo)準(zhǔn)偏差的計(jì)算，有利于從中發(fā)現(xiàn)更具可信度的度量數(shù)值。正態(tài)分布（Normal Distribution）也叫做鐘形分布，這個(gè)名字是因?yàn)檎龖B(tài)分布的數(shù)值在圖形上類(lèi)似一口鐘而得來(lái)。它的含義就是一系列的數(shù)值當(dāng)中，靠近中值附近的數(shù)值 數(shù)量最多，而偏離中值的數(shù)值數(shù)量則不斷減少。人類(lèi)社會(huì)的很多行為都符合正態(tài)分布的特點(diǎn)，我們常說(shuō)的"

13、;隨大流"也可以說(shuō)是一個(gè)體現(xiàn)吧：大多數(shù)人的行為都是非 常類(lèi)似的。一個(gè)典型的正態(tài)分布圖如圖14-5所示。在性能測(cè)試產(chǎn)生的數(shù)據(jù)中，足夠大量的響應(yīng)時(shí)間具有正態(tài)分布的特點(diǎn)。 圖14-5  正態(tài)分布（鐘形分布）示意圖【正態(tài)分布與標(biāo)準(zhǔn)偏差的關(guān)系】正態(tài)分布與標(biāo)準(zhǔn)偏差有很大的關(guān)系，一般來(lái)說(shuō)，標(biāo)準(zhǔn)偏差越小，數(shù)值越接近正態(tài)分布。因?yàn)檎龖B(tài)分布存在非常普遍，所以才擁有了Normal這樣的名字。一致分布（Uniform Distribution）顧名思義是指測(cè)試所取得的數(shù)據(jù)值相差很小，簡(jiǎn)單粗略地看，在圖中會(huì)表現(xiàn)為波動(dòng)很小的近似直線(xiàn)，如下面的情況?！緦?shí)戰(zhàn)演練】小白所在的公司每周要發(fā)送一個(gè)郵件

14、列表給注冊(cè)用戶(hù)，該列表的內(nèi)容實(shí)際上是一個(gè)由市場(chǎng)、銷(xiāo)售部門(mén)HTML頁(yè)面。由于發(fā)送程序運(yùn)行在數(shù)據(jù)庫(kù)服務(wù)器上（因 為每周一次，也是周日晚間發(fā)送，所以暫時(shí)沒(méi)有必要使用專(zhuān)門(mén)的服務(wù)器來(lái)完成），為了不顯著影響整體性能，需要對(duì)HTML頁(yè)面的大小進(jìn)行限制。為此，小白記錄 了若干次的文件大小，如表14-5所示。表14-5  每周郵件列表文件大小日    期文 件 大 小2008年9月6日47KB2008年9月13日48KB2008年9月20日47KB2008年9月27日48KB如果在Excel中對(duì)表14-5所列出的數(shù)據(jù)畫(huà)成圖，就可以看成是一致分布，如圖14-6所示。

15、0;圖14-6  郵件列表內(nèi)容文件大小呈一致分布每次郵件列表大小基本一致，是因?yàn)槭袌?chǎng)、銷(xiāo)售部充分利用了文件大小的上限，盡量爭(zhēng)取在有限的大小之內(nèi)，放入更多的宣傳內(nèi)容。當(dāng)然，在實(shí)際工作情形中，不一定每次都會(huì)出現(xiàn)這樣的情況。如果在性能測(cè)試中出現(xiàn)了一致分布的數(shù)據(jù)，測(cè)試工程師需要找出原因，一般來(lái)說(shuō)，這樣的數(shù)據(jù)反而是值得懷疑的。比如響應(yīng)時(shí)間，如果用戶(hù)的響應(yīng)時(shí)間驚人的一致，則要考慮是否有部分用戶(hù)因?yàn)槟承┰蚋緹o(wú)法訪(fǎng)問(wèn)網(wǎng)站等原因。在性能測(cè)試領(lǐng)域，置信度指的是測(cè)試結(jié)果與真實(shí)結(jié)果之間的差別。由于具體的測(cè)試結(jié)果是由用戶(hù)使用Web應(yīng)用方式的估計(jì)模型和性能測(cè)試方法決定的，因此也可以認(rèn)為置信度反映了網(wǎng)站人員與

16、最終用戶(hù)在使用該Web應(yīng)用上的相似度。【置信度舉例】舉例來(lái)說(shuō)，小白所在公司的人都認(rèn)為用戶(hù)將更喜歡網(wǎng)站的A欄目，因此在資源有限的情況下，測(cè)試部對(duì)該欄目的功能進(jìn)行了重點(diǎn)性能測(cè)試，并進(jìn)行了優(yōu)化，獲 得了不錯(cuò)的結(jié)果；但實(shí)際網(wǎng)站上線(xiàn)后，用戶(hù)卻更喜歡另外某個(gè)欄目，經(jīng)常使用的功能也與事先預(yù)想的不同。這就會(huì)導(dǎo)致性能測(cè)試結(jié)果與實(shí)際性能測(cè)量值有所誤差。這 種誤差大小的程度就是置信度。當(dāng)然，這樣的理解在數(shù)理統(tǒng)計(jì)方面并不嚴(yán)格，但對(duì)于性能測(cè)試工程師在工作中的使用已經(jīng)可以了。置信度越高，置信區(qū)間（Confidence Interval）也就越接近真實(shí)值的范圍。置信區(qū)間是指在某一置信度水平下，性能測(cè)試結(jié)果與Web應(yīng)用上線(xiàn)后

17、實(shí)際運(yùn)行結(jié)果間的誤差范圍。要知道在Web 應(yīng)用上線(xiàn)前，沒(méi)有誰(shuí)能準(zhǔn)確地預(yù)計(jì)用戶(hù)行為，因此有必要在進(jìn)行性能測(cè)試時(shí)預(yù)估一個(gè)置信度，再根據(jù)結(jié)果得到置信區(qū)間。【置信區(qū)間的實(shí)際使用】假設(shè)公司對(duì)網(wǎng)站響應(yīng)時(shí)間設(shè)置的合理值為10秒以下，置信度估計(jì)為80%。小白在對(duì)網(wǎng)站使用LoadRunner進(jìn)行并發(fā)測(cè)試后，發(fā)現(xiàn)：由于使用頁(yè)面 功能不同，最差的情況一次并發(fā)50個(gè)用戶(hù)就可能令第51個(gè)用戶(hù)響應(yīng)時(shí)間超標(biāo)；而最好的情況則是一次并發(fā)300個(gè)用戶(hù)才能令響應(yīng)時(shí)間超標(biāo)。那么，在測(cè)試結(jié)果 報(bào)告中，小白應(yīng)當(dāng)這樣進(jìn)行陳述：根據(jù)80%置信度，在一般工作負(fù)荷下，并發(fā)數(shù)為50×80%到300×80%，即40240個(gè)用戶(hù)，

18、都不會(huì)引起響應(yīng)時(shí)間 超標(biāo)。這里的40240就是置信區(qū)間。綜上所述，置信度也可以理解為一種形式的安全系數(shù)。前面講述了一些統(tǒng)計(jì)學(xué)的知識(shí)，實(shí)際目的都是為了使得我們的性能測(cè)試報(bào)告能夠更接近于真實(shí)，這樣才能發(fā)揮最大的作用。因此，在測(cè)試結(jié)果出來(lái)之后，并不要立刻發(fā)送測(cè)試報(bào)告，而是要先判斷取得的測(cè)試數(shù)據(jù)是否可靠，這樣的能力對(duì)于性能測(cè)試工程師來(lái)說(shuō)是非常必要的。數(shù)據(jù)可靠性有如下幾條經(jīng)驗(yàn)規(guī)則：（1）如果有超過(guò)20%的測(cè)試數(shù)據(jù)明顯與其他數(shù)據(jù)有很大差別，則應(yīng)該先檢查測(cè)試過(guò)程中是否出現(xiàn)問(wèn)題。這樣的情況是經(jīng)常發(fā)生的：小白使用很多臺(tái)測(cè)試機(jī) 器在下班后運(yùn)行自動(dòng)訪(fǎng)問(wèn)公司網(wǎng)站的腳本程序，從而記錄響應(yīng)時(shí)間等數(shù)據(jù)。但由于其中某些機(jī)器設(shè)

19、置了Windows系統(tǒng)默認(rèn)凌晨3點(diǎn)發(fā)生的自動(dòng)更新，可能會(huì)強(qiáng) 迫重啟電腦，從而導(dǎo)致測(cè)試中斷，在重啟過(guò)程中取得的響應(yīng)時(shí)間數(shù)據(jù)當(dāng)然是不可靠的。（2）如果進(jìn)行了多次相同目的的性能測(cè)試，如果某一次測(cè)試絕大多數(shù)結(jié)果比其他幾次測(cè)試中最大的結(jié)果都要大，或者比它們當(dāng)中最小的結(jié)果都要小，那么應(yīng) 該考慮這次測(cè)試結(jié)果的有效性問(wèn)題。這一點(diǎn)是很好理解的。至于絕大多數(shù)的比例設(shè)定為多少，可以根據(jù)實(shí)際情況來(lái)定，一般至少在75%以上。根據(jù)以上這兩條基本原則，再結(jié)合具體被測(cè)試軟件的實(shí)際情況，就可以判斷出哪些數(shù)據(jù)是可靠的，哪些數(shù)據(jù)是不可靠的。有了可靠的數(shù)據(jù)，才能編寫(xiě)出可靠的測(cè)試報(bào)告，這是最重要的一點(diǎn)。在14.2節(jié)，本書(shū)將簡(jiǎn)要介紹性能

20、測(cè)試結(jié)果的分析方法，這是性能測(cè)試報(bào)告的關(guān)鍵。14.2  性能測(cè)試結(jié)果分析方法在14.1節(jié)中我們學(xué)習(xí)了對(duì)于性能測(cè)試數(shù)據(jù)有效性的判斷，并且利用統(tǒng)計(jì)學(xué)知識(shí)與以往經(jīng)驗(yàn)從中可以得到性能概況。另外，還可以根據(jù)幾條經(jīng)驗(yàn)規(guī)則對(duì)懷疑數(shù)據(jù)進(jìn)行剔除。在本節(jié)中將講解如何對(duì)現(xiàn)有有效的數(shù)據(jù)進(jìn)行分析，并據(jù)此得到性能好與壞的結(jié)論，為編寫(xiě)性能測(cè)試報(bào)告做準(zhǔn)備。對(duì)性能測(cè)試結(jié)果進(jìn)行分析需要依次進(jìn)行以下幾個(gè)步驟：（1）判斷影響性能的因素。（2）運(yùn)用隔離、對(duì)比等方法進(jìn)行趨勢(shì)判斷。（3）記錄各個(gè)結(jié)果，發(fā)現(xiàn)規(guī)律。判斷影響Web應(yīng)用性能的因素其實(shí)一般發(fā)生在性能測(cè)試的設(shè)計(jì)階段，但列在這里也是適當(dāng)?shù)?，因?yàn)椋涸趯?shí)際工作中，設(shè)計(jì)階段可能對(duì)于

21、影響因素考慮不足，導(dǎo)致有些因素沒(méi)有考慮到。這種情況會(huì)令測(cè)試結(jié)果不完全，要增加測(cè)試的運(yùn)行。設(shè)計(jì)階段也可能出現(xiàn)考慮影響因素過(guò)多的情況，這需要在測(cè)試數(shù)據(jù)中進(jìn)行判斷，從而將無(wú)關(guān)的因素去除。該情況下那些多余的測(cè)試結(jié)果并非沒(méi)有益處，因?yàn)檎撬鼈?，使得性能測(cè)試工程師得以發(fā)現(xiàn)了無(wú)關(guān)因素。在Web應(yīng)用領(lǐng)域，影響性能的因素有用戶(hù)數(shù)量、服務(wù)器性能（請(qǐng)見(jiàn)前面章節(jié)有關(guān)性能計(jì)數(shù)器的部分）、網(wǎng)絡(luò)帶寬、客戶(hù)端軟件配置等多種。由于這些因素是綜合起作用的，它們對(duì)Web應(yīng)用的影響可以組合出很多種情況，其中部分如表14-6所示。表14-6  影響性能各因素的部分組合情況編號(hào)用戶(hù)數(shù)量服務(wù)器性能網(wǎng)絡(luò)帶寬客戶(hù)端軟件配置1變化不變不變不變2變化不變變化變化3變化不變不變變化可以知道，這樣的組合還有很多種，如果都針對(duì)它們進(jìn)行測(cè)試，在大多數(shù)情況下（時(shí)間、人力、軟件發(fā)布要求等要求比較嚴(yán)格緊迫）是不可能完成的任務(wù)。因此，有必要使用隔離的方法進(jìn)行精簡(jiǎn)。不過(guò)，值得一提的是，對(duì)性能做出正確判斷需要足夠多的測(cè)試數(shù)