性能測(cè)試指標(biāo)

1、Web性能測(cè)試的部分概況一般來(lái)說(shuō)，一個(gè)Web請(qǐng)求的處理包括以下步驟：（1）客戶發(fā)送請(qǐng)求（2）web server 接受到請(qǐng)求，進(jìn)行處理；（3）web server 向DB獲取數(shù)據(jù)；（4）web server生成用戶的object(頁(yè)面)，返回給用戶。給客戶發(fā)送請(qǐng)求開(kāi)始到最后一個(gè)字節(jié)的時(shí)間稱為響應(yīng)時(shí)間（第三步不包括在每次請(qǐng)求處理中）。1.事務(wù)（Transaction）在web性能測(cè)試中，一個(gè)事務(wù)表示一個(gè)“從用戶發(fā)送請(qǐng)求->web server接受到請(qǐng)求，進(jìn)行處理-> web server向DB獲取數(shù)據(jù)->生成用戶的object(頁(yè)面)，返回給用戶”的過(guò)程，一般的響應(yīng)時(shí)間都是針對(duì)

2、事務(wù)而言的。2.請(qǐng)求響應(yīng)時(shí)間請(qǐng)求響應(yīng)時(shí)間指的是從客戶端發(fā)起的一個(gè)請(qǐng)求開(kāi)始，到客戶端接收到從服務(wù)器端返回的響應(yīng)結(jié)束，這個(gè)過(guò)程所耗費(fèi)的時(shí)間，在某些工具中，響應(yīng)通常會(huì)稱為“TTLB”，即"time to last byte"，意思是從發(fā)起一個(gè)請(qǐng)求開(kāi)始，到客戶端接收到最后一個(gè)字節(jié)的響應(yīng)所耗費(fèi)的時(shí)間，響應(yīng)時(shí)間的單位一般為“秒”或者“毫秒”。一個(gè)公式可以表示：響應(yīng)時(shí)間網(wǎng)絡(luò)響應(yīng)時(shí)間+應(yīng)用程序響應(yīng)時(shí)間。標(biāo)準(zhǔn)可參考國(guó)外的3/5/10原則：（1）在3秒鐘之內(nèi)，頁(yè)面給予用戶響應(yīng)并有所顯示，可認(rèn)為是“很不錯(cuò)的”；（2）在35秒鐘內(nèi)，頁(yè)面給予用戶響應(yīng)并有所顯示，可認(rèn)為是“好的”；（3）在510秒鐘內(nèi)

3、，頁(yè)面給予用戶響應(yīng)并有所顯示，可認(rèn)為是“勉強(qiáng)接受的”；（4）超過(guò)10秒就讓人有點(diǎn)不耐煩了，用戶很可能不會(huì)繼續(xù)等待下去；3、事務(wù)響應(yīng)時(shí)間 事務(wù)可能由一系列請(qǐng)求組成,事務(wù)的響應(yīng)時(shí)間主要是針對(duì)用戶而言,屬于宏觀上的概念，是為了向用戶說(shuō)明業(yè)務(wù)響應(yīng)時(shí)間而提出的.例如:跨行取款事務(wù)的響應(yīng)時(shí)間就是由一系列的請(qǐng)求組成的.事務(wù)響應(yīng)時(shí)間是直接衡量系統(tǒng)性能的參數(shù).4.并發(fā)用戶數(shù)并發(fā)一般分為2種情況。一種是嚴(yán)格意義上的并發(fā)，即所有的用戶在同一時(shí)刻做同一件事情或者操作，這種操作一般指做同一類型的業(yè)務(wù)。比如在信用卡審批業(yè)務(wù)中，一定數(shù)目的擁護(hù)在同一時(shí)刻對(duì)已經(jīng)完成的審批業(yè)務(wù)進(jìn)行提交；還有一種特例，即所有用戶進(jìn)行完全一樣的 操

4、作，例如在信用卡審批業(yè)務(wù)中，所有的用戶可以一起申請(qǐng)業(yè)務(wù)，或者修改同一條記錄。另外一種并發(fā)是廣義范圍的并發(fā)。這種并發(fā)與前一種并發(fā)的區(qū)別是，盡管多個(gè)用戶對(duì)系統(tǒng)發(fā)出了請(qǐng)求或者進(jìn)行了操作，但是這些請(qǐng)求或者操作可以是相同的，也可以是不同的。對(duì)整個(gè)系統(tǒng)而言，仍然是有很多用戶同時(shí)對(duì)系統(tǒng)進(jìn)行操作，因此也屬于并發(fā)的范疇。可以看出，后一種并發(fā)是包含前一種并發(fā)的。而且后一種并發(fā)更接近用戶的實(shí)際使用情況，因此對(duì)于大多數(shù)的系統(tǒng)，只有數(shù)量很少的用戶進(jìn)行“嚴(yán)格意義上的并發(fā)”。對(duì)于WEB性能測(cè)試而言，這2種并發(fā)情況一般都需要進(jìn)行測(cè)試，通常做法是先進(jìn)行嚴(yán)格意義上的并發(fā)測(cè)試。嚴(yán)格意義上的用戶并發(fā)一般發(fā)生在使用比較頻繁的模塊中，盡

5、管發(fā)生的概率不是很大，但是一旦發(fā)生性能問(wèn)題，后果很可能是致命的。嚴(yán)格意義上的并發(fā)測(cè)試往往和功能測(cè)試關(guān)聯(lián)起來(lái)，因?yàn)椴l(fā)功能遇到異常通常都是程序問(wèn)題，這種測(cè)試也是健壯性和穩(wěn)定性測(cè)試的一部分。用戶并發(fā)數(shù)量：關(guān)于用戶并發(fā)的數(shù)量，有2種常見(jiàn)的錯(cuò)誤觀點(diǎn)。 一種錯(cuò)誤觀點(diǎn)是把并發(fā)用戶數(shù)量理解為使用系統(tǒng)的全部用戶的數(shù)量，理由是這些用戶可能同時(shí)使用系統(tǒng)；還有一種比較接近正確的觀點(diǎn)是把在線用戶數(shù)量理解為并發(fā)用戶數(shù)量。實(shí)際上在線用戶也不一定會(huì)和其他用戶發(fā)生并發(fā)，例如正在瀏覽網(wǎng)頁(yè)的用戶，對(duì)服務(wù)器沒(méi)有任何影響，但是，在線用戶數(shù)量是計(jì)算并發(fā)用戶數(shù)量的主要依據(jù)之一。5.吞吐量指的是在一次性能測(cè)試過(guò)程中網(wǎng)絡(luò)上傳輸?shù)臄?shù)據(jù)量的總和

6、.吞吐量/傳輸時(shí)間,就是吞吐率.6、TPS（transaction per second）每秒鐘系統(tǒng)能夠處理的交易或者事務(wù)的數(shù)量.它是衡量系統(tǒng)處理能力的重要指標(biāo).7、點(diǎn)擊率每秒鐘用戶向WEB服務(wù)器提 交的HTTP請(qǐng)求數(shù).這個(gè)指標(biāo)是WEB應(yīng)用特有的一個(gè)指標(biāo):WEB應(yīng)用是"請(qǐng)求-響應(yīng)"模式,用戶發(fā)出一次申請(qǐng),服務(wù)器就要處理一次,所以點(diǎn)擊是WEB應(yīng)用能夠處理的交易的最小單位.如果把每次點(diǎn)擊定義為一個(gè)交易,點(diǎn)擊率和TPS就是一個(gè)概念.容易看出,點(diǎn)擊率越大,對(duì)服務(wù)器的壓力越大.點(diǎn)擊率只是一個(gè)性能參考指標(biāo),重要的是分析點(diǎn)擊時(shí)產(chǎn)生的影響。需要注意的是,這里的點(diǎn)擊并非指鼠標(biāo)的一次單擊操作,

7、因?yàn)樵谝淮螁螕舨僮髦?客戶端可能向服務(wù)器發(fā)出多個(gè)HTTP請(qǐng)求.8.資源利用率指的是對(duì)不同的系統(tǒng)資源的使用程度,例如服務(wù)器的CPU利用率,磁盤(pán)利用率等.資源利用率是分析系統(tǒng)性能指標(biāo)進(jìn)而改善性能的主要依據(jù),因此是WEB性能測(cè)試工作的重點(diǎn).資源利用率主要針對(duì)WEB服務(wù)器,操作系統(tǒng),數(shù)據(jù)庫(kù)服務(wù)器,網(wǎng)絡(luò)等,是測(cè)試和分析瓶頸的主要參考.在WEB性能測(cè)試中,更根據(jù)需要采集相應(yīng)的參數(shù)進(jìn)行分析。通用指標(biāo)（指Web應(yīng)用服務(wù)器、數(shù)據(jù)庫(kù)服務(wù)器必需測(cè)試項(xiàng))指標(biāo)說(shuō)明ProcessorTime服務(wù)器CPU占用率，一般平均達(dá)到70%時(shí)，服務(wù)就接近飽和Memory Available Mbyte可用內(nèi)存數(shù)，如果測(cè)試時(shí)發(fā)現(xiàn)內(nèi)存有

8、變化情況也要注意，如果是內(nèi)存泄露則比較嚴(yán)重Physicsdisk Time物理磁盤(pán)讀寫(xiě)時(shí)間情況Web服務(wù)器指標(biāo)指標(biāo)說(shuō)明Requests Per Second（Avg Rps）平均每秒鐘響應(yīng)次數(shù)總請(qǐng)求時(shí)間 / 秒數(shù)Avg time to last byte per terstion （mstes）平均每秒業(yè)務(wù)腳本的迭代次數(shù) ,有人會(huì)把上面那個(gè)混淆Successful Rounds成功的請(qǐng)求Failed Requests失敗的請(qǐng)求Successful Hits成功的點(diǎn)擊次數(shù)Failed Hits失敗的點(diǎn)擊次數(shù)Hits Per Second每秒點(diǎn)擊次數(shù)Successful Hits Per Seco

9、nd每秒成功的點(diǎn)擊次數(shù)Failed Hits Per Second每秒失敗的點(diǎn)擊次數(shù)Attempted Connections嘗試鏈接數(shù)數(shù)據(jù)庫(kù)服務(wù)器性能指標(biāo)指標(biāo)說(shuō)明User 0 Connections用戶連接數(shù)，也就是數(shù)據(jù)庫(kù)的連接數(shù)量Number of deadlocks數(shù)據(jù)庫(kù)死鎖Butter Cache hit數(shù)據(jù)庫(kù)Cache的命中情況系統(tǒng)的瓶頸定義性能項(xiàng)命令指標(biāo)CPU限制vmstat當(dāng)%user+%sys超過(guò)80%時(shí)磁盤(pán)I/O限制Vmstat當(dāng)%iowait超過(guò)40%(AIX4.3.3或更高版本)時(shí)應(yīng)用磁盤(pán)限制Iostat當(dāng)%tm_act超過(guò)70%時(shí)虛存空間少Lsps，-a當(dāng)分頁(yè)空間的活動(dòng)

10、率超過(guò)70%時(shí)換頁(yè)限制Iostat, stat虛存邏輯卷%tm_act超過(guò)I/O(iostat)的30%，激活的虛存率超過(guò)CPU數(shù)量(vmstat)的10倍時(shí)系統(tǒng)失效Vmstat, sar頁(yè)交換增大、CPU等待并運(yùn)行隊(duì)列穩(wěn)定系統(tǒng)的資源狀態(tài)性能項(xiàng)資源評(píng)價(jià)CPU占用率70%好85%壞90%+很差磁盤(pán)I/0<30%好<40%壞<50%+很差網(wǎng)絡(luò)<30%帶寬好運(yùn)行隊(duì)列<2*CPU數(shù)量好內(nèi)存沒(méi)有頁(yè)交換好每個(gè)CPU每秒10個(gè)頁(yè)交換壞更多的頁(yè)交換很差通俗理解：日訪問(wèn)量常用頁(yè)面最大并發(fā)數(shù)同時(shí)在線人數(shù)訪問(wèn)相應(yīng)時(shí)間案例：最近公司一個(gè)項(xiàng)目，是個(gè)門(mén)戶網(wǎng)站，需要做性能測(cè)試，根據(jù)項(xiàng)目特點(diǎn)定出

11、了主要測(cè)試項(xiàng)和測(cè)試方案：一種是測(cè)試幾個(gè)常用頁(yè)面能接受的最大并發(fā)數(shù)(用戶名參數(shù)化，設(shè)置集合點(diǎn)策略)一種是測(cè)試服務(wù)器長(zhǎng)時(shí)間壓力下，用戶能否正常操作(用戶名參數(shù)化，迭代運(yùn)行腳本) 一種則需要測(cè)試服務(wù)器能否接受10萬(wàn)用戶同時(shí)在線操作，如果是用IIS做應(yīng)用服務(wù)器的話，單臺(tái)可承受的最大并發(fā)數(shù)不可能達(dá)到10萬(wàn)級(jí)，那就必須要使用集 群，通過(guò)多臺(tái)機(jī)器做負(fù)載均衡來(lái)實(shí)現(xiàn)；如果是用websphere之類的應(yīng)用服務(wù)器的話，單臺(tái)可承受的最大并發(fā)數(shù)可以達(dá)到10萬(wàn)級(jí)，但為性能考慮還是必須要 使用集群，通過(guò)多臺(tái)機(jī)器做負(fù)載均衡來(lái)實(shí)現(xiàn)；通常有1個(gè)簡(jiǎn)單的計(jì)算方式，1個(gè)連接產(chǎn)生1個(gè)session，每個(gè)session在服務(wù)器上有個(gè)內(nèi)存空

12、間大小的 設(shè)置，在NT上是3M，那么10萬(wàn)并發(fā)就需要300G內(nèi)存，當(dāng)然實(shí)際使用中考慮其他程序也占用內(nèi)存，所以準(zhǔn)備的內(nèi)存數(shù)量要求比這個(gè)還要多一些。還有10萬(wàn)個(gè)用戶同時(shí)在線，跟10萬(wàn)個(gè)并發(fā)數(shù)是完全不同的2個(gè)概念。這個(gè)樓上已經(jīng)說(shuō)了。但如何做這個(gè)轉(zhuǎn)換將10萬(wàn)個(gè)同時(shí)在線用戶轉(zhuǎn)換成多少個(gè)并發(fā)數(shù)呢？這就必須要有大量的歷史日志信息來(lái)支撐了。系統(tǒng)日志需要有同時(shí)在線用戶數(shù)量的日志信息，還需要有用戶操作次數(shù)的日志信息，這2個(gè)數(shù)據(jù)的比例就是你同時(shí)在線用戶轉(zhuǎn)換到并發(fā)數(shù)的比例。另外根據(jù)經(jīng)驗(yàn)統(tǒng)計(jì)，對(duì)于1個(gè)JAVA開(kāi)發(fā)的WEB系 統(tǒng)（別的我沒(méi)統(tǒng)計(jì)過(guò)，給不出數(shù)據(jù)），一般1臺(tái)雙CPU、2G內(nèi)存的服務(wù)器上可支持的最大并發(fā)數(shù)不超過(guò)5

13、00個(gè)（這個(gè)狀態(tài)下大部分操作都是超時(shí)報(bào)錯(cuò)而且服務(wù) 器很容易宕機(jī)，其實(shí)沒(méi)什么實(shí)際意義），可正常使用（單步非大數(shù)據(jù)量操作等待時(shí)間不超過(guò)20秒）的最大并發(fā)數(shù)不超過(guò)300個(gè)。假設(shè)你的10萬(wàn)同時(shí)在線用戶轉(zhuǎn) 換的并發(fā)數(shù)是9000個(gè)，那么你最少需要這樣的機(jī)器18臺(tái)，建議不少于30臺(tái)。當(dāng)然，你要是買個(gè)大型服務(wù)器，里面裝有200個(gè)CPU、256G的內(nèi)存，千 兆光纖帶寬，就算是10萬(wàn)個(gè)并發(fā)用戶，那速度，也絕對(duì)是嗖嗖的。另外暴寒1下，光設(shè)置全部進(jìn)入運(yùn)行狀態(tài)就需要接近6個(gè)小時(shí)。具體的可以拿1個(gè)系統(tǒng)來(lái)壓一下看看，可能會(huì)出現(xiàn)以下情況：1、服務(wù)器宕機(jī)；2、客戶端宕機(jī)；3、從某個(gè)時(shí)間開(kāi)始服務(wù)器拒絕請(qǐng)求，客戶端上顯示的全是錯(cuò)誤

14、；4、勉強(qiáng)測(cè)試完成，但網(wǎng)絡(luò)堵塞或測(cè)試結(jié)果顯示時(shí)間非常長(zhǎng)。假設(shè)客戶端和服務(wù)器之間百兆帶寬，百兆/10000=10K，那每個(gè)用戶只能得到10K，這個(gè)速度接近1個(gè)64K的MODEM上網(wǎng)的速度；另外以上分析全都沒(méi)考慮系統(tǒng)的后臺(tái)，比如數(shù)據(jù)庫(kù)、中間件等。1、服務(wù)器方面：上面說(shuō)的那樣的PC SERVER需要50臺(tái)；2、網(wǎng)絡(luò)方面：按每個(gè)用戶50K，那至少5根百兆帶寬獨(dú)享，估計(jì)僅僅網(wǎng)絡(luò)延遲就大概是秒一級(jí)的；3、如果有數(shù)據(jù)庫(kù)，至少是ORACLE，最好是SYSBASE，SQLSERVER是肯定頂不住的。數(shù)據(jù)庫(kù)服務(wù)器至少需要10臺(tái)4CPU、16G內(nèi)存的機(jī)器；4、如果有CORBA，那至少再準(zhǔn)備10臺(tái)4CPU、16G內(nèi)存

15、的機(jī)器；再加上負(fù)載均衡、防火墻、路由器和各種軟件等，總之沒(méi)個(gè)1000萬(wàn)的資金投入，肯定搞不定。 這樣的門(mén)戶系統(tǒng)，由于有用戶權(quán)限，所以并不象jackie所說(shuō)大多是靜態(tài)頁(yè)面。但只要是多服務(wù)器的集群，那么我們就可以通過(guò)1臺(tái)機(jī)器的測(cè)試結(jié)果來(lái)計(jì)算多 臺(tái)機(jī)器集群后的負(fù)載能力的，最多額外考慮一下負(fù)載均衡和路由上的壓力，比如帶寬、速度、延遲等。但如果都是在1臺(tái)機(jī)器上變化，那我們只能做一些指標(biāo)上的計(jì) 算，可以從這些指標(biāo)上簡(jiǎn)單判斷一下是否不可行，比如10萬(wàn)并發(fā)用戶卻只有1根百兆帶寬，那我們可以計(jì)算出每個(gè)用戶只有1K帶寬，這顯然是不可行的。但實(shí)際 的結(jié)果還是需要測(cè)試了才知道，畢竟系統(tǒng)壓力和用戶數(shù)量不是線性變化的。 這一類