軟件性能測試概述

性能測試培訓(xùn)講師：馬老師（北風(fēng)網(wǎng))壓力測試工具Load

Runner培訓(xùn)第一章：性能測試概述概述在本次培訓(xùn)， 學(xué)習(xí)：性能測試簡介及工具介紹性能測試的入門知識性能測試的內(nèi)容性能測試的步驟性能測試的指標(biāo)壓力測試性能測試存在問題性能測試需求分析2020/11/26性能測試概述性能測試的基礎(chǔ)知識性能測試的內(nèi)容性能測試的步驟性能測試的指標(biāo)壓力測試課程2020/11/26性能測試是系統(tǒng)測試的一種。在 質(zhì)量模型中，性能測試是屬于效率一類質(zhì)量模型：一組特性及特性之間的關(guān)系，他提供規(guī)定質(zhì)量需求和評價質(zhì)量的基礎(chǔ)。效率：在規(guī)定條件下，相對于所用資源的數(shù)量，產(chǎn)品可提供適當(dāng)?shù)男阅艿哪芰?，其中資源可能包括其他軟件產(chǎn)品、系統(tǒng)的 硬件配置，以及物質(zhì)材料。性能測試的概念2020/11/26衡量一個

的性能，需要從考慮：效率的以下3點(diǎn)時間特性：在規(guī)定條件下， 產(chǎn)品執(zhí)行其功能時，提供適當(dāng)?shù)捻憫?yīng)和處理時間以及吞吐率的能力。資源利用性：在規(guī)定條件下， 產(chǎn)品執(zhí)行其功能時，使用合適數(shù)量和類別的資源的能力。效率依賴性： 產(chǎn)品遵循與效率相關(guān)的標(biāo)準(zhǔn)或約定的能力的性能的衡量2020/11/26綜上所述：性能測試（performance

testing）的定義為：在一定的負(fù)載情況下，系統(tǒng)的響應(yīng)時間等特性是否滿足特定的性能需求。從某些角度來說，性能其實是功能的一種。定義中包含了負(fù)載，響應(yīng)時間等一些基礎(chǔ)知識和概念性能測試的定義2020/11/26性能測試概述性能測試的基礎(chǔ)知識性能測試的內(nèi)容性能測試的步驟性能測試的指標(biāo)壓力測試課程2020/11/26負(fù)載系統(tǒng)實際用戶：可能會有很多人使用同一個系統(tǒng)，但并不是所有的用戶都會同時使用該系統(tǒng)，所以系統(tǒng)的實際用戶是一個容量的問題，而不是負(fù)載的問題。系統(tǒng) 用戶:當(dāng)系統(tǒng)用戶對系統(tǒng)進(jìn)行操作時，我們認(rèn)為該用戶為

用戶，這些用戶對系統(tǒng)形成了負(fù)載， 用戶和實際用戶的比例是根據(jù)系統(tǒng)特性決定的。性能測試的基礎(chǔ)知識2020/11/26并發(fā)操作:用戶 后會對系統(tǒng)產(chǎn)生負(fù)載，但是用戶和用戶之間的操作卻不是并發(fā)的，這是因為首先用戶的操作需求延時等待，其次每個用戶的操作并不是完全相同。并發(fā)操作會對系統(tǒng)產(chǎn)生很大的負(fù)載，當(dāng)多個用戶同時對某個功能進(jìn)行操作時，服務(wù)器必須對這些請求進(jìn)行隊列管理，依次處理。負(fù)載的產(chǎn)生2020/11/26評估系統(tǒng)的能力識別體系中的弱點(diǎn)系統(tǒng)調(diào)優(yōu)驗證可伸縮性（resilience）和可靠性（reliability）性能測試的目的2020/11/26性能測試概述性能測試的基礎(chǔ)知識性能測試的內(nèi)容性能測試的步驟性能測試的指標(biāo)壓力測試課程2020/11/26負(fù)載測試Load

Testing壓力測試Stress

Testing容量測試Volumn

Testing網(wǎng)絡(luò)性能測試Network

Performance

Test……性能測試的內(nèi)容2020/11/26壓力測試是指在一定的、硬件及網(wǎng)絡(luò)環(huán)境下，運(yùn)行一種或多種業(yè)務(wù)，在不同虛擬用戶數(shù)量的情況下，測試服務(wù)器的性能指標(biāo)是否在用戶的要求范圍內(nèi)，以此確定系統(tǒng)所能承載的最大用戶數(shù)、最大有效用戶數(shù)及不同用戶數(shù)下的系統(tǒng)響應(yīng)時間及服務(wù)器的資源利用率。目的：發(fā)現(xiàn)系統(tǒng)的負(fù)載極限壓力測試強(qiáng)調(diào)的是在一定的環(huán)境下系統(tǒng)能夠達(dá)到的峰值指標(biāo)，大多數(shù)的性能測試都是壓力測試壓力測試（stress

testing）2020/11/26負(fù)載測試是指在一定的、硬件及網(wǎng)絡(luò)環(huán)境下，模擬大量的虛擬用戶向服務(wù)器產(chǎn)生負(fù)載，使服務(wù)器的資源處于極限狀態(tài)下并長時間的持續(xù)運(yùn)行，以測試服務(wù)器的高負(fù)載情況下是否能夠穩(wěn)定工作。與負(fù)載測試獲得峰值性能數(shù)據(jù)不同，負(fù)載測試強(qiáng)調(diào)在極端情況下系統(tǒng)的穩(wěn)定性，這個時候處理能力已經(jīng)不重要了。負(fù)載測試（load

testing

）2020/11/26容量測試是指在一定的 、硬件及網(wǎng)絡(luò)環(huán)境下，在數(shù)據(jù)庫中構(gòu)造不同的數(shù)量級別的數(shù)據(jù)記錄，運(yùn)行一種或者多種業(yè)務(wù)在一定的虛擬用戶數(shù)量的情況下，獲取不同數(shù)量級別的服務(wù)器性能指標(biāo)，以確定數(shù)據(jù)庫的最佳容量和最大容量。容量測試不僅可以對數(shù)據(jù)庫進(jìn)行，還可以對硬件處理能力、各種服務(wù)器的連接能力等進(jìn)行，以此來測試系統(tǒng)在不同容量級別下是否能達(dá)到指定的性能。容量測試和負(fù)載測試的區(qū)別在于，容量測試主要關(guān)心how

much,而負(fù)載測試同時強(qiáng)調(diào)how

much

和how

fast.容量測試（volume

testing）2020/11/26測試網(wǎng)絡(luò)帶寬、延遲、負(fù)載和端口的變化對用戶的響應(yīng)時間的影響主要是測試用戶數(shù)目與網(wǎng)絡(luò)帶寬的關(guān)系網(wǎng)絡(luò)性能測試2020/11/26性能測試概述性能測試的基礎(chǔ)知識性能測試的內(nèi)容性能測試的步驟性能測試的指標(biāo)壓力測試課程2020/11/26制定目標(biāo)和分析系統(tǒng)選擇測試度量的方法選擇相關(guān)技術(shù)和工具制定評估標(biāo)準(zhǔn)設(shè)計測試用例運(yùn) 試用例分析性能測試的步驟2020/11/26制定目標(biāo)確定客戶需求和期望確定實際業(yè)務(wù)需求確定系統(tǒng)需求分析系統(tǒng)系統(tǒng)類別系統(tǒng)構(gòu)成系統(tǒng)功能制定目標(biāo)和分析系統(tǒng)2020/11/26制定規(guī)范制定相關(guān)流程,角色，職責(zé)制定改進(jìn)策略制定結(jié)果對比標(biāo)準(zhǔn)選擇測試度量的方法2020/11/26對各種性能測試工具進(jìn)行評估選擇符合現(xiàn)有 架構(gòu)的性能測試工具選擇相關(guān)技術(shù)和工具2020/11/26用大量過去的，擴(kuò)展的或者將來可能發(fā)生的數(shù)據(jù)組成散布圖，利用這個圖表不斷和系統(tǒng)的當(dāng)前狀況對比定義最初的測試作為標(biāo)準(zhǔn)，利用它和所有后來進(jìn)行的

進(jìn)行對比制定評估標(biāo)準(zhǔn)2020/11/26了解

業(yè)務(wù)流程測試工具可以實現(xiàn)一次盡可能的包含多個測試要素盡可能發(fā)現(xiàn)

的性能瓶頸設(shè)計測試用例2020/11/26通過性能測試工具運(yùn)

試用例在不同的測試環(huán)境上運(yùn)行執(zhí)

試用例2020/11/26收集相關(guān)信息進(jìn)行數(shù)據(jù)統(tǒng)計分析尋找性能瓶頸不同的體系結(jié)構(gòu)分析的方法也不同分析2020/11/26性能測試概述性能測試的基礎(chǔ)知識性能測試的內(nèi)容性能測試的步驟性能測試的指標(biāo)壓力測試課程2020/11/26響應(yīng)時間吞吐量服務(wù)器資源占用內(nèi)存（Memory）磁盤（Physical

Disk）處理器（Processor）網(wǎng)絡(luò)性能指標(biāo)種類2020/11/26在某數(shù)據(jù)量的情況下，完成某功能模塊所需要的時間例如：從單擊登陸按鈕到登陸完成返回登陸成功頁面需要消耗1秒鐘，那么就說這個操作的響應(yīng)時間是1秒.在性能測試中是通過事務(wù)函數(shù)來完成對響應(yīng)時間的統(tǒng)計，事務(wù)是指做某件事情的操作，事務(wù)函數(shù)會記錄開始做這件事情和該事情做完之間的時間差，使用transaction

response

time這個詞來說明，也稱為事務(wù)響應(yīng)時間響應(yīng)時間2020/11/26有

統(tǒng)計，對于一個用戶來說，如果某系統(tǒng)的響應(yīng)時間小于2秒，那么用戶會感覺系統(tǒng)很快，比較滿意；如果

某系統(tǒng)的響應(yīng)時間在2~5秒，那么用戶可以接受，但是對速度有些不滿；如果系統(tǒng)的響應(yīng)時間超過10秒，用戶將無法接受。對于一個系統(tǒng)來說，需要盡可能保證每一個操作的響應(yīng)時間控制在5秒以內(nèi)，當(dāng)然某些特殊的操作可能會大大超出這個響應(yīng)時間，可以通過loading

bar的方式來提前告訴用戶。響應(yīng)時間2020/11/26吞吐量反映單位時間內(nèi)能夠處理的事務(wù)條目。例如對于系統(tǒng)來說一個用戶登陸需要1秒鐘，如果系統(tǒng)同時支持10個用戶登陸，且相同時間是1秒，那么系統(tǒng)的吞吐量就是10個/秒。在性能測試工具中，吞吐量也被稱為TPS（transaction

per

second，每秒事務(wù)數(shù)）也就是說在單位時間內(nèi)能完成的事務(wù)數(shù)目。TPS的計算一般是通過的事務(wù)除以時間。吞吐量2020/11/26服務(wù)器資源占用反映在負(fù)載下系統(tǒng)的資源利用率。資源的占有率低，說明系統(tǒng)越優(yōu)秀。資源并不僅僅指運(yùn)行系統(tǒng)的硬件，而是支持整個系統(tǒng)運(yùn)行程序的一切軟硬件平臺。在性能測試中，我們需要系統(tǒng)在負(fù)載下的硬件和上各種資源的占用情況，例如CPU的占有率、內(nèi)存使用率、查詢cache等。服務(wù)器資源占用2020/11/26Committed

Bytes

in

Use

已使用的內(nèi)存Available

Bytes

空閑的內(nèi)存Page

Faults/sec

失敗的每秒頁交換Pages/sec

每秒頁交換內(nèi)存（Memory）2020/11/26Disk

Time

磁盤讀寫時間Idle

Time

磁盤空閑Avg.Disk

Queue

Length

平均隊列長度Current

Disk

Queue

Length

當(dāng)前隊列長度磁盤（Physical

Disk）2020/11/26Processor

TimeUser

TimeProcessor

Queue

Length處理器（Processor）2020/11/26Bytes

Total/secPackets/sec網(wǎng)絡(luò)2020/11/26性能測試概述性能測試的基礎(chǔ)知識性能測試的內(nèi)容性能測試的步驟性能測試的指標(biāo)壓力測試課程2020/11/26壓力測試概述壓力測試流程壓力測試工具壓力測試2020/11/26壓力在同一時間內(nèi)或某一時間內(nèi)，向系統(tǒng)發(fā)送預(yù)期數(shù)量的交易請求并發(fā)交易請求遞增交易請求并發(fā)遞增交易請求壓力測試測試系統(tǒng)在不同壓力情況下的效率狀況，以及系統(tǒng)可以承受的壓力情況壓力測試的概念2020/11/26B/S系統(tǒng)C/S系統(tǒng)其他復(fù)雜系統(tǒng)壓力測試的對象2020/11/26發(fā)現(xiàn)影響系統(tǒng)性能的瓶頸評價系統(tǒng)性能對系統(tǒng)資源進(jìn)行優(yōu)化提高響應(yīng)時間與吞吐量壓力測試的目的2020/11/26不能窮盡所有的情況或案例不能100%地達(dá)到需求壓力測試的局限2020/11/26原因并發(fā)運(yùn)行時間長壓力測試能夠發(fā)現(xiàn)缺陷2020/11/26缺陷類型線程內(nèi)存泄漏死鎖壓力測試能夠發(fā)現(xiàn)缺陷2020/11/26缺陷特點(diǎn)隱蔽其他技術(shù)發(fā)現(xiàn)不了最難解決壓力測試能夠發(fā)現(xiàn)缺陷2020/11/26壓力測試流程圖測試計劃測試用例模擬多用戶設(shè)置并發(fā)點(diǎn)執(zhí)試用例/監(jiān)測系統(tǒng)資源分析結(jié)果是否接受結(jié)果測試報告YN2020/11/26壓力測試計劃分析應(yīng)用系統(tǒng)定義壓力測試對象與目標(biāo)評審修改壓力測試計劃選擇壓力測試工具2020/11/26明確測試目的準(zhǔn)備測試環(huán)境確定測試數(shù)據(jù)確定測試運(yùn)行程序（明確預(yù)期結(jié)果等）壓力測試用例2020/11/26來模擬多用戶執(zhí)行方法通過多進(jìn)程運(yùn)行相同或不同的測試相同或不同的任務(wù)通過發(fā)包程序發(fā)送數(shù)據(jù)包測試數(shù)據(jù)參數(shù)化找到需要參數(shù)化的域合理的設(shè)置輸入數(shù)據(jù)模擬多用戶2020/11/26原因被測事務(wù)不能同時運(yùn)行實現(xiàn)原理等待?喚醒設(shè)置并發(fā)點(diǎn)2020/11/26運(yùn)

試根據(jù)情況，調(diào)整并發(fā)的進(jìn)程數(shù)結(jié)果自動記錄執(zhí)試用例2020/11/26監(jiān)測的對象網(wǎng)絡(luò)阻塞情況主機(jī)CPU使用情況內(nèi)存使用情況緩存使用情況數(shù)據(jù)庫系統(tǒng)的數(shù)據(jù)鎖……監(jiān)測系統(tǒng)資源2020/11/26監(jiān)測的結(jié)果圖像文件實時顯示運(yùn)行結(jié)束數(shù)據(jù)文件監(jiān)測系統(tǒng)資源2020/11/26分析對象測試使用的時間被測事務(wù)的響應(yīng)時間（并發(fā)）進(jìn)程數(shù)（成功數(shù)、失敗數(shù)）進(jìn)程失敗原因事務(wù)響應(yīng)時間隨用戶增加的變化圖資源限制分析結(jié)果2020/11/26分析內(nèi)容測試是否成功（失敗原因）響應(yīng)時間是否滿足