軟件測試 課件 單元6 性能測試

單元6性能測試目錄性能測試基本理論任務(wù)一組織開展性能測試任務(wù)二性能測試工具的使用任務(wù)三任務(wù)一性能測試基本理論●軟件功能是指軟件系統(tǒng)所能夠完成的任務(wù)或提供的服務(wù)?！褴浖阅苁桥c軟件功能相對應(yīng)的一種非常重要的非功能特性，它關(guān)注的不是軟件能夠完成哪些功能，而是在完成功能時所展現(xiàn)的對時間的及時性、資源經(jīng)濟性的要求。活動一認識軟件性能活動一認識軟件性能軟件性能包括兩方面：時間特性：軟件系統(tǒng)運行越快，性能越好。資源利用性：軟件系統(tǒng)運行過程中占用系統(tǒng)資源越少，性能越好。活動一認識軟件性能不同視角的軟件性能：（1）用戶視角響應(yīng)時間穩(wěn)定性（2）系統(tǒng)管理員視角資源利用率系統(tǒng)可擴展性系統(tǒng)容量系統(tǒng)穩(wěn)定性活動一認識軟件性能（3）軟件開發(fā)人員視角系統(tǒng)架構(gòu)數(shù)據(jù)庫設(shè)計代碼設(shè)計與代碼活動一認識軟件性能（4）軟件測試人員視角測試人員需要考慮全面的性能，包括用戶、開發(fā)、管理員等各個視角的性能；性能測試人員既要能夠準確把握軟件的性能需求，又要能夠準確定位引起性能瓶頸的制約因素和根源。軟件性能測試工程師要對性能問題進行監(jiān)控、分析及模擬實際使用過程中所出現(xiàn)的性能問題。對測試出的各種性能問題，要提供充分有力的數(shù)據(jù)，為后續(xù)的分析和定位性能問題、性能優(yōu)化工作做好充分的準備。活動一認識軟件性能軟件性能影響因素：硬件設(shè)施：硬件的部署結(jié)構(gòu)、設(shè)備配置等。

網(wǎng)絡(luò)環(huán)境：客戶端帶寬、服務(wù)器端帶寬等。操作系統(tǒng)：操作系統(tǒng)的類型、版本、參數(shù)配置等。中間件：類型、版本、參數(shù)配置等。應(yīng)用程序：應(yīng)用程序的性能等。并發(fā)用戶數(shù)：系統(tǒng)當(dāng)前訪問狀態(tài)、并發(fā)用戶數(shù)等。系統(tǒng)數(shù)據(jù)量：系統(tǒng)數(shù)據(jù)量大小等。活動二性能測試概念及其指標性能測試：指通過自動化的測試?具模擬多種正常、峰值以及異常負載條件來對系統(tǒng)的各項性能指標進行測試。性能測試的特點：（1）性能測試的主要目的是驗證軟件系統(tǒng)是否有系統(tǒng)具有預(yù)期的能力。（2）性能測試要事先了解被測試系統(tǒng)的具體使用場景，并具有確定的性能目標。（3）性能測試要求在已經(jīng)確定的環(huán)境下運行。活動二性能測試概念及其指標性能測試指標：1.響應(yīng)時間響應(yīng)時間是系統(tǒng)對用戶請求作出響應(yīng)所需要的時間。2.吞吐量吞吐量是指單位時間內(nèi)系統(tǒng)能夠完成的工作量，它衡量的是系統(tǒng)服務(wù)器的處理能力。3.點擊率點擊率是指用戶每秒向Web服務(wù)器提交的HTTP請求數(shù)?；顒佣阅軠y試概念及其指標4.并發(fā)用戶數(shù)并發(fā)用戶數(shù)是指同一時間請求和訪問的用戶數(shù)量。5.資源利用率資源利用率是指軟件對系統(tǒng)資源的使用情況，包括CPU利用率、內(nèi)存利用率、磁盤利用率、網(wǎng)絡(luò)帶寬等?；顒佣阅軠y試概念及其指標性能測試應(yīng)用場景主要有：能力驗證規(guī)劃能力性能調(diào)優(yōu)缺陷發(fā)現(xiàn)性能基準比較任務(wù)實施背景信息：A軟件公司承接了B企業(yè)的網(wǎng)上購物系統(tǒng)的開發(fā)工作，軟件工程師小張初次通過與用戶訪談的方式，對用戶進行了初步的用戶需求調(diào)研，獲取了一些簡要需求信息如下：購物網(wǎng)站系統(tǒng)能夠?qū)崿F(xiàn)會員(會員數(shù)5000)的管理、滿足基本的商品展示與銷售、支付業(yè)務(wù)，每天保證支持2000個訂單的處理，同時希望網(wǎng)站系統(tǒng)能夠可靠運行，快速響應(yīng)，希望系統(tǒng)的響應(yīng)時間在2s左右等。任務(wù)實施根據(jù)以上用戶調(diào)研需求的描述，可以明確該網(wǎng)上購物系統(tǒng)的功能與性能如下：功能要求：購物網(wǎng)站系統(tǒng)實現(xiàn)會員注冊、商品管理、購物車管理、訂單管理、支付等基本等。性能要求：購物網(wǎng)站系統(tǒng)應(yīng)保證運行可靠、穩(wěn)定，避免出現(xiàn)系統(tǒng)崩潰；軟件應(yīng)盡量做到響應(yīng)快速、操作簡便，一般操作的響應(yīng)時間在2s左右；支持5000個注冊用戶，支持處理2000個訂單/日等。任務(wù)二組織開展性能測試活動一了解性能測試方法1.負載測試通過在被測軟件系統(tǒng)上不斷實施加壓，直到性能指標達到極限狀態(tài)。（1）負載測試主要目的是找到系統(tǒng)處理能力的極限。（2）負載測試需要考慮被測試系統(tǒng)的業(yè)務(wù)壓力量和典型場景、使得測試結(jié)果具有業(yè)務(wù)上的實際意義。（3）負載測試方法一般用來了解系統(tǒng)的性能容量，或是配合性能調(diào)優(yōu)來使用。活動一了解性能測試方法2.壓力測試壓力測試是測試軟件系統(tǒng)在一定飽和狀態(tài)下，例如CPU、內(nèi)存在飽和使用情況下，系統(tǒng)能夠處理的會話能力，以及系統(tǒng)是否會出現(xiàn)錯誤。活動一了解性能測試方法3.并發(fā)測試并發(fā)測試通過模擬用戶并發(fā)訪問，測試多用戶并發(fā)訪問同一個軟件、同一個模塊或者數(shù)據(jù)記錄時是否存在死鎖或其者性它的性能問題?；顒右涣私庑阅軠y試方法4.配置測試配置測試是通過對被測系統(tǒng)的軟/硬件環(huán)境的調(diào)整，了解各種不同環(huán)境、因素對軟件系統(tǒng)性能的影響程度，從而找到系統(tǒng)各項資源的最優(yōu)分配原則。活動一了解性能測試方法5.可靠性測試可靠性測試是在給系統(tǒng)加載一定業(yè)務(wù)壓力的情況下，使系統(tǒng)持續(xù)運行一段時間，以此測試系統(tǒng)在這種壓力條件下是否能夠穩(wěn)定運行?；顒佣私庑阅軠y試流程一、性能測試需求分析1.系統(tǒng)信息調(diào)研該階段的內(nèi)容主要明確被測信息系統(tǒng)的技術(shù)架構(gòu)和業(yè)務(wù)功能。2、確定性能測試點如何確定被測系統(tǒng)的性能測試點，可以從下面幾個方面進行分析：業(yè)務(wù)角度：用戶使用頻率較高的關(guān)鍵核心業(yè)務(wù)功能技術(shù)角度：邏輯復(fù)雜度高的業(yè)務(wù)；數(shù)據(jù)量大的業(yè)務(wù)活動二了解性能測試流程3、確定性能指標（1）有明確的性能測試需求文檔

通過需求的獲?。ɑ蚺c客戶的交流）定義明確的性能指標。（2）無明確性能測試需求文檔

產(chǎn)品歷史版本或相似版本的性能指標

客戶數(shù)據(jù)

運行基準測試

業(yè)界的指標

測試人員的經(jīng)驗活動二了解性能測試流程二、性能測試設(shè)計1、測試環(huán)境準備測試環(huán)境準備包括系統(tǒng)的軟硬件環(huán)境、數(shù)據(jù)環(huán)境設(shè)計，還包括環(huán)境的維護方法。2、測試場景設(shè)計

場景設(shè)計是實施性能測試的基礎(chǔ)，只有合理的設(shè)計測試場景才能獲得有價值的測試數(shù)據(jù)，為接下來的確認瓶頸、系統(tǒng)調(diào)優(yōu)打下基礎(chǔ)?；顒佣私庑阅軠y試流程3、測試用例設(shè)計測試用例是對測試場景的進一步細化，細化內(nèi)容包括場景中設(shè)計業(yè)務(wù)的操作序列描述、場景需要的環(huán)境部署等。4、腳本和輔助工具開發(fā)測試腳本是對業(yè)務(wù)操作的體現(xiàn)，一個腳本一般就是一個業(yè)務(wù)的過程描述。除腳本外，測試輔助工具也需要在本活動中進行開發(fā)?；顒佣私庑阅軠y試流程三、性能測試執(zhí)行1、搭建測試環(huán)境測試環(huán)境包括硬件、軟件系統(tǒng)環(huán)境的搭建，數(shù)據(jù)庫環(huán)境建立，應(yīng)用系統(tǒng)的部署，系統(tǒng)參數(shù)設(shè)置以及數(shù)據(jù)環(huán)境準備等。活動二了解性能測試流程2、部署測試腳本和設(shè)計測試場景

部署測試腳本和設(shè)計測試場景活動通過性能測試工具本身提供的功能來實現(xiàn)。部署活動最終需要保證場景與設(shè)計的一致性，保證需要監(jiān)控的計數(shù)器都已經(jīng)部署好相應(yīng)的監(jiān)控手段。3、運行測試和記錄結(jié)果

部署測試腳本和設(shè)計測試場景活動通過性能測試工具本身提供的功能來實現(xiàn)。部署活動最終需要保證場景與設(shè)計的一致性，保證需要監(jiān)控的計數(shù)器都已經(jīng)部署好相應(yīng)的監(jiān)控手段。活動二了解性能測試流程四、測試結(jié)果分析測試分析過程用于對測試結(jié)果進行分析，根據(jù)測試的目的和目標給出測試結(jié)論。性能測試的分析需要借助各種圖表，一般的性能測試工具都提供報表模塊來生成不同的圖表?；顒佣私庑阅軠y試流程五、測試報告與總結(jié)通過測試報告展示出性能測試的最終數(shù)據(jù)結(jié)果，展示系統(tǒng)性能是否符合需求，是否有性能隱患。性能測試報告中需要闡明性能測試目標、性能測試環(huán)境、性能測試數(shù)據(jù)構(gòu)造規(guī)則、性能測試方法、性能測試結(jié)果、性能測試調(diào)優(yōu)說明、性能測試過程中遇到的問題和解決辦法等?；顒尤阅軠y試的管理與支持一、項目組織管理過程（1）項目測試經(jīng)理角色（2）測試設(shè)計角色（3）測試開發(fā)角色（4）測試執(zhí)行角色（5）測試分析角色（6）支持角色活動三性能測試的管理與支持二、文檔過程在測試過程中主要形成項目工作計劃、測試需求分析文檔、測試執(zhí)行方案、測試記錄、測試分析結(jié)果及報告，以及各種溝通交流的記錄等。

活動三性能測試的管理與支持三、監(jiān)督和控制過程為了保證測試的正確和有效，應(yīng)加強測試過程中的監(jiān)督，可以建立工作匯報制度(如項目組定期匯報、項目組人員提交周報等)，以保證監(jiān)督的執(zhí)行?；顒尤阅軠y試的管理與支持四、技術(shù)支持過程測試執(zhí)行過程中，應(yīng)可獲得開發(fā)人員、用戶的支持，必要時還應(yīng)可以獲得外部機構(gòu)的技術(shù)支持，活動三性能測試的管理與支持五、評審和評價過程應(yīng)對所有文檔和活動進行評審和評價。在項目的開展過程中，各項工作可由不同的人員分工完成，項目負責(zé)人應(yīng)認真審核這些過程文檔與活動，保證最終測試的完整性和正確性，提高測試成功率，保證測試的有效性?；顒尤阅軠y試的管理與支持六、溝通和交流過程在測試過程中，應(yīng)加強項目內(nèi)部的溝通和交流，同時還要及時與開發(fā)人員、用戶進行交流和溝通。任務(wù)三性能測試工具的使用活動一認識性能測試工具原理一、性能測試工具架構(gòu)1.虛擬用戶腳本生成器（VirtualUserGenerator）2、壓力產(chǎn)生器(Player)3、用戶代理(Agent)4、壓力調(diào)度和監(jiān)控系統(tǒng)(Conductor)5、壓力結(jié)果分析工具(Analysis)活動一認識性能測試工具原理二、性能測試腳本錄制的協(xié)議類型1.Web應(yīng)用Web應(yīng)用一般采用http/https協(xié)議進行性能測試腳本錄制2.C/S應(yīng)用客戶端程序以ADO、OLEDB方式連接后臺數(shù)據(jù)庫：根據(jù)后端數(shù)據(jù)庫類型選擇相應(yīng)的協(xié)議；客戶端程序ODBC方式連接后臺數(shù)據(jù)庫：選用odbc協(xié)議；客戶端和服務(wù)器之間通過自定義的Socket協(xié)議進行通信：Socket協(xié)議。活動一認識性能測試工具原理3.組件COM/DCOM組件采用COM/DCOM協(xié)議；EJB組件采用EJB協(xié)議；4.服務(wù)Webservice：Webservice協(xié)議；Mail服務(wù)器：Smtp和pop協(xié)議；Ftp服務(wù)器：ftp協(xié)議；其他：根據(jù)具體的協(xié)議選擇最接近的錄制協(xié)議?；顒右徽J識性能測試工具原理5.應(yīng)用服務(wù)器Oracleapplicationserver：Oraclewebapplicaton11i協(xié)議；Sap：Sap協(xié)議；Tuxedo：Tuxedo協(xié)議；其他：根據(jù)具體的協(xié)議選擇最接近的錄制協(xié)議?；顒佣阅軠y試工具的選擇與評估一、性能測試工具架構(gòu)選擇策略1.測試實際需求2.支持的協(xié)議和技術(shù)3.擴展性4.易用性5.成本

活動二性能測試工具的選擇與評估二、主流的性能測試工具商業(yè)工具LoadRunner

QALoad

WEBLOAD

開源工具JMeter

LocustOpenSTA活動三LoadRunner基本使用一、LoadRunner簡介LoadRunner是一種預(yù)測系統(tǒng)行為和性能的負載測試工具。通過模擬上千萬用戶實施并發(fā)負載及實時性能監(jiān)測的方式來確認和查找問題能夠?qū)φ麄€企業(yè)架構(gòu)進行測試，適用于各種體系架構(gòu)的自動負載測試，能預(yù)測系統(tǒng)行為并評估系統(tǒng)性能?；顒尤齃oadRunner基本使用LoadRunner包括VuGen、Controller、Analysis三個部分：VuGen是用于創(chuàng)建Vuser腳本的工具。Controller可以從單一控制點輕松、有效地控制所有Vuser，并在測試執(zhí)行期間監(jiān)控場景性能。Analysis在HPLoadRunnerController或HPPerformanceCenter內(nèi)運行負載測試場景后可以使用Analysis分析運行結(jié)果數(shù)據(jù)。活動三LoadRunner基本使用二、LoadRunner中的幾個概念Scenario：場景，所謂場景是指在每一個測試過程中發(fā)生的事件。Vusers：虛擬用戶，LoadRunner使用多線程或多進程來模擬用戶對應(yīng)用程序操作時產(chǎn)生的壓力。一個場景可能包括多個虛擬用戶，甚至成千上萬個虛擬用戶。VuserScript:腳本，用腳本來描述Vuser在場景中執(zhí)行的動作。活動三LoadRunner基本使用Transactions：事務(wù)，事務(wù)代表了用戶的某個業(yè)務(wù)過程，需要衡量這些業(yè)務(wù)過程的性能。Rendezvous：集合，當(dāng)測試多個用戶并發(fā)時，每個用戶執(zhí)行到該事務(wù)腳本的先后順序是不確定的，所以得到的測試結(jié)果也并不是一個完全并發(fā)的極限測試結(jié)果?；顒尤齃oadRunner基本使用三、LoadRunner測試基本流程1.開發(fā)測試腳本

LoadRunner中使用VuGen組件開發(fā)測試腳本。錄制腳本

創(chuàng)建腳本的組件是VuGen，該組件錄制的是用戶在錄制會話期間執(zhí)行的所

有操作，且僅錄制客戶機和服務(wù)器之間的活動。錄制腳本前首先進行選項設(shè)置，進行協(xié)議的選擇以及腳本創(chuàng)建信息的設(shè)置?；顒尤齃oadRunner基本使用優(yōu)化測試腳本

使用LoadRunner的Vugen錄制完的腳本并不能直接用于測試，需要根據(jù)具體的測試需求，對腳本進行各方面的增強和調(diào)試。（1）添加思考時間

思考時間也被稱為休眠時間，從業(yè)務(wù)的角度來說，該時間指的是用戶在進行操作時，每個請求之間的間隔。添加思考時間通過在腳本中加入思考時間函數(shù)lr_think_time。活動三LoadRunner基本使用（2）插入檢查點檢查點的原理是在某個操作執(zhí)行完成后，檢查服務(wù)器的返回頁面上是否存在該檢查點存有的文本信息。插入檢查點通過在腳本中加入檢查點函數(shù)web_reg_find?；顒尤齃oadRunner基本使用（3）腳本參數(shù)化

如果腳本執(zhí)行多次，每次執(zhí)行時都需要變化某些內(nèi)容的值,可以將其設(shè)置成參數(shù)，參數(shù)值從參數(shù)列表中按一定順序獲取。腳本參數(shù)化時參數(shù)取值方法有以下四種：直接用記事本編輯數(shù)據(jù):通過記事本中進行添加數(shù)據(jù)

。直接添加數(shù)據(jù)文件:

通過本地dat數(shù)據(jù)文件添加。通過數(shù)據(jù)庫添加數(shù)據(jù):通過數(shù)據(jù)庫數(shù)據(jù)生成工具直接將數(shù)據(jù)庫數(shù)據(jù)導(dǎo)入。其他類型設(shè)置:比如日期時間。活動三LoadRunner基本使用（4）添加事務(wù)

事務(wù)用于模擬用戶的一個相對完整的、有意義的業(yè)務(wù)操作過程，例如登錄、查詢、交易、轉(zhuǎn)賬，這些都可以作為事務(wù)。

添加事務(wù)時，開始與結(jié)束函數(shù)必須成對出現(xiàn)，事務(wù)的名稱必須一樣。

添加事務(wù)通過在腳本中加入開始事務(wù)函數(shù)lr_start_transaction和結(jié)束事務(wù)函數(shù)lr_end_transaction?；顒尤齃oadRunner基本使用（5）集合點

集