軟件效率測(cè)試初級(jí)培訓(xùn)

1、國(guó)家應(yīng)用軟件產(chǎn)品質(zhì)量監(jiān)督檢驗(yàn)中心國(guó)家應(yīng)用軟件產(chǎn)品質(zhì)量監(jiān)督檢驗(yàn)中心軟件測(cè)試工程師培訓(xùn)軟件效率測(cè)試目標(biāo)本次培訓(xùn)的目標(biāo)： 了解效率測(cè)試的概念 了解效率測(cè)試的常用手段 了解效率測(cè)試的步驟 掌握腳本錄制方法 掌握腳本的調(diào)試和修改方法 掌握測(cè)試報(bào)告的編制方法 了解測(cè)試數(shù)據(jù)的分析方法 理解基本的性能指標(biāo)效率測(cè)試的定義談及系統(tǒng)的性能，其覆蓋面非常廣泛，對(duì)一個(gè)系統(tǒng)而言包括執(zhí)行效率、設(shè)備效率和網(wǎng)絡(luò)效率等性能測(cè)試用來(lái)保證產(chǎn)品發(fā)布后系統(tǒng)的性能滿足用戶需求，性能測(cè)試在軟件質(zhì)量保證中起著非常重要的作用效率測(cè)試的目的 評(píng)估系統(tǒng)的能力 識(shí)別體系中的弱點(diǎn) 系統(tǒng)調(diào)優(yōu) 驗(yàn)證可伸縮性（resilience）和可靠性（reliabil

2、ity） 用性能測(cè)試手段發(fā)現(xiàn)系統(tǒng)存在的問(wèn)題設(shè)備選型提供部署方案的參考 效率測(cè)試的常用手段基準(zhǔn)測(cè)試并發(fā)測(cè)試遞增測(cè)試場(chǎng)景測(cè)試極限測(cè)試疲勞測(cè)試數(shù)據(jù)存儲(chǔ)容量測(cè)試吞吐量測(cè)試基準(zhǔn)測(cè)試基準(zhǔn)測(cè)試是指測(cè)試環(huán)境確認(rèn)以后，對(duì)業(yè)務(wù)模型中涉及的每種業(yè)務(wù)做基準(zhǔn)測(cè)試。目的是獲取單用戶執(zhí)行時(shí)的各項(xiàng)性能指標(biāo)，為多用戶并發(fā)和混合場(chǎng)景的性能測(cè)試性能分析提供參考依據(jù)。并發(fā)測(cè)試并發(fā)測(cè)試是指并發(fā)不同數(shù)目的虛擬用戶執(zhí)行檢查點(diǎn)操作，目的是對(duì)檢查點(diǎn)進(jìn)行壓力加載測(cè)試。預(yù)測(cè)系統(tǒng)投入使用后在一定用戶壓力情況下的系統(tǒng)響應(yīng)時(shí)間,根據(jù)此響應(yīng)時(shí)間分析、確定系統(tǒng)存在的性能瓶頸，為系統(tǒng)的優(yōu)化和調(diào)整提供依據(jù)。 遞增測(cè)試遞增測(cè)試是指每隔一定時(shí)間段（如5秒、10秒）

3、并發(fā)不同數(shù)目的虛擬用戶執(zhí)行檢查點(diǎn)操作，對(duì)檢查點(diǎn)進(jìn)行遞增用戶壓力加載測(cè)試，從而模擬系統(tǒng)真實(shí)的使用情景，使用戶預(yù)知系統(tǒng)投入使用后的性能水平。 場(chǎng)景測(cè)試根據(jù)歷史數(shù)據(jù)統(tǒng)計(jì)結(jié)果以及系統(tǒng)用戶的分布和使用頻率，模擬不同用戶執(zhí)行不同操作，如10%的用戶執(zhí)行登錄操作，50%的用戶執(zhí)行查詢操作，40%的用戶執(zhí)行數(shù)據(jù)庫(kù)更新操作，最大限度地模擬系統(tǒng)的真實(shí)場(chǎng)景，使用戶預(yù)知系統(tǒng)投入使用后的真實(shí)性能水平。從而，對(duì)系統(tǒng)做出相應(yīng)的優(yōu)化及調(diào)整，避免實(shí)際情況中出現(xiàn)系統(tǒng)長(zhǎng)時(shí)間不響應(yīng)及崩潰的情況。 極限測(cè)試極限測(cè)試是指對(duì)系統(tǒng)核心功能點(diǎn)及可能存在壓力瓶頸的功能點(diǎn)進(jìn)行性能極限測(cè)試，即該功能點(diǎn)所能承受的最大用戶并發(fā)數(shù)。通過(guò)極限測(cè)試，用戶可預(yù)

4、知系統(tǒng)投入使用后，能否滿足實(shí)際的需求。疲勞測(cè)試該測(cè)試是指對(duì)系統(tǒng)核心功能點(diǎn)進(jìn)行疲勞強(qiáng)度測(cè)試，即用系統(tǒng)穩(wěn)定運(yùn)行情況下能夠支持的最大并發(fā)用戶數(shù)，持續(xù)執(zhí)行一段業(yè)務(wù)時(shí)間（如48小時(shí)），記錄交易平均響應(yīng)時(shí)間，交易正確率，應(yīng)用服務(wù)器和數(shù)據(jù)庫(kù)服務(wù)器cpu利用率、內(nèi)存使用情況等參數(shù)，考察應(yīng)用服務(wù)器和數(shù)據(jù)庫(kù)服務(wù)器是否出現(xiàn)宕機(jī)、內(nèi)存泄漏等情況。該測(cè)試通常需要和場(chǎng)景測(cè)試進(jìn)行結(jié)合，從而可以最大限度地模擬真實(shí)環(huán)境下，系統(tǒng)長(zhǎng)時(shí)間連續(xù)運(yùn)行條件下，系統(tǒng)是否能夠保持在穩(wěn)定運(yùn)行狀態(tài)。 吞吐量測(cè)試模擬多用戶進(jìn)行執(zhí)行提交任務(wù)操作，測(cè)試系統(tǒng)單位時(shí)間內(nèi)可執(zhí)行任務(wù)數(shù)是否可以達(dá)到預(yù)期的指標(biāo)。數(shù)據(jù)存儲(chǔ)容量測(cè)試數(shù)據(jù)庫(kù)存儲(chǔ)一定容量后，在不同的數(shù)據(jù)存

5、儲(chǔ)量情況下，重新執(zhí)行各項(xiàng)操作，求得系統(tǒng)響應(yīng)時(shí)間。比較不同數(shù)據(jù)存儲(chǔ)容量情況下，執(zhí)行不同任務(wù)操作的系統(tǒng)響應(yīng)時(shí)間，使用戶預(yù)知未來(lái)一段時(shí)間隨著數(shù)據(jù)存儲(chǔ)容量的變化，執(zhí)行不同任務(wù)操作響應(yīng)時(shí)間所發(fā)生的變化。 網(wǎng)絡(luò)性能測(cè)試含義 測(cè)試網(wǎng)絡(luò)帶寬、延遲、負(fù)載和端口的變化對(duì)用戶的響應(yīng)時(shí)間的影響 實(shí)際應(yīng)用 主要是測(cè)試用戶數(shù)目與網(wǎng)絡(luò)帶寬的關(guān)系效率測(cè)試局限不能窮盡所有的情況或案例不能100%的達(dá)到需求效率測(cè)試的步驟分析系統(tǒng)并制定測(cè)試目標(biāo)選擇相關(guān)技術(shù)和工具 準(zhǔn)備測(cè)試環(huán)境錄制腳本并設(shè)計(jì)測(cè)試用例設(shè)計(jì)測(cè)試場(chǎng)景 運(yùn)行測(cè)試用例并確定系統(tǒng)健康運(yùn)行監(jiān)測(cè)后臺(tái)資源分析測(cè)試結(jié)果并制作報(bào)告分析系統(tǒng)并制定目標(biāo) 分析系統(tǒng) 系統(tǒng)類別 系統(tǒng)構(gòu)成 系統(tǒng)功能

6、 制定目標(biāo) 確定客戶需求和期望 確定實(shí)際業(yè)務(wù)需求 確定系統(tǒng)需求 測(cè)試點(diǎn)通常按照4-8原則，時(shí)間占到整個(gè)測(cè)試周期的2/3以上 登錄、查詢、數(shù)據(jù)更新操作、文件上傳等選擇相關(guān)技術(shù)和工具對(duì)各種性能測(cè)試工具進(jìn)行評(píng)估 選擇符合現(xiàn)有軟件架構(gòu)的性能測(cè)試工具 設(shè)計(jì)測(cè)試場(chǎng)景虛擬用戶的操作步驟要盡量類似真實(shí)用戶的操作 操作的數(shù)據(jù)要類似于真實(shí)用戶實(shí)際使用數(shù)據(jù)，以防止應(yīng)用緩存技術(shù)對(duì)負(fù)載測(cè)試帶來(lái)的負(fù)面影響 在案例設(shè)計(jì)時(shí)要充分考慮到需求中用戶對(duì)模塊使用的頻率 準(zhǔn)備測(cè)試環(huán)境系統(tǒng)使用何種操作系統(tǒng) 需要監(jiān)控哪些指標(biāo)需要安裝哪些服務(wù)是否需要準(zhǔn)備數(shù)據(jù)需要哪些用戶同一個(gè)用戶是否可以重復(fù)使用 錄制腳本并設(shè)計(jì)測(cè)試用例從登錄開始 加入檢查點(diǎn)

7、 盡可能模擬用戶的數(shù)據(jù)一定要退出系統(tǒng)（logout）并發(fā)時(shí)加入同步點(diǎn) 修改調(diào)試腳本發(fā)現(xiàn)腳本中動(dòng)態(tài)內(nèi)容出現(xiàn)的位置并用變量進(jìn)行替換替換的方式分為：創(chuàng)建數(shù)據(jù)池文件（txt、cvs or dat）使用central數(shù)據(jù)池 數(shù)據(jù)不能重復(fù)使用local 數(shù)據(jù)池 數(shù)據(jù)可循環(huán)使用通過(guò)activedata菜單插入變量值運(yùn)行測(cè)試用例并確定系統(tǒng)健康通過(guò)并發(fā)兩個(gè)用戶確定腳本的可并發(fā)性 不能只進(jìn)行一次測(cè)試（初始化、緩存、網(wǎng)絡(luò)）配置選項(xiàng)（選擇腳本、用戶數(shù)、機(jī)器）執(zhí)行測(cè)試查看執(zhí)行狀態(tài)（進(jìn)度、錯(cuò)誤信息）查看測(cè)試結(jié)果（數(shù)據(jù)是否正確、license）采集數(shù)據(jù)停止測(cè)試監(jiān)測(cè)后臺(tái)資源網(wǎng)絡(luò)訪問(wèn)方式、agent方式、snmp方式cpu 內(nèi)

8、存 磁盤 網(wǎng)絡(luò)分析測(cè)試結(jié)果并制作報(bào)告 收集相關(guān)信息 進(jìn)行數(shù)據(jù)統(tǒng)計(jì)分析 尋找性能瓶頸 響應(yīng)時(shí)間是否滿足要求 事務(wù)響應(yīng)時(shí)間隨用戶變化圖有無(wú)劇烈變化套用效率測(cè)試模板測(cè)試工具培訓(xùn)基礎(chǔ)qaloadv qaload 是進(jìn)行性能測(cè)試，負(fù)載測(cè)試和強(qiáng)度測(cè)試的工具v qaload 可以對(duì)應(yīng)用負(fù)載測(cè)試一直達(dá)到應(yīng)用最大并發(fā)用戶數(shù)v qaload 可以對(duì)應(yīng)用進(jìn)行強(qiáng)度測(cè)試，從而找到應(yīng)用可承載的最大并發(fā)用戶數(shù)v qaload 可以測(cè)量應(yīng)用的響應(yīng)時(shí)間，給出應(yīng)用的最終用戶性能體驗(yàn)v 其它用途：系統(tǒng)優(yōu)化，監(jiān)測(cè)服務(wù)器資源，容量規(guī)劃，基準(zhǔn)性能指標(biāo)，與其他工具結(jié)合獲得更多的功能qaload所支持的協(xié)議通信層 winsock, iiop

9、, www, wap, net load數(shù)據(jù)層 odbc, ms sql server, oracle, oracle forms server, sybase, db2, ado應(yīng)用層 sap, tuxedo, uniface, qarun, javaqaload體系結(jié)構(gòu) workbench player machines conductor analyze20 vus50 vus75 vus application under testqaload的三大組成組件的三大組成組件安裝環(huán)境windows 環(huán)境+最新的補(bǔ)丁iejdkvisulstudio +補(bǔ)丁pdf閱讀器工具演示錄制腳本修改腳本

10、設(shè)置測(cè)試場(chǎng)景運(yùn)行測(cè)試腳本分析測(cè)試數(shù)據(jù)制作測(cè)試報(bào)告性能測(cè)試關(guān)注的主要指標(biāo)響應(yīng)時(shí)間并發(fā)或在線用戶數(shù)吞吐量(應(yīng)用和數(shù)據(jù)庫(kù))內(nèi)存（memory）磁盤（physical disk）處理器（processor）網(wǎng)絡(luò)響應(yīng)時(shí)間在某數(shù)據(jù)量的情況下，完成某功能模塊所需要的時(shí)間內(nèi)存（memory）committed bytes in useavailable bytespage faults/secpages/sec磁盤（physical disk）disk timeidle timeavg. disk queue lengthcurrent disk queue length處理器（processor）processor timeuser timeprocessor queue length 網(wǎng)絡(luò)bytes total/secpackets/sec 回顧效率測(cè)試流程