性能測試管理

1、性能測試管理性能測試管理培訓教程培訓教程課題內(nèi)容：性能測試管理課題內(nèi)容：性能測試管理 主講人：曾祥鵬主講人：曾祥鵬大綱大綱n第一章：性能測試啟動n第二章：性能測試建模n第三章：性能測試計劃n第四章：性能測試準備n第五章：性能測試執(zhí)行n第六章：性能測試分析第一章第一章 性能測試啟動性能測試啟動n第一節(jié)：技術(shù)調(diào)研n第二節(jié)：準入評審n第三節(jié)：測試啟動技術(shù)調(diào)研技術(shù)調(diào)研n在系統(tǒng)代碼開發(fā)完成之后和功能測試完成之前n測試組織派專人采用現(xiàn)場或非現(xiàn)場的方式n調(diào)研以下內(nèi)容被測系統(tǒng)的技術(shù)實現(xiàn)與其它系統(tǒng)接口關系及其技術(shù)實現(xiàn)本系統(tǒng)測試數(shù)據(jù)與相關系統(tǒng)測試數(shù)據(jù)的關系n目的：初步確定測試技術(shù)方案及相關的測試數(shù)據(jù)準備方案技術(shù)調(diào)

2、研技術(shù)調(diào)研-實例實例nXXX系統(tǒng)技術(shù)架構(gòu)WebSphere + S1 + DB2Browser Base Client使用EAI/ECTIP/UDI作為外部系統(tǒng)接口技術(shù)調(diào)研技術(shù)調(diào)研-實例實例n初步測試技術(shù)方案使用LoadRunner作為壓力測試工具使用Web/HTTP協(xié)議開發(fā)測試腳本使用Spotlight for DB2監(jiān)控數(shù)據(jù)庫使用Diagnostic for J2EE監(jiān)控應用服務使用Server Monitor監(jiān)控操作系統(tǒng)資源EAI/ECTIP實時交易需要開發(fā)相關擋板程序n初步測試數(shù)據(jù)準備方案UDI需事先準備全量數(shù)據(jù)準入評審準入評審n在性能測試正式啟動之前，需要對兩個方面進行評審被測系統(tǒng)是

3、否符合準入標準實施性能測試的可行性和必要性n目的：考察被測系統(tǒng)是否具備性能測試的條件。不符合測試條件的系統(tǒng)會導致測試難以實施，或者測試結(jié)果嚴重失真勉強測試會使測試工作失去意義，浪費大量的時間、人力和軟硬件資源。測試啟動測試啟動n確定測試的負責人和組織結(jié)構(gòu)。n明確測試的總體目標和范圍n確認測試所需資源的情況n測試主管單位要下發(fā)相關調(diào)查表，獲取業(yè)務方或開發(fā)方對性能測試的需求信息：典型交易列表性能測試需求性能指標測試環(huán)境數(shù)據(jù)量要求第二章第二章 性能測試建模性能測試建模 n第一節(jié)：為什么需要建模n第二節(jié)：性能測試模型的兩種形式n第三節(jié)：用戶行為模型n第四節(jié)：系統(tǒng)業(yè)務模型n第五節(jié)：性能測試模型的工具實現(xiàn)

4、為什么需要建模為什么需要建模n真實模擬實際系統(tǒng)運行狀況n所有性能測試工作都以此模型作為依據(jù) n合理控制項目周期并發(fā)量與每秒交易量并發(fā)量與每秒交易量(TPS)的聯(lián)系的聯(lián)系n性能測試誤區(qū)并發(fā)量越大系統(tǒng)壓力越大n并發(fā)量與每秒交易量的聯(lián)系并發(fā)量用于考察系統(tǒng)的用戶支撐能力每秒交易量才是衡量大多數(shù)系統(tǒng)的真實壓力的正確指標隨著并發(fā)量的增加TPS并不是線性增長的性能測試模型的兩種形式性能測試模型的兩種形式n用戶行為模型描述高峰時期用戶行為特點(瞬時模型)優(yōu)點：對與大多數(shù)性能測試工具而言實現(xiàn)簡單缺點：用戶行為較難統(tǒng)計分析n系統(tǒng)業(yè)務模型描述高峰時期系統(tǒng)業(yè)務特點(時段模型)優(yōu)點：相對于用戶行為模型而言較容易獲得缺點

5、：設置復雜，需要較高的工具技能建立性能測試模型建立性能測試模型-用戶行為模型用戶行為模型n用戶行為模型高峰日高峰時段高峰時段用戶行為統(tǒng)計建立性能測試模型建立性能測試模型-系統(tǒng)業(yè)務模型系統(tǒng)業(yè)務模型n系統(tǒng)業(yè)務模型高峰月高峰日高峰時段高峰時段業(yè)務統(tǒng)計建立性能測試模型建立性能測試模型-系統(tǒng)業(yè)務模型系統(tǒng)業(yè)務模型月份月份業(yè)務量業(yè)務量122043222123322143422122520342619873716543837643929832102421211209821221098建立性能測試模型建立性能測試模型-系統(tǒng)業(yè)務模型系統(tǒng)業(yè)務模型日期日期業(yè)務量業(yè)務量日期日期業(yè)務量業(yè)務量111211713452103

6、718167831023191786498720154351543211231610222210947126723987810982489991376251022101675261034111324271213121099281112131256291345141098301274151021311012161121建立性能測試模型建立性能測試模型-系統(tǒng)業(yè)務模型系統(tǒng)業(yè)務模型時間交易量0511203040526237438649971021211324122431321114167151431612217901811197209215223234業(yè)務名稱業(yè)務名稱自定義搜索分類搜索新建帳戶新建訂單

7、更新訂單業(yè)務量業(yè)務量12210120729業(yè)務配比業(yè)務配比37.65%31.17%6.17%22.22%2.78%性能測試模型的工具實現(xiàn)性能測試模型的工具實現(xiàn)n用戶行為模型的工具實現(xiàn)模型建立困難，實現(xiàn)容易。n系統(tǒng)業(yè)務模型的工具實現(xiàn)主流模型，詳細討論。系統(tǒng)業(yè)務模型的工具實現(xiàn)系統(tǒng)業(yè)務模型的工具實現(xiàn)n用戶支撐能力測試/用戶體驗測試調(diào)研用戶使用方式，確定Think Time基準測試確定各交易基準執(zhí)行時間調(diào)整Interval時間風險n系統(tǒng)處理能力測試調(diào)研系統(tǒng)處理量需求基準測試確定各交易基準執(zhí)行時間調(diào)整Interval時間風險第三章第三章 性能測試計劃性能測試計劃 n第一節(jié)：測試計劃n第二節(jié)：關鍵文檔n第

8、三節(jié)：風險評估測試計劃測試計劃n測試經(jīng)理根據(jù)測試啟動階段得到的測試模型編寫測試方案和測試計劃n用于指導整個測試實施過程 關鍵文檔關鍵文檔n性能測試方案n性能測試計劃n典型交易列表n性能測試需求表性能測試方案關鍵點性能測試方案關鍵點n測試目的（清晰明確，沒有歧義）。n測試范圍（交易列表，路徑圖等）。n性能指標（要可測量，量化指標最好給出具體數(shù)值，無法定量的給出說明）。n數(shù)據(jù)量 （給出具體數(shù)值和參考依據(jù)，無法定量的給出說明）。n測試環(huán)境（分為網(wǎng)絡、硬件、軟件和拓撲圖）。n測試工具和監(jiān)控工具及其相關環(huán)境。n風險控制（風險描述、嚴重程度、規(guī)避辦法、負責人等明確清晰）n測試策略（符合項目實際情況，具有可

9、執(zhí)行性）n擋板（根據(jù)情況可裁減）n時間戳（根據(jù)情況可裁減）n角色分工（無遺漏，職責描述清楚）n測試執(zhí)行過程等（符合項目實際情況，沒有遺漏，具備可執(zhí)行性）性能測試計劃關鍵點性能測試計劃關鍵點n階段任務描述（階段，子階段劃分清晰；階段關聯(lián)關系明確；里程碑定義準確）n時間安排（滿足項目預期周期要求，具有彈性）n文檔定義（各階段輸入輸出文檔定義清晰）n所需資源（人力資源，資金資源等符合項目要求）典型交易列表關鍵點典型交易列表關鍵點n典型交易選取合理（符合關鍵業(yè)務，操作頻繁，業(yè)務量大，覆蓋所有測試需求路徑，對性能影響大的原則）n相關交易碼準確（配置管理最新版本）n業(yè)務約束和邏輯約束明確給出，無遺漏和錯誤

10、n典型交易數(shù)量選取合適，能滿足并發(fā)分配需求（例如，不能選50個交易，要求測30個并發(fā)）n具備可測試性（能事先手工驗證）測試環(huán)境需求表關鍵點測試環(huán)境需求表關鍵點n符合項目實際測試需求情況n各項資源需求填寫準確，無遺漏，錯誤或歧義n具備可實現(xiàn)性風險評估風險評估n可能影響測試過程的因素n可能影響測試結(jié)果的因素n規(guī)避方法實例實例nXXX項目性能測試方案nXXX項目性能測試計劃nXXX項目典型交易列表nXXX項目環(huán)境需求表第四章第四章 性能測試準備性能測試準備n第一節(jié)：測試環(huán)境準備n第二節(jié)：壓力發(fā)生環(huán)境準備 n第三節(jié)：測試腳本準備及其預驗證 n第四節(jié)：測試數(shù)據(jù)準備 n第五節(jié)：測試工具和監(jiān)控工具準備 n第

11、六節(jié)：測試場景設計n第七節(jié)：擋板和時間戳 n第八節(jié)：執(zhí)行確認測試準備測試準備n測試主管單位根據(jù)測試方案和計劃中所列工作項進行，確保測試可以執(zhí)行。包括以下工作：，包括被測應用的主機和應用環(huán)境的申請、部署，壓力發(fā)生環(huán)境準備，監(jiān)控系統(tǒng)準備和網(wǎng)絡環(huán)境申請和部署，提供符合測試需求可使用的測試環(huán)境，包括被測應用系統(tǒng)、壓力發(fā)生系統(tǒng)、監(jiān)控系統(tǒng)、網(wǎng)絡系統(tǒng)的配置，根據(jù)業(yè)務模型確定典型交易列表和場景。對于無法采用壓力發(fā)生工具直接發(fā)起交易的性能測試，需要設計開發(fā)壓力傳遞系統(tǒng)，將交易壓力正確、有效地加載至被測系統(tǒng)，包括測試腳本的開發(fā)，包括基礎數(shù)據(jù)的獲得、數(shù)據(jù)量評估和基礎數(shù)據(jù)改造。，根據(jù)腳本參數(shù)化字段，從基礎數(shù)據(jù)中抽取有

12、效的、正確的交易發(fā)起數(shù)據(jù)。包括獲得抽取規(guī)則、抽取執(zhí)行和數(shù)據(jù)驗證，保證所有數(shù)據(jù)可以通過腳本正確執(zhí)行。，保證參數(shù)化的測試腳本與基礎數(shù)據(jù)結(jié)合能夠在測試執(zhí)行環(huán)境下正確運行。對于測試方案中確定需要通過時間戳系統(tǒng)記錄交易在某個交易路徑上的相應時間的情況，需要開發(fā)針對性的時間戳程序和相應的時間戳日志分析程序。包括擋板程序的設計、開發(fā)、部署和調(diào)試。另一方面，需要為擋板準備返回報文 測試環(huán)境準備測試環(huán)境準備n參測項目組：提供測試環(huán)境需求信息被測系統(tǒng)的部署和配置n測試主管單位：明確測試所需環(huán)境協(xié)調(diào)各參測項目組和環(huán)境組完成環(huán)境準備工作壓力發(fā)生環(huán)境準備壓力發(fā)生環(huán)境準備 n參測項目組：提供環(huán)境配置信息（例如，jdk的版

13、本、加密/解密程序版本、路徑） n測試主管單位：明確軟硬件環(huán)境需求協(xié)調(diào)相關方面完成壓力發(fā)生環(huán)境的軟硬件條件準備測試腳本準備及其預驗證測試腳本準備及其預驗證 n參測項目組：提供腳本錄制時所需數(shù)據(jù)解決錄制過程中出現(xiàn)的系統(tǒng)問題。 n測試主管單位：錄制腳本并調(diào)試，確保腳本能在測試環(huán)境中正確運行。n腳本是否能夠真實模擬實際操作Think TimeTransaction參數(shù)化集合點關聯(lián)檢查點Run time Settingsn腳本是否存在并發(fā)問題2X2驗證測試數(shù)據(jù)準備測試數(shù)據(jù)準備 n參測項目組：明確數(shù)據(jù)量要求提供參數(shù)化數(shù)據(jù)提取腳本配合性能測試組生成基礎數(shù)據(jù)和測試數(shù)據(jù)進行數(shù)據(jù)備份和恢復等支持。保持測試過程基

14、準一致-數(shù)據(jù)恢復策略 n測試主管單位：明確腳本執(zhí)行所需參數(shù)化字段和數(shù)據(jù)量協(xié)調(diào)各參測項目組完成數(shù)據(jù)準備工作確認數(shù)據(jù)可用性。測試工具和監(jiān)控工具準備測試工具和監(jiān)控工具準備 n參測項目組：提供測試工具的需求信息。 n測試主管單位：明確測試所需監(jiān)控工具和測試環(huán)境協(xié)調(diào)各參測項目組完成測試工具準備工作。nJ2EE深層診斷工具nDatabase診斷工具n網(wǎng)絡診斷工具n服務器監(jiān)視工具測試場景設計測試場景設計n依據(jù)性能測試模型設計場景n場景真實性場景調(diào)度（運行參數(shù)）負載均衡IP欺騙n執(zhí)行策略（下一章討論）擋板和時間戳擋板和時間戳 n參測項目組：提供擋板和時間戳腳本和說明。 n測試主管單位：提供擋板和時間戳需求。執(zhí)

15、行確認執(zhí)行確認 n由性能測試小組中的測試工程師完成以下執(zhí)行前確認工作：用例和場景確認測試環(huán)境確認測試數(shù)據(jù)確認測試腳本確認測試工具和監(jiān)控工具確認擋板和時間戳的確認實例實例nXXX項目測試計劃第五章第五章 性能測試執(zhí)行性能測試執(zhí)行 n第一節(jié)：基準測試n第二節(jié)：單交易負載測試n第三節(jié)：混合場景測試n第四節(jié)：性能表現(xiàn)測試n第五節(jié)：穩(wěn)定性測試n第六節(jié)：測試執(zhí)行過程中的關鍵點n第七節(jié)：診斷與調(diào)優(yōu)測試執(zhí)行測試執(zhí)行n測試執(zhí)行階段主要包括以下工作項：獲得各個典型交易在無壓力條件下性能表現(xiàn)：獲得各個典型交易在負載條件下的性能表現(xiàn)：按照場景序列一次獲得各場景負載條件下的性能表現(xiàn)：根據(jù)已知的目標負載壓力，獲得被測系統(tǒng)

16、的性能表現(xiàn)：通過長時間、較大壓力的負載運行，獲得被測系統(tǒng)的穩(wěn)定性表現(xiàn)基準測試基準測試n測試環(huán)境確認之后，對業(yè)務模型中涉及的每種業(yè)務做基準測試n目的是檢查業(yè)務本身是否存在性能缺陷n同時為將來的混合場景性能測試性能分析提供參考依據(jù)n測試方法：測試方法：編寫測試客戶端向應用服務器發(fā)送業(yè)務請求并接收返回結(jié)果的腳本在系統(tǒng)無壓力情況下重復100次，每次迭代間等待1秒取業(yè)務的平均響應時間作為衡量指標。單交易負載測試單交易負載測試n單交易負載測試是逐一對業(yè)務模型中的業(yè)務或個別重要交易進行單交易多并發(fā)測試n目的是考察系統(tǒng)交易編碼是否存在性能隱患n測試方法：測試方法：編寫測試客戶端向應用服務器發(fā)送業(yè)務請求并接收返

17、回結(jié)果的腳本使用20%系統(tǒng)標準并發(fā)量進行測試?；旌蠄鼍皽y試混合場景測試n混合負載測試是按照業(yè)務模型的約定在一定量的并發(fā)情況下測試以下指標：業(yè)務的平均交易響應時間應用服務器、數(shù)據(jù)庫服務器的資源使用情況、交易正確率等通過性能測試，可以模擬實際生產(chǎn)環(huán)境中在業(yè)務處理高峰期系統(tǒng)的壓力情況，得到此時的系統(tǒng)性能表現(xiàn)數(shù)據(jù)，為系統(tǒng)的實際上線運行提供可靠的參考。n測試方法：測試方法：按照業(yè)務模型比例設置測試場景。逐步增加并發(fā)量記錄每次測試環(huán)境參數(shù)：包括數(shù)據(jù)庫配置參數(shù)，應用系統(tǒng)配置參數(shù)。收集系統(tǒng)性能變化曲線。 性能表現(xiàn)測試性能表現(xiàn)測試n性能測試是按照業(yè)務模型的約定在一定量的并發(fā)情況下測試以下指標：業(yè)務的平均交易響應

18、時間應用服務器、數(shù)據(jù)庫服務器的資源使用情況、交易正確率等通過性能測試，可以模擬實際生產(chǎn)環(huán)境中在業(yè)務處理高峰期系統(tǒng)的壓力情況，得到此時的系統(tǒng)性能表現(xiàn)數(shù)據(jù)，為系統(tǒng)的實際上線運行提供可靠的參考。n測試方法：測試方法：按照業(yè)務模型比例設置測試場景約定并發(fā)量記錄測試環(huán)境參數(shù)：包括數(shù)據(jù)庫配置參數(shù)，應用系統(tǒng)配置參數(shù)。收集系統(tǒng)性能參數(shù)。 穩(wěn)定性測試穩(wěn)定性測試n穩(wěn)定性測試的重點是測試系統(tǒng)日常業(yè)務高峰期壓力下運行的穩(wěn)定性。n測試方法：測試方法：采用性能表現(xiàn)測試的腳本及場景設置選取固定運行時間為24小時(根據(jù)系統(tǒng)特點定)記錄交易平均響應時間、交易正確率，應用服務器、數(shù)據(jù)庫服務器CPU利用率、內(nèi)存使用情況等參數(shù)考察應

19、用服務器、數(shù)據(jù)庫服務器是否出現(xiàn)宕機、交易正確率小于95等情況。測試執(zhí)行過程中的關鍵點測試執(zhí)行過程中的關鍵點n執(zhí)行記錄n結(jié)果搜集n數(shù)據(jù)恢復n環(huán)境清理診斷與調(diào)優(yōu)診斷與調(diào)優(yōu)n分析系統(tǒng)性能瓶頸n優(yōu)化系統(tǒng)性能n解決過程中出現(xiàn)的問題開發(fā)專家測試專家應用服務器專家數(shù)據(jù)庫專家操作系統(tǒng)專家網(wǎng)絡專家存儲專家第六章第六章 性能測試分析性能測試分析 性能測試分析n結(jié)合有關工具生成的數(shù)據(jù)報告和測試日志n對測試的結(jié)果進行分析總結(jié)n對項目上線、調(diào)優(yōu)方案、系統(tǒng)性能驗證等提供參考依據(jù)。n測試報告的重點在于對測試結(jié)果的分析例如測試到的業(yè)務響應時間是否滿足預期要求？服務器資源使用率是否在預期范圍內(nèi)？對于發(fā)現(xiàn)并發(fā)問題的業(yè)務，需要分析

20、是由于何種原因造成了并發(fā)問題，為系統(tǒng)調(diào)整提供合理依據(jù)。性能測試參數(shù)經(jīng)驗值建議n命名用戶數(shù) 命名用戶數(shù)是指在應用系統(tǒng)中注冊的所有系統(tǒng)用戶。該用戶數(shù)取決于系統(tǒng)應用范圍和業(yè)務范圍，可以通過統(tǒng)計應用系統(tǒng)數(shù)據(jù)庫中用戶登記表獲取。對于類似網(wǎng)站瀏覽式應用一般通過類似系統(tǒng)的類比估算獲得。n在線用戶數(shù) 在線用戶數(shù)是指同時登錄應用系統(tǒng)的用戶數(shù)量該數(shù)量可通過檢查系統(tǒng)應用與數(shù)據(jù)庫連接獲得在線用戶數(shù)量取決于系統(tǒng)命名用戶數(shù)。對于已投產(chǎn)系統(tǒng)，該數(shù)量一般通過系統(tǒng)跟蹤監(jiān)控獲取新投產(chǎn)系統(tǒng)通過經(jīng)驗值進行估算。性能測試參數(shù)經(jīng)驗值建議n并發(fā)用戶數(shù) 并發(fā)用戶數(shù)是指在系統(tǒng)運行期間同一時刻進行業(yè)務操作的用戶數(shù)量。該用戶取決于用戶操作習慣、業(yè)務操作間隔和單筆交易的響應時間。在性能測試中通過對Thinktime、interval等參數(shù)的設置測算。使用頻度較低的應用系統(tǒng)并發(fā)用戶數(shù)一般為在線用戶數(shù)的5%左右使用頻度較高的應用系統(tǒng)并發(fā)用戶數(shù)一般為在線用戶數(shù)的10%左右。n交易 交易分為業(yè)務層面和技術(shù)層面兩種定義。業(yè)務層面交易是指完成一次完整的業(yè)務操作，例如進行一次取款、查詢操作。技術(shù)層面的交易是指進行一次應用程序至應用程序、或者應用程序至數(shù)據(jù)庫的系統(tǒng)操作。一般的一筆業(yè)務交易由多筆技術(shù)交易組成，根據(jù)業(yè)務交易的復雜度和系統(tǒng)應用架構(gòu)的不同，其比例大致為1：2-