性能工程系列之一性能測(cè)試篇

性能工程系列之一性能測(cè)試篇第1頁，共33頁，2023年，2月20日，星期六主要介紹內(nèi)容性能測(cè)試是什么（what）為什么要做性能測(cè)試（why）性能測(cè)試什么時(shí)候做（when）性能測(cè)試人力資源組成（who）性能測(cè)試環(huán)境搭建（where）性能測(cè)試怎么做（性能測(cè)試過程）（How）性能測(cè)試工具簡(jiǎn)介性能測(cè)試中的關(guān)鍵點(diǎn)第2頁，共33頁，2023年，2月20日，星期六性能測(cè)試是什么？定義：性能測(cè)試是指通過特定方式，對(duì)被測(cè)系統(tǒng)按照一定策略施加壓力，獲取系統(tǒng)響應(yīng)時(shí)間、TPS、吞吐量、資源利用率等性能指標(biāo)，以期保證生產(chǎn)系統(tǒng)的性能能夠滿足用戶需求的過程。第3頁，共33頁，2023年，2月20日，星期六性能測(cè)試是什么？-性能測(cè)試術(shù)語命名用戶數(shù)命名用戶數(shù)是指在應(yīng)用系統(tǒng)中注冊(cè)的所有系統(tǒng)用戶。該用戶數(shù)取決于系統(tǒng)應(yīng)用范圍和業(yè)務(wù)范圍，可以通過統(tǒng)計(jì)應(yīng)用系統(tǒng)數(shù)據(jù)庫中用戶登記表獲取。對(duì)于類似網(wǎng)站瀏覽式應(yīng)用一般通過類似系統(tǒng)的類比估算獲得。在線用戶數(shù)在線用戶數(shù)是指同時(shí)登錄應(yīng)用系統(tǒng)的用戶數(shù)量該數(shù)量可通過檢查系統(tǒng)應(yīng)用與數(shù)據(jù)庫連接獲得在線用戶數(shù)量取決于系統(tǒng)命名用戶數(shù)。對(duì)于已投產(chǎn)系統(tǒng)，該數(shù)量一般通過系統(tǒng)跟蹤監(jiān)控獲取新投產(chǎn)系統(tǒng)通過經(jīng)驗(yàn)值進(jìn)行估算。第4頁，共33頁，2023年，2月20日，星期六性能測(cè)試是什么？-性能測(cè)試術(shù)語并發(fā)用戶數(shù)并發(fā)用戶數(shù)是指在系統(tǒng)運(yùn)行期間同一時(shí)刻進(jìn)行業(yè)務(wù)操作的用戶數(shù)量。該用戶取決于用戶操作習(xí)慣、業(yè)務(wù)操作間隔和單筆交易的響應(yīng)時(shí)間。在性能測(cè)試中通過對(duì)Thinktime、interval等參數(shù)的設(shè)置測(cè)算。使用頻度較低的應(yīng)用系統(tǒng)并發(fā)用戶數(shù)一般為在線用戶數(shù)的5%左右使用頻度較高的應(yīng)用系統(tǒng)并發(fā)用戶數(shù)一般為在線用戶數(shù)的10%左右。交易交易分為業(yè)務(wù)層面和技術(shù)層面兩種定義。業(yè)務(wù)層面交易是指完成一次完整的業(yè)務(wù)操作，例如進(jìn)行一次取款、查詢操作。技術(shù)層面的交易是指進(jìn)行一次應(yīng)用程序至應(yīng)用程序、或者應(yīng)用程序至數(shù)據(jù)庫的系統(tǒng)操作。一般的一筆業(yè)務(wù)交易由多筆技術(shù)交易組成，根據(jù)業(yè)務(wù)交易的復(fù)雜度和系統(tǒng)應(yīng)用架構(gòu)的不同，其比例大致為1：2-1：10。第5頁，共33頁，2023年，2月20日，星期六性能測(cè)試是什么？-性能測(cè)試術(shù)語交易處理能力（TPS與HPS）TPS是估算應(yīng)用系統(tǒng)性能的重要依據(jù)其意義是應(yīng)用系統(tǒng)每秒鐘處理完成的交易數(shù)量。一般的，評(píng)價(jià)系統(tǒng)性能均以每秒鐘完成的技術(shù)交易的數(shù)量來衡量。系統(tǒng)整體處理能力取決于處理能力最低模塊的TPS值。依據(jù)經(jīng)驗(yàn)，應(yīng)用系統(tǒng)的處理能力一般要求在10-100左右。不同應(yīng)用系統(tǒng)的TPS有著十分大的差別，一般需要通過性能測(cè)試進(jìn)行準(zhǔn)確估算。HPS：HitsperSecond每秒點(diǎn)擊次數(shù)，是指在一秒鐘的時(shí)間內(nèi)用戶對(duì)Web頁面的鏈接、提交按鈕等點(diǎn)擊總和它一般和TPS成正比關(guān)系，是B/S系統(tǒng)中非常重要的性能指標(biāo)之一。交易響應(yīng)時(shí)間交易響應(yīng)時(shí)間是指完成一筆業(yè)務(wù)交易所需的時(shí)間。傳統(tǒng)上是指統(tǒng)計(jì)“端到端”的交易完成時(shí)間。簡(jiǎn)單交易的響應(yīng)時(shí)間一般不得高于5秒，復(fù)雜交易的響應(yīng)時(shí)間一般在20秒左右。第6頁，共33頁，2023年，2月20日，星期六性能測(cè)試是什么？-性能測(cè)試術(shù)語資源使用率資源使用率是指在系統(tǒng)負(fù)載運(yùn)行期間，數(shù)據(jù)庫服務(wù)器、應(yīng)用服務(wù)器、Web服務(wù)器的CPU、內(nèi)存、硬盤，外置存儲(chǔ)，網(wǎng)絡(luò)帶寬的使用率。據(jù)經(jīng)驗(yàn)，低于20%的使用率為資源空閑，20%-60%的使用率為資源使用穩(wěn)定，60%-80%的使用率表示資源使用飽和，超過80%使用率的資源使用率必須盡快進(jìn)行資源調(diào)整和優(yōu)化。批量處理時(shí)間批量處理時(shí)間是指應(yīng)用系統(tǒng)完成批量操作所消耗的時(shí)間資源批量處理完成時(shí)間取決于業(yè)務(wù)接受程度一般的批量處理時(shí)間應(yīng)在數(shù)小時(shí)內(nèi)完成。其他指標(biāo)在性能測(cè)試過程中還有大量與軟件產(chǎn)品或者硬件設(shè)備相關(guān)的測(cè)算指標(biāo)這些指標(biāo)隨著設(shè)備或者軟件的不同有著較大差別隨著性能測(cè)試的深入將逐漸積累匯總這些指標(biāo)。第7頁，共33頁，2023年，2月20日，星期六性能測(cè)試是什么？-性能測(cè)試術(shù)語響應(yīng)時(shí)間：響應(yīng)時(shí)間指的是從客戶端發(fā)起一個(gè)請(qǐng)求開始，到客戶端接收到從服務(wù)器端返回的響應(yīng)結(jié)束，這個(gè)過程所耗費(fèi)的時(shí)間。響應(yīng)時(shí)間=網(wǎng)絡(luò)響應(yīng)時(shí)間+應(yīng)用程序響應(yīng)時(shí)間第8頁，共33頁，2023年，2月20日，星期六性能測(cè)試是什么？-性能測(cè)試術(shù)語吞吐量：吞吐量指的是單位時(shí)間內(nèi)處理的客戶端請(qǐng)求數(shù)量。第9頁，共33頁，2023年，2月20日，星期六為什么要做性能測(cè)試？缺陷發(fā)現(xiàn)越早，成本越低未作性能測(cè)試失敗實(shí)例第10頁，共33頁，2023年，2月20日，星期六為什么要做性能測(cè)試？編碼階段：防微杜漸-在編碼階段就進(jìn)行開發(fā)員級(jí)的單元性能測(cè)試，盡早發(fā)現(xiàn)性能問題，降低缺陷修復(fù)的成本系統(tǒng)運(yùn)營(yíng)維護(hù)階段：整體保障-當(dāng)代碼被修改、數(shù)據(jù)庫配置改變、應(yīng)用服務(wù)器配置改變等情況發(fā)生后，不僅需要功能回歸測(cè)試，還要進(jìn)行性能回歸測(cè)試，避免由于一個(gè)小小的SQL語句缺陷而導(dǎo)致嚴(yán)重的系統(tǒng)性能問題第11頁，共33頁，2023年，2月20日，星期六性能測(cè)試什么時(shí)候做？新系統(tǒng)上線新系統(tǒng)上線后，全國(guó)推廣前已有系統(tǒng)版本更新后或者已發(fā)現(xiàn)性能問題后已有系統(tǒng)硬件更換或者升級(jí)后**準(zhǔn)入評(píng)審：在性能測(cè)試正式啟動(dòng)之前，需要對(duì)兩個(gè)方面進(jìn)行評(píng)審被測(cè)系統(tǒng)是否符合準(zhǔn)入標(biāo)準(zhǔn)實(shí)施性能測(cè)試的可行性和必要性目的：考察被測(cè)系統(tǒng)是否具備性能測(cè)試的條件。不符合測(cè)試條件的系統(tǒng)會(huì)導(dǎo)致測(cè)試難以實(shí)施，或者測(cè)試結(jié)果嚴(yán)重失真勉強(qiáng)測(cè)試會(huì)使測(cè)試工作失去意義，浪費(fèi)大量的時(shí)間、人力和軟硬件資源。第12頁，共33頁，2023年，2月20日，星期六性能測(cè)試人力資源組成？第13頁，共33頁，2023年，2月20日，星期六性能測(cè)試人力資源組成？限制因素：參與人員雜技術(shù)難度高實(shí)施時(shí)間緊工作壓力大需要一支層次分明、責(zé)任明確、執(zhí)行力強(qiáng)的隊(duì)伍明確規(guī)定各角色人員的工作職責(zé)定期召開工作分析和工作總結(jié)會(huì)，確認(rèn)階段工作結(jié)果建立協(xié)調(diào)上級(jí)領(lǐng)導(dǎo)進(jìn)行決策的機(jī)制建立協(xié)調(diào)上級(jí)領(lǐng)導(dǎo)進(jìn)行強(qiáng)制執(zhí)行的機(jī)制建立測(cè)試組工作時(shí)間共享的機(jī)制建立項(xiàng)目組工作過程文檔/結(jié)果共享的機(jī)制第14頁，共33頁，2023年，2月20日，星期六性能測(cè)試環(huán)境搭建軟環(huán)境環(huán)境配置，包括被測(cè)應(yīng)用系統(tǒng)、壓力發(fā)生系統(tǒng)、監(jiān)控系統(tǒng)、網(wǎng)絡(luò)系統(tǒng)的配置測(cè)試場(chǎng)景準(zhǔn)備，根據(jù)業(yè)務(wù)模型確定典型交易列表和場(chǎng)景壓力發(fā)生系統(tǒng)準(zhǔn)備。對(duì)于無法采用壓力發(fā)生工具直接發(fā)起交易的性能測(cè)試，要設(shè)計(jì)開發(fā)壓力傳遞系統(tǒng)，將交易壓力正確、有效地加載至被測(cè)系統(tǒng)測(cè)試腳本錄制，包括測(cè)試腳本的開發(fā)測(cè)試基礎(chǔ)數(shù)據(jù)準(zhǔn)備，包括基礎(chǔ)數(shù)據(jù)的獲得、數(shù)據(jù)量評(píng)估和基礎(chǔ)數(shù)據(jù)改造。參數(shù)化數(shù)據(jù)抽取，根據(jù)腳本參數(shù)化字段，從基礎(chǔ)數(shù)據(jù)中抽取有效的、正確的交易發(fā)起數(shù)據(jù)。包括獲得抽取規(guī)則、抽取執(zhí)行和數(shù)據(jù)驗(yàn)證，保證所有數(shù)據(jù)可以通過腳本正確執(zhí)行。腳本預(yù)驗(yàn)證，保證參數(shù)化的測(cè)試腳本與基礎(chǔ)數(shù)據(jù)結(jié)合能夠在測(cè)試執(zhí)行環(huán)境下正確運(yùn)行時(shí)間戳系統(tǒng)準(zhǔn)備。對(duì)于測(cè)試方案中確定需要通過時(shí)間戳系統(tǒng)記錄交易在某個(gè)交易路徑上的相應(yīng)時(shí)間的情況，需要開發(fā)針對(duì)性的時(shí)間戳程序和相應(yīng)的時(shí)間戳日志分析程序。擋板系統(tǒng)準(zhǔn)備。包括擋板程序的設(shè)計(jì)、開發(fā)、部署和調(diào)試。另一方面，需要為擋板準(zhǔn)備返回報(bào)文

第15頁，共33頁，2023年，2月20日，星期六性能測(cè)試環(huán)境搭建硬環(huán)境被測(cè)應(yīng)用的主機(jī)和應(yīng)用環(huán)境的申請(qǐng)、部署壓力發(fā)生環(huán)境準(zhǔn)備網(wǎng)絡(luò)環(huán)境申請(qǐng)和部署監(jiān)控系統(tǒng)準(zhǔn)備測(cè)試人員辦公網(wǎng)絡(luò)環(huán)境……注意：環(huán)境搭建完畢后的環(huán)境確認(rèn)是非常重要的！第16頁，共33頁，2023年，2月20日，星期六性能測(cè)試怎么做？規(guī)劃階段： 測(cè)試時(shí)間、測(cè)試目標(biāo)、測(cè)試組織建模階段： 收集數(shù)據(jù)、性能指標(biāo)、測(cè)試范圍預(yù)驗(yàn)證階段： 風(fēng)險(xiǎn)評(píng)估、技術(shù)驗(yàn)證準(zhǔn)備階段： 測(cè)試環(huán)境、測(cè)試數(shù)據(jù)、測(cè)試腳本、測(cè)試程序執(zhí)行階段： 響應(yīng)時(shí)間基準(zhǔn)測(cè)試、負(fù)載測(cè)試、壓力測(cè)試、容量 測(cè)試、Benchmark測(cè)試、穩(wěn)定性測(cè)試調(diào)優(yōu)階段： 收集/分析測(cè)試結(jié)果數(shù)據(jù)、性能調(diào)優(yōu)報(bào)告階段： 測(cè)試成果確認(rèn)、測(cè)試目標(biāo)完成確認(rèn)、收集測(cè)試環(huán) 境最終配置信息、測(cè)試報(bào)告編制第17頁，共33頁，2023年，2月20日，星期六性能測(cè)試怎么做？第18頁，共33頁，2023年，2月20日，星期六性能測(cè)試工具簡(jiǎn)介數(shù)據(jù)庫監(jiān)控工具網(wǎng)絡(luò)監(jiān)控工具（基礎(chǔ)監(jiān)控措施）操作系統(tǒng)監(jiān)控工具（基礎(chǔ)監(jiān)控措施）性能測(cè)試工具測(cè)試管理工具應(yīng)用服務(wù)監(jiān)控工具存儲(chǔ)服務(wù)監(jiān)控工具第19頁，共33頁，2023年，2月20日，星期六性能測(cè)試工具簡(jiǎn)介自動(dòng)化壓力測(cè)試工具M(jìn)ercuryLoadRunnerIBMRationalRobotCompuwareQALoad……基于J2EE的應(yīng)用監(jiān)控工具M(jìn)ercuryDiagnosticQuestPerformasureIBMWSAM（forWebspere）……數(shù)據(jù)庫監(jiān)控工具QuestSpotlightVeritasi3……操作系統(tǒng)監(jiān)控工具OS命令行開源工具，如IBMNMonitor……網(wǎng)絡(luò)監(jiān)控工具硬件串聯(lián)監(jiān)控軟件鏡像監(jiān)控存儲(chǔ)監(jiān)控工具各廠商自帶工具工具只是輔助手段領(lǐng)域?qū)＜遥侠淼墓ぞ撸秸_的分析第20頁，共33頁，2023年，2月20日，星期六性能測(cè)試工具簡(jiǎn)介VirtualUserGenerator控制Vuser產(chǎn)生壓力，并搜集測(cè)試結(jié)果建立Vuser使用圖表或報(bào)告顯示結(jié)果的輔助分析工具LoadRunnerControllerLoadRunnerAnalysis第21頁，共33頁，2023年，2月20日，星期六性能測(cè)試工具簡(jiǎn)介L(zhǎng)oadGenerator1Controller服務(wù)器虛擬用戶虛擬用戶腳本腳本LoadGenerator2第22頁，共33頁，2023年，2月20日，星期六性能測(cè)試工具簡(jiǎn)介調(diào)整系統(tǒng)分析結(jié)果第五步LoadRunnerVUGENLoadRunnerCONTROLLER&

ANALYSIS運(yùn)行測(cè)試場(chǎng)景第四步建立測(cè)試場(chǎng)景第三步建立虛擬用戶腳本第二步第一步建立測(cè)試計(jì)劃第23頁，共33頁，2023年，2月20日，星期六性能測(cè)試工具簡(jiǎn)介

VuGen

ClientServerDatabaseAPICallsDBAPIcallsLRDStatementRecordresultvalues

Column1value1value2

Column2resultsetcodeDatabaseAPICallsLRDStatementAPIcallsresultscodecode建立虛擬用戶腳本第24頁，共33頁，2023年，2月20日，星期六性能測(cè)試工具簡(jiǎn)介DBAPIcallsPlaybackresultvaluesAPIcallsresultServer

VuGen...LRDStatement......LRDStatement...

Column2

value2

Column1value1resultset回放虛擬用戶腳本第25頁，共33頁，2023年，2月20日，星期六性能測(cè)試工具簡(jiǎn)介MiddlewareJacadaTuxedo6Tuxedo7Wirelessi-modeVoiceXMLWAPE_BusinessFTPLDAPSiebel-WebSoapPalmWeb/WinsocketDualprotocolWeb(HTTP/HTML)LegacyRTEERPSAPBaanOracleNCAPeopleSoft8PeopleSoftTuxedoSiebel(DB2CLI,Oracle,MSSQL)Client/ServerJoltInformixMSSQLServerODBCOracle(2-Tier)Sybase(Ctlib,Dblib)WindowsSocketsDB2CLIDomainResolution(DNS)EnterpriseJavaBeansEJBTestingRmi-JAVADistributedComponentsCOM/DCOMCorba-JavaRmi-JavaCustomCVuserJavaScriptVuserJavaVuserVBScriptVuserVBVuserMailingServicesInternetMessaging(IMAP)MSExchange(MAPI)POP3SMTPLoadRunner支持平臺(tái)第26頁，共33頁，2023年，2月20日，星期六性能測(cè)試中的關(guān)鍵點(diǎn)獲取測(cè)試需求確定測(cè)試目標(biāo)進(jìn)行業(yè)務(wù)調(diào)研建立測(cè)試模型測(cè)試模型數(shù)據(jù)模型業(yè)務(wù)模型監(jiān)控模型風(fēng)險(xiǎn)模型執(zhí)行模型第27頁，共33頁，2023年，2月20日，星期六性能測(cè)試中的關(guān)鍵點(diǎn)業(yè)務(wù)調(diào)研例：年業(yè)務(wù)量調(diào)研月份業(yè)務(wù)量122043222123322143422122520342619873716543837643929832102421211209821221098第28頁，共33頁，2023年，2月20日，星期六性能測(cè)試中的關(guān)鍵點(diǎn)業(yè)務(wù)調(diào)研例：月業(yè)務(wù)量調(diào)研日期業(yè)務(wù)量日期業(yè)務(wù)量111211713452103718167831023191786498720154351543211231610222210947126723987810982489991376251022101675261034111324271213121099281112131256291345141098301274151021311012161121第29頁，共33頁，2023年，2月20日，星期六性能測(cè)試中的關(guān)鍵點(diǎn)業(yè)務(wù)調(diào)研例：日業(yè)務(wù)量調(diào)研時(shí)間交易量051120304052623743864997102121132412243132111416715143161221790181119720921522