性能測(cè)試計(jì)劃

DZ論壇性能比照測(cè)試方案文檔編號(hào)保密等級(jí)作者趙智乾最后修改日期2010-3-25審核人最后審批日期批準(zhǔn)人最后批準(zhǔn)日期修訂記錄日期版本修訂說(shuō)明修訂人2010-3-251.0趙智乾

目錄1 測(cè)試簡(jiǎn)介 11.1 背景 11.2 測(cè)試目的 11.3 測(cè)試范圍 11.4 性能測(cè)試指標(biāo)要求 1 頁(yè)面響應(yīng)時(shí)間 1 交易吞吐量 2 資源使用指標(biāo) 2 最大并發(fā)用戶數(shù) 22 測(cè)試環(huán)境 22.1 網(wǎng)絡(luò)環(huán)境圖 22.2 軟硬件配置 33 測(cè)試方案 43.1 交易選擇 43.2 測(cè)試數(shù)據(jù) 43.3 資源監(jiān)控指標(biāo) 53.4 測(cè)試類型與場(chǎng)景 5 基準(zhǔn)測(cè)試 5 性能測(cè)試 6 穩(wěn)定性測(cè)試 83.5 結(jié)果數(shù)據(jù)收集 83.6 結(jié)果分析 94 測(cè)試實(shí)施方案 94.1 測(cè)試時(shí)間和地點(diǎn) 94.2 參加測(cè)試人員 94.3 測(cè)試工作方案 94.4 測(cè)試約定 10測(cè)試簡(jiǎn)介背景測(cè)試目的本次比照測(cè)試要在當(dāng)前使用的硬件架構(gòu)和增加負(fù)載均衡設(shè)備后新的硬件架構(gòu)作出定性和定量比擬，通過(guò)測(cè)試找出當(dāng)前硬件架構(gòu)的性能瓶頸、負(fù)載均衡新硬件架構(gòu)性能關(guān)系，并通過(guò)分析找出替代方案，并為今后類似部署架構(gòu)提供參考與指導(dǎo)。通過(guò)對(duì)當(dāng)前硬件部署架構(gòu)的壓力測(cè)試，得出負(fù)載量與響應(yīng)時(shí)間的關(guān)系曲線，確定滿足要求的最大負(fù)載量；通過(guò)對(duì)部署了負(fù)載均衡設(shè)備的硬件部署架構(gòu)的壓力測(cè)試，得出負(fù)載量與響應(yīng)時(shí)間的關(guān)系曲線，確定滿足要求的最大負(fù)載量；比照兩中硬件部署架構(gòu)的性能與最大負(fù)載量，給出性能比照，給出比照測(cè)試的分析與結(jié)果。測(cè)試范圍測(cè)試對(duì)象選定“DZ論壇”，測(cè)試范圍主要為“用戶注冊(cè)”、“用戶發(fā)帖”、“用戶回帖”局部。性能測(cè)試指標(biāo)要求本次性能測(cè)試需要測(cè)試的性能指標(biāo)包括：1、最大并發(fā)用戶數(shù)：有多少用戶能在同一時(shí)間內(nèi)訪問(wèn)系統(tǒng)，表達(dá)的是業(yè)務(wù)并發(fā)用戶數(shù)。2、WEB最大連接數(shù)：《性能測(cè)試調(diào)研表〔DZ論壇〕》能夠最多承受多少人同時(shí)訪問(wèn)。3、頁(yè)面平均響應(yīng)時(shí)間：《性能測(cè)試調(diào)研表〔DZ論壇〕》完全展示頁(yè)面的平均響應(yīng)時(shí)間。4、吞吐量：在單位時(shí)間內(nèi)最大頁(yè)面處理量，公式為吞吐量=時(shí)間*吞吐率。5、資源使用指標(biāo)：《性能測(cè)試調(diào)研表〔DZ論壇〕》應(yīng)用效勞器和數(shù)據(jù)庫(kù)系統(tǒng)各效勞器CPU占用率、內(nèi)存占用率、I/O占用率；LoadRunner壓力產(chǎn)生器CPU占用率、內(nèi)存占用率。最大并發(fā)用戶數(shù)最大并發(fā)用戶指系統(tǒng)能夠支持的，在同一時(shí)刻內(nèi)，登錄系統(tǒng)并在時(shí)間上并行進(jìn)行業(yè)務(wù)操作的用戶數(shù)量。最大并發(fā)用戶是考察系統(tǒng)對(duì)前端系統(tǒng)或用戶端并發(fā)交易請(qǐng)求支持能力的一個(gè)技術(shù)性指標(biāo)。一般情況下，它反響了系統(tǒng)的并行處理能力和應(yīng)用擴(kuò)展能力。1)驗(yàn)證性測(cè)試：多個(gè)用戶并發(fā)，系統(tǒng)處理穩(wěn)定性、正確性、以及平均交易響應(yīng)時(shí)間。2)測(cè)試系統(tǒng)能承受的最大并發(fā)用戶數(shù)：通過(guò)不斷的增加并發(fā)數(shù)，測(cè)試系統(tǒng)能夠承載的最大并發(fā)用戶量。WEB最大連接數(shù)通過(guò)測(cè)試測(cè)出系統(tǒng)WEB最大連接數(shù)。判斷《性能測(cè)試調(diào)研表〔DZ論壇〕》能夠最多承受多少人同時(shí)訪問(wèn)。本次性能測(cè)試中的WEB同時(shí)接入最大數(shù)的測(cè)試方法是測(cè)試登錄到《性能測(cè)試調(diào)研表〔DZ論壇〕》的最大登錄用戶數(shù)。通過(guò)登錄交易的測(cè)試出最大連接數(shù)。目前準(zhǔn)備兩臺(tái)LoadRunner測(cè)試效勞器，一臺(tái)安裝最大5000個(gè)用戶的license，測(cè)出WEB最大連接數(shù)。頁(yè)面響應(yīng)時(shí)間本次性能測(cè)試中的頁(yè)面響應(yīng)時(shí)間是指在一定的負(fù)載壓力下，從《性能測(cè)試調(diào)研表〔DZ論壇〕》Web前端發(fā)起交易請(qǐng)求到到收到響應(yīng)結(jié)果這個(gè)過(guò)程所消耗的時(shí)間，采用一定時(shí)間段內(nèi)的統(tǒng)計(jì)平均值A(chǔ)RT來(lái)表示。本次性能測(cè)試中，對(duì)所有選擇的典型交易的ART指標(biāo)要求為：ART≤10秒〔該值是通過(guò)目前生產(chǎn)系統(tǒng)的交易〕吞吐量《性能測(cè)試調(diào)研表〔DZ論壇〕》的吞吐量是指在單位時(shí)間內(nèi)最大交易處理量，公式為吞吐量=時(shí)間*吞吐率。吞吐率用對(duì)Web應(yīng)用系統(tǒng)而言用HPS〔HitsperSecond，每秒點(diǎn)擊數(shù)〕來(lái)描述。點(diǎn)擊定義為《性能測(cè)試調(diào)研表〔DZ論壇〕》業(yè)務(wù)上的頁(yè)面請(qǐng)求。本次性能測(cè)試需要統(tǒng)計(jì)出在峰值情況下，《性能測(cè)試調(diào)研表〔DZ論壇〕》每秒內(nèi)最大的處理點(diǎn)擊頁(yè)面請(qǐng)求能力。資源使用指標(biāo)在正常的并發(fā)測(cè)試測(cè)試中，《性能測(cè)試調(diào)研表〔DZ論壇〕》各效勞器主機(jī)的資源使用指標(biāo)要求：CPU使用率≤80%內(nèi)存使用率≤80%I/O使用率≤50%為保證運(yùn)行Web客戶端的LoadRunner壓力產(chǎn)生器和控制器不成為瓶頸，其資源使用指標(biāo)要求：CPU使用率≤80%內(nèi)存使用率≤80%測(cè)試環(huán)境網(wǎng)絡(luò)環(huán)境圖獨(dú)立小型機(jī)方式模擬現(xiàn)在生產(chǎn)運(yùn)行方式，應(yīng)用效勞器與數(shù)據(jù)庫(kù)效勞器，單臺(tái)應(yīng)用效勞器使用Power系列機(jī)型，配置盡量與生產(chǎn)環(huán)境一致，數(shù)據(jù)庫(kù)效勞器使用Power系列機(jī)型，配置盡量與生產(chǎn)環(huán)境一致。結(jié)構(gòu)如下列圖。本次性能測(cè)試的網(wǎng)絡(luò)環(huán)境為100Mbps局域網(wǎng)，使用現(xiàn)有的網(wǎng)段，不考慮防火墻，忽略網(wǎng)絡(luò)延遲，交易請(qǐng)求以及結(jié)果返回的網(wǎng)絡(luò)傳輸時(shí)間可以忽略不計(jì)。軟硬件配置資源數(shù)量型號(hào)/配置/軟件名稱/軟件版本號(hào)硬件環(huán)境數(shù)據(jù)庫(kù)效勞器1IBM570應(yīng)用效勞器〔模擬生產(chǎn)環(huán)境〕1IBM570磁盤陣列1160GLR控制臺(tái)1臺(tái)式機(jī)PentiumD2.8G/1G內(nèi)存LR壓力產(chǎn)生器5臺(tái)式機(jī)PentiumD2.8G/1G內(nèi)存軟件環(huán)境應(yīng)用效勞器軟件4domino6.0forAIX數(shù)據(jù)庫(kù)效勞器軟件1Oracle.4.0LR壓力產(chǎn)生器操作系統(tǒng)5WindowsXPLR控制臺(tái)操作系統(tǒng)1WindowsXP測(cè)試方案交易選擇測(cè)試數(shù)據(jù)根底數(shù)據(jù)來(lái)自luzee“DZ論壇”生產(chǎn)數(shù)據(jù)。數(shù)據(jù)規(guī)模同生產(chǎn)環(huán)境。為保證在LoadRunner進(jìn)行大量測(cè)試的過(guò)程中各頁(yè)面不因數(shù)據(jù)準(zhǔn)備不充分而出錯(cuò)，應(yīng)進(jìn)行一些必要的準(zhǔn)備工作，比方：數(shù)據(jù)備份和恢復(fù)：在執(zhí)行性能測(cè)試前，備份測(cè)試環(huán)境中的數(shù)據(jù)庫(kù)。假設(shè)調(diào)優(yōu)后性能回歸測(cè)試根據(jù)需要進(jìn)行數(shù)據(jù)恢復(fù)；用戶登錄密碼統(tǒng)一重置；資源監(jiān)控指標(biāo)本次性能測(cè)試進(jìn)行的資源監(jiān)控包括：CPUUtilization〔CPU使用率%〕、Pagingrate(內(nèi)存使用率%)。監(jiān)控的效勞器包括：信息發(fā)布平臺(tái)應(yīng)用效勞器、信息平臺(tái)數(shù)據(jù)庫(kù)效勞器、Autonomy應(yīng)用效勞器。測(cè)試類型與場(chǎng)景基準(zhǔn)測(cè)試典型交易基準(zhǔn)測(cè)試是單交易單用戶測(cè)試，目的是對(duì)選擇的每個(gè)典型交易在無(wú)壓力情況下〔無(wú)額外進(jìn)程運(yùn)行并占用系統(tǒng)資源〕情況下，獲取系統(tǒng)處理單筆交易的耗時(shí)，為下一步模擬多個(gè)用戶、混合交易的性能測(cè)試提供一個(gè)根本數(shù)據(jù)參考?；鶞?zhǔn)測(cè)試要到達(dá)以下目標(biāo)：驗(yàn)證測(cè)試腳本及測(cè)試參數(shù)的正確性。獲取系統(tǒng)處理單筆交易性能數(shù)據(jù)，主要是單筆交易平均響應(yīng)時(shí)間測(cè)試方法使用一個(gè)Vuser，分別運(yùn)行每個(gè)典型交易的腳本，設(shè)置腳本的迭代次數(shù)1次，驗(yàn)證所有腳本是否運(yùn)行正確、所有交易事務(wù)是否成功返回，并獲取每個(gè)典型交易的平均交易響應(yīng)時(shí)間ART。測(cè)試場(chǎng)景腳本場(chǎng)景設(shè)計(jì)如下：編號(hào)場(chǎng)景名并發(fā)用戶數(shù)加壓方式持續(xù)時(shí)間退出方式思考時(shí)間/迭代延遲負(fù)載生成器數(shù)量1翻開(kāi)首頁(yè)1同時(shí)運(yùn)行完成運(yùn)行完成無(wú)12保存文檔1同時(shí)運(yùn)行完成運(yùn)行完成無(wú)13優(yōu)化后翻開(kāi)首頁(yè)1同時(shí)運(yùn)行完成運(yùn)行完成無(wú)14優(yōu)化后保存文檔1同時(shí)運(yùn)行完成運(yùn)行完成無(wú)1效勞器端場(chǎng)景設(shè)計(jì)如下：編號(hào)場(chǎng)景名并發(fā)用戶數(shù)加壓方式持續(xù)時(shí)間退出方式思考時(shí)間/迭代延遲負(fù)載生成器數(shù)量1AIX場(chǎng)景1同時(shí)運(yùn)行完成同時(shí)無(wú)1性能測(cè)試混合多用戶并發(fā)測(cè)試是最典型也是最有效的性能測(cè)試手段，選擇的典型頁(yè)面按一定的占比，通過(guò)不同數(shù)量的并發(fā)用戶向效勞器端發(fā)送頁(yè)面請(qǐng)求，獲取各頁(yè)面響應(yīng)在比擬接近真實(shí)生產(chǎn)場(chǎng)景的情況下的交易平均響應(yīng)時(shí)間，同時(shí)監(jiān)控效勞器的資源狀況，根據(jù)需要進(jìn)行性能調(diào)優(yōu)。測(cè)試方法步驟1：多用戶負(fù)載測(cè)試使用手動(dòng)場(chǎng)景，按全部典型頁(yè)面及其占比組合測(cè)試腳本，分別設(shè)置并發(fā)用戶數(shù)為50、100、300、500、時(shí)的并發(fā)測(cè)試，加壓方式為逐漸加壓〔每15秒增加20個(gè)用戶〕，用戶逐漸退出〔每15秒退出20個(gè)用戶〕，場(chǎng)景持續(xù)運(yùn)行時(shí)間5分鐘，各腳本無(wú)思考時(shí)間，無(wú)迭代延遲時(shí)間。記錄場(chǎng)景穩(wěn)定時(shí)的ART、HPS以及系統(tǒng)資源消耗平均值。步驟2：最大并發(fā)用戶數(shù)測(cè)試根據(jù)上一步的測(cè)試結(jié)果，使用手動(dòng)場(chǎng)景，使用混合頁(yè)面請(qǐng)求模式，設(shè)置初始并發(fā)用戶數(shù)量，在執(zhí)行場(chǎng)景的過(guò)程中繼續(xù)加壓〔運(yùn)行虛擬用戶〕，直到ART、CPU%、MEM%、交易成功率等指標(biāo)有其中一個(gè)不滿足要求為止，記錄此時(shí)的并發(fā)用戶數(shù)，即為最大并發(fā)用戶數(shù)。步驟3：基于最大交易響應(yīng)時(shí)間的最大并發(fā)用戶數(shù)測(cè)試設(shè)計(jì)一個(gè)基于目標(biāo)的場(chǎng)景，最小Vuser數(shù)50，最大Vuser數(shù)800。記錄場(chǎng)景ART穩(wěn)定時(shí)的虛擬用戶數(shù)量和各效勞器的資源消耗情況，此時(shí)的虛擬用戶數(shù)即為滿足交易響應(yīng)時(shí)間條件下的最大并發(fā)用戶數(shù)。測(cè)試場(chǎng)景綜合場(chǎng)景設(shè)計(jì)編號(hào)腳本場(chǎng)景效勞器場(chǎng)景并發(fā)用戶數(shù)加壓方式持續(xù)時(shí)間退出方式思考時(shí)間/迭代延遲負(fù)載生成器數(shù)量1用戶登錄AIX50并發(fā)運(yùn)行完成腳本結(jié)束無(wú)12保存文檔AIX50并發(fā)運(yùn)行完成腳本結(jié)束無(wú)13用戶登錄AIX100并發(fā)運(yùn)行完成腳本結(jié)束無(wú)14保存文檔AIX100并發(fā)運(yùn)行完成腳本結(jié)束無(wú)15用戶登錄AIX300并發(fā)運(yùn)行完成腳本結(jié)束無(wú)16保存文檔AIX300并發(fā)運(yùn)行完成腳本結(jié)束無(wú)17用戶登錄AIX500并發(fā)運(yùn)行完成腳本結(jié)束無(wú)18保存文檔AIX500并發(fā)運(yùn)行完成腳本結(jié)束無(wú)19優(yōu)化后用戶登錄AIX100并發(fā)運(yùn)行完成腳本結(jié)束無(wú)110優(yōu)化后保存文檔AIX100并發(fā)運(yùn)行完成腳本結(jié)束無(wú)111優(yōu)化后用戶登錄AIX300并發(fā)運(yùn)行完成腳本結(jié)束無(wú)112優(yōu)化后保存文檔AIX300并發(fā)運(yùn)行完成腳本結(jié)束無(wú)1優(yōu)化后用戶登錄AIX500并發(fā)運(yùn)行完成腳本結(jié)束無(wú)1優(yōu)化后保存文檔AIX500并發(fā)運(yùn)行完成腳本結(jié)束無(wú)1優(yōu)化后用戶登錄AIX800并發(fā)運(yùn)行完成腳本結(jié)束無(wú)1優(yōu)化后保存文檔AIX800并發(fā)運(yùn)行完成腳本結(jié)束無(wú)1結(jié)果數(shù)據(jù)收集性能測(cè)試執(zhí)行過(guò)程中應(yīng)收集的測(cè)試場(chǎng)景執(zhí)行結(jié)果數(shù)據(jù)包括：LoadRunner的Controller中的場(chǎng)景執(zhí)行結(jié)果數(shù)據(jù)；核心主機(jī)記錄的資源〔CPU、MEM〕監(jiān)控?cái)?shù)據(jù)文件。結(jié)果分析對(duì)上述收集到的結(jié)果進(jìn)行分析，得出三種部署方案的性能比擬：二種方案最大在線用戶數(shù)；二種方案的最大并發(fā)用戶數(shù)；二種方案響應(yīng)時(shí)間曲線、資源利用曲線及其比擬結(jié)果；是否有新的瓶頸〔如數(shù)據(jù)庫(kù)效勞器〕出現(xiàn)；用戶數(shù)量與應(yīng)用效勞器資源的關(guān)系曲線。測(cè)試實(shí)施方案測(cè)試時(shí)間和地點(diǎn)時(shí)間：2014年6月10日地