消息壓力測試報告

1、壓力測試報告 虎瑞科技有限公司2015-05CMS 系統(tǒng)MSG壓力測試方案- 1 -目錄目錄目錄.11 1 概述概述.21.1 簡介.21.2 目的.21.3 定義.22 2 測試環(huán)境測試環(huán)境.22.1 網(wǎng)絡(luò).22.2 啊里云應(yīng)用服務(wù)器.32.3 模擬南傳服務(wù)器.32.4 測試機(jī).42.5 條件與限制.52.6 測試場景.53 3 測試工具測試工具.53.1 測試工具.53.2 工具簡介.54 4 被測試數(shù)據(jù)被測試數(shù)據(jù).65 5 測試策略測試策略.65.1 測試準(zhǔn)備.65.2 測試環(huán)境搭建及風(fēng)險.75.3 壓力測試.76 6 測試結(jié)果測試結(jié)果.86.1 測試結(jié)果數(shù)據(jù)與分析圖表.86.2 評判標(biāo)

2、準(zhǔn).116.3 測試結(jié)果分析.11CMS 系統(tǒng)MSG壓力測試方案- 2 -1 1 概述概述1.11.1 簡介簡介軟件壓力測試 是軟件質(zhì)量保證的一項基本 行為，是每個重要軟件測試工作的一部分。軟件壓力測試 是指對系統(tǒng)不斷施加壓力 的情況下，根據(jù)系統(tǒng)各項指標(biāo)的變化情況來判斷：1、系統(tǒng)可能存在的 瓶頸；2、系統(tǒng)負(fù)載能力；3、系統(tǒng)正常運(yùn)行情況下的運(yùn)行效率。1.21.2 目的目的通過壓力測試，判斷當(dāng)前應(yīng)用環(huán)境情況下系統(tǒng)的負(fù)載能力，為今后應(yīng)用范圍擴(kuò)大，用戶量上升后，服務(wù)器擴(kuò)容、升級等提供必要的技術(shù)支撐，及服務(wù)器規(guī)劃等。1.31.3 定義定義術(shù)語術(shù)語說明說明應(yīng)用服務(wù)器B/S 三層架構(gòu)中的應(yīng)用處理服務(wù)器，提供

3、請求的接收、處理、返回數(shù)據(jù)庫服務(wù)器B/S 三層架構(gòu)中的數(shù)據(jù)處理服務(wù)器，提供數(shù)據(jù)的存儲和讀取等功能測試機(jī)專門用來壓力測試的計算機(jī)，通常為常用的 PC 機(jī)系統(tǒng)用戶數(shù)是指實際可能使用應(yīng)用系統(tǒng)的總用戶數(shù)在線用戶數(shù)是指當(dāng)前登錄應(yīng)用系統(tǒng)，處于正在操作或空閑狀態(tài)的用戶數(shù)并發(fā)用戶數(shù)是指當(dāng)前登錄應(yīng)用系統(tǒng)，并同時進(jìn)行操作的用戶數(shù)響應(yīng)時間是指服務(wù)器從接收請求到返回請求之間的處理時間。壓力測試中，忽略網(wǎng)絡(luò)傳輸時間及測試機(jī)中處理時間，測試機(jī)上獲得響應(yīng)時間即作為服務(wù)器的響應(yīng)時間2 2 測試環(huán)境測試環(huán)境2.12.1 網(wǎng)絡(luò)網(wǎng)絡(luò)為了盡量避免網(wǎng)絡(luò)傳輸給測試結(jié)果帶來的影響，應(yīng)該選取內(nèi)部局域網(wǎng)作CMS 系統(tǒng)MSG壓力測試方案- 3

4、-為壓力測試的網(wǎng)絡(luò)環(huán)境（但 是我們沒有專門的局域網(wǎng)，只能用外網(wǎng)測試 ）。網(wǎng)絡(luò)框圖如下：2.22.2 啊里云應(yīng)用服務(wù)器啊里云應(yīng)用服務(wù)器應(yīng)用服務(wù)器即 WEB 服務(wù)器，是壓力測試的主要對象。應(yīng)用服務(wù)器為目前正式環(huán)境中運(yùn)行的服務(wù)器，應(yīng)用服務(wù)器配置不同，其壓力測試結(jié)果也不一致。服務(wù)器配置如下：服務(wù)器類型機(jī)架式服務(wù)器處理器Intel(R) Xeon(R) CPU E5-2609 v3 1.90GHz內(nèi)存16G硬盤268G硬件配置操作系統(tǒng)LINUX其它運(yùn)行軟件2.32.3 模擬南傳服務(wù)器模擬南傳服務(wù)器服務(wù)器配置如下：服務(wù)器類型機(jī)架式服務(wù)器處理器Intel(R) Xeon(R) CPU E5-2609 v3

5、1.90GHz內(nèi)存16G硬件配置硬盤268GCMS 系統(tǒng)MSG壓力測試方案- 4 -操作系統(tǒng)LINUX數(shù)據(jù)庫系統(tǒng)其它運(yùn)行軟件2.42.4 測試機(jī)測試機(jī)由于壓力測試是對系統(tǒng)負(fù)載能力的測試，無法通過真是的環(huán)境來進(jìn)行獲取相關(guān)指標(biāo)，因此通過測試機(jī)，模擬用戶（虛擬用戶）實際的操作來進(jìn)行測試。測試機(jī)即安裝壓力測試工具，及進(jìn)行壓力測試的客戶端機(jī)器，一般采用高檔次的用戶 PC 機(jī)來進(jìn)行測試。在壓力測試過程中，一般忽略測試機(jī)對壓力測試結(jié)果的影響。測試機(jī) 1 配置(筆記本)：服務(wù)器類型普通 PC處理器Intel(R) Core(TM) i5-5200 CPU 2.20GHz內(nèi)存4G硬盤500G硬件配置操作系統(tǒng)wi

6、n7_64(旗艦版) 其它運(yùn)行軟件測試機(jī) 1 配置(臺式機(jī))：CMS 系統(tǒng)MSG壓力測試方案- 5 -2.52.5 條件與限制條件與限制為了盡量保證壓力測試結(jié)果的真實性，在壓力測試期間，做如下的條件限制：1、盡量在局域網(wǎng)內(nèi)進(jìn)行壓力測試；2、數(shù)據(jù)庫服務(wù)器除了處理測試應(yīng)用系統(tǒng)請求外，不進(jìn)行其它應(yīng)用請求；3、測試應(yīng)用服務(wù)器不進(jìn)行其它的正常業(yè)務(wù)處理，因此壓力測試安排在非工作日進(jìn)行；4、壓力測試結(jié)果忽略測試機(jī)、應(yīng)用服務(wù)器、網(wǎng)絡(luò)等其它額外的開銷，不作為系統(tǒng)瓶頸的分析對象。2.62.6 測試場景測試場景打開工具，導(dǎo)入已編寫好的腳本，設(shè)置總共登陸 0-1000 個用戶同時登陸。設(shè)置思考時間 1S,直到所有用戶

7、都保持在線，線上保持 20-120 分鐘3 3 測試工具測試工具3.13.1 測試工具測試工具測試工具： LoadRunner11。3.23.2 工具簡介工具簡介LoadRunner 是通過模擬多個用戶同時在應(yīng)用程序中工作的環(huán)境，對應(yīng)用程序進(jìn)行負(fù)載測試。當(dāng)應(yīng)用程序在負(fù)載狀態(tài)下運(yùn)行時，LoadRunner 會準(zhǔn)確評測、監(jiān)控并分析系統(tǒng)的性能和功能。LoadRunner 使用 HTTP/HTTPS 協(xié)議，主要思想是 使用虛擬用戶來模擬實際用戶對系統(tǒng)施加壓力 。模擬圖如下：CMS 系統(tǒng)MSG壓力測試方案- 6 -4 4 被測試數(shù)據(jù)被測試數(shù)據(jù)消息收發(fā)是系統(tǒng)功能模塊中實現(xiàn)簡單查詢功能，服務(wù)器不需要進(jìn)行復(fù)雜

8、運(yùn)算的查詢模塊。 但也是系統(tǒng)中基本的模塊，操作量相對較大，性能的要求較高，對服務(wù)器的壓力相對 較大。根據(jù)測試應(yīng)用系統(tǒng) 中消息的業(yè)務(wù)場境 情況，選取以下功能做為 消息類的數(shù)據(jù)：A 用戶手機(jī)交互 消息B 用戶請求系統(tǒng) 消息C 南傳盒子接收系統(tǒng)消息D 系統(tǒng)發(fā)消息到南傳盒子E 南傳盒子接收手機(jī)消息F 手機(jī)發(fā)消息到南傳盒子G 用戶請求心跳服務(wù)器5 5 測試測試策略策略5.15.1 測試準(zhǔn)備測試準(zhǔn)備按照本測試方案及測試計劃，準(zhǔn)備測試數(shù)據(jù)接口與被測環(huán)境，并在模擬環(huán)境中進(jìn)行測試運(yùn)行。由于并發(fā)數(shù)太大，考慮公司的硬件 問題，決定用 1-2 臺普通 PC 作為負(fù)CMS 系統(tǒng)MSG壓力測試方案- 7 -載機(jī)。由開發(fā)提

9、供一個測試接口，先單機(jī)調(diào)試，跑通流 程，再聯(lián)機(jī)調(diào)試5.25.2 測試環(huán)境搭建及風(fēng)險測試環(huán)境搭建及風(fēng)險根據(jù)測試方法和測試步驟，及測試環(huán)境的要求，按照測試計劃搭建測試環(huán)境，并安排測試人員及工作職責(zé)。 Loadrunner 是一個收費(fèi)軟件， 以級系統(tǒng)和瀏覽器都存在兼容性，在每一臺 PC 機(jī)上安裝都需要重新破解 調(diào)試，最后的聯(lián)機(jī)調(diào)試，可能比較費(fèi)時風(fēng)風(fēng)險險與與問問題題：一，測試環(huán)境搭建在個人 PC 機(jī)上，運(yùn)行測試 期間，PC 機(jī)不能用于其它用途，目前沒有負(fù)載機(jī)可用，測試人員的PC 機(jī)還要用于其它測試用途 。二，如果測試人員的 PC 機(jī)上安裝，在破解調(diào)試期間，會占用一部分測試人員測試的時間。5.35.3

10、壓力測試壓力測試壓力測試分以下幾種情況測試：測測試試內(nèi)內(nèi)容容比比例例并并發(fā)發(fā)數(shù)數(shù)時時操操作作用用戶戶數(shù)數(shù)（最最高高）A 用戶手機(jī)交互 消息100%800B 用戶請求系統(tǒng) 消息100%1000C 南傳盒子接收系統(tǒng)消息100%1000D 系統(tǒng)發(fā)消息到南傳盒子100%1000E 南傳盒子接收手機(jī)消息100%1000F 手機(jī)發(fā)消息到南傳盒子100%1000G 用戶請求心跳服務(wù)器100%2000壓力測試過程中需要記錄的性能指標(biāo)包括：測測試試環(huán)環(huán)境境指指標(biāo)標(biāo)最大用戶并發(fā)數(shù)最小響應(yīng)時間最大響應(yīng)時間被測機(jī)平均響應(yīng)時間CMS 系統(tǒng)MSG壓力測試方案- 8 -最小平均 被測服務(wù)器 CPU最大最小值最大值被測服務(wù)器

11、內(nèi)存消耗平均值6 6 測試結(jié)果測試結(jié)果6.16.1 測試結(jié)果數(shù)據(jù)與分析圖表測試結(jié)果數(shù)據(jù)與分析圖表1、手機(jī)發(fā)消息到南傳盒子：虛擬用戶數(shù)(連接數(shù))6008001000平均事務(wù)響應(yīng)時間（S）0.0420.1540.179平均 HTTP 響應(yīng)數(shù)590.3785.1989.4通過事務(wù)數(shù)/秒589784840事務(wù)通過率(%)100%100%100%阿里云服務(wù)器 CPU 使用率(%)18.4621.7325.95吞吐量(K)111.493147.873180.3152、南傳盒子接收手機(jī)消息：虛擬用戶數(shù)(連接數(shù))6008001000平均事務(wù)響應(yīng)時間（S）0.0560.1580.185平均 HTTP 響應(yīng)數(shù)58

12、0.7777.2939.4通過事務(wù)數(shù)/秒580765780事務(wù)通過率(%)100%100%100%南傳服務(wù)器 CPU 使用率(%)19.49 22.73 34.51 吞吐量(K)115.233157.973182.365CMS 系統(tǒng)MSG壓力測試方案- 9 -3、系統(tǒng)發(fā)消息到南傳盒子：虛擬用戶數(shù)(連接數(shù))6008001000平均事務(wù)響應(yīng)時間（S）1.882.633.65平均 HTTP 響應(yīng)數(shù)570.3775.5967.9通過事務(wù)數(shù)/秒560777850事務(wù)通過率(%)100%100%100%阿里云服務(wù)器 CPU 使用率(%)23.1625.8328.91%吞吐量(K)121.593167.87

13、3189.4354、南傳盒子接收系統(tǒng)消息：虛擬用戶數(shù)(連接數(shù))6008001000平均事務(wù)響應(yīng)時間（S）1.721.983.75平均 HTTP 響應(yīng)數(shù)598786.2921.5通過事務(wù)數(shù)/秒598785850事務(wù)通過率(%)100%100%100%南傳服務(wù)器 CPU 使用率(%)35.39 37.53 43.71 吞吐量(K)145.263168.973192.665CMS 系統(tǒng)MSG壓力測試方案- 10 -5、手機(jī)接收系統(tǒng)消息：用戶數(shù)量 300(個)用戶數(shù)量500(個)用戶數(shù)量 1000(個)總時間(S)8597207最小響應(yīng)時間(S)0.0030.0030.003平均響應(yīng)時間(S)0.02

14、40.060.085最大響應(yīng)時間(S)1.2921.3995.43790%事務(wù)響應(yīng)時間（S）0.0410.1310.188CPU 占用率（%）6.83 8.07 18.70 通過事務(wù)數(shù)/秒2954898296、用戶交互消息測試：用戶數(shù)量 200*2(個)用戶數(shù)量250*2(個)用戶數(shù)量 300*2(個)用戶數(shù)量 400*2(個)總時間526980102最高 CPU 使用率(%)55.70 30.70 26.70 28.70 平均 CPU 使用率(%)15.30 9.70 16.30 16.70 發(fā)最小響應(yīng)時間(S)0.0270.0260.0210.014收最小響應(yīng)時間(S)0.0170.010

15、.0120.008發(fā)平均響應(yīng)時間(S)0.4220.4450.4050.37收平均響應(yīng)時間(S)0.2080.3130.4340.227發(fā)最大響應(yīng)時間(S)0.9691.21.1571.482收最大響應(yīng)時間(S)0.6970.9491.2261.277通過事務(wù)數(shù)/秒386468589795CMS 系統(tǒng)MSG壓力測試方案- 11 -7、南傳心跳測試：虛擬用戶數(shù)(連接數(shù))2000事務(wù)通過率(%)100%平均事務(wù)響應(yīng)時間（S）0.028阿里云服務(wù)器 CPU 使用率(%)33.70%平均 HTTP 響應(yīng)數(shù)1925.5南傳服務(wù)器 CPU 使用率(%)18.20%通過事務(wù)數(shù)/秒1905吞吐量(K)150.

16、9886.26.2 評判標(biāo)準(zhǔn)評判標(biāo)準(zhǔn)用戶體驗參考標(biāo)準(zhǔn)：業(yè)業(yè)務(wù)務(wù)類類別別平平均均響響應(yīng)應(yīng)時時間間滿滿意意度度（用用戶戶感感受受）1 秒良好1-3 秒一般3 秒-5 秒較差A(yù)、C、E、F5 秒以上難以忍受2 秒良好3-5 秒一般5 秒-10 秒較差B、D10 秒以上難以忍受6.36.3 測試結(jié)果分析測試結(jié)果分析根據(jù)以上測試結(jié)果可得出以下結(jié)論： 業(yè)務(wù)場境平均響應(yīng)時間（S） 極限處理消息事務(wù)的能力(個/秒)A 用戶手機(jī)交互消息0.29785B 手機(jī)請求系統(tǒng)消息0.06829C 南傳盒子接收系統(tǒng)消息2.48850CMS 系統(tǒng)MSG壓力測試方案- 12 -D 系統(tǒng)發(fā)消息到南傳盒子2.70850E 南傳盒子接收手機(jī)消息0.133780F 手機(jī)發(fā)消息到南傳盒子0.125840G 用戶請求心跳服務(wù)器0.02819051、目前測試完成后，出現(xiàn)用戶與服務(wù)器之間的連接不能斷開的問題，已經(jīng)向繼龍反饋，原因暫時未知。2、心跳服務(wù)器事務(wù)處理能力為 1900 個/秒左右;3、消息端服務(wù)器的處理能力應(yīng)在 800 個/秒左右;4、若南傳總用戶數(shù)據(jù)為 16 萬，活躍率為 80%，目前交互消息發(fā)送率為 5%，則在推送系統(tǒng)消息時，消息端服務(wù)器與心跳服務(wù)器所承受的壓力相同即心跳服務(wù)每天平均并發(fā)數(shù)：C1=（16000