農商銀行新一代綜合柜面業(yè)務系統(tǒng)性能測試報告

1、性能測試計劃 北京農商銀行新一代綜合柜面業(yè)務系統(tǒng)性能測試報告文 檔 編 號保 密 等 級作 者最后修改日期審 核 人最后審批日期批 準 人最后批準日期第II頁性能測試報告修訂記錄日期版本修訂說明修訂人2011-10-120.1編寫測試報告中的方案部分王曉華2011-10-一三0.2對測試腳本、測試數據、測試場景進行描述王曉華2011-10-250.3整理測試執(zhí)行結果王時磊2011-10-280.4數據分析和修訂王曉華目 錄1測試簡介11.1項目背景11.2測試目標11.3測試范圍11.4性能測試指標要求12測試方案22.1壓力模型22.2交易選擇22.3測試腳本32.4資源監(jiān)控32.5測試場景

2、43測試環(huán)境53.1網絡拓撲圖53.2軟硬件配置53.3測試工具64測試實施情況74.1測試時間和地點74.2參加測試人員74.3測試實施進度75測試結果85.1基準測試85.1.1測試結果85.1.2分析圖表85.2并發(fā)測試95.2.1測試結果95.2.2分析圖表106數據分析237系統(tǒng)評價258測試遺留問題259附錄259.1性能測試記錄表269.20210交易處理腳本26- II -1 測試簡介1.1 項目背景為解決原有字符終端柜面系統(tǒng)不能處理非線性數據（如圖像）的缺陷、解決業(yè)務中的柜員離柜問題，并對交易前端的功能性梳理和整合，北京農商銀行將實施現有字符終端向圖形終端的改造，實施新一代綜

3、合柜面業(yè)務系統(tǒng)項目。在新一代綜合柜面業(yè)務系統(tǒng)全面推廣上線前，需要對新系統(tǒng)平臺進行性能測試，獲取系統(tǒng)的并發(fā)處理能力、交易響應時間等性能指標。1.2 測試目標 本次性能測試的測試目標為： Ø 獲取新一代綜合柜面業(yè)務系統(tǒng)在測試環(huán)境中的性能指標數據Ø 發(fā)現性能瓶頸，協助開發(fā)人員進行性能調優(yōu)，對系統(tǒng)上線提供性能建議和評估1.3 測試范圍新一代綜合柜面系統(tǒng)的架構示意圖如下圖所示，圖中紅線虛框為本次性能測試的范圍，包括ABS處理平臺的后臺應用服務器和數據庫服務器。1.4 性能測試指標要求指標分類序號指標描述是否需求性能指標需求數值備注系統(tǒng)處理能力1每秒事務數TPS否通過性能測試獲取系統(tǒng)處

4、理能力峰值2典型交易平均交易響應時間ART否獲取實際指標值3批處理效率否柜面系統(tǒng)無大數據量批處理任務4最大并發(fā)用戶數是50全行柜面終端數約為28005交易成功率是99%系統(tǒng)資源利用率6CPU占用率是80%7內存使用率是80%8I/O使用率是80%2 測試方案2.1 壓力模型本次性能測試采用如下的簡易壓力模型：Ø 通過LoadRunner模擬圖形終端各柜員向ABS平臺發(fā)起交易壓力Ø 通過測試環(huán)境中的核心業(yè)務系統(tǒng)響應柜面交易請求2.2 交易選擇根據和開發(fā)組的溝通，選擇如下前端處理比較復雜的典型交易：編號交易碼交易名交易占比參數化域備注10210個人客戶信息建立100%無處理較復

5、雜的交易2.3 測試腳本根據上述的系統(tǒng)架構示意圖，通過LoadRunner的Socket協議錄制柜面前端向柜面系統(tǒng)應用服務器發(fā)起的柜面交易，發(fā)現Socket交互次數（一組send和receive算一次交互）特別多（0210交易51次Socket交互），而且腳本回放時報接收報文長度不匹配錯誤。新柜面系統(tǒng)開發(fā)組提供了一個測試用的Jar包，將圖形前端ABC和后臺應用服務器ABS之間的通訊過程進行了封裝，通過解析描述型的交易數據文件后向后臺提交交易，為此，使用LoadRunner的Java協議，測試腳本中通過調用Jar包中的對象提交柜面交易。使用此測試腳本方案暫時也有如下缺點：Ø 無法實現交

6、易數據的參數化Ø 腳本中只能定義各柜面交易執(zhí)行全過程的長事務，無法對交易中各階段進行分解分析（比如頁面控件響應時間、交易提交響應時間、打印響應時間等）Ø 測試腳本中無法獲取交易執(zhí)行結果：交易提交后不返回響應特征碼，從測試腳本中無法判斷交易執(zhí)行的情況，需要分析后臺日志文件或數據庫流水表分析交易是否成功（性能測試交易量巨大可能會引起大量的交易結果分析工作量）Ø LoadRunner統(tǒng)計分析數據失真（因失敗交易也當成成功交易進行統(tǒng)一分析）2.4 資源監(jiān)控根據壓力測試模型，本次性能測試需要監(jiān)控如下主機的一些性能指標數據：v 新柜面系統(tǒng)應用服務器主機（Linux操作系統(tǒng)）&

7、#252; CPU CPU Utilization（CPU使用率%）ü Memory Paging rate（內存頁交換速率）ü I/O Disk Traffic（磁盤交換速率）v 新柜面系統(tǒng)數據庫服務器主機（AIX操作系統(tǒng)）ü CPU CPU Utilization（CPU使用率%）ü Memory Paging rate（內存頁交換速率）ü I/O Disk Traffic（磁盤交換速率）v LoadRunner控制器和壓力產生器主機（Windows XP操作系統(tǒng)）ü CPU % Total Processor Time（總的CP

8、U使用率）ü Memory Available Mbytes（物理內存的可用數，單位 Mbytes）ü Memory Page Faults/sec（頁面錯誤導致的頁交換計數）ü I/O %Disk Time（磁盤驅動器讀寫請求已用時間所占百分比）主機資源指標數據監(jiān)控的方法：Ø 優(yōu)先通過LoadRunner進行監(jiān)控Ø 通過操作系統(tǒng)內部指令（如top、vmstat等）2.5 測試場景設計如下類型的測試場景：Ø 基準測試：獲取系統(tǒng)處理各典型交易在無壓力情況下單筆交易的耗時，為并發(fā)場景提供一個基本數據參考。Ø 并發(fā)測試：檢驗服務器

9、端對每個典型交易多個并發(fā)用戶的處理能力，獲取系統(tǒng)處理性能指標值。各測試場景設置信息如下：編號場景類型場景名并發(fā)用戶數加壓方式持續(xù)時間退出方式思考時間/迭代延遲交易組合備注1基準測試JZ_0210_1_1001同時運行完成同時無02102并發(fā)測試BF_0210_1010同時運行完成同時無02103并發(fā)測試BF_0210_2020同時運行完成同時無02104并發(fā)測試BF_0210_3030同時運行完成同時無02105并發(fā)測試BF_0210_4040同時運行完成同時無02106并發(fā)測試BF_0210_50_10m50每一五秒加10VU10m每一五秒減10VU無02107并發(fā)測試BF_0210_100

10、_10m100每一五秒加200VU10m每一五秒減20VU無02108并發(fā)測試BF_0210_一五0_10m一五0每一五秒加300VU10m每一五秒減30VU無02109并發(fā)測試BF_0210_200_10m200每一五秒加40VU10m每一五秒減40VU無021010并發(fā)測試BF_0210_250_10m250每一五秒加50VU10m每一五秒減50VU無021011并發(fā)測試BF_0210_300_10m300每一五秒加60VU10m每一五秒減60VU無0210注：根據全行柜面終端數約2800的統(tǒng)計數據，最大并發(fā)數為終端數的10%一五%（經驗值），選擇最大300并發(fā)的場景。3 測試環(huán)境3.1

11、網絡拓撲圖本次性能測試環(huán)境的網絡拓撲圖如下：（其中核心系統(tǒng)使用測試環(huán)境中的172.16.12.6主機）3.2 軟硬件配置新一代柜面系統(tǒng)應用服務器硬件配置主機型號CPU4C8U，Intel(R) Xeon(R) CPU E5506 x 2.一三GHz物理內存8G硬盤容量276GIP地址192.一五6.33.6網絡設備100M局域網卡軟件配置類型名稱版本操作系統(tǒng)SUSE LinuxEnterprise Server 10 (x86_64)應用軟件JDK/JRE1.6.0_23新一代柜面系統(tǒng)數據庫服務器硬件配置主機型號IBM 8202-E4BCPUPower 6，4C8Ux3000MHz物理內存16

12、G硬盤容量70GIP地址192.一五6.33.一八網絡設備100M局域網卡軟件配置類型名稱版本操作系統(tǒng)AIXVersion 5.3數據庫Oracle 10g10.1.0.2.0核心業(yè)務系統(tǒng)主機硬件配置主機型號IBM AS400CPU物理內存硬盤容量IP地址172.16.12.6網絡設備100M局域網卡軟件配置類型名稱版本操作系統(tǒng)OS 400數據庫LR控制器/壓力產生器硬件配置主機型號PCCPU2C x 2.2G物理內存1G硬盤容量160GIP地址172.16.一五.14網絡設備100M局域網卡軟件配置類型名稱版本操作系統(tǒng)Microsoft XP ProfessionalSP2應用軟件HP Lo

13、adRunner 8.1 英文版 3.3 測試工具序號工具名稱用途及說明廠商版本1LoadRunner性能測試工具，Java協議（License并發(fā)數為300）HP8.1 英文版4 測試實施情況4.1 測試時間和地點時間： 2011年10月08日 2011年10月21日地點： 北京農商銀行空港辦公區(qū)3樓測試機房4.2 參加測試人員參加本次性能測試的人員包括：Ø 王 鵬：測試經理，性能測試總體協調Ø 高 偉：開發(fā)組支持，測試腳本錄制和調試Ø 王曉華：性能測試專家，制訂方案、指導測試Ø 王時磊：性能測試工程師，測試工具、測試場景準備、測試

14、執(zhí)行4.3 測試實施進度編號任務開始日期結束日期責任人1討論和制訂測試方案2011-10-082011-10-10王曉華2測試工具準備2011-10-082011-10-08王時磊3測試腳本編制、調試2011-10-082011-10-一三王時磊4測試場景準備2011-10-122011-10-12王時磊5測試環(huán)境準備2011-10-一三2011-10-一三王鵬6測試執(zhí)行2011-10-212011-10-21王時磊7編寫測試報告2011-10-252011-10-28王曉華5 測試結果5.1 基準測試5.1.1 測試結果使用測試工具LoadRunner運行測試腳本，統(tǒng)計出測試結果如下（TPS

15、、ART、CPU%均為平均值）：編號場景名稱并發(fā)用戶數交易總數成功交易數失敗交易數交易成功率TPS（筆/秒）ART（秒）應用服務器CPU %數據庫服務器CPU %1JZ_0210_1_1001100100 0 100.00%2.10.4一八3.0%1.1%在無壓力的情況下，0210（個人客戶信息建立）的平均交易響應時間為4一八ms，其中該交易包括如下完整的交易處理過程（可參見附錄2中0210交易處理腳本）：Ø 輸入交易碼后，獲取Frame框架顯示內容Ø 各輸入場輸入數據時與后臺系統(tǒng)的交互Ø 提交交易，獲取核心系統(tǒng)返回結果5.1.2 分析圖表測試工具LoadRunn

16、er Analysis的TPS圖表：測試工具LoadRunner Analysis的ART圖表：5.2 并發(fā)測試5.2.1 測試結果使用測試工具LoadRunner運行測試腳本，統(tǒng)計出測試結果如下（TPS、ART、CPU%均為平均值）：編號場景名稱并發(fā)用戶數交易總數成功交易數失敗交易數交易成功率TPS（筆/秒）ART（秒）應用服務器CPU %數據庫服務器CPU %1BF_0210_10_10m1011,45111,4510100.00%19.00.52412.9%3.4%2BF_0210_20_10m20一五,532一五,5320100.00%25.70.77917.5%6.4%3BF_021

17、0_30_10m30一五,967一五,966199.99%26.41.一三6一八.2%7.3%4BF_0210_40_10m40一五,987一五,9870100.00%26.41.497一八.0%7.7%5BF_0210_50_10m5022,一五221,79136198.37%30.61.45221.6%7.7%6BF_0210_100_10m10023,62919,2144,4一五81.32%32.62.86120.9%6.5%7BF_0210_一五0_10m一五022,68319,7472,93687.06%31.24.46621.1%7.2%8BF_0210_200_10m20026,

18、一三319,0777,05673.00%36.04.95522.8%6.9%9BF_0210_250_10m25028,69616,06612,63055.99%39.55.69323.7%7.2%10BF_0210_300_10m30022,40922,3一五9499.58%30.88.75722.3%6.2%在并發(fā)場景時，出現了如下兩種交易失敗導致交易成功率不高：1) 并發(fā)數達到50時，ABS交易流水表出現記錄狀態(tài)為"x"的記錄（未收到核心系統(tǒng)對交易的處理結果），并發(fā)數為10、20、30、40時基本正常2) 并發(fā)數達到100及以上時，ABS交易流水表中記錄數小于Load

19、Runner 中記錄的實際發(fā)送的交易筆數（部分交易數據丟失，未發(fā)往核心系統(tǒng)）另外，從表中可以看出：Ø 在當前測試環(huán)境配置下，新柜面系統(tǒng)的最大處理能力約為40tpsØ 在50并發(fā)時，0210交易的平均交易響應時間為1.452秒Ø 在各并發(fā)場景下，應用服務器和數據庫服務器的CPU占用率均不高5.2.2 分析圖表v 場景BF_0210_10_10m結果分析圖1)交易吞吐量TPS-虛擬用戶數量VU合并曲線2)交易響應時間ART-虛擬用戶數量VU合并曲線3)應用服務器主機CPU占用率-虛擬用戶數量VU合并曲線4)數據庫服務器主機CPU占用率-虛擬用戶數量VU合并曲線v 場景

20、BF_0210_20_10m結果分析圖1)交易吞吐量TPS-虛擬用戶數量VU合并曲線2)交易響應時間ART-虛擬用戶數量VU合并曲線3)應用服務器主機CPU占用率-虛擬用戶數量VU合并曲線4)數據庫服務器主機CPU占用率-虛擬用戶數量VU合并曲線v 場景BF_0210_30_10m結果分析圖1)交易吞吐量TPS-虛擬用戶數量VU合并曲線2)交易響應時間ART-虛擬用戶數量VU合并曲線3)應用服務器主機CPU占用率-虛擬用戶數量VU合并曲線4)數據庫服務器主機CPU占用率-虛擬用戶數量VU合并曲線v 場景BF_0210_40_10m結果分析圖1)交易吞吐量TPS-虛擬用戶數量VU合并曲線2)交易

21、響應時間ART-虛擬用戶數量VU合并曲線3)應用服務器主機CPU占用率-虛擬用戶數量VU合并曲線4)數據庫服務器主機CPU占用率-虛擬用戶數量VU合并曲線v 場景BF_0210_50_10m結果分析圖1)交易吞吐量TPS-虛擬用戶數量VU合并曲線2)交易響應時間ART-虛擬用戶數量VU合并曲線3)應用服務器主機CPU占用率-虛擬用戶數量VU合并曲線4)數據庫服務器主機CPU占用率-虛擬用戶數量VU合并曲線v 場景BF_0210_100_10m結果分析圖1)交易吞吐量TPS-虛擬用戶數量VU合并曲線2)交易響應時間ART-虛擬用戶數量VU合并曲線3)應用服務器主機CPU占用率-虛擬用戶數量VU合

22、并曲線4)數據庫服務器主機CPU占用率-虛擬用戶數量VU合并曲線v 場景BF_0210_一五0_10m結果分析圖1)交易吞吐量TPS-虛擬用戶數量VU合并曲線2)交易響應時間ART-虛擬用戶數量VU合并曲線3)應用服務器主機CPU占用率-虛擬用戶數量VU合并曲線4)數據庫服務器主機CPU占用率-虛擬用戶數量VU合并曲線v 場景BF_0210_200_10m結果分析圖1)交易吞吐量TPS-虛擬用戶數量VU合并曲線2)交易響應時間ART-虛擬用戶數量VU合并曲線3)應用服務器主機CPU占用率-虛擬用戶數量VU合并曲線4)數據庫服務器主機CPU占用率-虛擬用戶數量VU合并曲線v 場景BF_0210_

23、250_10m結果分析圖1)交易吞吐量TPS-虛擬用戶數量VU合并曲線2)交易響應時間ART-虛擬用戶數量VU合并曲線3)應用服務器主機CPU占用率-虛擬用戶數量VU合并曲線4)數據庫服務器主機CPU占用率-虛擬用戶數量VU合并曲線v 場景BF_0210_300_10m結果分析圖1)交易吞吐量TPS-虛擬用戶數量VU合并曲線2)交易響應時間ART-虛擬用戶數量VU合并曲線3)應用服務器主機CPU占用率-虛擬用戶數量VU合并曲線4)數據庫服務器主機CPU占用率-虛擬用戶數量VU合并曲線6 數據分析對并發(fā)場景，根據不同并發(fā)數對主要性能指標（TPS、ART、CPU%）進行圖表分析如下：從圖中可以看出：Ø 隨著并發(fā)用戶數增加，TPS緩慢增加。當并發(fā)數為250時，TPS達到最大值，約為40tps。Ø 隨著并發(fā)用戶數增加，ART也隨之增加。當并發(fā)數大于50時，平均交易響應時間超過2秒的最佳用戶體驗值。Ø 在各并發(fā)場景