性能測試流程規(guī)范

1、目錄1 前言21.1 文檔目的21.2 適用對象22 性能測試目的23 性能測試所處的位置及相關(guān)人員33.1 性能測試所處的位置及其基本流程33.2 性能測試工作內(nèi)容43.3 性能測試涉及的人員角色54 性能測試實施規(guī)范54.1 確定性能測試需求54.1.1 分析應(yīng)用系統(tǒng)，剝離出需測試的性能點54.1.2 分析需求點制定單元測試用例64.1.3 性能測試需求評審64.1.4 性能測試需求歸檔64.2 性能測試具體實施規(guī)范64.2.1 性能測試起始時間64.2.2 制定和編寫性能測試計劃、方案以及測試用例74.2.3 測試環(huán)境搭建74.2.4 驗證測試環(huán)境84.2.5 編寫測試用例腳本84.2.

2、6 調(diào)試測試用例腳本84.2.7 預(yù)測試94.2.8 正式測試94.2.9 測試數(shù)據(jù)分析94.2.10 調(diào)整系統(tǒng)環(huán)境和修改程序104.2.11 回歸測試104.2.12 測試評估報告104.2.13 測試分析報告105 測試腳本和測試用例管理116 性能測試歸檔管理117 性能測試工作總結(jié)118 附錄：錯誤！未定義書簽。、/、，1刖百1.1.2 文檔目的本文檔的目的在于明確性能測試流程規(guī)范，以便于相關(guān)人員的使用，保證性能測試腳本的可用性和可維護性，提高測試工作的自動化程度，增加測試的可靠性、重用性和客觀性。1.2.2 適用對象本文檔適用于部門內(nèi)測試組成員、項目相關(guān)人員、QA及高級經(jīng)理閱讀。2性

3、能測試目的性能測試到底能做些什么，能解決哪些問題呢？系統(tǒng)開發(fā)人員，維護人員及測試人員在工作中都可能遇到如下的問題.硬件選型，我們的系統(tǒng)快上線了，我們應(yīng)該購置什么樣硬件配置的電腦作為服務(wù)器呢？.我們的系統(tǒng)剛上線，正處在試運行階段，用戶要求提供符合當初提出性能要求的報告才能驗收通過，我們該如何做？.我們的系統(tǒng)已經(jīng)運行了一段時間，為了保證系統(tǒng)在運行過程中一直能夠提供給用戶良好的體驗（良好的性能），我們該怎么辦？.明年這個系統(tǒng)的用戶數(shù)將會大幅度增加，到時我們的系統(tǒng)是否還能支持這么多的用戶訪問，是否通過調(diào)整軟件可以實現(xiàn)，是增加硬件還是軟件，哪種方式最有效？.我們的系統(tǒng)存在問題，達不到預(yù)期的性能要求，這是

4、什么原因引起的，我們應(yīng)該進行怎樣的調(diào)整？.在測試或者系統(tǒng)試點試運行階段我們的系統(tǒng)一直表現(xiàn)得很好，但產(chǎn)品正式上線后，在用戶實際環(huán)境下，總是會出現(xiàn)這樣那樣莫名其妙的問題，例如系統(tǒng)運行一段時間后變慢，某些應(yīng)用自動退出，出現(xiàn)應(yīng)用掛死現(xiàn)象，導(dǎo)致用戶對我們的產(chǎn)品不滿意，這些問題是否能避免，提早發(fā)現(xiàn)？.系統(tǒng)即將上線，應(yīng)該如何部署效果會更好呢？并發(fā)性能測試的目的注要體現(xiàn)在三個方面：以真實的業(yè)務(wù)為依據(jù)，選擇有代表性的、關(guān)鍵的業(yè)務(wù)操作設(shè)計測試案例，以評價系統(tǒng)的當前性能；當擴展應(yīng)用程序的功能或者新的應(yīng)用程序?qū)⒁徊渴饡r，負載測試會幫助確定系統(tǒng)是否還能夠處理期望的用戶負載，以預(yù)測系統(tǒng)的未來性能；通過模擬成百上千個用戶

5、，重復(fù)執(zhí)行和運行測試，可以確認性能瓶頸并優(yōu)化和調(diào)整應(yīng)用，目的在于尋找到瓶頸問題。3性能測試所處的位置及相關(guān)人員性能測試所處的位置及其基本流程F面就性能測試的基本流程給予圖示說明：性能測試的具體流程:結(jié)束性能測試工作內(nèi)容軟件需求分析階段：分析軟件需求，提取出待實現(xiàn)的功能點，此時根據(jù)需求功能點選取必要的性能測試點，并組織起有效的測試用例。軟件單元測試階段：單元測試在軟件開發(fā)周期貫穿，針對已經(jīng)開發(fā)的功能做單元測試，保證組件功能可正常使用，此階段功能測試占主要的測試比例，性能測試部分主要是了解、分析業(yè)務(wù)結(jié)構(gòu)及進行數(shù)據(jù)準備。軟件系統(tǒng)集成測試階段：軟件的功能已經(jīng)基本實現(xiàn)，此時可以針對穩(wěn)定的功能點在公司內(nèi)部

6、部署并實施小規(guī)模的性能測試。軟件升級及維護階段：維護期占整個軟件的使用時間，由于日益變更的需求讓我們的程序不斷升級，為了降低升級過程中出現(xiàn)對已有軟件功能的影響。性能測試通常采用2個必要步驟：a）補丁升級測試，在數(shù)據(jù)結(jié)構(gòu)變更處加上時間點，檢驗每個操作的時間效率是否可接受，并為用戶升級程序提供一個參考時間。b）補丁升級成功后，對系統(tǒng)改動功能點做性能測試，并驗證一些常規(guī)功能的效率是否受到升級影響，最后提供升級后系統(tǒng)的性能測試評估報告。歷次性能測試數(shù)據(jù)歸檔對歷次的性能測試進行歸檔處理，為預(yù)測軟件未來的發(fā)展狀況提供必要的數(shù)據(jù)基礎(chǔ)。性能測試涉及的人員角色軟件測試工程師業(yè)務(wù)系統(tǒng)開發(fā)工程師系統(tǒng)工程師負責(zé)整個性

7、能測試的計劃及方案編寫、腳本編寫、實施測試、測試數(shù)據(jù)分析、獲取測試結(jié)果、編寫測試報告，保證性能測試工作的順利完成。提供完整的測試用例，測試環(huán)境的自測，根據(jù)性能測試結(jié)果跟蹤、解決程序問題。負責(zé)測試環(huán)境操作系統(tǒng)、網(wǎng)絡(luò)環(huán)境以及儲存設(shè)備的系統(tǒng)調(diào)優(yōu)和監(jiān)控。數(shù)據(jù)庫工程師負責(zé)數(shù)據(jù)庫系統(tǒng)的調(diào)優(yōu)和監(jiān)控。4性能測試實施規(guī)范確定性能測試需求分析應(yīng)用系統(tǒng)，剝離出需測試的性能點工作內(nèi)容：性能測試人員，系統(tǒng)開發(fā)人員，客戶從不同的角度提出性能測試點。性能測試人員主要關(guān)注功能測試期反映的測試點；系統(tǒng)開發(fā)人員著重從程序角度出發(fā)考慮，分析哪些點可能存在性能問題；客戶主要從業(yè)務(wù)角度出發(fā)發(fā)，抽取使用頻率較高，較重要的業(yè)務(wù)功能作為測試

8、點。參與人員：測試負責(zé)人，系統(tǒng)開發(fā)人員，客戶確認要素：1、并發(fā)用戶數(shù)2、預(yù)期系統(tǒng)響應(yīng)時間3、生產(chǎn)環(huán)境基礎(chǔ)數(shù)據(jù)量4、測試環(huán)境硬件配置信息5、性能測試功能點確認，及各個業(yè)務(wù)功能的所占比例6、分析被測試系統(tǒng)的框架及軟件環(huán)境工作時間：視需求規(guī)模而定。分析需求點制定單元測試用例工作內(nèi)容：根據(jù)需測試點擬寫測試用例，形成文檔參與人員：項目經(jīng)理文檔名稱：FI-項目組編碼-TEST-性能測試需求YYYYMMDD.doc初稿工作時間：視需求規(guī)模而定。性能測試需求評審工作內(nèi)容：對FI-項目組編碼-TEST-性能測試需求YYYYMMDD.doc進行三方評審，確定最終的性能測試需求。參與人員：測試組負責(zé)人，項目負責(zé)人，

9、客戶工作時間：1-2天工作人日性能測試需求歸檔工作內(nèi)容：根據(jù)測試方案、需求文檔、設(shè)計文檔，進行實際測試性能點調(diào)研。參與人員：測試負責(zé)人文檔名稱：FI-項目組編碼-TEST-性能測試需求YYYYMMDD.doc»文檔要素：1、測試環(huán)境軟件及硬件信息2、測試需求功能點對應(yīng)具體測試用例，包括測試功能點的具體步驟，為下一階段腳本錄制提供參考3、測試環(huán)境基礎(chǔ)數(shù)據(jù)量工作時間：1-2天工作人日性能測試具體實施規(guī)范為了便于性能測試管理，有必要建立起一套關(guān)于性能測試的規(guī)范，具體實施步驟如下：性能測試起始時間性能測試至少是在功能測試進入凍結(jié)期時開始進行，但是性能測試的用例確定可以在功能測試期進行；另外，

10、在性能測試起始階段應(yīng)對性能測試試點單位進行聯(lián)機用戶和用戶操作模塊比例的數(shù)據(jù)調(diào)研，并且在項目性能測試開始前一個星期性能測試負責(zé)人發(fā)出性能測試準備狀況反饋表.xls»,由項目組填寫反饋。前提條件：項目組在提交功能測試申請的同時提交性能測試申請以及FI-項目組編碼-TEST-性能測試需求YYYYMMDD.doc»,明確寫清楚系統(tǒng)測試要點、業(yè)務(wù)功能操作步驟，以及測試環(huán)境。同時項目組反饋的性能測試準備狀況反饋表.xls»,確定符合測試標準。工作內(nèi)容：A、熟悉功能流程，編寫簡單腳本典型業(yè)務(wù)操作測試用例：車險DAA投保單簽單（復(fù)核，轉(zhuǎn)保單）、車險DAA保單查t®、車險

11、DAA保單補錄、車險DAA保單查詢、車險DAAffi改查詢、車險DAA!賠報案查詢、車險雙核、綜合險QZA&保單簽單（復(fù)核-轉(zhuǎn)保單）、綜合險QZA&保單查詢、綜合險QZA保單補錄、綜合險QZA保單查詢、綜合險QZAft匕改查詢、綜合險QZAS賠報案查詢、綜合險雙核等B、新增的功能點和有較大改動的功能點的性能測試用例分析及評估C、調(diào)研試點單位聯(lián)機用戶和系統(tǒng)操作模塊的比例數(shù)參與人員：軟件性能測試工程師、軟件功能測試工程師和業(yè)務(wù)系統(tǒng)開發(fā)工程師工作時間：57個工作人日制定和編寫性能測試計劃、方案以及測試用例工作內(nèi)容：根據(jù)項目組提供的測試申請內(nèi)容以及FI-項目組編碼-TEST-性能測試需

12、求YYYYMMDD.doc»,制定和編寫性能測試計劃、方案以及測試用例。在測試計劃中需明確測試的內(nèi)容、軟硬件當前性能及具體人員及時間的安排，測試方案中詳細描寫具體功能測試步驟及性能測試點的功能概況及涉及的數(shù)據(jù)結(jié)構(gòu)，測試用例中為具體的測試數(shù)據(jù)。參與人員：軟件性能測試工程師、項目負責(zé)人工作時間：4個工作人日（不考慮在功能測試階段進行用例確定的時間）測試環(huán)境搭建環(huán)境搭建工作主要由項目組來完成。工作內(nèi)容：原則：測試環(huán)境應(yīng)盡量與用戶正式環(huán)境保持一致。由于每次測試均需要搭建，項目組可以考慮在本地和客戶方保留固定的壓力測試環(huán)境。業(yè)務(wù)數(shù)據(jù)以客戶正式生產(chǎn)的備份數(shù)據(jù)為基礎(chǔ)，搭建完成后需要對測試環(huán)境進行驗

13、證a）硬件條件基本保持一致保證測試軟件的前后臺主機配置、儲存系統(tǒng)配置和網(wǎng)絡(luò)保持一致。b）軟件配置基本保持一致保證數(shù)據(jù)庫服務(wù)器的配置參數(shù)和中間件配置參數(shù)保持一致。c）業(yè)務(wù)數(shù)據(jù)規(guī)模保持一致d）軟件版本和測試版本保持一致升級程序測試目標：在搭建測試環(huán)境的同時，進行業(yè)務(wù)升級程序測試，完成所有升級手冊中的步驟，特別注意數(shù)據(jù)結(jié)構(gòu)變更、數(shù)據(jù)轉(zhuǎn)數(shù)的效率問題，制定升級測試報告（包括升級問題和建議解決辦法）。參與人員：軟件開發(fā)工程師、系統(tǒng)工程師、數(shù)據(jù)庫工程師和中間件系統(tǒng)工程師工作時間：4個工作人日驗證測試環(huán)境工作內(nèi)容：性能測試負責(zé)人根據(jù)項目組提交性能測試準備狀況反饋表.xls»反饋情況及項目組搭建的測試

14、環(huán)境情況，驗證其是否符合性能測試的條件，以確定是否按期進行性能測試。該階段需要考慮以下幾點：a）軟件是否處于一個比較穩(wěn)定的狀態(tài)b）被測功能點是否正常、穩(wěn)定，且不再進行大的調(diào)整。c）軟件部署方式和實際生產(chǎn)環(huán)境是否一致（包括應(yīng)用服務(wù)器，數(shù)據(jù)庫服務(wù)器以及操作系統(tǒng)的調(diào)優(yōu)工作）。d）性能測試環(huán)境是否有其他不相關(guān)應(yīng)用程序干擾？若無法避免則應(yīng)保證測試時停止測試無關(guān)應(yīng)用運行。e）性能測試環(huán)境硬件是否與實際生產(chǎn)環(huán)境一致？（若不一致請在備注中分別列出測試環(huán)境及生產(chǎn)環(huán)境硬件配置信息）f）性能測試環(huán)境的數(shù)據(jù)規(guī)模是否與生產(chǎn)環(huán)境一致？對于測試環(huán)境的數(shù)據(jù)有兩種方式解決，1）項目組從地市公司導(dǎo)庫到測試環(huán)境；2）給測試組預(yù)留數(shù)

15、據(jù)準備時間進行數(shù)據(jù)準備。建議采取第一種方式，數(shù)據(jù)更加真實而且節(jié)約時間。參與人員：軟件性能測試工程師、軟件開發(fā)工程師編寫測試用例腳本測試用例腳本根據(jù)測試用例的具體內(nèi)容，利用測試工具或通過測試人員進行編寫0工作內(nèi)容：按照性能測試腳本開發(fā)規(guī)范根據(jù)測試用例編寫測試腳本參與人員：軟件性能測試工程師工作時間：視提交性能測試點而定調(diào)試測試用例腳本工作內(nèi)容：在測試環(huán)境上，使用編寫完成的腳本進行腳本調(diào)試，主要工作內(nèi)容是對腳本進行參數(shù)化，及關(guān)聯(lián)腳本。參與人員：軟件性能測試工程師、軟件開發(fā)工程師工作時間：視提交性能測試點而定預(yù)測試工作內(nèi)容：在測試環(huán)境中，根據(jù)測試方案（例如是測試單個用例還是測試綜合用例）縮小測試并發(fā)

16、用戶進行預(yù)測試，目的是檢驗測試是否能正常進行。參與人員：軟件性能測試工程師工作時間：2個工作人日正式測試工作內(nèi)容：在客戶現(xiàn)場測試環(huán)境下，根據(jù)測試方案進行正式測試。一般在正式測試時應(yīng)該暫停與測試環(huán)境無關(guān)的系統(tǒng)及服務(wù)，性能測試的環(huán)境應(yīng)單獨運行，盡量避免與其他軟件同時使用。采集測試時系統(tǒng)性能數(shù)據(jù)。注意包括如下指標：1）主機硬件指標：CPU、內(nèi)存占用率和磁盤I/O。2）數(shù)據(jù)庫服務(wù)器指標：會話數(shù)、buffer命中率、checkpoint時間以及vp數(shù)等。同時采集SQL,查看SQL是否建立索引。3）中間件指標：服務(wù)隊列。網(wǎng)絡(luò)指標：網(wǎng)絡(luò)流量、響應(yīng)時間。4）業(yè)務(wù)系統(tǒng)事務(wù)指標：典型事務(wù)的響應(yīng)時間。例如保單保存所

17、消耗的時間。參與人員：軟件性能測試工程師、軟件開發(fā)工程師、系統(tǒng)工程師、數(shù)據(jù)庫工程師和中間件系統(tǒng)工程師工作時間：4個工作人日測試數(shù)據(jù)分析工作內(nèi)容：提交FI-項目組編碼-TEST-問題記錄.xls，主要內(nèi)容包括系統(tǒng)中存在的性能問題。參與人員：軟件性能測試工程師工作時間：12個工作人日調(diào)整系統(tǒng)環(huán)境和修改程序工作內(nèi)容：協(xié)調(diào)開發(fā)人員查找可能引起性能問題的程序效率點，并修改程序。協(xié)調(diào)系統(tǒng)工程師、數(shù)據(jù)庫工程師和中間件系統(tǒng)工程師調(diào)整系統(tǒng)參數(shù)。參與人員：軟件開發(fā)工程師、系統(tǒng)工程師、數(shù)據(jù)庫工程師和中間件系統(tǒng)工程師工作時間：4-6個工作人日4.2.11回歸測試工作內(nèi)容：針對已經(jīng)修改的效率點進行復(fù)測，檢驗其效率是否提高。參與人員：軟件性能測試工程師、軟件開發(fā)工程師、系統(tǒng)工程師、數(shù)據(jù)庫工程師和中間件系統(tǒng)工程師工作時間：4個工作人日4.2.12測試評估報告工作內(nèi)容：針對性能測試獲取的數(shù)據(jù)和回歸的情況，對當前版本編寫FI-項目組編碼-TEST-性能測試評估報告YYYYMMDD.doc»,參與人員：測試負責(zé)人工作時間：12個工作人日4.2.13測試分析報告工作內(nèi)容：根據(jù)測試評估報告的信息進行問題分析參與人員：項目負責(zé)人工作時間：12個工作人日5測試腳本和測試