系統(tǒng)測試方法

360。企業(yè)管理信息化解決方案提供商賽意信息科技有限公司

白金級合作伙伴

系統(tǒng)測試講師：郭雪瑤日期：2015-3-24系統(tǒng)測試1系統(tǒng)測試的介紹、主要內(nèi)容3452系統(tǒng)測試過程系統(tǒng)測試文檔的結(jié)構(gòu)及要求基本的測試工具系統(tǒng)測試實例2024/1/15系統(tǒng)測試系統(tǒng)測試簡稱ST（SystemTesting），但在華為系統(tǒng)測試期間還包含了集成（Integration）測試，所以一般稱為SIT華為在系統(tǒng)測試期間，明確標(biāo)明以質(zhì)量紅線為驗收標(biāo)準(zhǔn)，質(zhì)量紅線包含：功能測試、安全測試、易用性測試、性能測試這幾大塊用戶的需求可以分為功能性需求和非功能性需求，而非功能性的需求被歸納為軟件產(chǎn)品的各種質(zhì)量特性，如安全性、兼容性和可靠性等2024/1/15系統(tǒng)測試主要內(nèi)容功能測試需求驗證恢復(fù)性測試（災(zāi)難測試、容錯測試）接口測試安裝/升級測試配置測試/兼容性測試國際化（語言）測試用戶文檔測試……性能測試安全性測試易用性測試冒煙測試回歸測試隨機測試硬件系統(tǒng)專有測試可靠性試驗可生產(chǎn)性測試可維護性測試2024/1/15性能測試為了驗證系統(tǒng)是否達(dá)到用戶提出的性能指標(biāo)，同時發(fā)現(xiàn)系統(tǒng)中存在的性能瓶頸，起到優(yōu)化系統(tǒng)的目的在正常、峰值以及異常負(fù)載條件下，測試系統(tǒng)的各項性能指標(biāo)2024/1/15配置（兼容性）測試主要包括組網(wǎng)測試和軟硬件平臺配置測試組網(wǎng)測試的目的是測試系統(tǒng)是否滿足其需求中所支持的所有組網(wǎng)類型和組網(wǎng)規(guī)模軟硬件平臺配置測試的目的是測試系統(tǒng)是否滿足其需求中所支持的不同軟硬件平臺配置。兼容性測試是指系統(tǒng)的適應(yīng)能力測試，可分為環(huán)境兼容測試和版本兼容測試。2024/1/15安全測試安全測試就是檢查系統(tǒng)對于外部的非法侵入的抵御能力。系統(tǒng)安全測試的準(zhǔn)則是，測試非法侵入的代價是否超過被保護信息的價值。信息安全與保密（Security）不同于人身安全和重大財產(chǎn)損失（Safety）。在公司的產(chǎn)品研發(fā)中，需要重點考慮的是信息安全方面隨著ISO14000/18000的實施，這方面的內(nèi)容會增多2024/1/15華為安全測試主要關(guān)注點主要方法：SQL注入測試權(quán)限測試腳本注入測試跨目錄測試隱通道測試常見故障系統(tǒng)緩沖區(qū)溢出、堆棧溢出錯誤。系統(tǒng)存在密碼安全、權(quán)限管理、數(shù)據(jù)安全方面的漏洞，可被輕易的進入并進行非法獲取和破壞。2024/1/15恢復(fù)性測試檢查系統(tǒng)的容錯能力，測試系統(tǒng)在遇到系統(tǒng)崩潰、硬件損壞或其他災(zāi)難性問題后能否很好地恢復(fù)，測試的具體內(nèi)容包括創(chuàng)建各種可能的災(zāi)難狀況，測試系統(tǒng)從異常狀態(tài)恢復(fù)到正常狀態(tài)所需的時間、花費的代價、對周邊設(shè)備和系統(tǒng)造成的影響，系統(tǒng)恢復(fù)的完整性和一致性等。常用方法：主要是制造系統(tǒng)異常，按系統(tǒng)恢復(fù)功能進行恢復(fù)操作，直至系統(tǒng)繼續(xù)正常運行為了測試系統(tǒng)恢復(fù)之后是否運行正常，也可以采用一些自化測試工具進行回歸測試，以提高測試的效率。2024/1/15恢復(fù)性測試常見故障系統(tǒng)發(fā)生異常后無法恢復(fù)，造成系統(tǒng)數(shù)據(jù)被破壞，即重啟系統(tǒng)、恢復(fù)備份數(shù)據(jù)也不可行，嚴(yán)重的可能造成系統(tǒng)硬件故障；系統(tǒng)恢復(fù)時間過長、代價過高；系統(tǒng)不能完全恢復(fù)到原來的正常狀態(tài)，造成一定損失；系統(tǒng)恢復(fù)過程對周邊設(shè)備和環(huán)境造成較大影響，無法消除，等。2024/1/15易用性測試隨著華為對用戶體驗度的重點關(guān)注，每個系統(tǒng)上線后產(chǎn)生的事件數(shù)作為了易用性評判的主要依據(jù)以用戶的角度來對軟件界面的易用性、風(fēng)格、合理性等面進行評估和測試。通常包括軟件的“界面顯示測試”和“界面功能測試”，而界面功能測試主要結(jié)合系統(tǒng)功能進行測試。2024/1/15易用性測試測試要點和常見故障：易用性與合理性：步驟繁瑣的操作，比例不協(xié)調(diào)、擺放凌亂的窗口和控件，層次過多的子窗口和菜單規(guī)范性：不符合Windows規(guī)范的控件設(shè)計，與常規(guī)Windows操作不符的流程與操作等容錯性：編輯控件對非法字符、超出邊界值的輸入處理不當(dāng)或沒有提示，容易造成系統(tǒng)重啟、數(shù)據(jù)刪除丟失等的操作沒有提示等幫助：無幫助信息提供，或者不提供獲取幫助的快捷操作美觀與風(fēng)格：界面顏色不協(xié)調(diào)、界面風(fēng)格與公司相關(guān)產(chǎn)品風(fēng)格不符、與業(yè)界通用風(fēng)格不符，圖片、圖標(biāo)等不符合公司CI規(guī)范。資源：界面長時間運行操作造成系統(tǒng)內(nèi)存耗盡、界面對系統(tǒng)資源獨占使用等2024/1/15安裝升級測試安裝升級測試是以最終用戶的角度測試系統(tǒng)的可安裝性以及系統(tǒng)是否具有升級或卸載功能。安裝升級測試，需要重點測試系統(tǒng)的軟硬件平臺的兼容性。主要內(nèi)容：安裝升級基本功能測試卸載測試(可選)平臺兼容性易用性與合理性測試健壯性測試2024/1/15安裝升級測試常用工具：通常手工進行。可借助錄制回放工具進行反復(fù)的軟件安裝測試。常見故障：系統(tǒng)的軟硬件不能兼容。系統(tǒng)軟件在不同的平臺下安裝后不能正常工作。系統(tǒng)版本升級后，無法正常工作，系統(tǒng)無法回退到升級前的版本。系統(tǒng)的硬件安裝不符合用戶習(xí)慣。系統(tǒng)的軟硬件安裝升級過程和用戶文檔上的敘述不一致，甚至錯誤，誤導(dǎo)最終用戶2024/1/15文檔/幫助測試各種用戶文檔和聯(lián)機幫助系統(tǒng)是軟件產(chǎn)品的重要組成部分，保證其正確性也是軟件測試工程師的職責(zé)。文檔/幫助測試的目的在于：提高易用性，使軟件用戶更容易地學(xué)習(xí)和使用軟件產(chǎn)品。提高可靠性，如果用戶閱讀文檔，然后使用軟件，最終得不到預(yù)期結(jié)果，這就是可靠性差。降低支持費用，好的文檔/幫助通過恰當(dāng)?shù)慕忉尯鸵龑?dǎo)可以在用戶有麻煩或者遇到意外情況時減少請求公司幫助2024/1/15文檔/幫助測試從用戶的角度來測試軟件文檔是非常有效的方法。仔細(xì)閱讀，跟隨每個步驟，檢查每個圖形，嘗試每個示例。利用這個現(xiàn)實的簡單方法，可以找出軟件和文檔中的缺陷。常用的方法有：評審和審查，檢查文檔的編輯清晰性。動態(tài)測試，結(jié)合實際程序的使用而使用文檔。讓獨立的第三方（如用戶）或其他人員(如以前沒有接觸或使用過本系統(tǒng)的新手)在程序的使用語境測試文檔也是十分有效的方法。2024/1/15冒煙測試也稱為構(gòu)建驗證測試（BVT，BuildVerificationTest）測試被測系統(tǒng)是否具有基本運行功能，如啟動、加載、執(zhí)行基本操作等。常與每日構(gòu)建相結(jié)合，作為集成測試的一個重要部分在系統(tǒng)測試中用作入口檢查通常需要自動化工具常見故障被測系統(tǒng)無法啟動和加載；基本功能出現(xiàn)故障；自動化測試無法正確執(zhí)行。2024/1/15回歸（Regressive）測試對系統(tǒng)的新增功能和以前測試中已經(jīng)測試過無故障的相關(guān)功能進行驗證，以保證新增功能和/或?qū)εf有故障的修改不會在被測系統(tǒng)中引入新的故障，其測試范圍和規(guī)模介于完整測試和簡單的故障驗證測試之間。需要根據(jù)新增/修改功能的波及范圍精心選擇和設(shè)計測試范圍與測試用例

盡量采用自動化測試工具2024/1/15隨機（Ad-hoc）測試俗稱“猴子”測試最好由用戶代表進行公司內(nèi)部可結(jié)合新員工/工程/客服人員培訓(xùn)進行應(yīng)該有適當(dāng)?shù)慕M織和計劃2024/1/152系統(tǒng)測試的介紹、主要內(nèi)容3451系統(tǒng)測試過程系統(tǒng)測試文檔的結(jié)構(gòu)及要求基本的測試工具系統(tǒng)測試實例2024/1/15項目周期中的系統(tǒng)測試階段劃分系統(tǒng)測試計劃階段系統(tǒng)測試設(shè)計和編寫階段系統(tǒng)測試執(zhí)行和評估階段測試計劃用例設(shè)計評估執(zhí)行2024/1/15系統(tǒng)測試計劃階段主要活動制定系統(tǒng)測試總體計劃簡述項目，明確測試的范圍定義測試策略（階段、類型、技術(shù)、標(biāo)準(zhǔn)等）編制測試需求工作分解和估算資源分配進度表風(fēng)險識別與應(yīng)對系統(tǒng)測試總體計劃評審批準(zhǔn)系統(tǒng)測試總體計劃系統(tǒng)測試總體計劃納入配置管理系統(tǒng)測試方案設(shè)計建立需求跟蹤矩陣系統(tǒng)測試用例設(shè)計編寫系統(tǒng)測試用例評審系統(tǒng)測試設(shè)計階段主要活動2024/1/15系統(tǒng)測試設(shè)計和執(zhí)行階段常見風(fēng)險不做測試設(shè)計，或測試過程并未系統(tǒng)測試總體計劃的要求來做。測試設(shè)計不詳細(xì)，不是基于可量度的測試策略，例如測試計劃覆蓋一個集合或者測試需求的一個子集。測試過程沒有檢驗測試需求。測試總體計劃中測試策略沒有對應(yīng)性。測試過程不可重復(fù)或不可重用。2024/1/15系統(tǒng)測試設(shè)計和執(zhí)行階段常用度量

需求覆蓋率（百分比）＝測試覆蓋的需求/所有的需求×100%；測試用例的數(shù)量（條）；自動化測試在系統(tǒng)測試中的比例（百分比）＝采用自動化測試的系統(tǒng)測試用例數(shù)目/全部的測試用例總數(shù)×100%；測試用例設(shè)計和開發(fā)的工作量（人時）；系統(tǒng)測試文檔評審的工作量（人時）；2024/1/15系統(tǒng)測試執(zhí)行和評估階段主要活動系統(tǒng)測試申請審批系統(tǒng)測試申請制定系統(tǒng)測試詳細(xì)計劃執(zhí)行系統(tǒng)測試準(zhǔn)備系統(tǒng)測試執(zhí)行系統(tǒng)測試總結(jié)和評估2024/1/15系統(tǒng)測試執(zhí)行和評估階段常見風(fēng)險沒有制定系統(tǒng)測試詳細(xì)計劃，測試開始之前測試人員不能明確本次系統(tǒng)測試活動應(yīng)測試的測試用例。測試執(zhí)行不按照系統(tǒng)測試詳細(xì)計劃的要求來做，不能確保計劃要求的測試用例都能得到執(zhí)行。未對測試的原始數(shù)據(jù)進行紀(jì)錄。本次系統(tǒng)測試新的有效測試規(guī)程和測試用例并未及時給予紀(jì)錄并管理。項目組和產(chǎn)品線的壓力有可能導(dǎo)致測試人員的測試評估不夠客觀準(zhǔn)確。沒有有效利用各種自動化測試手段，手工測試太多。2024/1/15系統(tǒng)測試執(zhí)行和評估階段常用度量測試用例通過率（百分比）＝本次測試中通過的用例數(shù)/實際執(zhí)行的用例數(shù)；測試用例覆蓋率（百分比）＝本次測試中實際執(zhí)行的用例數(shù)/計劃執(zhí)行的用例數(shù)；本次測試中測試通過的系統(tǒng)測試用例數(shù)目（條）；本次測試中測試不通過的系統(tǒng)測試用例數(shù)目（條）；發(fā)現(xiàn)的缺陷數(shù)目及缺陷等級（個數(shù)、級別）；已經(jīng)解決的缺陷數(shù)目及缺陷等級（個數(shù)、級別）；遺留的缺陷數(shù)目及缺陷等級（個數(shù)、級別）；缺陷密度（分布圖）；測試的工時（人時）；系統(tǒng)測試的需求覆蓋率2024/1/15系統(tǒng)測試的若干原則應(yīng)盡早地開始系統(tǒng)測試工作。充分注意測試中的缺陷密集現(xiàn)象，即對缺陷比較密集的部分進行重點測試；嚴(yán)格執(zhí)行測試計劃，排除測試的隨意性。對測試過程和測試結(jié)果應(yīng)進行評價，確保測試過程的有效性。妥善保存測試計劃、測試用例、故障統(tǒng)計和最終分析報告，為維護提供方便。對于被測試系統(tǒng)要進行正常和異常兩方面的測試。在系統(tǒng)測試計劃中，要按照資源和項目的要求清晰地定義一個完整的退出準(zhǔn)則，這是一種權(quán)衡投入／產(chǎn)出比的原則，測試既不要不充分，也不要過分。2024/1/153系統(tǒng)測試的介紹、主要內(nèi)容2451系統(tǒng)測試過程系統(tǒng)測試文檔的結(jié)構(gòu)及要求基本的測試工具系統(tǒng)測試實例2024/1/15系統(tǒng)測試文檔的結(jié)構(gòu)及要求華為這邊在系統(tǒng)測試期間，需要提供的文檔主要為：測試計劃測試用例系統(tǒng)測試報告性能測試報告安全測試報告缺陷統(tǒng)計分析表TOP級問題分析表..........2024/1/15測試計劃1.對上一階段的總結(jié)以及對這一階段的測試策略2.測試總體時間安排3.每階段預(yù)計完成的測試情況（包括場景劃分）4.對于缺陷的定義以及缺陷電子流的準(zhǔn)備5.測試過程的簡述6.需要涉及的測試（如：功能測試、安全測試、性能測試、集成測試等。如果有集成測試，在測試前先做好集成搭建的溝通）7.測試方案簡述8.測試重點標(biāo)明9.測試約束與測試風(fēng)險的預(yù)估10.測試環(huán)境的準(zhǔn)備11.與測試相關(guān)的人員定義12.測試需要交付的文件清單2024/1/15測試用例1.需要測試的內(nèi)容整理2.需要涉及的場景梳理3.用例設(shè)計用例編號：測試階段_產(chǎn)品名稱_模塊名稱.用例流水號，例：SITC_ERP_PO.001案例名稱：這個測試的需求或者場景的名稱測試目的：這個需求測試要達(dá)到的效果前置條件：必須滿足什么條件才能開始這個需求測試測試步驟：步驟編號（01、02、......999）測試活動：詳細(xì)給出執(zhí)行該測試步驟的預(yù)置條件，操作細(xì)節(jié)等...系統(tǒng)：測試對象的系統(tǒng)測試路徑：測試案例所涉及的系統(tǒng)功能路徑2024/1/15測試用例測試角色：測試案例所涉及到的系統(tǒng)角色測試要點：測試活動中需要重點關(guān)注的地方，關(guān)鍵點或者功能點的驗證測試輸入：測試執(zhí)行中的各種輸入?yún)?shù)和條件預(yù)期結(jié)果：測試執(zhí)行后所需要達(dá)到的結(jié)果測試日期：測試活動執(zhí)行的實際日期通過：Y/N4.測試這個需求時的數(shù)據(jù)要做整理記錄5.逆向場景的考慮6.后臺表數(shù)據(jù)的邏輯檢查7.回歸測試場景8.性能測試場景2024/1/15系統(tǒng)測試報告1.測試階段2.測試通過的標(biāo)準(zhǔn)（測試充分性、測試有效性）3.測試環(huán)境（測試環(huán)境部署情況，測試資源）4.測試的內(nèi)容以及測試的范圍5.參與測試的人員（包括：測試的時間范圍、階段、參與的人員、合計投入時間）6.測試過程記錄（包括：程序版本名稱、測試時間、測試人員、測試地點）7.測試約束（用概述說明導(dǎo)致測試受到約束的情況）8.測試結(jié)果分析：模塊內(nèi)功能測試通過率統(tǒng)計整理問題單，分析出無效與有效的缺陷，并做統(tǒng)計2024/1/15系統(tǒng)測試報告功能測試結(jié)果分析，涉及圖表制作（需要制作哪些圖表與測試總體組溝通）安全測試結(jié)果分析性能測試結(jié)果分析TOP級問題分析9.測試評論與結(jié)論測試充分性評價：本次測試覆蓋了系統(tǒng)的xx%的需求，測試用例的執(zhí)行率xx%系統(tǒng)穩(wěn)定性評價：模塊整體質(zhì)量根據(jù)當(dāng)前的缺陷分布情況、缺陷發(fā)型的趨勢及測試活動的過程來分析系統(tǒng)與需求的符合性評價風(fēng)險及建議測試結(jié)論2024/1/15性能測試報告1.測試概述系統(tǒng)概述測試策略測試環(huán)境：服務(wù)器環(huán)境、客戶端環(huán)境2.測試時間、地點及人員3.測試的內(nèi)容：測試的場景測試所需的用戶數(shù)量運行時間事務(wù)響應(yīng)時間（需要圖表）每秒請求數(shù)（需要圖表）吞吐量（需要圖表）事務(wù)平均響應(yīng)時間（需要圖表）運行結(jié)果（需要圖表）2024/1/15性能測試報告4.測試評價與結(jié)論5.性能測試總結(jié)性能測試方法性能測試的重點、難點性能測試情況2024/1/15TOP級問題分析文檔主要是對比較嚴(yán)重的缺陷做出分析與解決方案，與測試報告同時輸出1.modulename：缺陷所在模塊2.title：缺陷單的標(biāo)題3.validateinfluencelevel：提示/一般/嚴(yán)重/致命4.detail：出現(xiàn)的原因5.根因分析：對缺陷出現(xiàn)的原因做出分析6.解決方案：對缺陷做出相應(yīng)的解決方案2024/1/154系統(tǒng)測試的介紹、主要內(nèi)容2351系統(tǒng)測試過程系統(tǒng)測試文檔的結(jié)構(gòu)及要求基本的測試工具系統(tǒng)測試實例2024/1/15華為常用的測試工具性能測試工具：LoadRunner安全掃描工具：Paros自動化測試工具：iRobot、QTP數(shù)據(jù)庫代碼掃描工具：DBCheck數(shù)據(jù)快速錄入工具：DataLoad2024/1/155系統(tǒng)測試的介紹、主要內(nèi)容2341系統(tǒng)測