培訓教材4-軟件系統(tǒng)測試

軟件測試實際—系統(tǒng)測試

.主題內容什么是系統(tǒng)測試?系統(tǒng)測試的主要內容系統(tǒng)測試的過程測試過程改良.LifeCycleTesting測試生命周期用戶需求體系構造設計詳細設計編碼實現(xiàn)單元測試集成測試系統(tǒng)測試驗收測試PrepareplanVerifyPrepareplanVerifyPrepareplanVerify軟件需求.系統(tǒng)測試——驗證還是確認？系統(tǒng)測試運用人工或自動手段來運轉或測定某個系統(tǒng)的過程，其目的在于檢驗它能否滿足規(guī)定的系統(tǒng)需求或是弄清預期結果與實踐結果之間的差別。驗證〔Verification〕驗證確定任務產品正確反映了它們的規(guī)定需求。換言之，驗證保證“他正確地構建了它〞。確認〔Validation〕確認確定提供的產品將滿足其預期運用。換言之，確認保證“他構建了正確的產品〞?！狢MMI模型第3章.主題內容什么是系統(tǒng)測試?系統(tǒng)測試的主要內容系統(tǒng)測試的過程測試過程改良.系統(tǒng)測試主要內容功能測試恢復性測試〔災難測試、容錯測試〕敏感性測試平安性測試接口測試用戶界面測試安裝/晉級測試配置測試/兼容性測試國際化〔言語〕測試用戶文檔測試……性能測試強度測試容量測試可靠性測試邊境測試 ……冒煙測試回歸測試隨機測試硬件系統(tǒng)專有測試可靠性實驗可消費性測試可維護性測試.壓力測試常稱為強度測試，通常還包括極限性測試和敏感性測試等，用于測試系統(tǒng)對異常任務強度〔包括過大的任務量、不充足的內存、不可用的效力/硬件或過低的共享資源等〕情況下的處置才干。極限測試偏重于測試系統(tǒng)在內部和外部到達最大額定目的時能否正常任務敏感性測試偏重于測試系統(tǒng)在一些臨界點條件下功能結果和性能表現(xiàn)能否產生突變。.壓力測試常用工具SmartBits等數(shù)據流量模擬發(fā)生器RationalTestManager的VU(VirtualUsers)模擬測試腳本工具話音模擬呼叫器，等。常見缺點在異常資源配置下容易產生系統(tǒng)解體或處置才干急劇下降、出錯率急劇上升的景象達不到需求所要求的最高容量目的在允許的資源配置范圍內存在某些臨界點〔特定輸入或配置〕，在這些臨界點系統(tǒng)的功能性能表現(xiàn)產生突變甚至系統(tǒng)發(fā)生解體。.配置〔兼容性〕測試主要包括組網測試和軟硬件平臺配置測試組網測試的目的是測試系統(tǒng)能否滿足其需求中所支持的一切組網類型和組網規(guī)模軟硬件平臺配置測試的目的是測試系統(tǒng)能否滿足其需求中所支持的不同軟硬件平臺配置。兼容性測試是指系統(tǒng)的順應才干測試，可分為環(huán)境兼容測試和版本兼容測試。.配置〔兼容性〕測試常見缺點系統(tǒng)在采用需求中支持的某些組網方式時的功能或性能出現(xiàn)問題；系統(tǒng)在采用需求中支持的某些平臺、軟件配置方式時的功能或性能出現(xiàn)問題。.平安測試平安測試就是檢查系統(tǒng)對于外部的非法侵入的抵御才干。系統(tǒng)平安測試的準那么是，測試非法侵入的代價能否超越被維護信息的價值。信息平安與嚴密〔Security〕不同于人身平安和艱苦財富損失〔Safety〕。在公司的產品研發(fā)中，需求重點思索的是信息平安方面隨著ISO14000/18000的實施，Safety方面的內容會增多.平安測試主要方法：想方設法截取或破譯口令；專門定做軟件破壞系統(tǒng)的維護機制；故意導致系統(tǒng)失敗，企圖趁恢復之機非法進入；試圖經過閱讀非嚴密數(shù)據，推導所需信息，等。主要工具：協(xié)議分析儀、系統(tǒng)破綻掃描軟件，黑客工具等。常見缺點系統(tǒng)緩沖區(qū)溢出、堆棧溢出錯誤。系統(tǒng)存在密碼平安、權限管理、數(shù)據平安方面的破綻，可被隨便的進入并進展非法獲取和破壞。.恢復性測試檢查系統(tǒng)的容錯才干，測試系統(tǒng)在遇到系統(tǒng)解體、硬件損壞或其他災難性問題后能否很好地恢復，測試的詳細內容包括創(chuàng)建各種能夠的災難情況，測試系統(tǒng)從異常形狀恢復到正常形狀所需的時間、破費的代價、對周邊設備和系統(tǒng)呵斥的影響，系統(tǒng)恢復的完好性和一致性等。常用工具：主要是制造系統(tǒng)異常，按系統(tǒng)恢復功能進展恢復操作，直至系統(tǒng)繼續(xù)正常運轉為了測試系統(tǒng)恢復之后能否運轉正常，也可以采用一些自化測試工具進展回歸測試，以提高測試的效率。.恢復性測試常見缺點系統(tǒng)發(fā)生異常后無法恢復，呵斥系統(tǒng)數(shù)據被破壞，即重啟系統(tǒng)、恢復備份數(shù)據也不可行，嚴重的能夠呵斥系統(tǒng)硬件缺點；系統(tǒng)恢復時間過長、代價過高；系統(tǒng)不能完全恢復到原來的正常形狀，呵斥一定損失；系統(tǒng)恢復過程對周邊設備和環(huán)境呵斥較大影響，無法消除，等。.用戶界面測試以用戶的角度來對軟件界面的易用性、風格、合理性等面進展評價和測試。通常包括軟件的“界面顯示測試〞和“界面功能測試〞，而界面功能測試主要結合系統(tǒng)功能進展測試。常用工具：Winrunner、Robot等錄制回放工具.用戶界面測試測試要點和常見缺點：易用性與合理性：步驟繁瑣的操作，比例不協(xié)調、擺放混亂的窗口和控件，層次過多的子窗口和菜單規(guī)范性：不符合Windows規(guī)范的控件設計，與常規(guī)Windows操作不符的流程與操作等容錯性：編輯控件對非法字符、超出邊境值的輸入處置不當或沒有提示，容易呵斥系統(tǒng)重啟、數(shù)據刪除喪失等的操作沒有提示等協(xié)助：無協(xié)助信息提供，或者不提供獲取協(xié)助的快捷操作美觀與風格：界面顏色不協(xié)調、界面風格與公司相關產品風格不符、與業(yè)界通用風格不符，圖片、圖標等不符合公司CI規(guī)范。資源：界面長時間運轉操作呵斥系統(tǒng)內存耗盡、界面對系統(tǒng)資源獨占運用等.安裝晉級測試安裝晉級測試是以最終用戶的角度測試系統(tǒng)的可安裝性以及系統(tǒng)能否具有晉級或卸載功能。安裝晉級測試，需求重點測試系統(tǒng)的軟硬件平臺的兼容性。主要內容：安裝晉級根本功能測試卸載測試(可選)平臺兼容性易用性與合理性測試強壯性測試.安裝晉級測試常用工具：通常手工進展。可借助錄制回放工具進展反復的軟件安裝測試。常見缺點：系統(tǒng)的軟硬件不能兼容。系統(tǒng)軟件在不同的平臺下安裝后不能正常任務。系統(tǒng)版本晉級后，無法正常任務，系統(tǒng)無法回退到晉級前的版本。系統(tǒng)的硬件安裝不符合用戶習慣。系統(tǒng)的軟硬件安裝晉級過程和用戶文檔上的表達不一致，甚至錯誤，誤導最終用戶。.文檔/協(xié)助測試各種用戶文檔和聯(lián)機協(xié)助系統(tǒng)是軟件產品的重要組成部分，保證其正確性也是軟件測試工程師的職責。文檔/協(xié)助測試的目的在于：提高易用性，使軟件用戶更容易地學習和運用軟件產品。提高可靠性，假設用戶閱讀文檔，然后運用軟件，最終得不到預期結果，這就是可靠性差。降低支持費用，好的文檔/協(xié)助經過恰當?shù)慕忉尯鸵龑Э梢栽谟脩粲匈M事或者遇到不測情況時減少懇求公司協(xié)助。.文檔/協(xié)助測試從用戶的角度來測試軟件文檔是非常有效的方法。仔細閱讀，跟隨每個步驟，檢查每個圖形，嘗試每個例如。利用這個現(xiàn)實的簡一方法，可以找出軟件和文檔中的缺陷。常用的方法有：評審和審查，檢查文檔的編輯明晰性。動態(tài)測試，結合實踐程序的運用而運用文檔。讓獨立的第三方〔如用戶〕或其他人員(如以前沒有接觸或運用過本系統(tǒng)的新手)在程序的運用語境測試文檔也是非常有效的方法。.文檔/協(xié)助測試的檢查單例如文檔能否準確描畫了各種運用方式？每個交互順序的描畫能否準確？例子能否準確？術語、菜單描畫和系統(tǒng)呼應能否與實踐運用程序一致？能否可以很方便地運用文檔定位和排除錯誤？文檔的內容和索引能否準確完好？文檔的設計〔規(guī)劃、縮入和圖形〕能否便于信息的了解？顯示給用戶的錯誤信息能否有更詳細的文檔解釋？假設運用超級鏈接，超級鏈接能否準確完好？假設運用超級鏈接，導航設計能否適宜于所需求的信息？.冒煙測試也稱為構建驗證測試〔BVT，BuildVerificationTest〕測試被測系統(tǒng)能否具有根本運轉功能，如啟動、加載、執(zhí)行根本操作等。常與每日構建相結合，作為集成測試的一個重要部分在系統(tǒng)測試中用作入口檢查通常需求自動化工具常見缺點被測系統(tǒng)無法啟動和加載；根本功能出現(xiàn)缺點；自動化測試無法正確執(zhí)行。.回歸〔Regressive〕測試對系統(tǒng)的新增功能和以前測試中曾經測試過無缺點的相關功能進展驗證，以保證新增功能和/或對舊有缺點的修正不會在被測系統(tǒng)中引入新的缺點，其測試范圍和規(guī)模介于完好測試和簡單的缺點驗證測試之間。需求根據新增/修正功能的涉及范圍精心選擇和設計測試范圍與測試用例盡量采用自動化測試工具.隨機〔Ad-hoc〕測試俗稱“猴子〞測試最好由用戶代表進展公司內部可結合新員工/工程/客服人員培訓進展應該有適當?shù)慕M織和方案.主題內容什么是系統(tǒng)測試?系統(tǒng)測試的主要內容系統(tǒng)測試的過程測試過程改良.工程周期中的系統(tǒng)測試階段劃分系統(tǒng)測試方案階段系統(tǒng)測試設計和開發(fā)階段系統(tǒng)測試執(zhí)行和評價階段.系統(tǒng)測試方案階段主要活動制定系統(tǒng)測試總體方案簡述工程，明確測試的范圍定義測試戰(zhàn)略〔階段、類型、技術、規(guī)范等〕編制測試需求任務分解和估算資源分配進度表風險識別與應對系統(tǒng)測試總體方案評審同意系統(tǒng)測試總體方案系統(tǒng)測試總體方案納入配置管理.系統(tǒng)測試設計和開發(fā)階段主要活動系統(tǒng)測試方案設計測試方案評審系統(tǒng)測試規(guī)程設計建立需求跟蹤矩陣系統(tǒng)測試規(guī)程評審系統(tǒng)測試用例細化和再開發(fā)系統(tǒng)測試用例評審測試工具的設計和研制.系統(tǒng)測試設計和開發(fā)階段常見風險不做測試設計，或測試過程并未系統(tǒng)測試總體方案的要求來做。測試設計不詳細，不是基于可量度的測試戰(zhàn)略，例如測試方案覆蓋一個集合或者測試需求的一個子集。測試過程沒有檢驗測試需求。測試開發(fā)沒有根據，測試規(guī)程和用例與測試方案或系統(tǒng)測試總體方案中測試戰(zhàn)略沒有對應性。測試過程不可反復或不可重用。.系統(tǒng)測試設計和開發(fā)階段常用度量需求覆蓋率〔百分比〕＝測試覆蓋的需求/一切的需求×100%；測試用例的數(shù)量〔條〕；自動化測試在系統(tǒng)測試中的比例〔百分比〕＝采用自動化測試的系統(tǒng)測試用例數(shù)目/全部的測試用例總數(shù)×100%；測試用例設計和開發(fā)的任務量〔人時〕；測試工具研制的任務量〔人時〕；系統(tǒng)測試文檔評審的任務量〔人時〕；.系統(tǒng)測試執(zhí)行和評價階段主要活動系統(tǒng)測試懇求系統(tǒng)測試懇求審批制定系統(tǒng)測試詳細方案執(zhí)行系統(tǒng)測試預備系統(tǒng)測試執(zhí)行系統(tǒng)測試總結和評價.系統(tǒng)測試執(zhí)行和評價階段常見風險沒有制定系統(tǒng)測試詳細方案，測試開場之前測試人員不能明確本次系統(tǒng)測試活動應測試的測試用例。測試執(zhí)行不按照系統(tǒng)測試詳細方案的要求來做，不能確保方案要求的測試用例都能得到執(zhí)行。未對測試的原始數(shù)據進展紀錄。本次系統(tǒng)測試新的有效測試規(guī)程和測試用例并未及時給予紀錄并管理。工程組和產品線的壓力有能夠導致測試人員的測試評價不夠客觀準確。沒有有效利用各種自動化測試手段，手工測試太多。.系統(tǒng)測試執(zhí)行和評價階段常用度量測試用例經過率〔百分比〕＝本次測試中經過的用例數(shù)/實踐執(zhí)行的用例數(shù)；測試用例覆蓋率〔百分比〕＝本次測試中實踐執(zhí)行的用例數(shù)/方案執(zhí)行的用例數(shù)；本次測試中測試經過的系統(tǒng)測試用例數(shù)目〔條〕；本次測試中測試不經過的系統(tǒng)測試用例數(shù)目〔條〕；發(fā)現(xiàn)的缺陷數(shù)目及缺陷等級〔個數(shù)、級別〕；曾經處理的缺陷數(shù)目及缺陷等級〔個數(shù)、級別〕；遺留的缺陷數(shù)目及缺陷等級〔個數(shù)、級別〕；缺陷密度〔分布圖〕；測試的工時〔人時〕；系統(tǒng)測試的需求覆蓋率；.系統(tǒng)測試與其他活動的關系工程管理——方案協(xié)同、風險管理需求管理——測試根據、需求跟蹤設計開發(fā)——測試根據和參考配置管理——版本控制、變卦控制質量保證——過程與產品審核度量——數(shù)據提供和結果反響中試/實驗局/初終驗——用例和測試結果參考………….小結：系統(tǒng)測試的假設干原那么應盡早地開場系統(tǒng)測試任務。充分留意測試中的缺陷密集景象，即對缺陷比較密集的部分進展重點測試；嚴厲執(zhí)行測試方案，排除測試的隨意性。對測試過程和測試結果應進展評價，確保測試過程的有效性。妥善保管測試方案、測試用例、缺點統(tǒng)計和最終分析報告，為維護提供方便。對于被測試系統(tǒng)要進展正常和異常兩方面的測試。在系統(tǒng)測試方案中，要按照資源和工程的要求明晰地定義一個完好的退出準那么，這是一種權衡投入／產出比的原那么，測試既不要不充分，也不要過分。.主題內容什么是系統(tǒng)測試?系統(tǒng)測試的主要內容系統(tǒng)測試的過程測試過程改良.測試過程的假設干要素和其他過程一樣，規(guī)程、人員和工具是主要要素繼續(xù)改良的測試規(guī)程和方法良好的測試過程不斷強化的專業(yè)化測試隊伍自研和外購的多種工具和設備.測試規(guī)程改良建立并完善完好的測試規(guī)程、指點書、模板體系健全并嚴厲運用各項測試活動的進入退出準那么細化系統(tǒng)測試的總體和詳細方案改善與開發(fā)部門的協(xié)調建立并維持需求與測試的雙向跟蹤積累并定期分析測試度量數(shù)據改良估算和方案改善測試的量化準那么提高對產質量量的評價才干.測試隊伍建立測試人員永遠都不會是開發(fā)人員的敵人！優(yōu)化測試組織，協(xié)調測試組與系統(tǒng)組、開發(fā)組的分工注重培育測試人員的特殊素質，如責任心、知識面、溝通才干、疑心精神、耐心、專業(yè)技術等定期組織公司內部的測試技術專題研討和閱歷共享.工欲善其事，必先利其器投資外購軟件測試與管理工具工具相對成熟，利于快速引入先進思想和方法價錢高，投資大，大面積運用困難普遍存在一定的專長與缺乏適用于通訊軟件的公用工具尤其少而昂貴難以進展順應性改造投入人力時間自行開發(fā)測試工具有針對性地處理特定問題易于普遍運用和繼續(xù)改良研發(fā)周期長，見效較慢要求極高的專業(yè)素養(yǎng)測試工具的普遍問題：多種研發(fā)工具協(xié)同困難.測試過程改良參考模型ISO9000、TL9000、GJB9000……CMM/CMMITPI〔TestProcessImp