軟件測試第八章-測試計劃與測試文檔

第8章測試計劃與測試文檔

高效率的測試是經(jīng)過計劃的。成功的測試需要有一定的方法。利用組織良好的測試計劃、測試用例和測試報告，正確交流和制訂測試工作是測試人員達(dá)到目標(biāo)的保障。本章主要討論與每一測試活動有關(guān)的具體任務(wù)和可交付文檔。本章重點：

●

測試計劃

●

驗證測試計劃

●

確認(rèn)測試計劃

●

軟件測試文檔高效率的測試是經(jīng)過計劃的。成功的測試需要有一定的方法，包括條例、結(jié)構(gòu)、分析和度量。

8.1測試計劃好的測試計劃應(yīng)該包括以下幾方面的內(nèi)容：●

目的●測試策略

●資源配置●

任務(wù)明確●進(jìn)度安排●風(fēng)險分析●停止測試的標(biāo)準(zhǔn)●測試用例庫●組裝方式●記錄手段●工具●回歸測試8.2軟件測試文檔軟件測試文檔用來描述要執(zhí)行的軟件測試及測試的結(jié)果。測試文檔的編制是測試工作規(guī)范化的一個重要組成部分。包括以下幾個內(nèi)容：●

測試計劃：該計劃描述測試活動的范圍、方法、資源和進(jìn)度，其中規(guī)定了被測試的對象，被測試的特性、應(yīng)完成的測試任務(wù)、人員職責(zé)及風(fēng)險等?！?/p>

測試設(shè)計規(guī)格說明：該說明詳細(xì)描述測試方法，測試用例以及測試停止的準(zhǔn)則等?！?/p>

測試用例規(guī)格說明：該說明描述測試用例涉及的輸入、輸出，對環(huán)境的要求，對測試規(guī)程的要求等。

●

測試步驟規(guī)格說明：該說明規(guī)定了實施測試的具體步驟?！?/p>

測試日志：該日志是測試小組對測試過程所作的記錄?！?/p>

測試事件報告：該報告說明測試中發(fā)生的一些重要事件。●

測試總結(jié)報告：對測試活動所作的總結(jié)和結(jié)論。

8.2軟件測試文檔測試文檔的類型8.2

測試文檔驗證需求的正確性檢驗測試資源明確任務(wù)的風(fēng)險開發(fā)測試用例評價測試結(jié)果回歸測試確定測試的有效性測試文檔的重要性表現(xiàn)在以下幾個方面：8.3

主測試計劃制定主測試計劃的目標(biāo)是：規(guī)定測試活動的范圍、方法、資源和進(jìn)度；明確正在測試的項目、要執(zhí)行的主要測試任務(wù)、每個任務(wù)的負(fù)責(zé)人，以及與計劃相關(guān)的風(fēng)險。制定主測試計劃是要在上層文檔中弄清全貌，要進(jìn)行什么類型的測試，有多少驗證測試工作，進(jìn)行什么樣的確認(rèn)測試，需要什么樣的整體策略等。（1）目標(biāo)8.3

主測試計劃

風(fēng)險是指任何威脅到項目目標(biāo)成功實現(xiàn)的因素。測試的一個基本的原則是對項目中最具風(fēng)險的部分進(jìn)行詳細(xì)的測試，以確保最具破壞性的故障能夠被發(fā)現(xiàn)。在測試的每個層次上確定基于風(fēng)險的優(yōu)先級問題非常重要。主測試計劃風(fēng)險管理要考慮的問題包括：

●軟件的大小和復(fù)雜性；●軟件的關(guān)鍵性；●軟件開發(fā)過程成熟度；●測試形式，進(jìn)行全面測試還是部分測試；●人員、經(jīng)驗和組織等。（2）風(fēng)險分析8.3

主測試計劃主測試計劃可交付的文檔之一是軟件驗證測試計劃和確認(rèn)測試計劃。按照IEEE／ANSI標(biāo)準(zhǔn)，軟件驗證和確認(rèn)測試計劃大綱包括以下幾方面的內(nèi)容：

●

目的●參考文件●定義●驗證和確認(rèn)測試概要●生存周期的驗證和確認(rèn)測試任務(wù)●軟件驗證和確認(rèn)測試報告●驗證和確認(rèn)測試管理（3）驗證和確認(rèn)測試計劃大綱8.4

驗證測試計劃驗證測試活動包括：需求驗證功能設(shè)計驗證詳細(xì)設(shè)計驗證代碼驗證驗證任務(wù)包括對各個驗證活動制定測試計劃并執(zhí)行測試。8.4.1

制定驗證測試計劃（1）制定驗證測試考慮的問題：

●

要進(jìn)行的驗證活動（需求驗證、功能設(shè)計驗證、詳細(xì)設(shè)計驗證、代碼驗證）；●采用的方法(審查、走查等)；●軟件需要或不需要進(jìn)行驗證測試的區(qū)域；●不對軟件某些區(qū)域進(jìn)行驗證測試的風(fēng)險；●所需的資源、進(jìn)度、設(shè)備、工具、責(zé)任等。8.4.1

制定驗證測試計劃（2）驗證測試計劃大綱

驗證測試計劃大綱包括以下幾方面的內(nèi)容：

●

測試計劃標(biāo)識●驗證活動●要驗證和不要驗證的區(qū)域●任務(wù)●責(zé)任●人員配備和培訓(xùn)●進(jìn)度安排●風(fēng)險和意外事故●審批8.4.2驗證執(zhí)行驗證執(zhí)行可采用審查、走查、伙伴檢查等方式進(jìn)行。（1）審查報告

每次驗證執(zhí)行后應(yīng)提交一份相應(yīng)的審查報告。審查報告（大綱）可包括如下幾方面的內(nèi)容：

●

審查報告標(biāo)識●測試項目和版本●參審人員●被審查材料的規(guī)?！駥彶樾〗M的準(zhǔn)備時間●返工的工作量及返工結(jié)束的預(yù)期日期●故障清單●故障概要(分類整理的故障數(shù)量)8.4.2驗證執(zhí)行（2）驗證測試報告驗證測試報告是對驗證活動的概要說明。驗證的目標(biāo)是對所有與軟件有關(guān)的文檔進(jìn)行驗證測試，但最終驗證了多少?出現(xiàn)了哪些需要解決的內(nèi)部問題?哪些已經(jīng)完成?哪些還沒有完成?可以把驗證測試報告當(dāng)作一種執(zhí)行概要，用于提高管理層對測試過程的認(rèn)識，引起他們對有關(guān)問題的注意。每一驗證活動都應(yīng)有一個驗證測試報告，目的是對這一驗證活動的所有驗證進(jìn)行概括總結(jié)。8.5確認(rèn)測試計劃確認(rèn)測試活動包括：

●

單元測試和集成測試●可用性測試●功能測試●系統(tǒng)測試●驗收測試確認(rèn)測試任務(wù)

●將所有確認(rèn)測試活動看作一個整體，制定主確認(rèn)測試計劃●以確認(rèn)測試活動為單位制定詳細(xì)測試計劃，開發(fā)測試用例，執(zhí)行測試，評估測試，維護(hù)測試。8.5.1制定確認(rèn)測試計劃（1）制定確認(rèn)測試計劃時應(yīng)考慮的幾個問題：

●

確認(rèn)測試采用的方法●測試執(zhí)行所需的設(shè)備●測試工具和支撐軟件●測試配置管理●風(fēng)險分析、預(yù)算、資源要求、進(jìn)度安排、人員配備等。8.5.1制定確認(rèn)測試計劃（2）主確認(rèn)測試計劃大綱主確認(rèn)測試計劃是為整個確認(rèn)測試工作制定的，是對整個確認(rèn)測試工作的概括，即確定具體的確認(rèn)測試活動、每一確認(rèn)測試活動大致需要的資源、粗略的進(jìn)度安排、總的培訓(xùn)要求和風(fēng)險等，但不涉及具體的細(xì)節(jié)。主確認(rèn)測試計劃包括目的和大綱兩方面的內(nèi)容。8.5.1制定確認(rèn)測試計劃（2）主確認(rèn)測試計劃大綱目的：規(guī)定測試活動的范圍、方法、資源要求和進(jìn)度安排等。大綱包含以下一些內(nèi)容：

●測試計劃標(biāo)識●測試概述●測試項目●要測試的特征●不要測試的特征●測試方法●測試任務(wù)●測試環(huán)境要求●進(jìn)度安排●項目通過/不通過的標(biāo)準(zhǔn)●測試停止標(biāo)準(zhǔn)●測試可交付文檔●風(fēng)險和偶然事件●人員配備和培訓(xùn)要求●審批8.5.2測試結(jié)構(gòu)設(shè)計每個重要的軟件產(chǎn)品都有并且只有一個測試結(jié)構(gòu)規(guī)格說明，用來說明測試是如何組織的，它們是基于需求還是基于功能還是基于內(nèi)部結(jié)構(gòu)的測試?如何將它們進(jìn)行分類？如何構(gòu)建測試用例庫等？測試結(jié)構(gòu)設(shè)計需要考慮幾方面的內(nèi)容：●測試基礎(chǔ)(基于需求、功能、還是內(nèi)部結(jié)構(gòu))；●測試的分類和分類規(guī)則；●測試用例庫的結(jié)構(gòu)和命名則等。8.5.3詳細(xì)測試設(shè)計

詳細(xì)測試設(shè)計是指定測試方法并確定測試用例的過程，包括確定測試的目標(biāo)，哪些方面要優(yōu)先考慮，對于相關(guān)的測試項目組，任何集中高層測設(shè)計，但詳細(xì)測試設(shè)計不給出具體的測試用例或者執(zhí)行測試的步驟。（1）詳細(xì)測試設(shè)計考慮的問題：

●

測試目標(biāo)；●測試結(jié)構(gòu)；●設(shè)計測試用例等。8.5.3詳細(xì)測試設(shè)計（2）詳細(xì)測試設(shè)計的基本步驟確定要測試的目標(biāo)；以風(fēng)險為基礎(chǔ)確定哪些項目要優(yōu)先測試；針對相關(guān)測試項目組，開發(fā)高層測試設(shè)計；根據(jù)高層測試設(shè)計，設(shè)計測試用例。8.5.3詳細(xì)測試設(shè)計（3）測試目標(biāo)確定測試目標(biāo)確定是指確定所有要測試項目的目標(biāo)，即對需求和功能設(shè)計規(guī)格說明進(jìn)行仔細(xì)研究、分解和分析，為基于功能的測試開發(fā)出測試目標(biāo)清單。對測試目標(biāo)清單進(jìn)行提煉時可采取以下幾步：如果基于需求和基于功能的測試目標(biāo)清單是獨立開發(fā)出來的，則對兩份清單進(jìn)行比較，刪除多余的測試目標(biāo)。以進(jìn)度安排、資源要求和不測試各項的風(fēng)險為基礎(chǔ)，對各測試目標(biāo)進(jìn)行低、中、高優(yōu)先級篩選。對于每一目標(biāo)清單，生成一個覆蓋矩陣，用以說明測試目標(biāo)和測試用例之間的關(guān)系，即哪些測試用例覆蓋了哪些測試目標(biāo)。對于關(guān)鍵軟件，生成一個需求跟蹤矩陣。

一個需求跟蹤矩陣示范。

8.5.3詳細(xì)測試設(shè)計8.5.3詳細(xì)測試設(shè)計(4)測試設(shè)計規(guī)格說明測試設(shè)計規(guī)格說明是一種概括性文檔，其目的是組織和描述針對具體特征需要進(jìn)行的測試，以幫助確定測試用例。按照IEEE／ANSI標(biāo)準(zhǔn)829/1983，測試設(shè)計規(guī)格說明包括：目的：指出測試方法的改進(jìn)之處，確定設(shè)計和相關(guān)測試所覆蓋的特征，確定測試用例和測試步驟，并指定特征通過/不通過標(biāo)準(zhǔn)。大綱：

●測試設(shè)計規(guī)格說明標(biāo)識●要測試的特征●方法●確定測試用例●特征通過/不通過規(guī)則8.5.3詳細(xì)測試設(shè)計(5)測試用例規(guī)格說明一個測試用例可以通過多個測試設(shè)計規(guī)格說明確定，每一個測試設(shè)計規(guī)格說明又有一個或多個測試用例規(guī)格說明。按照IEEE／ANSI標(biāo)準(zhǔn)829/1983，測試用例規(guī)格說明包括：目的：定義測試設(shè)計規(guī)格說明確定的測試用例。大綱：

●測試用例規(guī)格說明標(biāo)識●測試項●輸入要求●輸出要求●環(huán)境要求●特殊要求●測試用例之間的依賴關(guān)系有條不紊地仔細(xì)計劃測試用例，是達(dá)到測試目標(biāo)的必由之路，因為：●

組織性。正確地計劃和組織測試用例，有助于測試人員和其他項目小組成員有效地審查和使用它們?！?/p>

重復(fù)性。項目期間會多次執(zhí)行同樣的測試，以尋找新的軟件故障，保證老的軟件故障得以修復(fù)?！?/p>

跟蹤。計劃執(zhí)行了多少個測試用例，在軟件最終版本上執(zhí)行了多少個測試用例，多少個測試失敗?是否有忽略的測試用例，如果測試用例沒有計劃，就不能回答這些問題?！?/p>

測試證實。在少數(shù)高風(fēng)險行業(yè)中，軟件測試小組必須證明確實執(zhí)行了計劃執(zhí)行的測試。發(fā)布忽略某些測試用例的軟件實際上是不合法和危險的。8.5.3詳細(xì)測試設(shè)計8.5.3詳細(xì)測試設(shè)計（6）測試實施

實施是將每一測試用例規(guī)格說明翻譯成可執(zhí)行測試用例的過程。測試實施可交付的文檔包括：

●測試用例●測試步驟規(guī)格說明●己完成的功能覆蓋矩陣●己完成的需求覆蓋矩陣●對于關(guān)鍵軟件，己完成的需求跟蹤矩陣8.5.3詳細(xì)測試設(shè)計（7）測試步驟規(guī)格說明測試步驟規(guī)格說明一步一步解釋如何進(jìn)行測試設(shè)置，如何開始測試，如何監(jiān)視測試運(yùn)行，以及測試停止后如何重新開始測試。測試步驟規(guī)格說明包括：目的：確定進(jìn)行測試需要的所有步驟。大綱：

●

測試步驟規(guī)格說明標(biāo)識●特殊要求●啟動測試的步驟●判斷測試結(jié)果的標(biāo)準(zhǔn)●偶然事件處理步驟

●測試執(zhí)行步驟8.5.3詳細(xì)測試設(shè)計上面介紹的幾種測試計劃規(guī)格說明關(guān)系如圖8-1所示。

8.5.4測試執(zhí)行和事故報告1.測試執(zhí)行測試執(zhí)行是執(zhí)行所有或挑選的測試用例并對結(jié)果進(jìn)行觀察的過程。包括：

●

測試用例選擇●執(zhí)行前設(shè)置、執(zhí)行后分析●記錄活動、結(jié)果和事件●判斷故障是由軟件錯誤還是由測試本身的錯誤引起的●測量內(nèi)部邏輯覆蓋測試執(zhí)行的主要可交付文檔包括測試記錄、測試事故報告和邏輯覆蓋報告。8.5.4測試執(zhí)行和事故報告2.測試記錄

測試記錄保留了測試執(zhí)行的有關(guān)細(xì)節(jié)。按照IEEE／ANSI標(biāo)準(zhǔn)829-1983，測試記錄包括：目的：按時間順序記錄測試執(zhí)行的有關(guān)細(xì)節(jié)。大綱：

●測試記錄標(biāo)識●測試描述●事件記錄8.5.4測試執(zhí)行和事故報告3.事故報告

事故報告是軟件故障(即問題、缺陷、錯誤)報告的別名，其中最重要的部分是事故描述，這一部分不僅要描述出現(xiàn)的情況，還應(yīng)該將預(yù)期結(jié)果與實際結(jié)果進(jìn)行比較。報告軟件故障的基本原則是：

●盡快報告軟件故障?！裼行枋鲕浖收??！駡蟾孳浖收蠒r不做評價，只針對產(chǎn)品，陳述事實?！裢晟栖浖收蠄蟾?，保證軟件故障被正確報告。小軟件故障嚴(yán)重軟件故障項目開始

時間

項目結(jié)束可能修復(fù)的軟件故障圖8-2時間和故障修復(fù)之間的關(guān)系8.5.4測試執(zhí)行和事故報告時間和故障修復(fù)之間的關(guān)系軟件故障的嚴(yán)重性和優(yōu)先級

任何軟件故障報告都必須由提供者注明故障的嚴(yán)重性和優(yōu)先級別。嚴(yán)重性表示軟件故障的惡劣程度，反映其對產(chǎn)品和用戶的影響。優(yōu)先級表示修復(fù)故障的重要程度和應(yīng)該何時進(jìn)行修復(fù)。嚴(yán)重性：系統(tǒng)崩潰、數(shù)據(jù)毀壞、數(shù)據(jù)丟失。遺漏功能、操作性錯誤、錯誤的結(jié)果。小問題、用戶邊面布局問題、罕見故障、錯別字。建議。優(yōu)先級：停止進(jìn)一步測試，立即修復(fù)。在產(chǎn)品發(fā)布之前必須修復(fù)。如果時間允許，應(yīng)該修復(fù)?？赡軙迯?fù)，但也可能發(fā)布。8.5.4測試執(zhí)行和事故報告按照IEEE／ANSI標(biāo)準(zhǔn)829/1983，軟件故障報告包括：目的：記錄需要進(jìn)一步調(diào)查的測試執(zhí)行事件。大綱：

●軟件故障報告標(biāo)識●概述●軟件故障描述●軟件故障影響軟件故障報告8.6測試評估（1）測試評估的內(nèi)容

測試評估包括以下幾個方面：●測試覆蓋評估測試覆蓋評估是對軟件測試用例集合進(jìn)行的全面性評價，并決定是否需要補(bǔ)充測試用例。

●軟件故障評估軟件故障評估則根據(jù)測試的執(zhí)行對軟件質(zhì)量進(jìn)行評價，并決定是否需要開發(fā)補(bǔ)充測試用例。

●測試有效性評估測試有效性評估是對照測試停止標(biāo)準(zhǔn)，對當(dāng)前測試工作的整體有效性進(jìn)行評價，以及決定是停止測試還是增加測試用例并繼續(xù)測試的過程。

測試有效性評估8.6測試評估主要考慮的問題有：●決定停止測試還是繼續(xù)測試?！袢绻麤Q定繼續(xù)測試，則需要補(bǔ)充哪些測試測試?！袢绻麤Q定停止測試，如何撰寫測試概要報告。8.6測試評估（2）測試總結(jié)報告最終文檔是測試總結(jié)報告，對確認(rèn)測試活動的結(jié)果作出概述。按照IEEE／ANSI標(biāo)準(zhǔn)829/1983，測試總結(jié)報告包括以下幾方面的內(nèi)容：目的：總結(jié)與一個或多個測試設(shè)計規(guī)格說明相關(guān)的測試活動結(jié)果并提供基于這些結(jié)果的評估。大綱：●測試總結(jié)報告標(biāo)識●測試概要●測試活動概述●測試綜合評價●測試結(jié)果概述●測試評估●測試審批8.7用戶手冊用戶手冊是事關(guān)產(chǎn)品成敗的主要因素之一，其重要性決不低于代碼本身。在開發(fā)過程中必須檢查文檔草稿以確保文檔的正確性、可理解性和完整性，必須將手冊當(dāng)作產(chǎn)品的重要部分來對待，必須采用驗證測試(包括計劃和報告)的概念和方法對手冊進(jìn)行綜合測試，其主要目標(biāo)是找出功能設(shè)計規(guī)格說明和用戶手冊之間的差異。手冊中的范例都應(yīng)該作為手冊測試的一部分接受測試，以判斷它們運(yùn)行起來是否與描述的一樣。8.8IEEE/ANSI測試文檔概述（1）測試計劃和規(guī)格說明的文檔結(jié)構(gòu)SQAP：軟件質(zhì)量保證計劃，每個軟件測試產(chǎn)品一個。SVVP：軟件驗證和確認(rèn)測試計劃，每SQAP一個。VTP：驗證測試計劃：每個驗證活動一個。MTP：主確認(rèn)測試計劃，每個SVVP一個。DTP：詳細(xì)確認(rèn)測試計劃，每個活動一個或多個。TDS：測試設(shè)計規(guī)格說明，每個DTP一個或多個。TPS：測試步驟規(guī)格說明，每個TDS一個或多個。TCS：測試用例規(guī)格說明，每個TDS／TPS一個或多個。TC：

測試用例。每個TCS有一個TC。8.8IEEE/ANSI測試文檔概述SQAPVTPVTPVTPSVVPMTPDTPDTPDTPDTPDTPDTPTDSTDSTDSTDSTCSTCSTCSTPSTPSTCTCTC每確認(rèn)活動一個或多個圖8-3測試計劃和規(guī)格說明的文檔結(jié)構(gòu)8.8IEEE/ANSI測試文檔概述(2)測試報告的文檔結(jié)構(gòu)VTR：驗證測試報告。每個驗證活動一個。TPS：測試步驟規(guī)格說明。TL：測試記錄。每個測試執(zhí)行一份。TIR：測試事故報告。每個事故一個。TSR：測試總結(jié)報告。8.9軟件生存周期各階段

的測試任務(wù)與可交付的文檔

軟件生存周期按瀑布模型可分為：需求、功能設(shè)計、詳細(xì)設(shè)計、編碼、測試和運(yùn)行維護(hù)六個階段，不同階段可能在一定程度上有重復(fù)，但階段結(jié)束必須按一定順序進(jìn)行，比如提交可交付文檔、審批、簽字等。8.9.1需求階段（1）測試輸入：

●

軟件質(zhì)量保證計劃(任選)●需求(來自開發(fā))（2）測試任務(wù)：

●制定驗證和確認(rèn)測試計劃●對需求進(jìn)行分析●對需求進(jìn)行審核●分析并設(shè)計基于需求的測試，構(gòu)造相應(yīng)的需求覆蓋或跟蹤矩陣.（3）可交付的文檔：

●

軟件驗證測試計劃●驗證測試計劃(針對需求)●驗證測試報告(針對需求)8.9.2功能設(shè)計階段（1）測試輸入：功能設(shè)計規(guī)格說明(來自開發(fā))（2）測試任務(wù)：

●功能設(shè)計驗證和確認(rèn)測試計劃●分析功能設(shè)計規(guī)格說明●審核功能設(shè)計規(guī)格說明●設(shè)計可用性測試●分析并設(shè)計基于功能的測試，構(gòu)造相應(yīng)的功能覆蓋矩陣●實施基于需求和基于功能的測試（3）可交付的文檔：

●(主確認(rèn))測試計劃●驗證測試計劃(針對功能設(shè)計)●驗證測試報告(針對功能設(shè)計)8.9.3詳細(xì)設(shè)計階段（1）測試輸入：詳細(xì)設(shè)計規(guī)格說明(來自開發(fā))（2）測試任務(wù)：

●

詳細(xì)設(shè)計驗證測試計劃●分析詳細(xì)設(shè)計規(guī)格說明●審核詳細(xì)設(shè)計規(guī)格說明●分析并設(shè)計基于內(nèi)部的測試（3）可交付的文檔：

●

詳細(xì)確認(rèn)測試計劃●驗證測試計劃(針對內(nèi)部設(shè)計)●驗證測試報告(針對內(nèi)部設(shè)計)●測試設(shè)計規(guī)格說明