朱少民 Ch15-報告所發(fā)現(xiàn)的缺陷-STMT

1、軟件測試方法和技術(shù)軟件測試方法和技術(shù) 第2版第第15章章 測試用例的設(shè)計測試用例的設(shè)計 Zhu.K朱少民朱少民Kerry ZhuZhu.K第15章 報告所發(fā)現(xiàn)的缺陷15.l 15.l 軟件缺陷的描述軟件缺陷的描述15.2 15.2 軟件缺陷相關(guān)的信息軟件缺陷相關(guān)的信息15.3 15.3 軟件缺陷跟蹤和分析軟件缺陷跟蹤和分析15.4 15.4 軟件缺陷跟蹤系統(tǒng)軟件缺陷跟蹤系統(tǒng) Zhu.K15.l 軟件缺陷的描述軟件缺陷的描述15.1.1 軟件缺陷的生命周期軟件缺陷的生命周期15.1.2 嚴(yán)重性和優(yōu)先級嚴(yán)重性和優(yōu)先級15.1.3 缺陷的其它屬性缺陷的其它屬性15.1.4 完整的缺陷信息完整的缺陷信

2、息15.1.5 缺陷描述的基本要求缺陷描述的基本要求15.1.6 缺陷報告的示例缺陷報告的示例 Zhu.Kn軟件缺陷生命周期指的是一個軟件缺陷被發(fā)現(xiàn)、報告到這個缺陷被修復(fù)、驗證直至最后關(guān)閉的完整過程n缺陷生命周期是各類開發(fā)人員一起參與、協(xié)同測試的過程。n軟件缺陷一旦發(fā)現(xiàn)，便進入嚴(yán)密監(jiān)控之中，直至軟件缺陷生命周期終結(jié)，這樣即可保證在較短的時間內(nèi)高效率地關(guān)閉所有的缺陷，縮短軟件測試的進程，提高軟件質(zhì)量，同時減少開發(fā)、測試和維護成本。 15.1.1 軟件缺陷的生命周期軟件缺陷的生命周期Zhu.K基本的缺陷生命周期基本的缺陷生命周期 q發(fā)現(xiàn)-打開：測試人員找到軟件缺陷并將軟件缺陷提交給開發(fā)人員。 q打

3、開-修復(fù)：開發(fā)人員再現(xiàn)、修復(fù)缺陷，然后提交給測試人員去驗證。 q修復(fù)-關(guān)閉：測試人員驗證修復(fù)過的軟件，關(guān)閉已不存在的缺陷。 發(fā)現(xiàn)發(fā)現(xiàn) 打開打開 修復(fù)修復(fù) 關(guān)閉關(guān)閉 Zhu.K常見的常見的軟件缺陷生命周期軟件缺陷生命周期Zhu.K15.1.2 嚴(yán)重性和優(yōu)先級嚴(yán)重性和優(yōu)先級q嚴(yán)重性嚴(yán)重性（severity）衡量缺陷對客戶滿意度的影響程度致命的（fatal）、嚴(yán)重的（critical）、一般的（major）、微小的（minor）q優(yōu)先級優(yōu)先級(Priority)：指缺陷被修復(fù)的緊急程度。缺陷優(yōu)先級缺陷優(yōu)先級 描述描述 立即解決(P1級) 缺陷導(dǎo)致系統(tǒng)幾乎不能使用或測試不能繼續(xù)，需立即修復(fù) 高優(yōu)先級(

4、P2級） 缺陷嚴(yán)重，影響測試，需要優(yōu)先考慮 正常排隊(P3級） 缺陷需要正常排隊等待修復(fù) 低優(yōu)先級(P4級） 缺陷可以在開發(fā)人員有時間的時候被糾正。 Zhu.K15.1.3 缺陷的其它屬性缺陷的其它屬性n缺陷標(biāo)識（ID）n缺陷類型（type）n缺陷產(chǎn)生可能性（frequency）n缺陷來源（source）n缺陷原因（root cause）見 P.327328 諸表Zhu.K15.1.4 完整的缺陷信息完整的缺陷信息n前提n操作步驟n期望結(jié)果n實際結(jié)果n上述的各種缺陷屬性見見 P.328 表表15-7Zhu.K軟件缺陷的詳細(xì)描述軟件缺陷的詳細(xì)描述 q“步驟步驟”提供了如何重復(fù)當(dāng)前缺陷的準(zhǔn)確描述，

5、應(yīng)簡明而完備、清楚而準(zhǔn)確。這些信息對開發(fā)人員是關(guān)鍵的，視為修復(fù)缺陷的向?qū)?q“期望結(jié)果期望結(jié)果”與測試用例標(biāo)準(zhǔn)或設(shè)計規(guī)格說明書或用戶需求等一致，達(dá)到軟件預(yù)期的功能。是驗證缺陷的依據(jù)。 q“實際結(jié)果實際結(jié)果”實際執(zhí)行測試的結(jié)果，不同于期望結(jié)果，從而確認(rèn)缺陷的存在 Zhu.K15.1.5 缺陷描述的基本要求缺陷描述的基本要求q單一準(zhǔn)確單一準(zhǔn)確 q可以再現(xiàn)可以再現(xiàn) q完整統(tǒng)一完整統(tǒng)一q短小簡練短小簡練q特定條件特定條件q補充完善補充完善 q不做評價不做評價 Zhu.K15.1.6 示例示例見見 P.330優(yōu)秀的缺陷報告重現(xiàn)步驟 :打開一個編輯文字的軟件并且創(chuàng)建一個新的文檔（這個文件可以錄入文字）在這

6、個文件里隨意錄入一兩行文字 選中一兩行文字，通過選擇Font 菜單然后選擇Arial字體格式 一兩行文字變成了無意義的亂字符 期望結(jié)果：當(dāng)用戶選擇已錄入的文字并改變文字格式的時候，文本應(yīng)該顯示正確的文字格式不會出現(xiàn)亂字符顯示。實際結(jié)果:它是字體格式的問題，如果改變文字格式成Arial之前，你保存文件，缺陷不會出現(xiàn)。缺陷僅僅發(fā)生在Windows98并且改變文字格式成其它的字體格式，文字是顯示正常的。 見所附的圖片 Zhu.K散漫的缺陷報告的示例缺陷報告的示例重現(xiàn)步驟重現(xiàn)步驟：在Window98上打開一個編輯文字的軟件并且編輯存在文件 文件字體顯示正常 我添加了圖片，這些圖片顯示正常 在此之后，我

7、創(chuàng)建了一個新的文檔 在這個文檔中我隨意錄入了大量的文字 在我錄入這些文字之后，選擇幾行文字.并且通過選擇Font 菜單然后選擇Arial字體格式改變文字的字體。 有三次我重現(xiàn)了這個缺陷 我在Solaris操作系統(tǒng)運行這些步驟，沒有任何問題。 我在Mac操作系統(tǒng)運行這些步驟，沒有任何問題。期望結(jié)果期望結(jié)果：當(dāng)用戶選擇已錄入的文字并改變文字格式的時候，文本應(yīng)該顯示正確的文字格式不會出現(xiàn)亂字符顯示。 實際結(jié)果實際結(jié)果：我試著選擇少量的不同的字體格式，但是只有Arial字體格式有軟件缺陷，不論如何，它可能會出現(xiàn)在我沒有測試的其它的字體格式 Zhu.K15.2 軟件缺陷的軟件缺陷的相關(guān)相關(guān)信息信息15.

8、2.1 軟件缺陷的圖片信息軟件缺陷的圖片信息15.2.2 使用使用WinDBG記錄軟件缺陷信息記錄軟件缺陷信息15.2.3 使用使用Soft-ICE記錄軟件缺陷信息記錄軟件缺陷信息15.2.4 分離和再現(xiàn)軟件缺陷分離和再現(xiàn)軟件缺陷 Zhu.K15.2.1 軟件缺陷的圖片信息軟件缺陷的圖片信息 q軟件缺陷相關(guān)的信息包括軟件缺陷的圖片、記錄信息和如何再現(xiàn)和分離軟件缺陷，使開發(fā)人員和其他的測試人員更容易分離和重現(xiàn)它。q一些涉及用戶界面(User Interface)的軟件缺陷可能很難用文字清楚地描述，因此軟件測試人員通過附上圖片比較直觀地表示缺陷發(fā)生在產(chǎn)品界面什么位置、有什么問題等。 Zhu.K15

9、.2.2 使用使用WinDBG記錄軟件缺陷信息記錄軟件缺陷信息qWinDbg是微軟發(fā)布的源碼級調(diào)試工具，用于Kernel模式調(diào)試和用戶模式調(diào)試，可用于調(diào)試軟件崩潰后形成Dump文件，包括操作系統(tǒng)的信息、進程運行的狀態(tài)、時間和環(huán)境變量、匯編指令、調(diào)用堆棧等q安裝、使用的具體操作方法安裝、使用的具體操作方法，如提供了圖形界面和命令行兩種運行方式q調(diào)試方式：調(diào)試方式：遠(yuǎn)程調(diào)試、Dump調(diào)試、本地進程調(diào)試windbg remote npipe:server=SERVER_NAME,pipe=PIPE_NAMEwindbg z DUMP_FILE_NAME Windbg p “process id”q常

10、用命令常用命令Zhu.K15.2.3 使用使用Soft-ICE記錄軟件缺陷信息記錄軟件缺陷信息qstackstack qu eip-80u eip-80 如果數(shù)據(jù)窗口是開啟的狀態(tài)，可以輸入”wdwd”來關(guān)閉該窗口，然后再輸入 “dd esp-20dd esp-20”命令。stackstack 、dd esp-20dd esp-20是為了標(biāo)注跟蹤信息。q通過輸入x，退出 Soft-ICE的窗口；如果還是無法退出Soft-ICE，需要輸入faults off，然后輸入x。 q打開Soft-ICE應(yīng)用程序，立即保存日志文件。一旦再次打開Soft-ICE，請輸入faults on Zhu.K15.2.

11、4 分離和再現(xiàn)軟件缺陷分離和再現(xiàn)軟件缺陷 q確保所有的步驟都被記錄。q特定條件和時間。q壓力和負(fù)荷、內(nèi)存和數(shù)據(jù)溢出相關(guān)的邊界條件。q考慮資源依賴性包括內(nèi)存、網(wǎng)絡(luò)和硬件共享的相互作用等。 q不能忽視硬件。與軟件不同，硬件不按預(yù)定方式工作。 q和開發(fā)人員緊密合作理解分離和調(diào)試軟件缺陷之間的區(qū)別理解分離和調(diào)試軟件缺陷之間的區(qū)別Zhu.K分離和調(diào)試軟件缺陷之間的區(qū)別分離和調(diào)試軟件缺陷之間的區(qū)別 q再現(xiàn)缺陷現(xiàn)象所需的最少步驟有哪些？這些步驟成功再現(xiàn)的可能性多大？ q缺陷是否成立存在？測試結(jié)果是否可能起源于測試因素或者測試人員自身的錯誤，還是影響顧客需求的、系統(tǒng)真正的故障？q哪些外部因素產(chǎn)生軟件缺陷？ q

12、哪些內(nèi)部因素，是代碼、網(wǎng)絡(luò)、還是環(huán)境引起的軟件缺陷？ q怎樣在不產(chǎn)生新的缺陷的條件下使這個軟件缺陷得到修復(fù)？ q這種修復(fù)是否經(jīng)過調(diào)試，單元是否經(jīng)過測試？ q問題解決了嗎？它是否通過了確認(rèn)和回歸測試，確定系統(tǒng)的其余部分仍工作正常？ Zhu.K15.3 軟件缺陷跟蹤和分析軟件缺陷跟蹤和分析15.3.1 軟件缺陷處理技巧軟件缺陷處理技巧15.3.2 缺陷趨勢分析缺陷趨勢分析15.3.3 缺陷分布分析缺陷分布分析15.3.4 缺陷跟蹤方法缺陷跟蹤方法 Zhu.K軟件缺陷的處理和跟蹤軟件缺陷的處理和跟蹤 q確保每個被發(fā)現(xiàn)的缺陷都能夠被解決，“解決”的意思不一定是被修正，也可能是其他處理方式（例如，延遲到

13、下一個版本中修正或者由于技術(shù)原因不能被修正），總之，對每個被發(fā)現(xiàn)的BUG的處理方式必須能夠在開發(fā)組織中達(dá)到一致；q收集缺陷數(shù)據(jù)并根據(jù)缺陷趨勢曲線識別測試處于測試過程中的哪個階段； q決定測試過程是否結(jié)束，通過缺陷趨勢曲線來確定測試過程是否結(jié)束是常用并且較為有效的一種方式。q收集缺陷數(shù)據(jù)并在其上進行數(shù)據(jù)分析，作為組織過程改進的財富。 Zhu.K15.3.1 軟件缺陷處理技巧軟件缺陷處理技巧 q審閱審閱。可以由測試管理員、項目管理員或其他人來進行，審閱缺陷報告的質(zhì)量水平；q拒絕拒絕。如果審閱者決定需要對一份缺陷報告進行重大修改，應(yīng)該和測試人員一起討論，由測試人員糾正缺陷報告，然后再次提交； q完善

14、完善。完整地描述了問題的特征并將其分離，那么審查者就會肯定這個報告； q分配分配。分配給適當(dāng)?shù)拈_發(fā)人員，如果不知道具體開發(fā)人員，應(yīng)分配給項目開發(fā)組長，由開發(fā)組長再分配給對應(yīng)的開發(fā)人員； Zhu.K軟件缺陷處理技巧軟件缺陷處理技巧 (2)q驗證驗證。缺陷的修復(fù)需要得到測試人員的驗證，同時還要進行回歸測試，檢查這個缺陷的修復(fù)是否會引入新的問題； q重新打開重新打開。重新打開一個缺陷，需要加注釋說明、電話溝通等，否則會引起“打開-修復(fù)”多個來回，造成測試人員和開發(fā)人員不必要的矛盾 q關(guān)閉關(guān)閉。只有測試人員有關(guān)閉缺陷的權(quán)限，開發(fā)人員沒有這個權(quán)限。 q暫緩暫緩。如果每個人都同意將確實存在的缺陷移到以后處

15、理，應(yīng)該指定下一個版本號或修改的日期。一旦新的版本開始時，這些暫緩的缺陷應(yīng)該重新被打開。Zhu.K15.3.2 缺陷趨勢分析缺陷趨勢分析監(jiān)控（打開打開/ /關(guān)閉關(guān)閉/ /已修正的已修正的）缺陷隨時間的變化n產(chǎn)品開發(fā)質(zhì)量情況取決于累積打開/關(guān)閉曲線的趨勢。 n項目進度取決于累積關(guān)閉/打開曲線起點的時間差。 1)開發(fā)人員、測試人員的工作進度、效率也能得到反映Zhu.K理想趨勢圖理想趨勢圖Zhu.K15.3.3 缺陷分布分析缺陷分布分析n缺陷分布報告缺陷分布報告，缺陷數(shù)量與缺陷屬性的函數(shù)。如測試需求和缺陷狀態(tài)、嚴(yán)重性的分布情況等。Zhu.K示例：根本原因圖表示例：根本原因圖表 Zhu.K缺陷報告缺陷

16、報告Zhu.Kp缺陷分布報告，缺陷分布報告，允許將缺陷計數(shù)作為一個或多個缺陷參數(shù)的函數(shù)來顯示，生成缺陷數(shù)量與缺陷屬性的函數(shù)。如測試需求和缺陷狀態(tài)、嚴(yán)重性的分布情況等。p缺陷趨勢報告，缺陷趨勢報告，按各種狀態(tài)將缺陷計數(shù)作為時間的函數(shù)顯示。趨勢報告可以是累計的，也可以是非累計的；p缺陷年齡報告，缺陷年齡報告，顯示缺陷處于活動狀態(tài)的時間，展示一個缺陷處于某種狀態(tài)的時間長短，從而了解處理這些缺陷的進度情況。p測試結(jié)果進度報告，測試結(jié)果進度報告，展示測試過程在被測應(yīng)用的幾個版本中的執(zhí)行結(jié)果以及測試周期15.3.3 缺陷跟蹤方法缺陷跟蹤方法n當(dāng)前缺陷狀態(tài)當(dāng)前缺陷狀態(tài) Bug Dashboardn項目發(fā)展趨

17、勢項目發(fā)展趨勢: 每天的變化、差異，重點進行趨勢分析每天的變化、差異，重點進行趨勢分析級別級別總數(shù)總數(shù)未 處未 處理的理的正 在 處正 在 處理的理的修正的修正的不 是 缺不 是 缺陷陷重復(fù)的重復(fù)的 暫不處理暫不處理關(guān)閉關(guān)閉致命的20000002嚴(yán)重的21618751420161一般的3123100007微小的52000300Zhu.K軟件缺陷報告軟件缺陷報告 任何一個缺陷跟蹤系統(tǒng)的核心都是“軟件缺陷報告”，一份軟件缺陷報告詳細(xì)信息如表：軟件缺陷項目列表軟件缺陷項目列表 分類分類 項目項目 描述描述 可跟蹤信息 缺陷ID 唯一的、自動產(chǎn)生的缺陷ID，用于識別、跟蹤、查詢 軟件缺陷基本信息 缺陷

18、狀態(tài) 可分為“打開或激活的”、“已修正”、“關(guān)閉”等 缺陷標(biāo)題 描述缺陷的最主要信息 缺陷的嚴(yán)重程度 一般分為“致命”、“嚴(yán)重”、“一般”、“較小”等四種程度 缺陷的優(yōu)先級 描述處理缺陷的緊急程度， 1是優(yōu)先級最高的等級，2是正常的，3是優(yōu)先級最低的 缺陷的產(chǎn)生頻率 描述缺陷發(fā)生的可能性1%-100% 缺陷提交人 缺陷提交人的名字（會和郵件地址聯(lián)系起來），一般就是發(fā)現(xiàn)缺陷的測試人員或其他人員 缺陷提交時間 缺陷提交的時間 Zhu.K軟件缺陷報告軟件缺陷報告 軟件缺陷基本信息 缺陷所屬項目/模塊 缺陷所屬的項目和模塊，最好能較精確的定位至模塊 缺陷指定解決人 估計修復(fù)這個缺陷的開發(fā)人員，在缺陷狀態(tài)下由