軟件測試報告(專業(yè)版)

1、系統(tǒng)測試總結(jié)報告專業(yè)版1 引言1.1 編寫目的編寫該測試總結(jié)報告主要有以下幾個目的1 通過對測試結(jié)果的分析，得到對軟件質(zhì)量的評價2 分析測試的過程，產(chǎn)品，資源，信息，為以后制定測試計劃提供參考3 評估測試測試執(zhí)行和測試計劃是否符合4 分析系統(tǒng)存在的缺陷，為修復和預防 bug 提供建議1.2 背景1.3 用戶群主要讀者：XX 項目管理人員，XX 項目測試經(jīng)理其他讀者：XX 項目相關人員。1.4 定義嚴重 bug：出現(xiàn)以下缺陷，測試定義為嚴重 bugü 系統(tǒng)無響應，處于死機狀態(tài)，需要其他人工修復系統(tǒng)才可復原。ü 點擊某個菜單后出現(xiàn)“The page cannot be disp

2、layed”或者返回異常錯誤。ü 進行某個操作（增加、修改、刪除等）后，出現(xiàn)“The page cannot be displayed” 或者返回異常錯誤ü 當對必填字段進行校驗時，未輸入必輸字段，出現(xiàn)“The page cannot be displayed” 或者返回異常錯誤ü 系統(tǒng)定義不能重復的字段輸入重復數(shù)據(jù)后，出現(xiàn)“The page cannot be displayed” 或者返回異常錯誤1.5 測試對象略1.6 測試階段系統(tǒng)測試1.7 測試工具Bugzilla 缺陷管理系統(tǒng)1.8 參考資料XX 需求和設計說明書XX 數(shù)據(jù)字典XX 后臺管理系統(tǒng)測試計劃

3、XX 后臺管理系統(tǒng)測試用例XX 項目計劃2 測試概要XX 后臺管理系統(tǒng)測試從 2007 年 7 月 2 日開始到 2007 年 8 月 10 日結(jié)束，共持續(xù) 39天，測試功能點 174 個，執(zhí)行 2385 個測試用例，平均每個功能點執(zhí)行測試用例 13.7 個， 測試共發(fā)現(xiàn) 427 個 bug，其中嚴重級別的 bug68 個，無效 bug44 個，平均每個測試功能點2.2 個 bug。XX 總共發(fā)布 11 個測試版本，其中 B1B5 為計劃內(nèi)迭代開發(fā)版本（針對項目計劃的基線標識），B6B8 為回歸測試版本。計劃內(nèi)測試版本，B1B4 測試進度依照項目計劃時間準時完成測試并提交報告，其中 B4 版本

4、推遲一天發(fā)布版本，測試通過增加一個人日， 準時完成測試。B5 版本推遲發(fā)布 2 天，測試增加 2 個人日，準時完成測試。B6B11 為計劃外回歸測試版本，測試增加 5 個工作人日的資源，準時完成測試。XX 測試通過 Bugzilla 缺陷管理工具進行缺陷跟蹤管理，B1B4 測試階段都有詳細的bug 分析表和階段測試報告。2.1 進度回顧版本/時間計劃 開始時間實際 開始時間計劃 完成時間實際完成時間加班增加資源B1否否B2否否B3否2 個人日B41 個人 1 天2 個人日1 個人 2 天B5否2 個人日B62 個人 1 天2 個人日B71 個人 1 天1 個人日B8B9否2 個人日B10合計1

5、 個人 6 天11 個人日2.2 測試執(zhí)行此次測試嚴格按照項目計劃和測試計劃執(zhí)行，按時完成了測試計劃規(guī)定的測試對象的測試。針對測試計劃規(guī)定的測試策略，在測試執(zhí)行中都有體現(xiàn)，在測試執(zhí)行過程中，依據(jù)測試計劃和測試用例，對系統(tǒng)進行了完整的測試2.3 測試用例2.3.1 功能性系統(tǒng)實現(xiàn)的主要功能，包括查詢，添加，修改，刪除。系統(tǒng)實現(xiàn)的次要功能，包括為用戶分配酒店，為用戶分配權(quán)限，渠道酒店綁定，渠道RATE 綁定，權(quán)限控制菜單按鈕。需求規(guī)定的輸入輸出字段，以及需求規(guī)定的輸入限制2.3.2 易用性操作按鈕提示信息正確性，一致性，可理解性限制條件提示信息正確性，一致性，可理解性必填項標識輸入方式可理解性中文

6、界面下數(shù)據(jù)語言與界面語言的一致性3 測試環(huán)境3.1.1 軟硬件環(huán)境硬件環(huán)境應用服務器數(shù)據(jù)庫服務器客戶端硬件配置CPU：Intel(R) Celeron(R) CPU 2.40GHz stepping 01Memory： 1048256k HD ： ST380817AS 80GSATACPU：Intel(R)Celeron(R)CPU 2.40GHz stepping 01 Memory： 1048256k HD：ST380817AS 80G SATACPU：Intel(R) Celeron(R) CPU 2.40GHz stepping 01 Memory： 1048256kHD ： ST38

7、0817AS 80GSATA軟件配置OS：OS：CentOS 4.2MySQL 5.0.17 LinuxWindow2000 Professional （ SP2 ） 網(wǎng)絡環(huán)境10M LAN10M LAN10M LAN3.1.2 網(wǎng)絡拓撲客戶端以太網(wǎng)應用服務器、數(shù)據(jù)庫服務器4 測試結(jié)果4.1 Bug 趨勢圖此次黑盒測試總共發(fā)布 11 個版本，B1B5 為計劃內(nèi)迭代開發(fā)版本（針對項目計劃的基線標識），B6-B11 為進行的回歸測試版本，bug 版本趨勢圖如下圖所示：第一階段，增量確認測試。時間從 2007 年 7 月 2 日到 2007 年 8 月 3 日。從 Bug 趨勢圖中可以看出，每個版本

8、的bug 數(shù)基本維持在 60 個左右。B1：從圖中看到 B1 共有 33 個 BUG，因為 B1 版本有一個功能模塊在 B2 版本才開始測試，B1 測試模塊相對較少，所以 B1 版本 bug 相對較少。B2：由于 B1 中的一個功能模塊增加到 Build 2 中進行測試，這一版本除了對 B1 中的BUG 進行驗證同時對 B1 進行了回歸測試，所以 B2 中的 bug 數(shù)相對 B1 出現(xiàn)了明顯的增長趨勢，B3：B3 版本因為有 B2 版本的 bug 驗收測試，以及 B1,B2 的回歸測試，共發(fā)現(xiàn) 67 個bug，和 B2 基本保持一致。B4：B4 版本 bug 數(shù)有一個下降的趨勢，是因為 B4

9、版本推遲發(fā)布，新增加了測試人員參與測試，對系統(tǒng)不夠熟悉，以及測試時間緊張，部分測試用例沒有執(zhí)行，測試覆蓋度不夠，所以發(fā)現(xiàn) bug 數(shù)呈下降趨勢。B5：B5 版本 bug 數(shù)又有一個增加的趨勢，主要是由于開發(fā)功能模塊多，該版本需求定義不明確。第二階段，BUG 驗證和功能回歸確認測試。時間從 2007 年 8 月 4 日到 2007 年 8 月 14 日。B6 和 B7 進行了回歸測試，B8 沒有進行回歸測試，只驗證了 B1B7 的 bug。B6 ：進行第一輪回歸測試，發(fā)現(xiàn)的 bug 數(shù)為 33 個，遺留一個問題，為數(shù)據(jù)字典種類默認值問題B7 ：進行第二輪回歸測試，第一次回歸測試沒有涉及到權(quán)限控制

10、菜單按鈕的測試，在本次回歸測試的時候，重點進行了這個方面的測試，又發(fā)現(xiàn)了大量的權(quán)限相關的 bug。B8 ：B8 沒有進行全面的回歸測試，只驗證了 B1B7 未通過驗證的 bug，所以該版本的 bug 數(shù)明顯比較少。B9 ：B9 版本進行了全面的回歸測試，同時重點測試了權(quán)限控制，所以發(fā)先的 bug 數(shù)又呈現(xiàn)上升的趨勢。測試發(fā)現(xiàn) 44 個 bug，嚴重級別的 bug 為 14 個，嚴重級別的 bug 集中在權(quán)限控制上，功能性嚴重 bug 沒有發(fā)現(xiàn)，說明權(quán)限控制依舊不穩(wěn)定，但是系統(tǒng)功能已經(jīng)穩(wěn)定。B10：B10 版本驗證了 B9 版本發(fā)現(xiàn)得 bug，沒有進行全面的回歸測試。B10 版本在驗證bug 的

11、時候，重現(xiàn)打開 Bug6 個，新增 bug2 個，重新打開 bug 有 5 個為嚴重級別 bug，是關于權(quán)限控制的 bug，而新發(fā)現(xiàn)的 bug，1 個為嚴重級別的 bug，也是屬于權(quán)限控制的。說明， 權(quán)限控制還存在著問題，需要修改權(quán)限管理 bug，重新發(fā)布版本后進行全面的回歸測試。B10 版本新發(fā)現(xiàn)的 bug 詳細分析見遺留 bug 分析。B11：B11 中驗證了 B1B10 未驗證的 bug，重點測試了權(quán)限控制，同時進行了查詢，添加，刪除，修改的功能測試，測試過程中未發(fā)現(xiàn) bug。4.2 Bug 嚴重程度測試發(fā)現(xiàn)的 bug 主要集中在 normal 和 minor 階段，屬于一般性的缺陷，但

12、是測試的時候，出現(xiàn)了 68 個嚴重級別的 bug，出現(xiàn)嚴重級別的 bug 主要表現(xiàn)在以下幾個方面ü 系統(tǒng)主要功能沒有實現(xiàn)ü 添加數(shù)據(jù)代碼重復后，出現(xiàn)的找不到頁面的錯誤ü 多語言處理，未考慮非語種代碼的情況ü 數(shù)據(jù)庫設計未考慮系統(tǒng)管理員角色，導致用系統(tǒng)管理員進行操作的時候出現(xiàn)找不到頁面錯誤ü 權(quán)限控制異常嚴重級別 bug 按版本分布如下：由嚴重 bug 版本分布圖可以看出，嚴重級別的 bug 版本趨勢和 bug 版本趨勢基本是一致的，但是，在 B7 和 B9 版本中年，嚴重級別的 bug 明顯增多，主要原因是 B7 和 B9 版本測試了權(quán)限控制按

13、鈕功能，權(quán)限問題出現(xiàn)的嚴重級別的 bug 比較多。權(quán)限 bug 主要表現(xiàn)：ü 具有相應按鈕操作的權(quán)限，頁面無相應按鈕，無法執(zhí)行該功能ü 無相應按鈕操作權(quán)限，頁面有相應按鈕，點擊按鈕能出現(xiàn)權(quán)限異常錯誤ü 有相應按鈕操作權(quán)限，有相應按鈕，執(zhí)行該功能出現(xiàn)權(quán)限異常錯誤4.3 Bug 引入階段由上圖可以看出，主要為前臺編碼和頁面設計方面的 bug，占到了全部 bug 的 2/3。4.4 Bug 引入原因由上圖可以看出，主要為前臺編碼和易用性方面的 bug，占到了全部 bug 的 2/3。4.5 Bug 狀態(tài)分布由 bug 狀態(tài)圖可以看出，未解決的 bug 有 4 個，主要是

14、 B8 中新提交的 bug，是關于用戶管理的 bug，因為用戶權(quán)限管理需要重新設計所以，該部分的 bug 暫時沒有解決。5 測試結(jié)論5.1 功能性系統(tǒng)正確實現(xiàn)了通過數(shù)據(jù)字典管理基礎數(shù)據(jù)的功能，實現(xiàn)了數(shù)據(jù)內(nèi)容的多語言功能，實現(xiàn)了中英文界面。實現(xiàn)了基礎數(shù)據(jù)管理，酒店集團管理，酒店基礎信息管理，渠道管理，代理管理，用戶管理的查詢，添加，修改，刪除的功能，系統(tǒng)還實現(xiàn)了將權(quán)限控制細化到菜單按鈕的功能。系統(tǒng)在實現(xiàn)用戶管理下的權(quán)限管理功能時，存在重大的缺陷，權(quán)限控制不嚴密，權(quán)限設計有遺漏。5.2 易用性現(xiàn)有系統(tǒng)實現(xiàn)了如下易用性：ü 查詢，添加，刪除，修改操作相關提示信息的一致性，可理解性ü

15、; 輸入限制的正確性ü 輸入限制提示信息的正確性，可理解性，一致性現(xiàn)有系統(tǒng)存在如下易用性缺陷：ü 界面排版不美觀ü 輸入，輸出字段的可理解性差ü 輸入缺少解釋性說明ü 中英文對應的正確性ü 中英文混排5.3 可靠性現(xiàn)有系統(tǒng)的可靠性控制不夠嚴密，很多控制是通過頁面控制實現(xiàn)的，如果頁面控制失效，可以向數(shù)據(jù)庫插入數(shù)據(jù)，引發(fā)錯誤?，F(xiàn)有系統(tǒng)的容錯性不高，如果系統(tǒng)出現(xiàn)錯誤，返回錯誤類型為找不到頁面錯誤，無法回復到出錯前的狀態(tài)5.4 兼容性現(xiàn)有系統(tǒng)支持 window 下的 IE 瀏覽器和傲游瀏覽器，支持 linux 系統(tǒng)下的 IE 瀏覽器和火狐瀏覽

16、器?，F(xiàn)有系統(tǒng)未進行其他兼容性測試5.5 安全性現(xiàn)有系統(tǒng)控制了以下安全性問題：ü 把某一個登錄后的頁面保存下來，不能單獨對其進行操作不進行登錄ü 直接輸入某一頁面的 Url 能否打開頁面并進行操作不應該允許?，F(xiàn)有系統(tǒng)未控制以下安全性問題：ü 用戶名和密碼應對大小寫敏感ü 登陸錯誤次數(shù)限制6 分析摘要6.1 覆蓋率此次測試，所有測試用例都是在中文界面下執(zhí)行，未在英文界面下執(zhí)行，測試不包括英文界面下的測試，也不包括正對英文翻譯的測試。此次測試，部分頁面需求描述無明確的定義，對輸入限制無詳細定義，無明確的測試依據(jù)，在測試過程中，測試是根據(jù)輸入字段含義，測試人員理

17、解，以及和項目經(jīng)理，開發(fā)人員溝通獲得測試依據(jù)，無法保證測試依據(jù)的正確性和完整性，因此，沒有進行完整的，正確的無效數(shù)據(jù)的測試，測試覆蓋率不夠，無法保證測試的有效性和正確性下面為此次測試測試用例覆蓋率分析圖：6.2 遺留缺陷的影響1 缺陷描述：酒店娛樂項添加頁面， “距離”字段無單位，建議增加單位缺陷影響：距離字段無單位說明，無衡量標準，用戶易用性不好推遲原因：需求定義無單位定義，統(tǒng)一在升級版本中解決2 缺陷描述：酒店基礎信息管理模塊，默認語言設置不一致。用中文查詢酒店，進入酒店基礎信息模塊后，如下模塊，語言顯示為“請選擇”列表頁面添加頁面取消政策停留政策擔保政策機場參照點會議室詳情打包促銷服務R

18、ate而其他模塊語言顯示“中文語言”缺陷影響：相同功能模塊默認語言設置不一致，一致性不好 推遲原因：默認語言設置，目前無統(tǒng)一標準，升級版本中統(tǒng)一3 缺陷描述：tomcat 日志有亂碼，日志無項目名稱，查看不方便缺陷影響：其他項目日志都有項目名稱，日志無項目名稱，查看不方便推遲原因：目前的日志為了調(diào)試方便，顯示了很多其它信息，在項目正式發(fā)布時會統(tǒng)一處理的。4 缺陷描述：取消政策管理要么，取消時間“天/小時”缺少單位補充字段缺陷影響：該處因為是兩個不同的單位時間，需要有另外一個單位補充字段補充所所填寫內(nèi)容的單位推遲原因：該缺陷單位補充字段本來存在，翻譯不夠準確，不能理解為補充單位的字段，需要等翻譯

19、完畢后再確認。5 缺陷描述：數(shù)據(jù)字典種類修改，默認值設置后，在調(diào)用該數(shù)據(jù)字典種類的數(shù)據(jù)字典，默認值無顯示缺陷影響：數(shù)據(jù)字典種類的默認值設置后，不能顯示設置的默認值，相當于數(shù)據(jù)字典種類默認值設置功能未實現(xiàn)推遲原因：該功能暫時不好實現(xiàn)，需要和和系統(tǒng)的默認語種一起處理。 6 缺陷描述：擔保政策管理頁面，“Edposit Due”缺少解釋行輸入描述信息缺陷影響：缺少解釋性輸入描述信息，用戶不理解應該輸入什么內(nèi)容推遲原因：需求沒有描述，需要解釋性說明文字由項目經(jīng)理整理后，在升級版本中添加7 缺陷描述：多媒體添加，文件上傳功能未實現(xiàn)缺陷影響：文件上傳功能未實現(xiàn)推遲原因：該功能暫時不好完成，在下個版本中完成

20、8 缺陷描述：參照點添加權(quán)限和修改權(quán)限單獨控制出現(xiàn)權(quán)限異常錯誤缺陷影響：用戶執(zhí)行添加，修改時，出現(xiàn)權(quán)限異常，無法完成任務推遲原因：B9 版本發(fā)現(xiàn)該權(quán)限，B10 版本未通過驗證，目前該模塊開發(fā)人員調(diào)休，無法修改 bug，9 缺陷描述：酒店渠道綁定關系權(quán)限控制出現(xiàn)權(quán)限異常錯誤缺陷影響：a>權(quán)限控制易用性不好，會引起用戶誤操作;b>權(quán)限控制錯誤推遲原因：B9 版本發(fā)現(xiàn)該權(quán)限，B10 版本未通過驗證。該模塊后臺無 insert 權(quán)限,只有Update 權(quán)限，與其他模塊不同，需要重新設置權(quán)限控制方式。10缺陷描述：酒店 Rate 綁定關系權(quán)限控制出現(xiàn)權(quán)限異常錯誤缺陷影響：a>權(quán)限控制易

21、用性不好，會引起用戶誤操作;b>權(quán)限控制錯誤推遲原因：B9 版本發(fā)現(xiàn)該權(quán)限，B10 版本未通過驗證。該模塊后臺無 insert 權(quán)限,只有Update 權(quán)限，與其他模塊不同，需要重新設置權(quán)限控制方式。11缺陷描述：新建業(yè)務管理員權(quán)限用戶，進入打包促銷頁面出現(xiàn)權(quán)限異常錯誤缺陷影響：除系統(tǒng)管理員外，其他用戶無法進行打包促銷操作推遲原因：B10 版本發(fā)現(xiàn)該 bug，目前該模塊開發(fā)人員調(diào)休，無法修改 bug6.3 建議ü 在項目開始的時候應該制定編碼標準，數(shù)據(jù)庫標準，需求變更標準，開發(fā)和測試人員都嚴格按照標準進行，可以在后期減少因為開發(fā)，測試不一致而導致的問題，同時也可以降低溝通成本。

22、ü 發(fā)布版本的時候，正確布置測試環(huán)境，減少因為測試環(huán)境，測試數(shù)據(jù)庫數(shù)據(jù)的問題而出現(xiàn)的無效 bug。ü 開發(fā)人員解決 bug 的時候，填寫 bug 原因以及解決方式，方便 bug 的跟蹤。ü 開發(fā)人員在開發(fā)版本上發(fā)現(xiàn) bug，可以通知測試人員，因為開發(fā)人員發(fā)現(xiàn)的 bug 很有可能在測試版本上出現(xiàn)，而測試人員和開發(fā)人員的思路不同，有可能測試人員沒有發(fā)現(xiàn)該 bug，而且，這樣可以保證發(fā)現(xiàn)的 bug 都能夠被跟蹤。7 度量7.1 資源消耗測試時間2007 年 7 月 2 日至 2007 年 8 月 6 日共 35 天測試人力1 人×7 天1 人×35 天42 人天硬件資源服務器：PC 2 臺客戶端：PC 2 臺7.2 缺陷密度8 典型缺陷引入原因分析測試過程中發(fā)現(xiàn)的缺陷主要有以下幾個方面：1 需求定義不明確需求文檔中，存在功能定義錯誤，輸入輸出字段描述錯誤，輸入輸出字段限制定義錯誤，輸入輸出限制定義缺失這幾種類型的缺陷。使得開發(fā)人員根據(jù)需求進行設計時，沒有考慮相關功能的關聯(lián)性，以及需求錯誤的地方，在測試過程中，需求相關的問題表現(xiàn)