CRM系統(tǒng)軟件測試報告

1、.CRM 系統(tǒng)軟件測試總結(jié)報告1 引言1.1 編寫目的編寫該測試總結(jié)報告主要有以下幾個目的1 通過對測試結(jié)果的分析，得到對軟件質(zhì)量的評價2 分析測試的過程，產(chǎn)品 ，資源 ，信息，為以后制定測試計劃提供參考3 評估測試測試執(zhí)行和測試計劃是否符合4 分析系統(tǒng)存在的缺陷，為修復和預防bug提供建議1.2 背景1.3 用戶群主要讀者 ： crm 系統(tǒng)管理人員，crm 系統(tǒng)測試經(jīng)理其他讀者 ： crm 系統(tǒng)相關(guān)人員 。1.4 定義嚴重 bug ：出現(xiàn)以下缺陷 ，測試定義為嚴重bug系統(tǒng)無響應 ，處于死機狀態(tài) ，需要其他人工修復系統(tǒng)才可復原。點擊某個菜單后出現(xiàn)“ Thepage cannot be dis

2、played”或者返回異常錯誤。進行某個操作 （增加、修改、刪除等 ）后，出現(xiàn) “The page cannot be displayed”或者返回異常錯誤當對必填字段進行校驗時，未輸入必輸字段 ，出現(xiàn) “The page cannot bedisplayed”或者返回異常錯誤系統(tǒng)定義不能重復的字段輸入重復數(shù)據(jù)后，出現(xiàn) “The page cannot be displayed”或者返回異常錯誤1.5 測試對象.專業(yè)專注.略.專業(yè)專注.1.6 測試階段系統(tǒng)測試1.7 測試工具Bugzilla缺陷管理系統(tǒng)2 測試概要crm 系統(tǒng)項目后臺管理系統(tǒng)測試從2018 年 11 月 15 日開始到 201

3、8 年 11 月 23日結(jié)束 ，共持續(xù) 7天，測試功能點 95 個，執(zhí)行 2385 個測試用例 ，平均每個功能點執(zhí)行測試用例13.7個， 測試共發(fā)現(xiàn) 427 個 bug ，其中嚴重級別的bug68 個，無效 bug44 個，平均每個測試功能點 2.2 個 bug 。crm 系統(tǒng)項目總共發(fā)布11 個測試版本 ，其中 B1B5 為計劃內(nèi)迭代開發(fā)版本（針對項目計劃的基線標識 ）， B6 B8 為回歸測試版本 。計劃內(nèi)測試版本 ， B1 B4 測試進度依照項目計劃時間準時完成測試并提交報告，其中 B4 版本推遲一天發(fā)布版本，測試通過增加一個人日，準時完成測試 。 B5 版本推遲發(fā)布2 天，測試增加 2

4、 個人日，準時完成測試 。B6B11 為計劃外回歸測試版本，測試增加 5 個工作人日的資源 ，準時完成測試 。crm 系統(tǒng)測試通過Bugzilla 缺陷管理工具進行缺陷跟蹤管理，B1 B4 測試階段都有詳細的bug 分析表和階段測試報告。2.1 測試執(zhí)行此次測試嚴格按照項目計劃和測試計劃執(zhí)行，按時完成了測試計劃規(guī)定的測試對象的測試。針對測試計劃規(guī)定的測試策略，在測試執(zhí)行中都有體現(xiàn) ，在測試執(zhí)行過程中 ，依據(jù)測試計劃和測試用例 ，對系統(tǒng)進行了完整的測試.專業(yè)專注.2.2 測試用例功能性系統(tǒng)實現(xiàn)的主要功能，包括查詢 ，添加，修改，刪除。系統(tǒng)實現(xiàn)的次要功能 ，包括為用戶分配酒店 ，為用戶分配權(quán)限 ，

5、渠道酒店綁定 ，渠道 RATE 綁定 ，權(quán)限控制菜單按鈕 。需求規(guī)定的輸入輸出字段，以及需求規(guī)定的輸入限制易用性操作按鈕提示信息正確性，一致性 ，可理解性限制條件提示信息正確性，一致性 ，可理解性必填項標識輸入方式可理解性中文界面下數(shù)據(jù)語言與界面語言的一致性.專業(yè)專注.3 測試環(huán)境軟硬件環(huán)境硬件環(huán)境應用服務器硬件配置CPU：Intel(R)Celeron(R) CPU2.40GHz stepping 01Memory ： 1048256kHD ： ST380817AS80GSATA數(shù)據(jù)庫服務器CPU：Intel(R)Celeron(R) CPU 2.40GHz stepping 01 Memo

6、ry ： 1048256k HD ： ST380817AS 80G SATA客戶端CPU：Intel(R)Celeron(R) CPU2.40GHz stepping 01Memory ： 1048256kHD ： ST380817AS 80GSATA軟件配置OS： CentOS 4.2網(wǎng)絡環(huán)境10M LANOS： CentOS 4.2WindowMySQL 5.0.17 Linux2000 Professional（SP2）IE6.0.2900.2180.xpsp_sp210M LAN10M LAN網(wǎng)絡拓撲.專業(yè)專注.應用服務器 、數(shù)據(jù)庫服務器.專業(yè)專注.4 測試結(jié)果4.1 Bug 趨勢圖此

7、次黑盒測試總共發(fā)布11 個版本 ， B1B5 為計劃內(nèi)迭代開發(fā)版本（針對項目計劃的基線標識）， B6-B11 為進行的回歸測試版本， bug 版本趨勢圖如下圖所示：第一階段 ，增量確認測試。時間從 2018 年 11 月 15 日到 2018 年 11月 19 日。從 Bug 趨勢圖中可以看出，每個版本的bug 數(shù)基本維持在60 個左右 。B1：從圖中看到 B1 共有 33 個 BUG，因為 B1 版本有一個功能模塊在B2 版本才開始測試， B1 測試模塊相對較少 ，所以 B1 版本 bug相對較少 。B2：由于 B1 中的一個功能模塊增加到Build 2中進行測試 ，這一版本除了對B1 中的

8、BUG 進行驗證同時對B1 進行了回歸測試，所以 B2 中的 bug數(shù)相對 B1 出現(xiàn)了明顯的增長趨勢 ，B3： B3 版本因為有B2 版本的 bug驗收測試 ，以及 B1,B2 的回歸測試 ，共發(fā)現(xiàn) 67 個bug ，和 B2 基本保持一致。.專業(yè)專注.B4： B4 版本 bug數(shù)有一個下降的趨勢，是因為 B4 版本推遲發(fā)布 ，新增加了測試人員參與測試，對系統(tǒng)不夠熟悉 ，以及測試時間緊張 ，部分測試用例沒有執(zhí)行 ，測試覆蓋度不夠 ，.專業(yè)專注.所以發(fā)現(xiàn)bug數(shù)呈下降趨勢 。B5： B5 版本 bug數(shù)又有一個增加的趨勢，主要是由于開發(fā)功能模塊多，該版本需求定義不明確 。第二階段 ， BUG

9、驗證和功能回歸確認測試。時間從 2018 年 11 月20 日到 2018年 11 月 2 3 日。 B6 和 B7 進行了回歸測試， B8 沒有進行回歸測試 ，只驗證了B1 B7 的 bug 。B6 ：進行第一輪回歸測試，發(fā)現(xiàn)的 bug數(shù)為 33 個，遺留一個問題 ，為數(shù)據(jù)字典種類默認值問題B7 ：進行第二輪回歸測試，第一次回歸測試沒有涉及到權(quán)限控制菜單按鈕的測試，在本次回歸測試的時候，重點進行了這個方面的測試，又發(fā)現(xiàn)了大量的權(quán)限相關(guān)的bug 。B8 ：B8 沒有進行全面的回歸測試，只驗證了B1 B7 未通過驗證的bug ，所以該版本的 bug數(shù)明顯比較少。B9 ：B9 版本進行了全面的回歸

10、測試，同時重點測試了權(quán)限控制，所以發(fā)先的bug數(shù)又呈現(xiàn)上升的趨勢 。測試發(fā)現(xiàn) 44 個 bug ，嚴重級別的 bug為 14 個，嚴重級別的 bug 集中在權(quán)限控制上 ，功能性嚴重 bug沒有發(fā)現(xiàn)，說明權(quán)限控制依舊不穩(wěn)定 ，但是系統(tǒng)功能已經(jīng)穩(wěn)定 。B10 ： B10 版本驗證了B9 版本發(fā)現(xiàn)得 bug ，沒有進行全面的回歸測試 。 B10 版本在驗證bug 的時候 ，重現(xiàn)打開 Bug6個，新增 bug2 個，重新打開 bug 有 5 個為嚴重級別 bug ，是關(guān)于權(quán)限控制的 bug ，而新發(fā)現(xiàn)的 bug ， 1 個為嚴重級別的 bug ，也是屬于權(quán)限控制的 。 說明， 權(quán)限控制還存在著問題 ，

11、需要修改權(quán)限管理 bug，重新發(fā)布版本后進行全面的回歸測試 。B10 版本新發(fā)現(xiàn)的 bug 詳細分析見 遺留 bug 分析 。B11 ： B11 中驗證了 B1 B10 未驗證的 bug ，重點測試了權(quán)限控制 ，同時進行了查詢，添加 ，刪除，修改的功能測試，測試過程中未發(fā)現(xiàn) bug 。.專業(yè)專注.4.2 Bug 嚴重程度測試發(fā)現(xiàn)的bug主要集中在normal和 minor階段，屬于一般性的缺陷，但是測試的時候 ，出現(xiàn)了 68 個嚴重級別的bug ，出現(xiàn)嚴重級別的bug主要表現(xiàn)在以下幾個方面系統(tǒng)主要功能沒有實現(xiàn)添加數(shù)據(jù)代碼重復后，出現(xiàn)的找不到頁面的錯誤多語言處理 ，未考慮非語種代碼的情況數(shù)據(jù)庫設

12、計未考慮系統(tǒng)管理員角色，導致用系統(tǒng)管理員進行操作的時候出現(xiàn)找不到頁面錯誤權(quán)限控制異常嚴重級別 bug按版本分布如下：.專業(yè)專注.由嚴重 bug版本分布圖可以看出 ，嚴重級別的 bug版本趨勢和 bug版本趨勢基本是一致的，但是，在 B7 和 B9 版本中年 ，嚴重級別的 bug明顯增多 ，主要原因是 B7 和 B9 版本測試了權(quán)限控制按鈕功能，權(quán)限問題出現(xiàn)的嚴重級別的bug比較多 。權(quán)限 bug主要表現(xiàn) ：具有相應按鈕操作的權(quán)限，頁面無相應按鈕 ，無法執(zhí)行該功能無相應按鈕操作權(quán)限 ，頁面有相應按鈕 ，點擊按鈕能出現(xiàn)權(quán)限異常錯誤有相應按鈕操作權(quán)限 ，有相應按鈕 ，執(zhí)行該功能出現(xiàn)權(quán)限異常錯誤.專業(yè)

13、專注.4.3 Bug 引入階段由上圖可以看出，主要為前臺編碼和頁面設計方面的bug ，占到了全部bug的 2/3 。4.4 Bug 引入原因由上圖可以看出，主要為前臺編碼和易用性方面的bug ，占到了全部bug的 2/3 。.專業(yè)專注.4.5 Bug 狀態(tài)分布由 bug狀態(tài)圖可以看出，未解決的 bug有 4戶管理的bug ，因為用戶權(quán)限管理需要重新設計所以個，主要是 B8 中新提交的bug ，是關(guān)于用，該部分的bug暫時沒有解決。5 測試結(jié)論5.1 功能性系統(tǒng)正確實現(xiàn)了通過數(shù)據(jù)字典管理基礎數(shù)據(jù)的功能，實現(xiàn)了數(shù)據(jù)內(nèi)容的多語言功能，實現(xiàn)了中英文界面 。實現(xiàn)了基礎數(shù)據(jù)管理 ，權(quán)限管理 ，上云企業(yè)基礎

14、信息管理 ，上云服務商基礎信息管理，上云產(chǎn)品管理 ，用戶管理的查詢 ，添加，修改，刪除的功能 ，上云企業(yè)評分查詢等系統(tǒng)還實現(xiàn)了將權(quán)限控制細化到菜單按鈕的功能 。系統(tǒng)在實現(xiàn)用戶管理下的權(quán)限管理功能時 ，存在重大的缺陷 ，權(quán)限控制不嚴密 ，權(quán)限設計有遺漏 。5.2 易用性現(xiàn)有系統(tǒng)實現(xiàn)了如下易用性：查詢，添加 ，刪除，修改操作相關(guān)提示信息的一致性，可理解性.專業(yè)專注.輸入限制的正確性.專業(yè)專注.輸入限制提示信息的正確性，可理解性 ，一致性現(xiàn)有系統(tǒng)存在如下易用性缺陷：界面排版不美觀輸入，輸出字段的可理解性差輸入缺少解釋性說明中英文對應的正確性中英文混排5.3 可靠性現(xiàn)有系統(tǒng)的可靠性控制不夠嚴密，很多控

15、制是通過頁面控制實現(xiàn)的，如果頁面控制失效，可以向數(shù)據(jù)庫插入數(shù)據(jù)，引發(fā)錯誤 。現(xiàn)有系統(tǒng)的容錯性不高，如果系統(tǒng)出現(xiàn)錯誤，返回錯誤類型為找不到頁面錯誤，無法回復到出錯前的狀態(tài)5.4 兼容性現(xiàn)有系統(tǒng)支持window下的 IE8 以上的 瀏覽器和 google 瀏覽器 ，支持 linux系統(tǒng)下的IE 瀏覽器和火狐瀏覽器?，F(xiàn)有系統(tǒng)未進行其他兼容性測試。5.5 安全性現(xiàn)有系統(tǒng)控制了以下安全性問題：把某一個登錄后的頁面保存下來 ，不能單獨對其進行操作不進行登錄直接輸入某一頁面的 Url 能否打開頁面并進行操作不應該允許 。現(xiàn)有系統(tǒng)未控制以下安全性問題：用戶名和密碼應對大小寫敏感登陸錯誤次數(shù)限制.專業(yè)專注.6

16、分析摘要6.1 覆蓋率此次測試 ，所有測試用例都是在中文界面下執(zhí)行，未在英文界面下執(zhí)行 ，測試不包括英文界面下的測試 ，也不包括正對英文翻譯的測試。此次測試 ，部分頁面需求描述無明確的定義，對輸入限制無詳細定義，無明確的測試依據(jù) ，在測試過程中 ，測試是根據(jù)輸入字段含義 ，測試人員理解 ，以及和項目經(jīng)理 ，開發(fā)人員溝通獲得測試依據(jù) ，無法保證測試依據(jù)的正確性和完整性，因此，沒有進行完整的 ，正確的無效數(shù)據(jù)的測試 ，測試覆蓋率不夠 ，無法保證測試的有效性和正確性下面為此次測試測試用例覆蓋率分析圖：6.2 遺留缺陷的影響1 缺陷描述 ：上云企業(yè)基礎信息添加頁面 ， “距離 ”字段無單位 ，建議增加

17、單位缺陷影響 ：距離字段無單位說明 ，無衡量標準 ，用戶易用性不好推遲原因 ：需求定義無單位定義，統(tǒng)一在升級版本中解決2 缺陷描述 ：上云企業(yè)基礎信息管理模塊，默認語言設置不一致?；A信息模塊后，如下模塊 ，語言顯示為 “請選擇 ”缺陷影響 ：相同功能模塊默認語言設置不一致，一致性不好推.專業(yè)專注.遲原因 ：默認語言設置 ，目前無統(tǒng)一標準 ，升級版本中統(tǒng)一3 缺陷描述 ：tomcat日志有亂碼 ，日志無項目名稱，查看不方便缺陷影響 ：其他項目日志都有項目名稱，日志無項目名稱，查看不方便推遲原因 ：目前的日志為了調(diào)試方便，顯示了很多其它信息，在項目正式發(fā)布時會統(tǒng)一處理的 。4 缺陷描述 ：上云評

18、分管理缺陷影響 ：該處因為是兩個不同的單位時間，需要有另外一個單位補充字段補充所所填寫內(nèi)容的單位推遲原因 ：該缺陷單位補充字段本來存在，翻譯不夠準確 ，不能理解為補充單位的字段，需要等翻譯完畢后再確認。5 缺陷描述 ：數(shù)據(jù)字典種類修改 ，默認值設置后 ，在調(diào)用該數(shù)據(jù)字典種類的數(shù)據(jù)字典，默認值無顯示缺陷影響 ：數(shù)據(jù)字典種類的默認值設置后，不能顯示設置的默認值，相當于數(shù)據(jù)字典種類默認值設置功能未實現(xiàn)推遲原因 ：該功能暫時不好實現(xiàn)，需要和和系統(tǒng)的默認語種一起處理。6 缺陷描述 ：擔保政策管理頁面，“Edposit Due缺少解”釋行輸入描述信息缺陷影響 ：缺少解釋性輸入描述信息，用戶不理解應該輸入什

19、么內(nèi)容推遲原因 ：需求沒有描述，需要解釋性說明文字由項目經(jīng)理整理后，在升級版本中添加7 缺陷描述 ：多媒體添加 ，文件上傳功能未實現(xiàn)缺陷影響 ：文件上傳功能未實現(xiàn)推遲原因 ：該功能暫時不好完成，在下個版本中完成8 缺陷描述 ：參照點添加權(quán)限和修改權(quán)限單獨控制出現(xiàn)權(quán)限異常錯誤缺陷影響 ：用戶執(zhí)行添加，修改時 ，出現(xiàn)權(quán)限異常，無法完成任務推遲原因 ： B9 版本發(fā)現(xiàn)該權(quán)限， B10 版本未通過驗證，目前該模塊開發(fā)人員調(diào)休，無法修改 bug ，9 缺陷描述 ：上云企業(yè)與云服務商綁定關(guān)系權(quán)限控制出現(xiàn)權(quán)限異常錯誤 缺陷影響 ： a 權(quán)限控制易用性不好，會引起用戶誤操作 ;b 權(quán)限控制錯誤.專業(yè)專注.推遲

20、原因 ： B9 版本發(fā)現(xiàn)該權(quán)限 ， B10 版本未通過驗證 。 該模塊后臺無 insert 權(quán)限 ,只有 Update 權(quán)限，與其他模塊不同 ，需要重新設置權(quán)限控制方式 。6.3 建議在項目開始的時候應該制定編碼標準，數(shù)據(jù)庫標準 ，需求變更標準 ，開發(fā)和測試人員都嚴格按照標準進行，可以在后期減少因為開發(fā) ，測試不一致而導致的問題，同時也可以降低溝通成本 。發(fā)布版本的時候 ，正確布置測試環(huán)境 ，減少因為測試環(huán)境 ，測試數(shù)據(jù)庫數(shù)據(jù)的問題而出現(xiàn)的無效bug 。開發(fā)人員解決 bug 的時候，填寫 bug 原因以及解決方式 ，方便 bug 的跟蹤 。開發(fā)人員在開發(fā)版本上發(fā)現(xiàn)bug ，可以通知測試人員，因

21、為開發(fā)人員發(fā)現(xiàn)的bug很有可能在測試版本上出現(xiàn)，而測試人員和開發(fā)人員的思路不同，有可能測試人員沒有發(fā)現(xiàn)該bug ，而且，這樣可以保證發(fā)現(xiàn)的bug都能夠被跟蹤。7 度量7.1 資源消耗測試時間2018 年 11 月 15 日至 2018 年 11 月 23 日共7 天測試人力2 人7 天1 人7 天21 人天服務器：PC 2 臺硬件資源客戶端：PC 2 臺.專業(yè)專注.7.2 缺陷密度8 典型缺陷引入原因分析測試過程中發(fā)現(xiàn)的缺陷主要有以下幾個方面：1 需求定義不明確需求文檔中 ，存在功能定義錯誤，輸入輸出字段描述錯誤，輸入輸出字段限制定義錯誤 ，輸入輸出限制定義缺失這幾種類型的缺陷。使得開發(fā)人員根據(jù)需求進行設計時，沒有考慮相關(guān)功能的關(guān)聯(lián)性，以及需求錯誤的地方，在測試過程中，需求相關(guān)的問題表現(xiàn)出來。需求做改正 ，設計必須跟著做改動，