軟件測試規(guī)范(同名10143)

軟件測試標準規(guī)X1目的為了確保軟件產(chǎn)品質(zhì)量,使產(chǎn)品能夠順利交付和通過驗收,特編寫本文檔,以作參考2適用X圍本文檔適用于項目開發(fā)過程中的單元測試、集成測試、系統(tǒng)測試、業(yè)務測試、驗收測試以與一些專項測試.3職責?項目測試負責人組織編制《測試計劃》、《測試方案》,指導和督促測試人員完成各階段的測試工作.?項目組測試人員按照《測試計劃》、《測試方案》完成所承擔的測試任務,并按要求填寫《問題報告與維護記錄》.?測試經(jīng)理依照確認規(guī)程和準則對工作產(chǎn)品進行確認,提出對確認規(guī)程和準則的修改意見?項目負責人組織測試環(huán)境的建立.?項目經(jīng)理審核負責控制整個項目的時間和質(zhì)量.?研發(fā)人員確認修改測試人員提交的bug.4工作流程4.1測試依據(jù)詳細設(shè)計是模塊測試的依據(jù).因此設(shè)計人員應向測試人員提供《系統(tǒng)需求規(guī)格書名書》、《詳細設(shè)計》、《概要設(shè)計》等有關(guān)資料.測試人員必須認真閱讀,真正弄懂系統(tǒng)需求和詳細設(shè)計.4.2制訂《測試方案》在測試之前,由項目負責人根據(jù)《測試計劃》的要求,組織人員編制相應的《測試方案》,《測試方案》應包括以下內(nèi)容：?測試目的；?所需人員與相應培訓要求；?測試環(huán)境、工具和測試軟件；?測試用例、測試數(shù)據(jù)和預期的結(jié)果.4.3單元測試項目開發(fā)實現(xiàn)過程中,每個程序單元〔程序單元的劃分視具體開發(fā)工具而定,一般定為函數(shù)或子程序級〕編碼調(diào)試通過后,要與時進行單元測試.單元測試由單元開發(fā)者自己進行,使用白盒測試方法,根據(jù)程序單元的控制流程,爭取達到分支覆蓋.對于交互式運行的產(chǎn)品,不便于進行自動測試的,可以采用功能測試的方法進行.單元測試針對程序模塊,從程序的內(nèi)部結(jié)構(gòu)出發(fā)設(shè)計測試用例.多個模塊可以獨立進行單元測試.?單元測試內(nèi)容包括模塊接口測試、局部數(shù)據(jù)結(jié)構(gòu)測試、路徑測試、錯誤處理測試等；?單元測試組織原則一遍根據(jù)開發(fā)進度安排對已開發(fā)完成的單一模塊進行測試；?單元測試停止標準：完成了所有規(guī)定單元的測試,單元測試中發(fā)現(xiàn)的bug已經(jīng)得到修改.4.4集成測試編碼開發(fā)完成,項目組內(nèi)部應進行組裝測試.集成測試由項目負責人組織策劃〔編寫測試計劃、測試用例〕并實施.集成測試著重對各功能模塊之間的接口進行測試,驗證各功能模塊是否能協(xié)調(diào)工作、參數(shù)傳遞與功能調(diào)用是否正常.測試采用交叉方法,即個人開發(fā)的軟件應由其他的項目組成員進行測試.集成測試過程應填寫《問題報告與維護記錄》,測試結(jié)果應形成《測試報告》.4.5系統(tǒng)測試在項目開發(fā)完成之后,應對整個系統(tǒng)軟件和硬件進行系統(tǒng)測試.對性能、可靠性、健壯性、壓力承受力等方面分別進行評價,以驗證系統(tǒng)是否滿足規(guī)定的需要.系統(tǒng)測試由測試負責人組織策劃〔編寫測試計劃、測試用例〕并實施,系統(tǒng)測試過程應形成《問題報告與維護記錄》.系統(tǒng)測試一般進行如下幾種情況的測試：?正常情況?非正常情況?破壞性測試?邊界情況?非法情況?強度測試?性能測試?兼容性測試?用戶友好性測試界面設(shè)計規(guī)X測試：?光標的初始位置?字體是否統(tǒng)一?字號是否符合規(guī)定?標題顏色?按鈕的名稱是否規(guī)X?界面布局是否合理,整體效果如何輸入值測試：?數(shù)據(jù)類型?數(shù)據(jù)長度?約束條件是否滿足,是否完整?TAB和Enter鍵是否起作用?鍵盤操作能否全部代替鼠標操作?輸入〔光標〕是否按照順序前進按鈕測試：?將按鈕放開和封閉是否嚴格、準確,不能使用的按鈕必須封閉?檢查"退出〞、"取消〞等具有共性按鈕的功能異常情況測試：在完成正常功能測試后,安正常處理的相同操作順序,執(zhí)行與正常處理不同的動作例如?正常處理中要求輸入日期的字段,這時輸入字符或數(shù)字?正常處理中輸入字段有X圍要求,這時輸入超過X圍的值?正常處理中用兩個值限定X圍,這時用一個值或不限定?正常處理中要求用"Tab〞鍵,這時安"Enter〞鍵或其他鍵?正常處理中單選框、多選框、下拉框等,十一偶那個非指定鍵操作?使用不同于指定的按鈕操作4.6業(yè)務測試在組裝測試與系統(tǒng)測試結(jié)束后,均可由最終用戶或測試人員對系統(tǒng)進行測試.業(yè)務測試著重測試業(yè)務流程,功能、用戶界面等方面.項目、測試負責人負責組織相關(guān)人員制定測試方案和測試用例,并進行測試.測試的結(jié)果應形成《問題報告與維護記錄》.4.7驗收測試4.7.1驗收測試的條件?按照項目計劃規(guī)定的驗收測試進度安排進行測試準備?在驗收測試前,各項內(nèi)部的測試活動都受到監(jiān)控并爭取執(zhí)行4.7.2交付版本的要求?按照集成測試用例完成了整個系統(tǒng)的集成測試?集成版本滿足設(shè)計定義的各項功能、性能要求?提交的數(shù)據(jù)庫腳本樣本需要完整,沒有冗余數(shù)據(jù)?在集成測試中發(fā)現(xiàn)的bug已經(jīng)得到解決,各級缺陷修改率達到標準?軟件需求分析說明書中定義的所有功能都已經(jīng)實現(xiàn),性能指標全部達到性能需求指標?提交階段性測試報告,包括功能和性能測試報告?所有文檔齊備完整4.7.3版本發(fā)布的準則?軟件產(chǎn)品通過了單元測試、集成測試、業(yè)務測試、系統(tǒng)測試、性能測試?測試部提交文檔：測試計劃、測試方案、測試用例、測試分析報告?所有測試項必須符合以下標準致命錯誤：無功能錯誤：無功能缺陷：項目經(jīng)理、技術(shù)經(jīng)理、測試負責人審核通過界面缺陷：項目經(jīng)理、技術(shù)經(jīng)理、測試負責人審核通過建議：項目經(jīng)理、技術(shù)經(jīng)理、測試負責人審核通過?以上幾項其中之一不滿足要求,視為不合格在產(chǎn)品交付和用戶驗收之前,通過驗收測試來確認在規(guī)定的使用環(huán)境下整個產(chǎn)品的運行情況是否滿足規(guī)定的要求.在產(chǎn)品交付之前,由指定的驗收負責人組織制定測試方案和測試用例,主持驗收.驗收測試過程應形成《問題報告與維護記錄》.4.8用戶現(xiàn)場測試將軟件部署到用戶實際生產(chǎn)環(huán)境后,由于環(huán)境差異,需要在用戶現(xiàn)場進行確認測試,保證系統(tǒng)功能、性能完備,可正常運行.測試內(nèi)容：?根據(jù)軟件系統(tǒng)規(guī)模,準備現(xiàn)場測試用例,涵蓋所有重要功能點,若規(guī)模小,需要將全部功能點全部測試一遍?對于后臺已定義好的工作流、功能欄目路徑以與用戶信息等數(shù)據(jù),不可進行修改和刪除操作,新增的測試數(shù)據(jù)也需要在測試完成后給予清楚?重點檢查上傳、下載的數(shù)據(jù)是否可以正常的打開或保存?確認界面美觀,基本信息和無錯誤?考慮用戶實際的軟件環(huán)境和網(wǎng)絡(luò)環(huán)境,以客戶端最為復雜的軟硬件環(huán)境作為測試機器,檢查有無異常情況出現(xiàn)?針對前期發(fā)現(xiàn)的bug進行回歸測試,以保證發(fā)布版本為最新版本4.9編寫測試文檔4.9.1測試點將測試模塊分解成多個功能點,測試點應涵蓋功能點,也涵蓋了正常測試和異常測試.4.9.2輸入數(shù)據(jù)輸入數(shù)據(jù)包括界面輸入數(shù)據(jù)、數(shù)據(jù)庫的初始數(shù)據(jù)與其他外部輸入數(shù)據(jù).特別是數(shù)據(jù)庫的初始所需屬性一一列出,全面是指：數(shù)據(jù)能達到模塊所涉與的全部功能,典型是指這個數(shù)據(jù)能充分反映功能特點.4.9.3測試描述描述測試步驟,包括：操作員所執(zhí)行的動作〔包括鼠標、鍵盤、加載外部數(shù)據(jù)等操作〕；系統(tǒng)的反應,包括：光標定位、光標聚焦、顯示字段值、按鈕的封閉和放開、功能鍵的封閉和放開、系統(tǒng)提示和系統(tǒng)消息等.4.9.4預期輸出數(shù)據(jù)按準備的輸入數(shù)據(jù)和設(shè)計要求的處理過程,模塊應輸出的數(shù)據(jù).輸出數(shù)據(jù)包括：屏幕輸出數(shù)據(jù)、輸出到數(shù)據(jù)庫的數(shù)據(jù)、輸出到其他外部介質(zhì)上的數(shù)據(jù),并指出斷點結(jié)果或最終結(jié)果.4.9.5實際輸出填寫本測試點程序運行后的實際輸出.4.9.6正確與否程序運行后,實際輸出結(jié)果和預期輸出結(jié)果一致時,為正常,否則為不正常.4.9.7測試結(jié)論填寫本次測試的結(jié)論,是合格或不合格.若不合格時,應總結(jié)存在的問題,可以讓修改者一目了然.5缺陷管理5.1缺陷的定義與其基本屬性缺陷是指在軟件開發(fā)過程中的針對軟件產(chǎn)品和開發(fā)過程中的問題,這些問題已經(jīng)影響或可能會影響軟件產(chǎn)品的質(zhì)量.缺陷應該具備以下屬性,也就是往缺陷管理庫或者缺陷列表中提交的缺陷應該具備以下屬性：屬性名稱描述缺陷標識標記某個缺陷的一組符號,每個缺陷必須有一個唯一的標識根據(jù)缺陷的自然屬性劃分的缺陷種類因缺陷引起的故障對軟件產(chǎn)品的影響程度缺陷類型缺陷驗證程度缺陷所處的模塊或子系缺陷分步的模塊或子系統(tǒng)統(tǒng)缺陷出現(xiàn)幾率指發(fā)現(xiàn)錯誤的幾率缺陷的重現(xiàn)步驟附件詳細的缺陷重現(xiàn)步驟與缺陷相關(guān)的附件〔截圖、附件、用例等〕對缺陷的其他描述備注5.2缺陷分類根據(jù)缺陷的定義,將缺陷分為如下列：?文檔缺陷：是指對文檔的靜態(tài)檢查過程中發(fā)現(xiàn)的缺陷.檢查活動包括同行評審、產(chǎn)品審計等.評審的缺陷要根據(jù)被評審對象的類型來確定,被評審的對象包括最終出產(chǎn)物和中間過程產(chǎn)出物,比如需求文檔、設(shè)計文檔、計劃、報告、用例等?代碼缺陷：是指對代碼進行同行評審、審計或代碼走查過程中發(fā)現(xiàn)的缺陷?測試缺陷：是指由測試活動發(fā)現(xiàn)的測試對象〔被測對象一般是指可運行的代碼、系統(tǒng),不包括靜態(tài)測試發(fā)現(xiàn)的問題〕的缺陷,測試活動包括單元測試、集成測試、系統(tǒng)測試、性能測試等?過程缺陷：有稱為不符合項問題,是指通過過程審計、過程分析、管理評審、質(zhì)量評估、質(zhì)量審核等活動發(fā)現(xiàn)的關(guān)于過程的缺陷和問題.過程缺陷的發(fā)現(xiàn)者一般是測試人員、項目經(jīng)理等5.3文檔缺陷分類缺陷分類描述不完整不一致描述文檔內(nèi)容缺失,或文檔應該包括的X圍沒有涵蓋一致性問題有兩類：一是與源頭說明書不一致,比如需求和客戶業(yè)務需求不一致、設(shè)計與需求不一致等二是上下文或者與前提不一致描述錯誤文檔描述是錯誤的,不可實現(xiàn)或?qū)е洛e誤的輸出或結(jié)果該缺陷將會導致用戶功能的錯誤、不滿足、不可用內(nèi)容的描述不清楚、不能準確表達、或表達的意思有歧義內(nèi)容組織邏輯不清楚、邏輯錯誤功能問題不清楚或有歧義邏輯錯誤接口問題與最終用戶接口問題、與外部系統(tǒng)的接口問題、內(nèi)部子系統(tǒng)或模塊的接口問題輸入輸出問題不細化輸入輸出不完整、不正確、不可測試或驗證內(nèi)容還需要進一步細化性能問題文檔的設(shè)計或?qū)崿F(xiàn)方式存在性能問題文檔的設(shè)計或?qū)崿F(xiàn)方式存在安全性問題安全性問題5.4代碼缺陷分類缺陷分類描述常量變量定義問題不滿足設(shè)計或需求編寫代碼不符合規(guī)X條件判斷處理循環(huán)處理錯誤異常處理算法邏輯問題注釋問題代碼冗余性能問題5.5系統(tǒng)測試缺陷分類缺陷類型功能錯誤描述影響了重要的特性、用戶界面、產(chǎn)品接口或全局數(shù)據(jù)結(jié)構(gòu),并且設(shè)計文檔需要爭取的變更.如邏輯、循環(huán)、遞歸、功能等缺陷Web應用程序結(jié)構(gòu)化頁面無法顯示,或者顯示錯誤Web應用程序當中出現(xiàn)腳本錯誤,包括客戶端對數(shù)據(jù)進行校驗和運算的各種情況下產(chǎn)生的錯誤結(jié)構(gòu)錯誤腳本錯誤頁面錯誤Web應用程序頁面出現(xiàn)空、錯誤、死頁面文字錯誤Web應用程序頁面出現(xiàn)的中外文拼寫、使用、以與不同語種頁面的編碼錯誤頁面圖形錯誤ALT錯誤Web應用程序頁面出現(xiàn)圖片內(nèi)容使用不當,或者無法顯示W(wǎng)eb應用程序頁面當中超文本標識語言、文本標簽解釋錯誤Web應用程序頁面排版不符合要求或者不符合使用習慣應用程序的實現(xiàn)流程和規(guī)定業(yè)務流程不一致,或者實現(xiàn)流程無法正確完成.包括流程數(shù)據(jù)的部分并行、爭用、同步等操作,引起的流程斷裂、死鎖、以與其他異常情況排版錯誤業(yè)務邏輯不合理業(yè)務邏輯不方便應用程序?qū)崿F(xiàn)流程在實際情況下雖然可以完成,但是存在不必要的反復、等待、冗余等影響使用效率的情況其他錯誤建議其他未分類錯誤系統(tǒng)改進建議5.6缺陷等級定義缺陷的嚴重程度對以上所述的缺陷類型都是適合的,缺陷的嚴重程度反映的是對缺陷的發(fā)現(xiàn)對象可能造成的影響或后果來定義的.缺陷等級一級缺陷性質(zhì)致命錯誤系統(tǒng)中對應的錯描述誤分類系統(tǒng)崩潰系統(tǒng)死鎖導致對被描述的主要對象的理解錯誤、不可行、不可運轉(zhuǎn)、對業(yè)務和整個系統(tǒng)造成重大損失或損害；對使用、維護或保管人員有危險或不安全,以與對產(chǎn)品的基本功能有致命影響的缺陷二級三級嚴重缺陷一般缺陷嚴重錯誤對被描述的部分對象的理解或?qū)崿F(xiàn)錯誤,部分的模塊或系統(tǒng)不可行或不能運轉(zhuǎn)或部分模塊和系統(tǒng)缺失,對整個系統(tǒng)有重大影響或可能造成部分的損失或損害；嚴重影響使用安全系統(tǒng)中部分單元模塊或單個功能描述和實現(xiàn)有錯誤、有偏差、不一致或有缺失,不影響模次要錯誤布局不合理文字錯誤塊的正常運行,或有影響,但可以有替代的辦法或避免辦法四級微小缺陷描述微不足道基本不影響系統(tǒng)的運行和功能的實現(xiàn).但是與標準、規(guī)X和定義不一致5.7缺陷優(yōu)先級定義缺陷優(yōu)先級特急加急高需要立刻進行修改一天到兩天之內(nèi)必須修改介于中和加急之間中缺陷需要正常排隊等待修復或列入軟件發(fā)布清單低留到組后解決,如果項目的進度跟緊X可以在產(chǎn)品發(fā)布以前不解決5.8缺陷狀態(tài)定義缺陷狀態(tài)描述初始狀態(tài)〔New〕測試或開發(fā)人員提交一個新的缺陷,等待開發(fā)人員或項目經(jīng)理分配修改負責人打回〔FeedBack〕要求缺陷的報告者再次對缺陷進行說明已分配〔Assigned〕是指已經(jīng)分配給屬主,等待修改.已解決〔Resolved〕缺陷被屬主修改,等待測試人員驗證關(guān)閉〔Closed〕重新打開〔Reopen〕測試人員驗證,缺陷沒有修改正確遺留〔Later〕測試人員驗證缺陷已經(jīng)修復經(jīng)項目經(jīng)理和技術(shù)經(jīng)理驗證此缺陷在本版本中不用修改5.9缺陷完成度缺陷完成度描述打開〔Open〕已解決〔Fixed〕缺陷沒有被解決缺陷已經(jīng)修改遺留〔Suspended〕此缺陷步驟本階段解決重新打開重新打開某個缺陷〔Reopen〕不做修改〔Won’t不對這個缺陷進行修改fix〕重復〔Duplicate〕與某個缺陷重復需求如此不可重現(xiàn)經(jīng)理和開發(fā)人員經(jīng)過需求和設(shè)計的核實后決定不需要修改被指派的開發(fā)人員想要再現(xiàn)缺陷進行修改個時候,發(fā)現(xiàn)缺陷始終不能再現(xiàn)5.10缺陷管理流程6處理機制6.1退回機制若在測試過程中發(fā)生如下情況,將系統(tǒng)退回到申請部門：?經(jīng)過測試后,發(fā)現(xiàn)與需求說明規(guī)格說明書中定義的功能項存在較大的差異?單一模塊,測試過程中發(fā)現(xiàn)缺陷輸了較多或者無法繼續(xù)進行系統(tǒng)其它功能模塊的測試,繼續(xù)測試無意義?測試過程中,頻繁死機或系統(tǒng)崩潰?主業(yè)務流程出現(xiàn)斷點6.2異常情況處理機制非正常情況下,需要進行特別處理的情形,此情