微軟產(chǎn)品測試管理課件

1、微軟產(chǎn)品測試管理,微軟軟件測試,陳宜 微軟全球技術(shù)中心,微軟產(chǎn)品測試管理,議程,軟件測試概述 軟件測試組 測試計(jì)劃和級別 Bug的發(fā)現(xiàn)和管理,微軟產(chǎn)品測試管理,I 軟件測試概述,什么是軟件測試 測試的目的與任務(wù) 軟件質(zhì)量的定義 測試與軟件成本 測試部分常用術(shù)語,微軟產(chǎn)品測試管理,什么是軟件測試?,質(zhì)量保證-系統(tǒng)的監(jiān)督和評估項(xiàng)目的各個(gè)方面以確保滿足質(zhì)量標(biāo)準(zhǔn) 測試是分析并確定產(chǎn)品是否滿足客戶的需求和期望的所有活動,微軟產(chǎn)品測試管理,測試的目的與任務(wù),目的-保證軟件質(zhì)量，確保產(chǎn)品滿足設(shè)計(jì)的要求和客戶的需求，同時(shí)降低軟件的開發(fā)成本和維護(hù)成本，并最終簽發(fā)(Signoff)產(chǎn)品質(zhì)量 任務(wù) 根據(jù)特性規(guī)格說明

2、制定測試計(jì)劃 開發(fā)必要的測試工具 編寫測試用例 執(zhí)行系統(tǒng)、全面、深入的測試，在開發(fā)過程中找出所有可能存在的Bug 跟蹤并管理產(chǎn)品質(zhì)量,定期報(bào)告質(zhì)量狀態(tài) 負(fù)責(zé)最終的發(fā)布認(rèn)可(Signoff),微軟產(chǎn)品測試管理,測試與軟件成本,成本 越早發(fā)現(xiàn)bug，修正的機(jī)會越大,開發(fā)和后期維護(hù)的代價(jià)越小 Spec review 編碼階段 Beta階段 本地化 發(fā)布后 質(zhì)量越高，軟件發(fā)布后維護(hù)費(fèi)用越低,微軟產(chǎn)品測試管理,部分常用術(shù)語,QA- Quality Assurance 質(zhì)量保證 Bug-缺陷，問題 Blocking Bug Show Stopper Bug / Release Killer-致命問題 Mi

3、lestone-里程碑 Test Case-測試用例 Stress Test-附壓測試,BVT- Build Verification Test Ad-hoc 測試- 隨機(jī)測試 Buddy Test Dog Food ZBB (Zero Bug Bounce ) ZBR (Zero Bug Release ) RTM/RTW,微軟產(chǎn)品測試管理,II 軟件測試組,微軟測試組在整個(gè)項(xiàng)目中的位置 與程序員的關(guān)系 與程序經(jīng)理的關(guān)系 測試Team的主要職責(zé) 測試組成員的職責(zé),微軟產(chǎn)品測試管理,微軟測試組在整個(gè)項(xiàng)目中的位置,和設(shè)計(jì)組, 開發(fā)組及用戶教育等并列的隊(duì)伍 測試組負(fù)責(zé)產(chǎn)品的質(zhì)量控制 測試人員和開發(fā)

4、人員的比例大約是1：1,微軟產(chǎn)品測試管理,與程序員的關(guān)系,測試組不是開發(fā)組的助手，合作又各司其職 程序員不能寫完代碼扔過墻，等待測試工程師找到所有的Bug RAID是橋梁 對有分歧的Bug程序員不能擅自關(guān)閉 測試人員對發(fā)現(xiàn)的Bug要盡可能提供詳細(xì)的信息,微軟產(chǎn)品測試管理,與程序經(jīng)理的關(guān)系,沒有隸屬關(guān)系，合作又各司其職 程序經(jīng)理提供詳細(xì)的規(guī)格說明 程序經(jīng)理要參與Review測試計(jì)劃 測試人員要報(bào)告測試狀態(tài)及產(chǎn)品狀態(tài),微軟產(chǎn)品測試管理,測試隊(duì)伍的主要職責(zé),測試隊(duì)伍的組成 經(jīng)理，組長，測試工程師 主要職責(zé) 測試計(jì)劃 測試 測試過程 項(xiàng)目與資源管理 交流與業(yè)務(wù),微軟產(chǎn)品測試管理,測試工程師的主要責(zé)任,

5、創(chuàng)作相關(guān)的測試計(jì)劃和測試用例 設(shè)計(jì)或改編相關(guān)的測試工具 識別可自動測試的區(qū)域 參與組內(nèi)的測試計(jì)劃和測試用例以及測試腳本分析工作 手動自動測試 Ad-Hoc測試 按照需求規(guī)格說明查證并驗(yàn)證各項(xiàng)功能 發(fā)現(xiàn)并報(bào)告Bug，更蹤Bug狀態(tài) 評估Bug 對產(chǎn)品其它區(qū)域的主要影響。,微軟產(chǎn)品測試管理,測試組長的主要責(zé)任,確定測試的策略 參與對整個(gè)產(chǎn)品的完整測試計(jì)劃的制定 參與并管理測試 評估Bug對用戶的影響，推薦Work-Around. 獨(dú)立的跟蹤關(guān)鍵Bug的狀態(tài) 管理測試工作和對應(yīng)的資源. 參與面試新人 交流狀態(tài)和存在的問題，并驅(qū)動問題的解決 促進(jìn)組內(nèi)的對間接問題的交流.,微軟產(chǎn)品測試管理,測試經(jīng)理的主

6、要責(zé)任,定義時(shí)間進(jìn)度表 定義質(zhì)量標(biāo)準(zhǔn) 參加Bug Triage Sign off 產(chǎn)品 發(fā)起和計(jì)劃長期的測試過程，使之規(guī)范化 積極開發(fā)測試人員的技術(shù)技能. 組建測試隊(duì)伍，雇用測試工程師 合理安排各種資源. 負(fù)責(zé)制定產(chǎn)品測試所需的預(yù)算,微軟產(chǎn)品測試管理,III 測試計(jì)劃和級別,測試計(jì)劃的主要內(nèi)容 測試級別,微軟產(chǎn)品測試管理,測試計(jì)劃的主要內(nèi)容 2-1,引言 背景信息 質(zhì)量目標(biāo) 責(zé)任 測試的方法論,微軟產(chǎn)品測試管理,測試計(jì)劃的主要內(nèi)容 2-2,Milestone 的處理 測試文檔 自動測試策略 集成測試策略 API測試策略 性能測試Performance (Benchmark) Testing 測

7、試資源的規(guī)劃,兼容測試 Ad Hoc測試策略 本地化測試策略 全球化測試策略 Beta策略 Release Criteria 對第三方的依賴 測試周期：與項(xiàng)目的里程碑配合,微軟產(chǎn)品測試管理,測試級別,單元測試-針對單獨(dú)代碼部分進(jìn)行的測試 子程序 簡單函數(shù) 組件測試-測試多個(gè)單元和數(shù)據(jù)對象間的互操作性 被調(diào)用的Subroutines, Data, etc. 集成測試-測試集成組件的互操作性 Exe和Dll 系統(tǒng)測試-測試系統(tǒng)的魯棒性和與外部系統(tǒng)的交互性 附壓/性能測試 系統(tǒng)安裝/應(yīng)用程序的兼容性,微軟產(chǎn)品測試管理,Coffee Break!,微軟產(chǎn)品測試管理,IV Bug的發(fā)現(xiàn)和管理,什么是Bu

8、g及常見類型 RAID/BMS 有效地報(bào)告Bug Bug的嚴(yán)重程度和優(yōu)先級 Bug的處理 Bug Triage Active Bug數(shù)量的趨勢,微軟產(chǎn)品測試管理,Bug 及常見類型,功能未實(shí)現(xiàn)，和規(guī)格說明書不一致 不能工作：死機(jī)，沒反應(yīng) 不兼容 邊界條件 界面、消息、提示不夠準(zhǔn)確，不友好 把尚未完成的工作也作為一個(gè)Bug 文檔與幫助信息中的缺陷也是Bug,微軟產(chǎn)品測試管理,RAID,RAID是客戶端的工具，Bug數(shù)據(jù)庫 整個(gè)產(chǎn)品組的中央記錄和控制 豐富的查詢功能，有效地跟蹤項(xiàng)目的狀態(tài)，為產(chǎn)品發(fā)布提供判斷標(biāo)準(zhǔn) 準(zhǔn)確的定義了描述Bug要用到的屬性 Postponed Bug 所有的記錄無法刪除，對

9、于每個(gè)記錄只能一直添加內(nèi)容,微軟產(chǎn)品測試管理,微軟產(chǎn)品測試管理,報(bào)告新Bug,查尋并確認(rèn)不重復(fù) 從標(biāo)題開始 可能查找多次 最后是查找Bug的描述部分 如果找到類似的Bug，檢查是否需要加入新的注釋。 填寫標(biāo)題，簡明描述該問題,微軟產(chǎn)品測試管理,Bug 記錄中的有效信息,Status Assigned To Issue Type Severity Priority Change Date，Change By Opened Date, By, Rev Source, Beta ID, How found,Language Resolution: By design, Fixed, Duplicat

10、e, Not Repro, Wont Fix Area，Sub Area Platform 附件 附圖,微軟產(chǎn)品測試管理,報(bào)告新Bug- 環(huán)境,描述系統(tǒng)配置，如： OS 內(nèi)存大小 處理器類型 瀏覽器類型和版本 其他應(yīng)用程序,微軟產(chǎn)品測試管理,報(bào)告新Bug- 描述,幫助開發(fā)人員再現(xiàn)Bug. 組成 列出起始參數(shù) 再現(xiàn)步驟 預(yù)期和實(shí)際的結(jié)果 已測試的其它有用信息 一旦保存所用描述信息將無法修改，只能添加,微軟產(chǎn)品測試管理,Bug 的嚴(yán)重程度,死機(jī),數(shù)據(jù)丟失,主要功能組完全喪失,系統(tǒng)懸掛 主要功能喪失，導(dǎo)致嚴(yán)重的問題，或致命的錯(cuò)誤聲明 次要功能喪失,不太嚴(yán)重,如提示信息不太準(zhǔn)確 微小的問題,對功能幾乎

11、沒有影響，產(chǎn)品及屬性仍可使用.如有個(gè)錯(cuò)別字,微軟產(chǎn)品測試管理,活 Bug,新建一個(gè)Bug時(shí)的狀態(tài) Bug Regression 表明Bug等待修正 評估開發(fā)進(jìn)度產(chǎn)品質(zhì)量的重要指標(biāo),微軟產(chǎn)品測試管理,處理 Bug,對Bug的處理結(jié)果 必須重新分派給報(bào)告該Bug的人員 對修正的Bug需要確認(rèn) 標(biāo)準(zhǔn)的處理結(jié)果： 故意的 重復(fù) 已修正 無法重現(xiàn) 延期修正 永不修正 外部,微軟產(chǎn)品測試管理,解決/關(guān)閉 Bug,Bug的解決方法= 故意的 重復(fù) 無法重現(xiàn) 延期修正 永不修正 外部 Bug的解決方法 = 已修正 Bug regression,微軟產(chǎn)品測試管理,Bug 的 Triage,何時(shí)Triage Tr

12、iage 成員 主持: Program Manager 成員: PM/QA/Dev/LPM, Builder and 經(jīng)理. 討論, 要求Fix的理由 Fix可能帶來的風(fēng)險(xiǎn) Fix要求被拒絕時(shí)要采取的行動,微軟產(chǎn)品測試管理,Active Bug 數(shù)量的趨勢,代碼完成前：很少 代碼完成后：增長很快 接近Beta: 下降 接近RC: 奔向零 產(chǎn)品質(zhì)量和里程碑的信號 每天新建的Bug與修正的Bug相比較. Active狀態(tài)Bug的總數(shù),微軟產(chǎn)品測試管理,Tester,Raid,PM,Others,Builder,Dev,SLM Srv,Bld Srv,Rls Srv,Exchange Public Folder,A Bugs Life 100% Raid driven,1. File a bug,2. Triage the bug,3. Dev investigate the bug,4. Ask Checkin,5. Builder verify permission,6。OK checki