惠普(電腦技術(shù)無關(guān))

1、惠普測試管理(gunl)及模塊自動(dòng)化測試 蔡宇偉 惠普軟件工程學(xué)院授權(quán)(shuqun)講師惠普全球軟件服務(wù)中心（中國）共三十四頁主題(zht)惠普軟件測試介紹測試介入點(diǎn)自動(dòng)化測試的重要性惠普測試服務(wù)惠普軟件測試的核心競爭力惠普靈活(ln hu)多變的測試流程Mercury測試工具在惠普的應(yīng)用惠普高效的自動(dòng)化測試技術(shù) - ATA2022/7/202共三十四頁惠普軟件測試介紹(jisho)2022/7/203共三十四頁測試(csh)的介入點(diǎn)項(xiàng)目持續(xù)時(shí)間 完成率延遲測試開發(fā)缺陷修復(fù)(xif)代價(jià)1x 10 x 100 x 2022/7/204共三十四頁測試(csh)介入得越早，成本越低項(xiàng)目持續(xù)時(shí)間1

2、00%50%0%完成(wn chng)比率確保軟件質(zhì)量縮短軟件開發(fā)周期完成率2022/7/205共三十四頁缺陷(quxin)的代價(jià)錯(cuò)誤(cuw)被發(fā)現(xiàn)和糾正的越早，為修復(fù)而付出的代價(jià)卻顯得越小2022/7/206共三十四頁自動(dòng)化測試(csh)的重要性自動(dòng)化測試(csh)是一門把手公測試(csh)轉(zhuǎn)化為讓計(jì)算機(jī)來執(zhí)行測試(csh)并發(fā)現(xiàn)問題的藝術(shù)。我們?cè)跍y試工作中經(jīng)常面對(duì)的困難:需求時(shí)常變更.測試時(shí)間不夠.回歸測試很短，但需要把所有功能都重新驗(yàn)證.不同的測試工程師測試角度也不同.在惠普，自動(dòng)化測試的意義在于：“High Quality to market. Low Time to market”

3、2022/7/207共三十四頁什么(shn me)情況下需要引入自動(dòng)化測試?用戶界面多而復(fù)雜，并且有很多類似界面程序里包括了許多復(fù)雜的循環(huán)或嵌套手動(dòng)測試需要大量的時(shí)間手動(dòng)測試需要大量的人員投入 e.g. 并發(fā)測試需要使用大量的測試數(shù)據(jù)需要經(jīng)常進(jìn)行回歸測試數(shù)據(jù)(shj)變化2022/7/208共三十四頁何時(shí)(h sh)引入自動(dòng)化測試?在何時(shí)進(jìn)行自動(dòng)化的問題上，存在十分困難的權(quán)衡。通常對(duì)測試進(jìn)行自動(dòng)化并加以文檔記錄的時(shí)間可能是創(chuàng)建并運(yùn)行它的10倍。越早越好嗎?越早自動(dòng)化，后期自動(dòng)化的范圍就越大，可以提高測試效率。越早越不好嗎?花費(fèi)大量時(shí)間編寫自動(dòng)化測試工具或腳本，減少了早期的可用測試時(shí)間，推遲了發(fā)

4、現(xiàn)和糾正那些錯(cuò)誤的時(shí)間程序會(huì)發(fā)生很大變化，會(huì)造成(zo chn)自動(dòng)化腳本需要跟隨進(jìn)行大量的修改才能繼續(xù)使用惠普的建議不要范圍過大以至于推遲測試進(jìn)度自動(dòng)化測試必要性評(píng)估（投入產(chǎn)出比）2022/7/209共三十四頁哪些(nxi)可以采用自動(dòng)化測試策略?哪些地方需要您花費(fèi)大量的時(shí)間和人力進(jìn)行手工測試，這是您采用自動(dòng)化測試策略的切入點(diǎn)自動(dòng)化測試所能涉及(shj)到的地方功能測試回歸測試用戶界面測試冒煙測試/版本驗(yàn)收測試 BVT負(fù)載測試/壓力測試性能測試代碼覆蓋率驗(yàn)證內(nèi)存泄漏2022/7/2010共三十四頁測試服務(wù)(fw)范圍2022/7/2011共三十四頁成功(chnggng)案例: HP SAP測

5、試項(xiàng)目中自動(dòng)化帶來的成本收益Notes:* 每個(gè)版本的手工測試需要100%投入的28個(gè)工程師和40%投入的43個(gè)業(yè)務(wù)人員花費(fèi)11天完成(wn chng)所有測試工作。* 每月只需要投入6名惠普測試人員進(jìn)行自動(dòng)化腳本的編寫、維護(hù)和執(zhí)行*由三名客戶業(yè)務(wù)人員和10名惠普測試人員花費(fèi)60天完成知識(shí)傳遞的工作以掌握項(xiàng)目的所有業(yè)務(wù)邏輯手工測試一年的成本花費(fèi)每個(gè)版本的測試成本開發(fā)版本 / 年全年總成本* $256,9604$1,027,840 采用惠普自動(dòng)化測試一年的成本加上每個(gè)版本維護(hù)的費(fèi)用每個(gè)版本的測試成本開發(fā)版本 / 年全年總成本* $23,04012$276,480 一次性知識(shí)傳遞的費(fèi)用* $159

6、,920 一年內(nèi)惠普測試部門為該客戶節(jié)約的成本$591,440 (58% of original cost)2022/7/2012共三十四頁成功案例: HP SAP測試項(xiàng)目在測試執(zhí)行過程(guchng)中的持續(xù)改進(jìn)From Feb. 2005 to Dec. 2005單元測試時(shí)間(shjin)縮減 90%測試范圍擴(kuò)大 92%測試團(tuán)隊(duì)人員投入減少 50%2022/7/2013共三十四頁惠普軟件測試的核心(hxn)競爭力2022/7/2014共三十四頁瀑布(pb)模型2022/7/2015共三十四頁V 模型(mxng)2022/7/2016共三十四頁增量開發(fā) 迭代(di di)模型2022/7/2

7、017共三十四頁惠普靈活(ln hu)多變的測試流程啟動(dòng)階段：根據(jù)不同的項(xiàng)目，使用最適合的模型內(nèi)部的項(xiàng)目管理系統(tǒng)來為各個(gè)項(xiàng)目選擇合適的開發(fā)測試流程大量的歷史數(shù)據(jù)和項(xiàng)目信息開發(fā)階段：選用合適的編譯/構(gòu)建流程，開發(fā)測試工具測試階段：合理運(yùn)用測試工具和方法測試工具 - 測試對(duì)象 映射表惠普自動(dòng)化測試技術(shù)實(shí)時(shí)監(jiān)控(jin kn)維護(hù)階段：靈活地應(yīng)對(duì)變更變更控制系統(tǒng)惠普自動(dòng)化體系確保下的回歸測試2022/7/2018共三十四頁惠普測試工具概覽(i ln)Mercury測試工具統(tǒng)一的測試管理工具: Quality Centre功能測試自動(dòng)化工具: Quick Test Pro性能測試自動(dòng)化工具: Load

8、RunnerHP TCoE自主開發(fā)的測試工具 ATA （Automation Testing Accelerator）特點(diǎn)：集中整合、高效、靈活、易于管理。提供了基于(jy)模塊的資源管理方式，使得整個(gè)自動(dòng)化測試更靈活，更方便，更有效。高級(jí)版本中還填補(bǔ)了Mercury QC Test Case與QTP自動(dòng)化腳本之間的空白。2022/7/2019共三十四頁Mercury測試工具在惠普的應(yīng)用(yngyng)2022/7/2020共三十四頁Mercury測試工具功能測試自動(dòng)化工具(gngj): Quick Test Pro特點(diǎn)：高效的功能自動(dòng)化工具，可以把所有操作錄制下來并進(jìn)行回放，能夠用自動(dòng)化的方

9、式模擬用戶的手工測試，并能大大提高測試效率性能測試自動(dòng)化工具: LoadRunner特點(diǎn)：基于Web應(yīng)用程序的性能測試自動(dòng)化工具，可以模擬大數(shù)據(jù)量的情況，并能重復(fù)執(zhí)行測試用例，還能模擬多用戶并發(fā)下的測試。統(tǒng)一的測試管理工具: Quality Centre特點(diǎn)：可以統(tǒng)一并有效地管理需求文檔、測試用例、測試執(zhí)行情況和缺陷，并能提供專業(yè)的進(jìn)度和趨勢報(bào)告。QC更能和QTP進(jìn)行整合，實(shí)現(xiàn)手動(dòng)和自動(dòng)測試的有機(jī)結(jié)合。2022/7/2021共三十四頁HP TCOE自主(zzh)開發(fā)的測試工具ATA （Automation Testing Accelerator） 實(shí)現(xiàn)方式：用例分解成模塊模塊對(duì)應(yīng)腳本可自動(dòng)生成

10、模塊的組合管理 特點(diǎn)：集中整合、高效、靈活、易于管理。提供了基于模塊的資源管理方式，使得整個(gè)自動(dòng)化測試更靈活，更方便，更有效。高級(jí)版本(bnbn)中還填補(bǔ)了Mercury QC Test Case與QTP自動(dòng)化腳本之間的空白。2022/7/2022共三十四頁Component Based Scripting Model基于模塊的自動(dòng)化腳本(jiobn)模型2022/7/2023共三十四頁Reusable Business Components可重用的測試(csh)模塊測試用例數(shù)量(shling):2可重用測試模塊的數(shù)量:4不可重用測試模塊的數(shù)量:3所要構(gòu)造的測試模塊:4 +3 = 7總測試模塊

11、數(shù)量:11重用率:(11-3) / 11 = 64%2022/7/2024共三十四頁ATA 簡介(jin ji)主界面(jimin)如下圖所示：2022/7/2025共三十四頁HP ATA: 測試用例（test case)管理(gunl)可以通過ATA跟蹤各個(gè)test case的狀態(tài)，并且通過ATA分配每個(gè)test case的自動(dòng)化腳本開發(fā)工作，隨時(shí)跟蹤每個(gè)test case開發(fā)進(jìn)度。高級(jí)版本還可從Mercury QC 下載相應(yīng)的Test Case 到本地ATA數(shù)據(jù)庫，能夠追蹤測試中的問題或者已發(fā)現(xiàn)的bug，同時(shí)也可以將以上信息與QC上相關(guān)資料進(jìn)行同步(tngb)。而且同步(tngb)是自動(dòng)進(jìn)

12、行的。2022/7/2026共三十四頁HP ATA: 自動(dòng)化測試模塊(m kui)的管理ATA帶有自動(dòng)文檔生成功能，可以自動(dòng)生成對(duì)所有模塊的說明(shumng)文檔；同時(shí)，ATA允許用戶進(jìn)行周期性的數(shù)據(jù)統(tǒng)計(jì)，用豐富的圖表來表示當(dāng)前項(xiàng)目的各項(xiàng)狀態(tài)。ATA 將測試中所用到的模塊存放在數(shù)據(jù)庫中，（模塊類型可以是VBScript Function，JavaScript Function或者是QTP Reusable Action，ATA 將自動(dòng)對(duì)前兩種模塊做語法檢查）并且按照多種分類方式進(jìn)行分類，自動(dòng)化測試腳本開發(fā)人員可以直接在ATA上進(jìn)行模塊的創(chuàng)建，編輯或者刪除。ATA可以自動(dòng)將保存在數(shù)據(jù)庫中的模塊

13、編輯成模塊類庫文件（.vbs或者.js)提供給QTP，以便用戶調(diào)用當(dāng)中的各個(gè)模塊。2022/7/2027共三十四頁HP ATA :實(shí)現(xiàn)(shxin)test case和測試模塊的映射關(guān)系A(chǔ)TA可以在Test Case和測試模塊數(shù)據(jù)庫建立聯(lián)系。測試人員只需要從模塊數(shù)據(jù)庫中選取相應(yīng)的模塊插入到Test Case相應(yīng)的位置，即可自動(dòng)生成QTP測試腳本。這種映射關(guān)系也會(huì)被自動(dòng)保存在數(shù)據(jù)庫中，可以隨時(shí)對(duì)它進(jìn)行更改，同時(shí)也方便(fngbin)了對(duì)每個(gè)模塊的重用率做統(tǒng)計(jì)。在建立這種映射關(guān)系之前，ATA可以從QC上下載相應(yīng)的Test Case，也可以從一個(gè)Excel文件中導(dǎo)入。而最終產(chǎn)成的映射關(guān)系也可以作為E

14、xcel 文檔導(dǎo)出進(jìn)行保存。ATA這種Test Case與測試模塊映射的工作模式打破了傳統(tǒng)的錄制/回放 為主的工作模式，極大的提高了測試的效率和準(zhǔn)確性。2022/7/2028共三十四頁手動(dòng)測試(csh)，傳統(tǒng)自動(dòng)化測試(csh)與HP ATA之間的比較2022/7/2029共三十四頁手動(dòng)測試，傳統(tǒng)自動(dòng)化測試與HP ATA在時(shí)間-成本(chngbn)上的比較項(xiàng)目(xingm)進(jìn)展時(shí)間 測試成本時(shí)間手動(dòng)測試傳統(tǒng)自動(dòng)化測試ATA2022/7/2030共三十四頁使用惠普自動(dòng)化測試技術(shù)而帶來的可重用(zhngyng)能力1 week2 weeks3 weeks4 weeks5 weeks6 weeks7

15、 weeks8 weeksCase developed1530405264676784Number of Created Components 41556666768686120Number of Total Components1763654877308538999341210Reuse Rate77%85%86%91%91%90%91%90%2022/7/2031共三十四頁測試工作需要持續(xù)(chx)改進(jìn)需要加強(qiáng)對(duì)測試的重視不斷挖掘測試中的樂趣通過培訓(xùn)，不斷提高測試團(tuán)隊(duì)的技術(shù)能力持續(xù)簡化那些復(fù)雜的流程，因?yàn)樗加昧斯ぷ鞯拇蟛糠謺r(shí)間測試同樣需要發(fā)明創(chuàng)新準(zhǔn)確(zhnqu)而直觀的測試結(jié)果報(bào)告測試管理很重要預(yù)祝大家在測試工作中不斷有新的發(fā)現(xiàn)！2022/7/2032共三十四頁Thank You2022/7/2033共三十四頁內(nèi)容摘要惠普測試管理及模塊自動(dòng)化測試。通常對(duì)測試進(jìn)行自動(dòng)化并加以文檔記錄的時(shí)間可能是創(chuàng)建并運(yùn)行它的10倍。程序會(huì)發(fā)生很大變化，會(huì)造成自動(dòng)化腳