自動(dòng)化測(cè)試可行性分析報(bào)告

XXXXXXXX客戶網(wǎng)銀資金管理系統(tǒng)引入自動(dòng)化測(cè)試的可行性分析報(bào)告版本：1.0概述.目的本文檔對(duì)XXXX客戶網(wǎng)銀資金管理系統(tǒng)項(xiàng)目引入自動(dòng)化測(cè)試工具的可行性進(jìn)行評(píng)估，為項(xiàng)目經(jīng)理提供決策參考。范圍本文檔描述了XXXX客戶項(xiàng)目情況、現(xiàn)有測(cè)試工作流程、自動(dòng)化測(cè)試本身的一些情況，對(duì)測(cè)試工作量進(jìn)行了估算，最后對(duì)估算結(jié)果進(jìn)行了分析，并依此提出了一些建議。本文檔中討論的自動(dòng)化測(cè)試工具主要是功能測(cè)試工具。術(shù)語(yǔ)定義本文檔涉及了幾款自動(dòng)化測(cè)試工具：TestManager:IBM公司的測(cè)試管理工具，屬于Rational系列產(chǎn)品之一。Robot:IBM公司的性能測(cè)試工具，屬于Rational系列產(chǎn)品之一。RFT:RationalFunctionTester,IBM公司的功能測(cè)試工具，屬于Rational系列產(chǎn)品之-TestDirector:Mercury公司生產(chǎn)的測(cè)試管理工具。Loadrunner:Mercury公司生產(chǎn)的性能測(cè)試工具。QTP:QuickTestProfessional,Mercury公司生產(chǎn)的功能測(cè)試工具。參考文檔

XXXX客戶自動(dòng)化測(cè)試可行性報(bào)告項(xiàng)目介紹項(xiàng)目背景XXXX客戶網(wǎng)銀資金管理系統(tǒng)，是XXXX客戶為了加強(qiáng)銀行賬戶管理，提高資金利用效率而開發(fā)的一套資金管理系統(tǒng)。項(xiàng)目開發(fā)、運(yùn)行環(huán)境XXXX客戶網(wǎng)銀資金管理系統(tǒng)遵循的開發(fā)規(guī)范如下：操作系統(tǒng)：Windows2003或者HPUnix或者SCOUnix或者AIX或者Solaris數(shù)據(jù)庫(kù)平臺(tái)：Informix9.0J2EE應(yīng)用服務(wù)器：Weblogic8.1.4開發(fā)平臺(tái)：Eclipse（3.1以上版本）項(xiàng)目進(jìn)度項(xiàng)目的預(yù)定計(jì)劃如下:序號(hào)階段名稱需求階段開發(fā)階段工期34工作日64工作日開始時(shí)間2006-5-102006-6-12結(jié)束日期序號(hào)階段名稱需求階段開發(fā)階段工期34工作日64工作日開始時(shí)間2006-5-102006-6-12結(jié)束日期2006-06-262006-9-7測(cè)試執(zhí)行階段48工作日2006-7-4測(cè)試執(zhí)行階段48工作日2006-7-42006-9-7項(xiàng)目特點(diǎn)分析根據(jù)業(yè)務(wù)需求分析，業(yè)務(wù)量主要集中在銀行業(yè)務(wù)數(shù)據(jù)操作，包括銀行數(shù)據(jù)查詢，銀行業(yè)務(wù)數(shù)據(jù)變更，因?yàn)楹豌y行的交互集中在前置機(jī)上，且銀行數(shù)據(jù)量大，操作復(fù)雜，耗費(fèi)時(shí)間長(zhǎng),所以系統(tǒng)在多用戶并發(fā)操作時(shí)，可能存在性能瓶頸。另外，由于XXXX客戶的分支機(jī)構(gòu)眾多，操作人員多，數(shù)據(jù)量大，在多用戶并發(fā)操作時(shí)，性能和效率會(huì)有較大影響。現(xiàn)有測(cè)試流程現(xiàn)有的測(cè)試流程按照階段劃分為測(cè)試設(shè)計(jì)階段和測(cè)試執(zhí)行階段。測(cè)試設(shè)計(jì)階段的主要工作是根據(jù)業(yè)務(wù)需求說明書和系統(tǒng)需求說明書來設(shè)計(jì)和編寫測(cè)試用例。根據(jù)以往的經(jīng)驗(yàn)，將測(cè)試用例劃分成三個(gè)部分：測(cè)試需求分析;測(cè)試方案；數(shù)據(jù)執(zhí)行步驟。Mercury公Mercury公輸入文檔業(yè)務(wù)需求■說明書系統(tǒng)需求說明書XXXX客戶自動(dòng)化測(cè)試可行性報(bào)測(cè)試執(zhí)行階段的主要手段是手工測(cè)試，如果項(xiàng)目有性能方面的需求，再通過司的性能測(cè)試工具LoadRunner來進(jìn)行性能方面的測(cè)試。手工測(cè)試時(shí)，要完成以下工作:根據(jù)測(cè)試需求分析了解業(yè)務(wù);根據(jù)測(cè)試方案來執(zhí)行測(cè)試;根據(jù)數(shù)據(jù)庫(kù)和詳細(xì)設(shè)計(jì)來驗(yàn)證系統(tǒng)的具體實(shí)現(xiàn);根據(jù)測(cè)試結(jié)果補(bǔ)充、修正測(cè)試用例中的分析、測(cè)試方案部分。系統(tǒng)上線部署之前兩到三天，要進(jìn)行內(nèi)部的驗(yàn)收測(cè)試，其目的有兩個(gè):確認(rèn)系統(tǒng)已經(jīng)準(zhǔn)備就緒，預(yù)定功能已經(jīng)實(shí)現(xiàn);手要通過重新搭建系統(tǒng)環(huán)埼_.重建數(shù)據(jù)庫(kù)表的形式來開始驗(yàn)收測(cè)試?，F(xiàn)有測(cè)試流程測(cè)試過程——詳細(xì)說明--L11.劃分測(cè)試用例粒度，功能分/V解；I：2.分析被測(cè)系統(tǒng)；測(cè)試需求分析L3一一^L.無(wú)析測(cè)試重點(diǎn)；4Jx\1.驗(yàn)證可測(cè)性?！觥鲆?確定測(cè)試設(shè)“方法市思想；二L\v"；2.為手工測(cè)試提供測(cè)測(cè)試用例測(cè)試方案，jt\?試參考；指導(dǎo)測(cè)試步驟作操mn沽8^1o詳細(xì)的操作2.步驟；計(jì)設(shè)試測(cè)3量計(jì)輸出結(jié)反饋數(shù)據(jù)庫(kù)設(shè)計(jì)

文檔.根據(jù)測(cè)試需求分析了解業(yè)務(wù)；.根據(jù)測(cè)試方案來執(zhí)行測(cè)試；.根據(jù)數(shù)據(jù)庫(kù)和詳細(xì)設(shè)計(jì)來驗(yàn)證._＞統(tǒng)的具體實(shí)現(xiàn)。詳細(xì)設(shè)計(jì)

文檔手工測(cè)試1.根據(jù)測(cè)試結(jié)果補(bǔ)充、修正測(cè)t

用例中的分析、測(cè)試方案部分;段階行執(zhí)試測(cè)驗(yàn)收測(cè)試段階行執(zhí)試測(cè)驗(yàn)收測(cè)試確認(rèn)系統(tǒng)已經(jīng)準(zhǔn)備就緒，預(yù)定功能已經(jīng)實(shí)現(xiàn)；即將上線部署的軟件是正確的版本。4/11自動(dòng)化測(cè)試簡(jiǎn)介隨著軟件開發(fā)技術(shù)和工具的提高，軟件工程和軟件過程實(shí)踐的推廣，軟件測(cè)試日益得到重視和專業(yè)化。自動(dòng)化測(cè)試更成為熱門話題。測(cè)試自動(dòng)化就是充分利用市場(chǎng)已有的或自行開發(fā)的測(cè)試工具，全部或部分替代手工測(cè)試、完成手工測(cè)試無(wú)法完成的測(cè)試任務(wù)，以及相關(guān)的測(cè)試數(shù)據(jù)的記錄和測(cè)試報(bào)告的生成等。相對(duì)于手工測(cè)試而言，測(cè)試自動(dòng)化通常具有速度快、執(zhí)行效率高、執(zhí)行過程受外界因素干擾小、測(cè)試結(jié)果準(zhǔn)確等優(yōu)點(diǎn)，缺點(diǎn)是前期投入較大，所以在采用測(cè)試自動(dòng)化之前應(yīng)當(dāng)做好相應(yīng)的評(píng)估工作。自動(dòng)化測(cè)試的目的自動(dòng)化測(cè)試的目的是通過自動(dòng)執(zhí)行測(cè)試腳本，使測(cè)試人員在更短的時(shí)間內(nèi)能夠更快地完成更多的軟件測(cè)試，并提供以更高的頻率執(zhí)行測(cè)試的能力，從而有效降低測(cè)試成本、提高測(cè)試效率。自動(dòng)化測(cè)試的前提自動(dòng)化測(cè)試有幾個(gè)前提：測(cè)試人員的編程能力；重用測(cè)試腳本的設(shè)計(jì)；人機(jī)交互界面的早期凍結(jié)；測(cè)試腳本開發(fā)的投入；測(cè)試人員對(duì)測(cè)試工具的熟練程度。[1,2]自動(dòng)化測(cè)試的優(yōu)勢(shì)和局限自動(dòng)化測(cè)試的優(yōu)勢(shì)：對(duì)新版本執(zhí)行回歸測(cè)試對(duì)于產(chǎn)品型的軟件，每發(fā)布一個(gè)新的版本，其中大部分功能和界面都和上一個(gè)版本相似或完全相同，這部分功能特別適合于自動(dòng)化測(cè)試，從而可以讓測(cè)試達(dá)到測(cè)試每個(gè)特征的目的。更多更頻繁的測(cè)試在回歸測(cè)試階段，如果是每天/每2天都要發(fā)布一個(gè)版本供測(cè)試人員測(cè)試，一個(gè)系統(tǒng)的功能點(diǎn)有幾千個(gè)上萬(wàn)個(gè)，手工測(cè)試將是非常的耗時(shí)和繁瑣，而且非常的枯燥，這樣必然會(huì)使測(cè)試效率低下。完善的自動(dòng)化測(cè)試可以替代測(cè)試人員的手工測(cè)試。一致性和可重復(fù)性由于每次自動(dòng)化測(cè)試運(yùn)行的腳本是相同的，所以每次執(zhí)行的測(cè)試具有一致性，人是很難做到的。由于自動(dòng)化測(cè)試的一致性，很容易發(fā)現(xiàn)被測(cè)軟件的任何改變。自動(dòng)化測(cè)試替代手工測(cè)試的困難:自動(dòng)化測(cè)試的目的在于發(fā)現(xiàn)舊有缺陷，而手工測(cè)試的目的在于發(fā)現(xiàn)新缺陷。事實(shí)證明新缺陷越多，自動(dòng)化測(cè)試失敗的幾率就越大。發(fā)現(xiàn)更多的新缺陷應(yīng)該是手工測(cè)試的主要目的。測(cè)試專家JamesBach總結(jié)得出，85%的缺陷靠手工發(fā)現(xiàn)，而自動(dòng)化測(cè)試只能發(fā)現(xiàn)15%的缺陷。技術(shù)問題、組織問題、腳本維護(hù)自動(dòng)化測(cè)試的推行，有很多阻力，比如組織是否重視，是否成立這樣的測(cè)試團(tuán)隊(duì)，是否有這樣的技術(shù)水平，對(duì)于測(cè)試腳本的維護(hù)工作量也挺大的，是否值得維護(hù)等等問題都必須考慮。[3,4]自動(dòng)化測(cè)試工具對(duì)比Mercury公司的QTP、Winrunner,以及目前比較主流的自動(dòng)化功能測(cè)試工具主要是舊M司的RationalFunctiopTester0下面對(duì)QTP和RationalFunctionTester的功能來進(jìn)行對(duì)比：,Ration1alFunction他功能指標(biāo)‘TesterQTP用戶界面與Eclipse集成獨(dú)立的GUI‘腳本語(yǔ)言JavaVBScript測(cè)試Web系統(tǒng)支持'支持?jǐn)?shù)據(jù)驅(qū)動(dòng)內(nèi)建數(shù)據(jù)池從Excel中獲得數(shù)據(jù)r檢查點(diǎn).腳本管理工具TestManagerTestDirector其它支持BusinessProcessTesting(BPT)目前，我們測(cè)試人員對(duì)QTP比較熟悉，沒有使用過RationalFunctionTester。就功能上來說，RationalFunctionTester和QTP差別不大。測(cè)試工作量估算手工測(cè)試工作量估算手工測(cè)試工作量的估算原則：根據(jù)業(yè)務(wù)和功能的復(fù)雜程度，以及以往項(xiàng)目的實(shí)際數(shù)據(jù)做參考，得出測(cè)試完成一遍的工作量。在整個(gè)項(xiàng)目測(cè)試周期中，測(cè)試小組會(huì)對(duì)整個(gè)系統(tǒng)進(jìn)行兩到三輪的測(cè)試(一般是必須的)。根據(jù)以往項(xiàng)目的統(tǒng)計(jì)數(shù)據(jù)：每一輪手工測(cè)試的工作量是上一輪工作量的50%,直到達(dá)到6/11臨界值，即完成i輪手工測(cè)試的最小時(shí)間后，工作量不會(huì)再減小。項(xiàng)日統(tǒng)計(jì)數(shù)%還表明：子上測(cè)試乜后期的測(cè)吊工作占到全部dj試工作的40%~150%，*業(yè)務(wù)功能點(diǎn),測(cè)試七成的工作量（人日）,一級(jí)功能1二級(jí)功能1~1~系統(tǒng)管理職責(zé)管理2.01.00.5‘用戶管理3.01.51C0.81基礎(chǔ)設(shè)置機(jī)惚突型設(shè)置■十口為4r早耳」1.000.5r10105,0.3■031F7WJ墳且而種講詈i.—fw.vy1.00.5.u.u"0.3.銀行類型設(shè)置1.0kA.0.50.3賬戶用途設(shè)置^1.50.80.4.賬戶擴(kuò)展屬性設(shè)置^1.0|0.5r■”Mj山iEFTTIlli?——?M?■0.3業(yè)務(wù)尖里設(shè)直3-0，賬戶管理*開戶處理?40,.,銷戶處理上4.0,1.52.0-0.8卜1_0.12.0.1.0變更處理4.02.01.0[f|RF，丁1、小^th3.01.50.8貝卜勺刀或甲用凍結(jié)與解凍|3.0Ir*.、-,、，u-?x/..,CC1.5arx0.8r\丘,,'r咨午潔笛賬尸信息食間十中咨午由詰2.011.0F5.012.5.0.5■13iJA-a!a1日^r.歸集資金申請(qǐng)5.02.51.3『■~j_'一▼.?■———*■-―■資金劃撥5.02.51-3資金計(jì)劃行項(xiàng)目設(shè)置2.01.00.5編制計(jì)劃2.0i1.00.5'資金監(jiān)控1'審批計(jì)戈11＞賬戶當(dāng)日余額查詢“卜賬戶歷史余額查詢,2.01,20.1.0'[.104051.05■2.0?1.00.5賬戶歷史流水查詢2.01.00.5監(jiān)控項(xiàng)設(shè)置5.02.51.3監(jiān)控報(bào)表和提醒^3.0?1.50.8,,銀企接口.銀行指令查詢*5.0'?左日-徐忙J*50.2t5~t2.54T73113^1自動(dòng)歸集策略設(shè)置十5.0「2.5,1.3.交易核對(duì)5.02.51.3審批流T審批設(shè)置^4.02.01.0權(quán)限轉(zhuǎn)移4.02.01.0行轎24+丁作儕（人FH?,9751488r244,.用戶手冊(cè)一..5.0[驗(yàn)收測(cè)試rtt112.0187.6人日按嘩4個(gè)測(cè)試資源計(jì)算，手工測(cè)試完成共需消耗187.6/4=46.9個(gè)工作日。與預(yù)定計(jì)劃的48個(gè)仁作口的測(cè)試周期按近。計(jì)劃測(cè)試工作日48日后期測(cè)試工作量比例(48.8+24.4+12)/187.6=45對(duì)手工測(cè)試的工作量估算沒有考慮開發(fā)進(jìn)度delay的因素。一旦開發(fā)進(jìn)度輪手工測(cè)試將無(wú)法完成，只能把優(yōu)先級(jí)別較高的功能測(cè)試完成。開發(fā)進(jìn)度delay的原因很大部分來自需求變更。5.2.引入自動(dòng)化測(cè)試后工作量估算引入自動(dòng)化測(cè)試工具后，手工測(cè)試的主要工作量將主要集中在第一輪測(cè)試，而自動(dòng)化測(cè)試腳本也根據(jù)被測(cè)試功能和業(yè)務(wù)的復(fù)雜程度不同而不同。根據(jù)下表的統(tǒng)計(jì)數(shù)據(jù)，在自動(dòng)化測(cè)試中采用數(shù)據(jù)驅(qū)動(dòng)的方式，投入產(chǎn)出比比較合適結(jié)構(gòu)成本收益凈收益NoAutomationRecordingandPlaybackData-drivenstructureusing8.311182.79.6datapoolsFrameworkstructure,Framework/data-driven9.8155.211.6197.4(hybrid)structurefocusingonviewsoftheapplicationandusingdatapools根據(jù)業(yè)內(nèi)的統(tǒng)計(jì)數(shù)據(jù)，手工測(cè)試與自動(dòng)化測(cè)試腳本編寫的工作量比例2勺為187.6人日按嘩4個(gè)測(cè)試資源計(jì)算，手工測(cè)試完成共需消耗187.6/4=46.9個(gè)工作日。與預(yù)定計(jì)劃的48個(gè)仁作口的測(cè)試周期按近。計(jì)劃測(cè)試工作日48日后期測(cè)試工作量比例(48.8+24.4+12)/187.6=45對(duì)手工測(cè)試的工作量估算沒有考慮開發(fā)進(jìn)度delay的因素。一旦開發(fā)進(jìn)度輪手工測(cè)試將無(wú)法完成，只能把優(yōu)先級(jí)別較高的功能測(cè)試完成。開發(fā)進(jìn)度delay的原因很大部分來自需求變更。5.2.引入自動(dòng)化測(cè)試后工作量估算引入自動(dòng)化測(cè)試工具后，手工測(cè)試的主要工作量將主要集中在第一輪測(cè)試，而自動(dòng)化測(cè)試腳本也根據(jù)被測(cè)試功能和業(yè)務(wù)的復(fù)雜程度不同而不同。根據(jù)下表的統(tǒng)計(jì)數(shù)據(jù)，在自動(dòng)化測(cè)試中采用數(shù)據(jù)驅(qū)動(dòng)的方式，投入產(chǎn)出比比較合適結(jié)構(gòu)成本收益凈收益NoAutomationRecordingandPlaybackData-drivenstructureusing8.311182.79.6datapoolsFrameworkstructure,Framework/data-driven9.8155.211.6197.4(hybrid)structurefocusingonviewsoftheapplicationandusingdatapools根據(jù)業(yè)內(nèi)的統(tǒng)計(jì)數(shù)據(jù)，手工測(cè)試與自動(dòng)化測(cè)試腳本編寫的工作量比例2勺為3:7|,在不考慮需求變更的情況下，測(cè)試腳本的維護(hù)工作量為建立腳本工作量的1020%,在估算時(shí),取中間值15%。引入自動(dòng)化測(cè)試后工作量估算為:業(yè)務(wù)功能點(diǎn)測(cè)試完成的工作量（人日）一級(jí)功能二級(jí)功能手工測(cè)試自動(dòng)化腳本腳本維護(hù)職責(zé)管理2.00.7?系^管理4.7手工測(cè)試合計(jì)工作量:幣種設(shè)置1.02.30.4銀行類型設(shè)置]——ttr^^^i-i-r、/s_2u_LJ=n=rJ1.0'1-drJ2T04賬戶用途反置r賬戶擴(kuò)展屬性設(shè)詈1.51.0.^^^^50.52.3.0.4業(yè)務(wù)類型設(shè)置13.07.01.1賬戶管理開戶處理.4.09.31.4銷戶處理14.09.3'1.4?」“變更處埋11711/口PL皿H~t土」4^3.043.0.9^7.04-7.0.14b1.141.1-火以勺刀次中舊L凍結(jié)；賬戶信息查詢12.04.70.7資金清算|支出資金申請(qǐng)5.011.71.8歸集資金申請(qǐng)15.0.11.7"1.8I次型件由11資金劃撥[彳彳Tf斤日；幾里j5.0,0Q-11.7*1.8'/7，n-7貝忐TT劉仃壩日墳管編制計(jì)劃；2.04.70.7審批計(jì)劃2.04.70.7資金監(jiān)控賬戶當(dāng)日余額查詢?2.04.70.7賬戶歷史余額查詢]2.0,4.7T0.7〃賬尸歷史流水查詢2.0*4./*0./'uc1//，1/cd監(jiān)性項(xiàng)設(shè)置?.監(jiān)捽報(bào)表和提醒^^^^^^^^-^^M3Ad^^^^^^^^^^^?^^^^^^^^^?^^^^^^^^f.>70,1.1銀企接口銀行指令查詢15.011.71.8銀行指令維護(hù)5.011.71.8自動(dòng)歸集策略設(shè)置5.011.71.8'交易核對(duì).卜審批流,審批設(shè)置,“VE且姓燧」5.0.40，’11.7"卜934'1.8-,144-4.0一.-9.3-.1.4ITOC\o"1-5"\h\z每項(xiàng)合計(jì)工作量(人日)：97.5227.534.1用戶手冊(cè)I5.0[驗(yàn)收測(cè)試('4^卜，a計(jì)工作量:*1一368.1人日?在使用了自動(dòng)化測(cè)試工具以后，驗(yàn)收測(cè)試只需要搭建環(huán)境和數(shù)據(jù)初始化，效率提高了，測(cè)試工!作量減小到4人日。一計(jì)劃的測(cè)試資源為4個(gè)，計(jì)劃的測(cè)試工作日為48日，故計(jì)劃工作量為192人日。在未引入自動(dòng)化測(cè)試工具以前，第二輪和第三輪及驗(yàn)收測(cè)試的工作量合計(jì)為(48.8+24.4+12)=85.2人日，引入自動(dòng)化測(cè)試以后，后期的測(cè)試工作量為(227.5+34.1+4)=256.6人日。指標(biāo)公式數(shù)值9/11XXXX客戶自動(dòng)化測(cè)試可行性抑計(jì)劃測(cè)試工作日

計(jì)劃測(cè)試資源計(jì)劃測(cè)試工作總量替代的手工測(cè)試工作量估算自動(dòng)化測(cè)試工作量估算測(cè)試工作總量

估算測(cè)試工作日48-^48*4計(jì)劃測(cè)試工作日

計(jì)劃測(cè)試資源計(jì)劃測(cè)試工作總量替代的手工測(cè)試工作量估算自動(dòng)化測(cè)試工作量估算測(cè)試工作總量

估算測(cè)試工作日48-^48*414人192人口48.8+24.4+12227.5+34.1+4368.1/485.2人日265.6人日368.1人日92日估算測(cè)試周期2006年7月4日—2006年11月8日估算測(cè)試周期上表的數(shù)據(jù)表明，實(shí)施自動(dòng)化測(cè)試，在最好的情況下（不考慮學(xué)習(xí)曲線和需求變更）估算測(cè)試周期為2006估算測(cè)試周期為2006年7月4日?2006年11月8日，比預(yù)定計(jì)劃的項(xiàng)目開發(fā)完成時(shí)間晚2個(gè)月學(xué)習(xí)曲線、需求變更對(duì)工作量的影響根據(jù)項(xiàng)目管理的相關(guān)理論，學(xué)習(xí)曲線和需求變更將分別會(huì)增加30%的工作量，考