自動(dòng)化測試工具的比較和選擇

測試工具的比較和選擇（僅供內(nèi)部使用）版本號(hào)：V0.1保密等級：■秘密口機(jī)密□絕密編制：審核：

修訂記錄日期版本號(hào)描述作者2010-9-110.1初稿完成目錄TOC\o"1-5"\h\z\o"CurrentDocument"白盒測試工具集 2\o"CurrentDocument"黑盒測試工具集 3\o"CurrentDocument"測試管理工具典型產(chǎn)品比較 4\o"CurrentDocument"商業(yè)化自動(dòng)測試工具比較 6\o"CurrentDocument"測試工具的選擇 7\o"CurrentDocument"測試工具在實(shí)際中運(yùn)用的瓶頸 8\o"CurrentDocument"總結(jié) 9關(guān)鍵詞：白盒測試工具集、黑盒測試工具集、測試管理工具集、自動(dòng)化測試工具集摘要：隨著軟件測試的地位逐步提高，測試的重要性逐步顯現(xiàn)，測試工具的應(yīng)用已經(jīng)成為了普遍的趨勢。目前用于測試的工具已經(jīng)比較多了，這些測試工具一般可分為：白盒測試工具、黑盒測試工具、性能測試工具，另外還有用于測試管理（測試流程管理、缺陷跟蹤管理、測試用例管理）的工具?？偟膩碚f，測試工具的應(yīng)用可以提高測試的質(zhì)量、測試的效率。但是在選擇和使用測試工具的時(shí)候，應(yīng)該看到，在測試過程中，并不是所有的測試工具都適合我們使用，同時(shí)，有了測試工具、會(huì)使用測試工具并不等于測試工具真正能在測試中發(fā)揮作用。因此，要發(fā)揮測試工具的價(jià)值必須根據(jù)公司的實(shí)際情況合理選擇測試工具，本文擬從測試工具的選擇和使用方面著手，講述一點(diǎn)個(gè)人的心得，供公司參考白盒測試工具集白盒測試工具一般是針對代碼進(jìn)行測試，測試中發(fā)現(xiàn)的缺陷可以定位到代碼級，根據(jù)測試工具原理的不同，又可以分為靜態(tài)測試工具和動(dòng)態(tài)測試工具。公司目前的測試水平尚不具備使用白盒測試工具進(jìn)行代碼測試的能力，這里只作簡單介紹靜態(tài)測試工具靜態(tài)測試工具直接對代碼進(jìn)行分析，不需要運(yùn)行代碼，也不需要對代碼編譯鏈接，生成可執(zhí)行文件。靜態(tài)測試工具一般是對代碼進(jìn)行語法掃描，找出不符合編碼規(guī)范的地方，根據(jù)某種質(zhì)量模型評價(jià)代碼的質(zhì)量，生成系統(tǒng)的調(diào)用關(guān)系圖等。靜態(tài)測試工具的代表有Telelogic公司的Logiscope軟件、PR公司的PRQA軟件。動(dòng)態(tài)測試工具動(dòng)態(tài)測試工具與靜態(tài)測試工具不同，動(dòng)態(tài)測試工具的一般采用”插樁”的方式，向代碼生成的可執(zhí)行文件中插入一些監(jiān)測代碼，用來統(tǒng)計(jì)程序運(yùn)行時(shí)的數(shù)據(jù)。其與靜態(tài)測試工具最大的不同就是動(dòng)態(tài)測試工具要求被測系統(tǒng)實(shí)際運(yùn)行。動(dòng)態(tài)測試工具的代表有Compuware公司的DevPartner軟件、Rational公司的Purify系列等。Parasoft白盒測試工具集工具名支持語言環(huán)境簡介JtestJava代碼分析和動(dòng)態(tài)類.組件測試? |JcontractJava實(shí)時(shí)性能監(jiān)控以及分析憂化~~C++\6stjCjC++代碼分析和動(dòng)態(tài)測試CodeWizardCjc++代碼靜翌■析Insure++實(shí)時(shí)性能監(jiān)控以及舂析憂化.test.Net代碼喬析和動(dòng)態(tài)測試Compuware白盒測試工具集工具名支持語言環(huán)境簡介BoundsCheckerc++,DelphiAPI和OLE錯(cuò)誤檢查、指針和泄露錯(cuò)誤檢查、內(nèi)存錯(cuò)誤檢查TrueTimeC++JJavaJVisualBasid代碼運(yùn)行效率檢查七組件性能的分析FailsafeVisual自動(dòng)錯(cuò)誤處理和恢復(fù)系統(tǒng).1checkVisualJ++圖形化的純種和事件分析工具TrueG^yerage.：C+H-Java^isualBasitj函數(shù)調(diào)晦數(shù).、所占比率統(tǒng)計(jì)以及穩(wěn)定性跟蹤SmartCh^ckVisualBasr^:函數(shù)調(diào)用被數(shù)、所占比率統(tǒng)計(jì)以及穩(wěn)定性跟蹤.CodeReviewVisualBasic自動(dòng)源代碼分析工具Xunit白盒測試工具集工具名支持語言環(huán)境官方站點(diǎn)AunitAdahttp://www.libre.act-europe.frCppUnitC++C（j）mUnitVB；.COMhttp:/7comunit.sourceforge,netDunitDelphihttp:^/dunit.sourceforge,netDotUnit.Nethttp://dotunit,HttpUnitWeb/cgi/wiki^HttpUnitHtmlUnitWebhttp://htmlunit.sourceforge,netJtestJavaJ.sUnit（Hieatt5<,Javascript1.4UA±PhpUnitPhphttp://phpunit.PeriUnitPerlhttp://perlunit/$our^XmlUnitXm!http:5A黑盒測試工具集黑盒測試工具適用于黑盒測試的場合，黑盒測試工具包括功能測試工具和性能測試工具。黑盒測試工具的一般原理是利用腳本的錄制(Record)/回放(Playback)，模擬用戶的操作，然后將被測系統(tǒng)的輸出記錄下來同預(yù)先給定的標(biāo)準(zhǔn)結(jié)果比較。黑盒測試工具可以大大減輕黑盒測試的工作量，在迭代開發(fā)的過程中，能夠很好地進(jìn)行回歸測試黑盒測試工具的代表有Rational公司的TeamTest、Robot，Compuware公司的QACenter，另夕卜，模板編號(hào)：模板版本：V1.0Beta1.0第3頁共12頁

專用于性能測試的工具包括有Radview公司的WebLoad、Microsoft公司的WebStress等工具。主流黑盒功能測試工具集工具名哲司名官方站點(diǎn)WFnRunnerMercuryhttp:：/,?www.mer'curyinteractiv.e.--cdmAstraQuicktestMercuryhttp://w .RCibotIBMRationalQARunCompuwarehttp://wwW.compuware.:tom^ilkTestS.eguehttp>//www：,segue,come-Te^tEmpirix主流黑盒性能測試工具集.工具名公司名官方站點(diǎn)WAS 1http7/www.miero$oft.^mLoadRunnerMercuryhttp://wW.me「如ryinteractiye.somAstraQuietestMei^curyhttp:Z/www.mercuryinteract!Qafoad.Compuwarehttp://www^mpirix^omTeamTest:SiteLdaIBMRationalhttp://ww^.rational,comW-ebloadRadview/-.http:即'ww.w.radvieSiIkperformerSeguehttp://顧w.e-LoadEmpirUhttp://www；OpenSTAOpenSTAhttp://www：.open^測試管理工具典型產(chǎn)品比較測試管理工具用于對測試進(jìn)行管理。一般而言，測試管理工具對測試計(jì)劃、測試用例、測試實(shí)施進(jìn)行管理，并且測試管理工具還包括對缺陷的跟蹤管理。測試管理工具的代表有Rational公司的TestManager、Compureware公司的TrackRecord等軟件。模板編號(hào)：模板版本：V1.0Beta1.0第4頁共12頁工具名稱Te：stdirectorCl^arQuestBMSBugzilla浦程定制YYNY查詢功能定制Y iYVY功能域定制YYY筍用戶權(quán)限分吸管理YYV Emai通知￥￥Y構(gòu)架模式 :B/SC/S.B/SB/SB/S報(bào)表定制功能Y強(qiáng)』集成CrystalReport有標(biāo)準(zhǔn)報(bào)表和高綴報(bào)表，定制功^不夠￥-■支持平臺(tái)WindowsWindows^UnixWindows：-Linux^Fre'eBS支持?jǐn)?shù)據(jù)庫Oracle,Access,rSQLServerWOracle,M$Acbess,SQLServerSQLS.erver^MSDMySQL安裝配置的復(fù)雜度簡單有些復(fù)雜容易不復(fù)雜許可證費(fèi)用昂貴昂貴適中免費(fèi)售后服務(wù)國內(nèi)有多家代理公司提供相關(guān)服務(wù)在國內(nèi)有宏公司提供技木支持技術(shù)支持和服務(wù)體?系完備可自行修改源代碼與其他工具集成本身又是測試需求、測試案例管理工具，與winRunner,LoadRunner#^,并且具有多種主^CaseT具接口Add-In與rational公司的其它產(chǎn)品無縫集成￡；特別ClearCame配合.以可實(shí)現(xiàn)口口網(wǎng)的配直管理體■系M$VS§,Project開源配置管理工-RCVS公司背景世界主流測試軟件提供商已被IBM合并」世界著名軟件當(dāng)司微軟與上海市政府新成立的軟件企業(yè)世界著名開源晦

商業(yè)化自動(dòng)測試工具比較特性WinKunnerSilkT:e^t:Ete.ster易于安裝是 ?是是，不支持設(shè)菅代理服務(wù)等設(shè)置豪和腳磋離是a象聲明在單獨(dú)的intiude劉牛中，但是燙se腳本中運(yùn)有包含兩者部在學(xué)巳腳本的cage中to(j].baF海Id定制可以.無法定制toolbar,^定制頃JI的能成內(nèi)容無法定制操作系統(tǒng)Win.cipjy^Unt^Window.^y11哄，Windo^/暨器N^tScapeJENe^capeJENesfecapeJE支持潮.試對象HTML.DHTMLJava^ript^BS:cript^MLjJAVAapplets,Activ.Pd命g.fBuil燹fQefphj；TerminalEmulator^racfej.^AP,PeopleSoft,SiebelHTML,DHTML,Jav：aS^'「ipt,湊ML,Javaappsandapplets.,MFQ&或pra^,PowerBuilder,Delphi；：：&APJavaapp^'andappletsinfeunJWM.'HTMUDHTML,Jav.a^cri'p壕MFCj.VB,S3電,.巳Delpht,TerminalEmulator,Powfe^BuildeQ.Orad^.,Peopfesoft腳本有TSL第四代面向?qū)业哪_本語言4T竺套蟲C++提供可編程接口，用戶可使用標(biāo)準(zhǔn)語言擴(kuò)展可視制本;』口#政￡++」第日腳本調(diào)試功能強(qiáng)尤mCAC+H-Debuggerk/BADebugger^合Visu日1ScriptDebugg'er允訐數(shù)據(jù)驅(qū)動(dòng)的禎是 j是是自動(dòng)數(shù).據(jù)生成.支持..支持不支持游通過教據(jù)庫盅證贛據(jù)通過。DBC及本地教據(jù)庫連接§^Database-,testeraajODBC反用程序改正后的腳本維護(hù)直接If^GUImap更新inclUde丈件-自動(dòng)更新無需錄制J數(shù)據(jù)庫支持市場流行的教據(jù)庫市場流行的數(shù)據(jù)庫市場流行的數(shù)據(jù)庫無人看管下的自動(dòng)執(zhí)通iST^tdirector允許.允訐分布式測減控制洞Testdir&to.r^持支持支持自動(dòng)創(chuàng)建測試結(jié)果日志是 1是是非預(yù)期錯(cuò)誤的救復(fù)允許 1允許允許與測試管理工具接口Testdin^ctQff.'B^Case管理功能。suite?圖形吐沒計(jì)腳本執(zhí)行.集合」通過T熊tdirfe'dto濮計(jì)不支持通過Artestsuited計(jì)培訓(xùn)Onsite^publ^itraining有，提供kickofftrainin有，onsite^,publietraining技術(shù)支持曾獲遂菖陽STAR榮譽(yù)很好客戶對其評價(jià)iJjCg問筍|靈活的記賽方式，既可以1安使用沃毯計(jì)費(fèi)也可以按協(xié).技算*次使用費(fèi)提供floatingtiASnod^-l。黎ed兩種方式提fftFloating保及時(shí)就矛舊tked兩種方式僑格昂貴較貴_般Add-in收費(fèi)部分收費(fèi)不收費(fèi)不收鬢總論在全球的市場占有率較高，功能：，全面，艇格昂貴在國內(nèi)的推廣述處于起步橋洛號(hào)氐"土?、支持郵嘲被喝在金■ 融、證券、電子商務(wù)等領(lǐng)域有階段 中用□測試工具的選擇面對如此多的測試工具，對工具的選擇就成了一個(gè)比較重要的問題。我們在考慮選用工具的時(shí)候，建議從以下幾個(gè)方面來權(quán)衡和選擇。功能功能應(yīng)該是我們最關(guān)注的內(nèi)容，選擇一個(gè)測試工具首先就是看它提供的功能。當(dāng)然，這并不是說測試工具提供的功能越多就越好，在實(shí)際的選擇過程中，適用才是根本。事實(shí)上，目前市面上同類的軟件測試工具之間的基本功能都是大同小異，各種軟件提供的功能也大致相同，只不過有不同的側(cè)重點(diǎn)。除了基本的功能之外，以下的功能需求也可以作為選擇測試工具的參考：報(bào)表功能；測試工具生成的結(jié)果最終要由人進(jìn)行解釋，而且，查看最終報(bào)告的人員不一定對測試很熟悉，因此，測試工具能否生成結(jié)果報(bào)表，能夠以什么形勢提供報(bào)表是需要考慮的因素。測試工具的集成能力；測試工具的引入是一個(gè)長期的過程，應(yīng)該是伴隨著測試過程改進(jìn)而進(jìn)行的一個(gè)持續(xù)的過程。因此，測試工具的集成能力也是必須考慮的因素，這里的集成包括兩個(gè)方面的意思：首先，測試工具能否和開發(fā)工具進(jìn)行良好的集成；其次，測試工具能夠和其他測試工具進(jìn)行良好的集成。操作系統(tǒng)和開發(fā)工具的兼容性；測試工具可否跨平臺(tái)，是否適用于公司目前使用的開發(fā)工具，這些問題也是在選擇一個(gè)測試工具時(shí)必須考慮的問題。價(jià)格除了功能之外，價(jià)格就應(yīng)該是最重要的因素了。目前測試工具的價(jià)格普遍偏高，有的甚至是”天文數(shù)字”，在這方面只能建議公司先使用網(wǎng)上盜版或破解的工具，但是測試的準(zhǔn)確性得不到可靠得保證測試工具在實(shí)際中運(yùn)用的瓶頸許多引入測試軟件的公司并沒有能夠讓測試軟件發(fā)揮應(yīng)有的作用，其主要原因我總結(jié)為三個(gè)方面：沒有考慮到公司的實(shí)際情況，盲目引入測試工具首先要明確一點(diǎn)，并不是每種測試工具都適合公司目前的實(shí)際情況。一些公司懷著美好的愿望花了不小的代價(jià)引入測試工具，半年一年以后，測試工具卻成了擺設(shè)，究其原因，就是沒有能夠考慮公司的現(xiàn)實(shí)情況，不切實(shí)際地期望測試工具能夠改變公司的測試現(xiàn)狀，從而導(dǎo)致了失敗。建議：公司可以考慮先引入黑盒測試工具和測試管理工具。沒有形成一個(gè)良好的使用測試工具的環(huán)境換句話說，就是沒有能夠形成一種機(jī)制讓測試工具真正能夠發(fā)揮作用。例如，白盒測試工具的一般使用場合是在單元測試階段，而單元測試是由開發(fā)人員完成，如果沒