軟件測試自動化和軟件測試工具

1、25/25軟件測試自動化與軟件測試工具目錄 TOC o 1-3 h z u 一、軟件自動化測試基礎1、1 軟件自動化測試的產(chǎn)生隨著計算機日益廣泛的應用，計算機軟件越來越龐大和復雜，軟件測試的工作量也越來越大。 隨著人們對軟件測試工作的重視，大量的軟件測試自動化工具不斷涌現(xiàn)出來，自動化測試能夠滿足軟件公司想在最短的進度內充分測試其軟件的需求，一些軟件公司在這方面的投入，會對整個開發(fā)工作的質量、成本和周期帶來特不明顯的效果。1、2軟件自動化測試的概念軟件測試自動化確實是通過測試工具或其他手段，按照測試工程師的預定打算對軟件產(chǎn)品進行自動的測試，它是軟件測試的一個重要組成部分，能夠完成許多手工無法完成

2、或者難以實現(xiàn)的一些測試工作。正確、合理地實施自動化測試，能夠快速、全面地對軟件進行測試，從而提高軟件質量、節(jié)約經(jīng)費、縮短產(chǎn)品公布周期。自動化測試能夠替代大量手工測試工作，幸免重復測試，同時，它還能夠完成大量手工無法完成的測試工作，如并發(fā)用戶測試、大數(shù)據(jù)量測試、長時刻運行可靠性測試等。1、3當軟件開發(fā)過程中具有下列情況時首先需要考慮引入自動化測試：特不重要的測試涉及范圍專門廣的測試對要緊功能的測試容易自動化的測試專門快有回報的測試運行最頻繁的測試 二、自動化測試的作用和優(yōu)勢2、1概述使用測試工具的目的確實是要提高軟件測試的效率和軟件測試的質量。 通常，自動化測試的好處有：產(chǎn)生可靠的系統(tǒng)；改進測試

3、工作質量；減少測試工作量并加快測試進度。2、1、1產(chǎn)生可靠的系統(tǒng)測試工作的要緊目標一是找出缺陷，從而減少應用中的錯誤；另一個是確保系統(tǒng)的性能滿足用戶的期望。為了有效地支持這些目標，在開發(fā)生存周期的需求定義時期，當開發(fā)和細化需求時則應著手測試工作。使用自動化測試可改進所有的測試領域，包括測試程序開發(fā)、測試執(zhí)行，測試結果分析、故障狀況和報告生成。它還支持所有的測試時期，其中包括單元測試、集成測試、系統(tǒng)測試、驗收測試與回歸測試等。通過使用自動化測試可獲得的效果可歸納如下。（1）需求定義的改進（2）性能測試的改進（3）負載/壓力測試的改進（4）高質量測量與測試最佳化（5）改進與開發(fā)組人員之間的關系（6

4、）改進系統(tǒng)開發(fā)生存周期2、1、2改進測試工作質量通過使用自動化測試工具，可增加測試的深度與廣度，改進測試工作質量。其具體好處可歸納如下。（1）改進多平臺兼容性測試（2）改進軟件兼容性測試（3）改進一般測試執(zhí)行（4）使測試集中于高級測試問題（5）執(zhí)行手工測試無法完成的測試（6）重現(xiàn)軟件缺陷的能力（7）測試無需用戶干預2、1、3減少測試工作量并加快測試進度善于使用測試工具來進行測試，其節(jié)約時刻并加快測試工作進度是毋庸置疑的，這也是自動化測試的要緊優(yōu)點。 表7-1列出了采納手工和自動化測試方式完成各測試步驟所需工作量的基準對比結果。該測試涉及1750個測試程序和700個錯誤。表7-1中的數(shù)字反映出通

5、過測試自動化，測試工作總量減少75%。2、1、4友情提醒軟件自動化測試是軟件測試技術的一個重要的組成部分，引入自動化測試能夠提高軟件質量，節(jié)約經(jīng)費，縮短產(chǎn)品公布周期。 然而，測試工具本身的優(yōu)勢并不意味著使用測試工具就能成功，關鍵依舊在于使用工具的人。專門多剛擁有測試工具的人，經(jīng)常過分夸大工具的功效，并投入太高的期望。然而，工具只是提供了解決問題的一種手段而已。成功的測試自動化需有以下兩個關鍵的因素。 一個被專門好理解的同時穩(wěn)定的應用行為 一個專注的、有著豐富技能的測試組，同時被分配了足夠的時刻和資源三、自動化測試工具3、1軟件測試工具分類 依照測試方法的不同，自動化測試工具能夠分為白盒測試工具

6、、黑盒測試工具和測試治理工具。這些工具要緊是Mercury Interactive（MI）、Segue、IBM/Rational、Compuware和Empirix等公司的產(chǎn)品，而MI公司的產(chǎn)品占了主流。這些工具和軟件開發(fā)過程中相關活動的關系如圖1所示。圖1 測試工具與開發(fā)過程關系圖3、1、1白盒測試工具白盒測試工具一般是針對代碼進行測試，測試中發(fā)覺的缺陷能夠定位到代碼級。依照測試工具的工作原理的不同，白盒測試工具又能夠分為靜態(tài)測試工具和動態(tài)測試工具。(1)靜態(tài)測試工具靜態(tài)測試確實是在不執(zhí)行程序的情況下分析軟件的特性。因此，靜態(tài)測試工具一般是對代碼進行語法掃描，找出不符合編碼規(guī)范的地點，依照某

7、種質量模型評價代碼的質量，生成系統(tǒng)的調用關系圖等。靜態(tài)測試工具直接對代碼進行分析，不需要運行代碼，也不需要對代碼編譯鏈接、生成可執(zhí)行文件。靜態(tài)測試工具的代表有Telelogic公司的Logiscope軟件、PR公司的PRQA軟件。(2)動態(tài)測試工具動態(tài)測試直接執(zhí)行被測程序以提供測試活動。因此，動態(tài)測試工具需要實際運行被測系統(tǒng)，并設置斷點，向代碼生成的可執(zhí)行文件中插入一些監(jiān)測代碼，掌握斷點這一時刻程序運行數(shù)據(jù)。動態(tài)測試工具的代表有Compuware公司的DevPartner軟件、Rational公司的Purify軟件。常見的白盒測試工具，如表2、表3所示。表2 Parasoft白盒測試工具集工具

8、名支持語言環(huán)境簡介JtestJava代碼分析和動態(tài)類、組件測試JcontractJava實時性能監(jiān)控以及分析優(yōu)化C+ TestC，C+代碼分析和動態(tài)測試CodeWizardC，C+代碼靜態(tài)分析Insure+C，C+實時性能監(jiān)控以及分析優(yōu)化.test.Net代碼分析和動態(tài)測試表3 Compuware白盒測試工具集工具名支持語言環(huán)境簡介BoundsCheckerC+，DelphiAPI和OLE錯誤檢查、指針和泄露錯誤檢查、內存錯誤檢查TrueTimeC+，Java，Visual Basic代碼運行效率檢查、組件性能的分析FailSafeVisual Basic自動錯誤處理和恢復系統(tǒng)JcheckMS

9、 Visual J+圖形化的線程和事件分析工具TureCoverageC+，Java，Visual Basic函數(shù)調用次數(shù)、所占比率統(tǒng)計以及穩(wěn)定性跟蹤SmartCheckVisual Basic函數(shù)調用次數(shù)、所占比率統(tǒng)計以及穩(wěn)定性跟蹤CodeReviewVisual Basic自動源代碼分析工具3、1、2黑盒測試工具黑盒測試工具適用于系統(tǒng)功能測試和性能測試，包括功能測試工具、負載測試工具、性能測試工具等。黑盒測試工具的一般原理是利用腳本的錄制（Record）/ 回放（Playback），模擬用戶的操作，然后將被測系統(tǒng)的輸出記錄下來同預先給定的標準結果比較。黑盒測試工具能夠大大減輕黑盒測試的工作

10、量，在迭代開發(fā)的過程中，能夠專門好地進行回歸測試。黑盒測試工具的代表有Rational公司的TeamTest、Compuware公司的QACenter。常見的黑盒功能測試工具，如表4所示。表4 常見黑盒功能測試工具工具名公司名官方站點WinRunnerMercury InteractiveAstra QuicktestMercury InteractiveLoadRunnerMercury InteractiveRobotIBM/Rational/software/rational/TeamTestIBM/Rational/software/rational/QARunCompuwareQAL

11、oadCompuwareSilkTestSegue SoftwareSilkPerformerSegue Softwaree-TestEmpirixe-LoadEmpirixWASMSWebLoadRadviewOpenSTAOpenSTA3、1、3測試治理工具測試治理工具用于對測試進行治理。一般而言，測試治理工具負責對測試打算、測試用例、測試實施進行治理、對產(chǎn)品缺陷跟蹤治理、產(chǎn)品特性治理等。測試治理工具的代表有Rational公司的TeamManager、Compuware公司的TrackRecord、Mercury Interactive公司的TestDirector等軟件。除此之外，還有

12、專用于性能測試的工具包括有：Radview公司的WebLoad；Microsoft公司的WebStress等工具；針對數(shù)據(jù)庫測試的TestBytes；對應用性能進行優(yōu)化的EcoScope等工具。3、2自動化測試工具一覽3、2、1 Rational RobotRational Robot能夠對在各種獨立開發(fā)環(huán)境（IDE）中開發(fā)的應用程序，創(chuàng)建、修改并執(zhí)行功能測試、分布式功能測試、回歸測試以及整合測試，記錄并回放能識不業(yè)務應用程序對象的測試腳本，能夠快速、有效地跟蹤、報告與質量保證測試相關的所有信息，并將這些信息繪制成圖表。Robot的回歸測試與Purify結合使用完成可靠性測試，與PureCov

13、erage結合使用完成代碼覆蓋計算，與Rational Quantify結合使用完成應用程序性能測試。Rational Robot是一個面向對象的軟件測試工具，要緊針對Web、ERP和C/S進行功能自動化測試。能夠降低在功能測試上的人力和物力的投入成本和風險，測試包括可見的和不可見的對象。Rational Robot能夠開發(fā)運用三種測試腳本：用于功能測試的GUI腳本、用于性能測試的VU以及VB腳本。Rational Robot具有以下功能和作用：執(zhí)行完整的功能測試。記錄和回放遍歷應用程序的腳本以及測試在查證點處的對象狀態(tài)。執(zhí)行完整的性能測試。通過Rational Robot與Rational

14、Test Manager的協(xié)作能夠記錄和回放腳本，這些腳本關心斷定多客戶系統(tǒng)在不同負載情況下是否能夠按照用戶定義的標準運行。在SQA Basic、VB、VU多種環(huán)境下創(chuàng)建并編輯腳本。Rational Robot編輯器提供有色代碼命令，并在集成腳本開發(fā)時期提供鍵盤關心。測試微軟IDE環(huán)境下VB、HTML、Java、Oracle Forms、PowerBuilder、Delphi、開發(fā)的應用程序以及用戶界面上看不見的那些對象。腳本回放時期收集應用程序診斷信息。Rational Robot與Rational Purify Quantify PureCoverage集成，能夠通過診斷工具回放腳本，并在

15、日志中查看結果。同Rational其他組件或產(chǎn)品集成使用Robot3、2、2 WinRunnerMercury Interactive公司的WinRunner是一種企業(yè)級的用于檢驗應用程序是否如期運行的功能性測試工具。通過自動捕獲，檢測和模擬用戶交互的操作，WinRunner能夠辨認缺陷同時確保那些跨越多個應用程序和數(shù)據(jù)庫的業(yè)務流程在初次公布就能幸免出現(xiàn)故障，同時保持長期可靠運行。WinRunner的特點在于:與傳統(tǒng)的手工測試相比，它能快速、批量地完成功能點測試；能針對相同測試腳本，執(zhí)行相同的動作，從而消除人工測試所帶來的理解上的誤差；此外，它還能重復執(zhí)行相同動作，測試工作中最枯燥的部分可交由

16、機器完成；它支持程序風格的測試腳本，一個高素養(yǎng)的測試工程師能借助它完成流程極為復雜的測試，通過使用通配符、宏、條件語句、循環(huán)語句等，還能較好地完成測試腳本的重用；它針關于大多數(shù)編程語言和Windows技術，提供了較好的集成、支持環(huán)境，這對基于Windows平臺的應用程序實施功能測試而言帶來了極大的便利。其要緊功能：(1)輕松創(chuàng)建測試(2)插入檢查點(3)檢驗數(shù)據(jù)(4)增強測試 (5)運行測試(6)分析結果(7)維護測試3、2、3 LoadRunnerMercury Interactive的LoadRunner是一種適用于企業(yè)級系統(tǒng)、各種體系架構的自動負載測試工具，通過模擬實際用戶的操作行為和實

17、行實時性能監(jiān)測，關心更快地查找和發(fā)覺問題，預測系統(tǒng)行為并優(yōu)化系統(tǒng)性能。通過使用LoadRunner，企業(yè)能最大限度地縮短測試時刻，優(yōu)化性能和加速應用系統(tǒng)的公布周期。此外，LoadRunner能支持廣泛的協(xié)議和技術，為一些專門環(huán)境提供專門的解決方案。業(yè)界認為LoadRunner的功能與QALoad相比不相上下。LoadRunner要緊功能如下：輕松創(chuàng)建虛擬用戶。LoadRunner能夠記錄下客戶端的操作，并以腳本的方式保存，然后建立多個虛擬用戶，在一臺或幾臺主機上模擬上百或上千虛擬用戶同時操作的情景，同時記錄下各種數(shù)據(jù)，并依照測試結果分析系統(tǒng)瓶頸，輸出各種定制壓力測試報告。使用Virtual U

18、ser Generator，能簡便地創(chuàng)立起系統(tǒng)負載。該引擎能生成虛擬用戶，以虛擬用戶的方式模擬真有用戶的業(yè)務操作行為。利用虛擬用戶，在不同的操作系統(tǒng)的機器上同時運行上萬個測試，從而反映出系統(tǒng)真正的負載能力。創(chuàng)建真實的負載。LoadRunner能建立持續(xù)且循環(huán)的負載，限定負載又能治理和驅動負載測試方案，而且能夠利用日程打算服務來定義用戶在什么時候訪問系統(tǒng)以產(chǎn)生負載，使測試過程高度自動化。定位性能問題。LoadRunner內含集成的實時監(jiān)測器，在負載測試過程的任何時候，能夠觀看到應用系統(tǒng)的運行性能，實時顯示交易性能數(shù)據(jù)和其他系統(tǒng)組件的實時性能。分析結果以精確定位問題所在。測試完畢后，LoadRun

19、ner收集、匯總所有的測試數(shù)據(jù)，提供高級的分析和報告工具，以便迅速查找到問題并追溯原由。此外，LoadRunner完全支持基于Java平臺應用服務器Enterprise Java Beans的負載測試，支持無限應用協(xié)議WAP和I-mode，支持Media Stream應用，能夠記錄和重放任何流行的多媒體數(shù)據(jù)流格式來診斷系統(tǒng)的性能問題，查找原由、分析數(shù)據(jù)的質量。3、2、4 Parasoft C+ TestParasoft C+ Test是Parasoft公司開發(fā)的專門針對C/C+的源程序代碼進行自動化單元測試的工具，能夠自動測試任何C/C+函數(shù)、類，自動生成測試用例、測試驅動函數(shù)或樁函數(shù)，在自動

20、化的環(huán)境下完成單元測試，其單元級的測試覆蓋率能夠達到100%。Parasoft C+ Test能夠自動測試代碼構造（白盒測試）、測試代碼的功能性（黑盒測試）和維護代碼的完整性（回歸測試）。3、2、5 QACenterQACenter是黑盒測試工具，它能夠關心測試人員創(chuàng)建一個快速、可重用的測試過程。該測試工具能夠自動關心治理測試過程，快速分析和調試程序，能夠針對回歸測試、強度測試、單元測試、并發(fā)測試、集成測試、移植測試容量和負載測試建立測試用例，自動執(zhí)行測試并產(chǎn)生相應的測試文檔。QACenter測試工具要緊包括以下幾個模塊：(1) QARun。QARun要緊用于客戶端/服務器系統(tǒng)中對客戶端的功能

21、測試。在功能測試中，要緊包括對系統(tǒng)的GUI進行測試以及對客戶端事務邏輯進行測試。QARun的測試實現(xiàn)方法是通過鼠標移動、鍵盤點擊活動操作被測系統(tǒng)，得到相應的腳本，并對腳本進行編輯和調試。在記錄過程中針對被測系統(tǒng)中所包含的功能點進行基線的建立，以確實是講在插入檢查點的同時建立期望輸出值。一般情況下，檢查點在QARun提示目標系統(tǒng)執(zhí)行一系列事件之后被執(zhí)行，檢查點能夠確定實際結果與期望結果是否相同。(2) QALoad。QALoad是強負載下應用的性能測試工具。它要緊檢測系統(tǒng)負載能力，支持范圍廣、測試內容多。該工具能夠關心測試人員、開發(fā)人員和系統(tǒng)治理人員關于分布式系統(tǒng)的被測程序進行有效的負載測試。負

22、載測試能夠模擬大量的用戶并發(fā)活動，從而發(fā)覺大用戶負載下對C/S系統(tǒng)的阻礙。(3) Eco Tools。Eco Tools是可用性治理工具，在性能測試后完成系統(tǒng)的可用性分析。有專門多因素阻礙系統(tǒng)的可用性，用戶桌面、網(wǎng)絡、服務器、數(shù)據(jù)庫環(huán)境以及各種子組件都能鏈接在一起，任何一個組件都可能造成整個系統(tǒng)對最終用戶的不可使用問題。Eco Tools工具包括的各種Agents能夠監(jiān)控服務器資源，特不是Windows NT、UNIX系統(tǒng)、Oracle、Sybase、SQL Server系統(tǒng)和其他的應用軟件系統(tǒng)。(4) Eco Scope。Eco Scope是性能優(yōu)化工具。它能解決在大型企業(yè)復雜環(huán)境下分析與測

23、量應用系統(tǒng)性能的難題。通過提供應用的性能級不及其支撐架構的信息，關心部門就如何提高應用系統(tǒng)的性能提出多方面的決策方案。Eco Scope應用綜合軟件探測技術無干擾地監(jiān)控網(wǎng)絡，能夠自動跟蹤LAN/WAN上的應用流量，采集詳細的性能指標，并將這些信息關聯(lián)到交互界面中，自動識不低性能的應用系統(tǒng)、受阻礙的服務器與用戶性能低下的程度。用戶界面也能以一種智能的方式訪問大量的Eco Scope數(shù)據(jù)。因此能較快地找到性能問題的根源。(5) QADirector。QADirector是測試的組織設計和創(chuàng)建以及治理工具。它提供應用系統(tǒng)治理框架，使開發(fā)者和QA工作組將所有測試時期組合在一起，從而最有效地使用現(xiàn)有測試

24、資料、測試方法和應用測試工具。QADirector使用戶能夠自動地組織測試資料，建立測試過程，以便對多種情況和條件進行測試。按正確的次序執(zhí)行多個測試腳本，記錄、跟蹤、分析和記錄測試結果，并與多個并發(fā)用戶共享測試信息。3、2、6 WebLoadWebLoad是RadView公司推出的一個性能測試和分析工具，它讓Web應用程序開發(fā)者自動執(zhí)行壓力測試；WebLoad通過模擬真有用戶的操作，生成壓力負載來測試Web Application的性能。用戶創(chuàng)建的是基于JavaScript的測試腳本，稱為議程Agenda，用來模擬客戶的行為，通過執(zhí)行該腳本來衡量Web應用程序在真實環(huán)境下的性能。如有需要能夠在

25、做負載測試的同時，使用服務器監(jiān)控工具對服務器端的內容進行記錄，那樣使負載測試更加全面。WebLoad的性能測試流程：打算一個負載（壓力）會話Load Session，用WebLoad Console創(chuàng)建Load Templates，將一系列壓力事件定義到一個壓力會話Load Session里。創(chuàng)建測試議程Agenda。用WebLoad Visual AAT創(chuàng)建測試議程Agenda。創(chuàng)建壓力模板Load Templates。可用WebLoad Wizard創(chuàng)建壓力模板，創(chuàng)建一個預期性能參數(shù)的壓力測試模板或手工創(chuàng)建壓力模板。輸出測試報告并分析測試結果：實時查看測試結果；創(chuàng)建集成報告；用WebLoa

26、d Reporter分析測試結果。3、2、7 Web Application Stress (WAS) Tool微軟的WAS同意以不同的方式創(chuàng)建測試腳本：能夠通過使用掃瞄器走一遍站點來錄制腳本，能夠從服務器的日志文件導入URL，或者從一個網(wǎng)絡內容文件夾選擇一個文件。因此，也能夠手工地輸入URL來創(chuàng)建一個新的測試腳本。WAS能夠使用任何數(shù)量的客戶端運行測試腳本，全部都有一個中央主客戶端來操縱。在每一個測試開始前，主客戶機透明地執(zhí)行以下任務：與其他所有的客戶機通信。把測試數(shù)據(jù)分發(fā)給所有的客戶端。在所有客戶端同時初始化測試。從所有的客戶端收集測試結果和報告。3、2、8 TestDirectorTestDirector是一套測試治理軟件。能夠使用它來規(guī)范科學的測試治理流程，建立起針對項目的測試方案和打算，消除組織機構間、地域間的障礙，讓測試人員、開發(fā)人員或其他的IT人員通過一個中央數(shù)據(jù)倉庫，在不同地點就能交互測試信息。TestDirector將測試過程流水化從測試需求治理，到測試打算，測試日程安排，測試執(zhí)行到出錯后的錯誤跟蹤僅在一個基于掃瞄器的應用中便可完成，而不需要每個客戶端都安裝一套客戶端程序。需求治理。