自動(dòng)測試和測試工具

第6章軟件自動(dòng)化測試基礎(chǔ)6.1自動(dòng)化測試基礎(chǔ)6.2軟件自動(dòng)化測試生存周期方法學(xué)6.3軟件自動(dòng)化測試生存周期方法學(xué)的應(yīng)用6.4軟件自動(dòng)化測試工具簡述本章教學(xué)目標(biāo)理論環(huán)節(jié)認(rèn)識(shí)與理解應(yīng)用軟件自動(dòng)化測試的基本概念認(rèn)識(shí)與理解軟件自動(dòng)化測試生存周期方法學(xué)及其應(yīng)用認(rèn)識(shí)軟件自動(dòng)化測試工具與測試平臺(tái)的獲取及引入常用軟件自動(dòng)化測試工具簡介實(shí)踐環(huán)節(jié)選定一個(gè)白盒自動(dòng)化測試工具，進(jìn)行初步學(xué)習(xí)和認(rèn)識(shí)選定一個(gè)黑盒自動(dòng)化測試工具，進(jìn)行初步學(xué)習(xí)和認(rèn)識(shí)選定一個(gè)負(fù)載自動(dòng)化測試工具，進(jìn)行初步學(xué)習(xí)和認(rèn)識(shí)6.1自動(dòng)化測試基礎(chǔ)6.1.1自動(dòng)化測試的意義6.1.2自動(dòng)化測試的定義和引入6.1.3自動(dòng)化測試的原理和方法6.1.4自動(dòng)化測試工具的作用及優(yōu)勢6.1.5自動(dòng)化測試的運(yùn)用Return6.1.1自動(dòng)化測試的意義通常，軟件測試的工作量很大（據(jù)統(tǒng)計(jì)，測試會(huì)占用到40%的開發(fā)時(shí)間；一些可靠性要求非常高的軟件，測試時(shí)間甚至占到開發(fā)時(shí)間的60%）。而測試中的許多操作是重復(fù)性的、非智力性的和非創(chuàng)造性的，并要求做準(zhǔn)確細(xì)致的工作，計(jì)算機(jī)就最適合于代替人工去完成這樣的任務(wù)。軟件自動(dòng)化測試是相對手工測試而存在的，主要是通過所開發(fā)的軟件測試工具、腳本等來實(shí)現(xiàn)，具有良好的可操作性、可重復(fù)性和高效率等特點(diǎn)。要理解為什么要進(jìn)行自動(dòng)化測試，可以從兩個(gè)方面考慮：一是手工測試的局限性；二是軟件自動(dòng)化測試所帶來的好處。手工測試的局限性通過手工測試無法做到覆蓋所有代碼路徑。簡單的功能性測試用例在每一輪測試中都不能少，而且具有一定的機(jī)械性、重復(fù)性，工作量往往較大。許多與時(shí)序、死鎖、資源沖突、多線程等有關(guān)的錯(cuò)誤，通過手工測試很難捕捉到。進(jìn)行系統(tǒng)負(fù)載、性能測試時(shí)，需要模擬大量數(shù)據(jù)或大量并發(fā)用戶等各種應(yīng)用場合時(shí)，很難通過于工測試來進(jìn)行。進(jìn)行系統(tǒng)可靠性測試時(shí)，需要模擬系統(tǒng)運(yùn)行10年、幾十年，以驗(yàn)證系統(tǒng)能否穩(wěn)定運(yùn)行，這也是手工測試無法模擬的。如果有大量（幾千）的測試用例，需要在短時(shí)間內(nèi)（1天）完成，手工測試幾乎不可能做到。對于小型項(xiàng)目，自動(dòng)測試可能用處不大，不值得去學(xué)習(xí)另外一種測試工具的使用方法。自動(dòng)化測試帶來的好處縮短軟件開發(fā)測試周期，可以讓產(chǎn)品更快投放市場。測試效率高，充分利用硬件資源。節(jié)省人力資源，降低測試成本。增強(qiáng)測試的穩(wěn)定性和可靠性。提高軟件測試的準(zhǔn)確度和精確度，增加軟件信任度。軟件測試工具使測試工作相對比較容易，但能產(chǎn)生更高質(zhì)量的測試結(jié)果。手工不能做的事情，自動(dòng)化測試能做，如負(fù)載、性能測試。軟件測試實(shí)行自動(dòng)化進(jìn)程，絕不是因?yàn)閰挓┝酥貜?fù)的測試工作，而是因?yàn)闇y試工作的需要，更準(zhǔn)確地說是回歸測試和系統(tǒng)測試的需要。6.1.2自動(dòng)化測試的定義和引入自動(dòng)化測試的定義：使用一種自動(dòng)化測試工具來驗(yàn)證各種軟件測試的需求，它包括測試活動(dòng)的管理與實(shí)施。在進(jìn)行自動(dòng)化測試前，首先要建立一個(gè)對軟件測試自動(dòng)化的認(rèn)識(shí)觀。軟件測試工具能提高測試效率、覆蓋率和可靠性等，自動(dòng)化測試雖然具有很多優(yōu)點(diǎn)，但它只是測試工作的一部分，是對手工測試的一種補(bǔ)充。自動(dòng)化測試絕不能代替手工測試，它們各有各自的特點(diǎn)，其測試對象和測試范圍都不一樣：在系統(tǒng)功能邏輯測試、驗(yàn)收測試、適用性測試、涉及物理交互性測試時(shí)，多采用黑盒測試的手工測試方法。自動(dòng)化測試的定義和引入（續(xù)）單元測試、集成測試、系統(tǒng)負(fù)載測試、性能測試、穩(wěn)定性測試、可靠性測試等比較適合采用自動(dòng)化測試。那種不穩(wěn)定軟件的測試、開發(fā)周期很短的軟件、一次性的軟件等不適合自動(dòng)化測試。工具本身并沒有想象力和靈活性，根據(jù)報(bào)道，自動(dòng)化測試只能發(fā)現(xiàn)15％的缺陷，而手工測試可以發(fā)現(xiàn)85％的缺陷。自動(dòng)化測試工具在進(jìn)行功能測試時(shí)，其準(zhǔn)確的含義是回歸測試工具，這時(shí)工具不能發(fā)現(xiàn)更多的新問題，但可以保證對已經(jīng)測試過部分的準(zhǔn)確性和客觀性。多數(shù)情況下，手工測試和自動(dòng)化測試應(yīng)該相結(jié)合，以最有效的方法來完成測試任務(wù)。自動(dòng)化測試的定義和引入（續(xù)）通常，當(dāng)軟件開發(fā)過程具有下列情況時(shí)，就需要考慮引入自動(dòng)化測試：（1）非常重要的測試；（2）涉及范圍很廣的測試；（3）對主要功能的測試；（4）容易自動(dòng)化的測試；（5）很快有回報(bào)的測試；（6）運(yùn)行最頻繁的測試；（7）測試個(gè)案的生成，包括測試輸入、測試輸出、測試操作指令等；（8）測試的執(zhí)行與控制，包括單機(jī)運(yùn)行和網(wǎng)絡(luò)多機(jī)分布式的運(yùn)行，在節(jié)假日的運(yùn)行，測試個(gè)案調(diào)用控制，測試對象、測試范圍與測試版本的控制等；（9）測試結(jié)果與標(biāo)準(zhǔn)輸出進(jìn)行對比；（10）不吻合預(yù)期的測試結(jié)果的分析、記錄、分類和報(bào)告，及總體測試狀況的統(tǒng)計(jì)及報(bào)表的產(chǎn)生。6.1.3自動(dòng)化測試的原理和方法軟件測試自動(dòng)化實(shí)現(xiàn)的基礎(chǔ)是可以通過設(shè)計(jì)的特殊程序模擬測試人員對計(jì)算機(jī)的操作過程、操作行為，或者類似于編譯系統(tǒng)那樣對計(jì)算機(jī)程序進(jìn)行檢查。軟件測試自動(dòng)化實(shí)現(xiàn)的原理和方法主要有：直接對代碼進(jìn)行靜態(tài)和動(dòng)態(tài)分析、測試過程的捕獲和回放、測試腳本技術(shù)、虛擬用戶技術(shù)和測試管理技術(shù)。（1）代碼分析

代碼分析類似于高級(jí)編譯系統(tǒng)，一般針對不同的高級(jí)語言去構(gòu)造分析工具，在工具中定義類、對象、函數(shù)、變量等定義規(guī)則、語法規(guī)則；在分析時(shí)對代碼進(jìn)行語法掃描，找出不符合編碼規(guī)范的地方；根據(jù)某種質(zhì)量模型評(píng)價(jià)代碼質(zhì)量，生成系統(tǒng)的調(diào)用關(guān)系圖等。自動(dòng)化測試的原理和方法（續(xù)）（2）捕獲和回放

代碼分析是一種白盒測試的自動(dòng)化方法，捕獲和回放則是一種黑盒測試的自動(dòng)化方法。捕獲是將用戶每一步操作都記錄下來。這種記錄的方式有兩種：程序用戶界面的像素坐標(biāo)或程序顯示對象（窗口、按鈕、滾動(dòng)條等）的位置，以及相對應(yīng)的操作、狀態(tài)變化或是屬性變化。所有的記錄轉(zhuǎn)換為一種腳本語言所描述的過程，以模擬用戶的操作?；胤艜r(shí)，將腳本語言所描述的過程轉(zhuǎn)換為屏幕上的操作，然后將被測系統(tǒng)的輸出記錄下來同預(yù)先給定的標(biāo)準(zhǔn)結(jié)果比較。這可以大大減輕黑盒測試的工作量，在迭代開發(fā)的過程中，能夠很好地進(jìn)行回歸測試。

自動(dòng)化測試的原理和方法（續(xù)）關(guān)于自動(dòng)化測試中的“錄制—回放”技術(shù)目前的自動(dòng)化負(fù)載測試解決方案幾乎都是采用“錄制-回放”的技術(shù)。所謂的“錄制-回放”技術(shù)，就是先由手工完成一遍需要測試的流程，同時(shí)由計(jì)算機(jī)記錄下這個(gè)流程期間客戶端和服務(wù)器端之間的通信信息，這些信息通常是一些協(xié)議和數(shù)據(jù)，并形成特定的腳本程序(Script)。然后在系統(tǒng)的統(tǒng)一管理下同時(shí)生成多個(gè)虛擬用戶，并運(yùn)行該腳本，監(jiān)控硬件和軟件平臺(tái)的性能，提供分析報(bào)告或相關(guān)資料。這樣，通過幾臺(tái)機(jī)器就可以模擬出成百上千的用戶對應(yīng)用系統(tǒng)進(jìn)行負(fù)載能力的測試。自動(dòng)化測試的原理和方法（續(xù)）（3）腳本技術(shù)

腳本是一組測試工具執(zhí)行的指令集合，也是計(jì)算機(jī)程序的一種形式。腳本可以通過錄制測試的操作產(chǎn)生，然后再做修改，這樣可以減少腳本編程的工作量。當(dāng)然，也可以直接用腳本語言編寫腳本。腳本技術(shù)可以分為以下幾類：線性腳本——是錄制手工執(zhí)行的測試用例得到的腳本。結(jié)構(gòu)化腳本——類似于結(jié)構(gòu)化程序設(shè)計(jì)，具有各種邏輯結(jié)構(gòu)（順序、分支、循環(huán)），而且具有函數(shù)調(diào)用功能。共享腳本——是指某個(gè)腳本可被多個(gè)測試用例使用，即腳本語言允許一個(gè)腳本調(diào)用另一個(gè)腳本。數(shù)據(jù)驅(qū)動(dòng)腳本——將測試輸入存儲(chǔ)在獨(dú)立的數(shù)據(jù)文件中。關(guān)鍵字驅(qū)動(dòng)腳本——是數(shù)據(jù)驅(qū)動(dòng)腳本的邏輯擴(kuò)展。6.1.4自動(dòng)化測試工具的作用及優(yōu)勢軟件測試自動(dòng)化通常借助測試工具進(jìn)行。測試工具可以進(jìn)行部分的測試設(shè)計(jì)、實(shí)現(xiàn)、執(zhí)行和比較的工作。部分的測試工具可以實(shí)現(xiàn)測試用例的自動(dòng)生成，但通常的工作方式為人工設(shè)計(jì)測試用例，使用工具進(jìn)行用例的執(zhí)行和比較。如果采用自動(dòng)比較技術(shù)，還可以自動(dòng)完成測試用例執(zhí)行結(jié)果的判斷，從而避免人工比對存在的疏漏問題。自動(dòng)化測試工具的作用：（1）確定系統(tǒng)最優(yōu)的硬件配置。（2）檢查系統(tǒng)的可靠性。（3）檢查系統(tǒng)硬件和軟件的升級(jí)情況。（4）評(píng)估新產(chǎn)品。軟件測試自動(dòng)化的實(shí)施過程熟悉、分析測試用例把已有的測試用例規(guī)類，寫成比較簡單的測試自動(dòng)化計(jì)劃書開始自動(dòng)化測試程序的編寫不斷完善自動(dòng)化測試系統(tǒng)測試自動(dòng)化是一項(xiàng)龐大的工程，在真正動(dòng)手之前，必須嘗試把所有的因素及可能性研究一遍，然后制定方案，因?yàn)榇朔桨敢坏┐_定，日后修改要付出很大代價(jià)，浪費(fèi)許多時(shí)間和人力。自動(dòng)化測試工具的作用及優(yōu)勢（續(xù)）自動(dòng)化測試工具的優(yōu)勢主要體現(xiàn)在以下幾個(gè)方面：（1）記錄業(yè)務(wù)流程并生成腳本程序的能力。（2）對各種網(wǎng)絡(luò)設(shè)備（客戶機(jī)或服務(wù)器、其它網(wǎng)絡(luò)設(shè)備）的模仿能力。（3）用有限的資源生成高質(zhì)量虛擬用戶的能力。（4）對于整個(gè)軟件和硬件系統(tǒng)中各個(gè)部分的監(jiān)控能力。（5）對于測試結(jié)果的表現(xiàn)和分析能力。6.1.5自動(dòng)化測試的運(yùn)用測試用例（TestCase，測試個(gè)案）的生成測試的執(zhí)行與控制測試結(jié)果與標(biāo)準(zhǔn)輸出的對比不吻合測試結(jié)果的分析處理測試狀態(tài)的統(tǒng)計(jì)和報(bào)表的生成自動(dòng)化測試與開發(fā)中產(chǎn)品每日構(gòu)建的配合采用自動(dòng)化比較技術(shù)6.2軟件自動(dòng)化測試生存周期方法學(xué)自動(dòng)化測試生存周期方法學(xué)1.自動(dòng)化測試決定2.測試工具獲取3.自動(dòng)化測試引入過程4.測試計(jì)劃、設(shè)計(jì)與開發(fā)5.測試執(zhí)行與管理6.測試評(píng)審與評(píng)估圖自動(dòng)化測試生存周期方法學(xué)結(jié)構(gòu)軟件自動(dòng)化測試生存周期方法學(xué)（續(xù)）采用自動(dòng)化測試方法的確認(rèn)自動(dòng)化測試工具的獲取自動(dòng)化測試的引入階段

——包括測試過程分析和測試工具的考查。測試計(jì)劃與測試設(shè)計(jì)

——包括制訂測試計(jì)劃、建立測試環(huán)境、測試設(shè)計(jì)和設(shè)計(jì)開發(fā)。測試執(zhí)行與管理測試活動(dòng)評(píng)審與評(píng)估6.3自動(dòng)化測試生存周期方法的應(yīng)用自動(dòng)化測試生存周期方法學(xué)1.自動(dòng)化測試決定2.測試工具獲取3.自動(dòng)化測試引入過程4.測試計(jì)劃、設(shè)計(jì)與開發(fā)5.測試執(zhí)行與管理6.測試評(píng)審與評(píng)估A.系統(tǒng)生存周期過程評(píng)估與改進(jìn)F.生成維護(hù)階段C.小型工具先導(dǎo)/原型D.系統(tǒng)設(shè)計(jì)與開發(fā)階段B.業(yè)務(wù)分析與需求階段E.組裝與測試階段建立正確的自動(dòng)化測試目標(biāo)目前，軟件自動(dòng)化測試還不能解決所有的測試問題，因此，需要建立正確的自動(dòng)化測試目標(biāo)。測試計(jì)劃產(chǎn)生：主要靠測試工程師與軟件生產(chǎn)質(zhì)量保證專家的合作，自動(dòng)化工具只能起到一定的輔助作用。一種測試工具不完全適用于所有測試自動(dòng)測試不一定減輕工作量測試工具不一定易于使用自動(dòng)化測試的普遍應(yīng)用存在局限測試覆蓋率不會(huì)達(dá)到百分之百測試自動(dòng)化限制測試自動(dòng)化可以帶來非常明顯的收益，但也有以下限制：不能取代手工測試手工測試比自動(dòng)測試發(fā)現(xiàn)的缺陷更多對測試質(zhì)量的依賴性極大測試自動(dòng)化可能會(huì)制約軟件開發(fā)。工具本身并無想象力另外，人工測試比測試工具更優(yōu)越的另一個(gè)方面是可以處理意外事件。雖然工具也能處理部分異常事件，但是對真正的突發(fā)事件和不能由軟件解決的問題就無能為力。6.4軟件自動(dòng)化測試工具簡述6.4.1自動(dòng)化測試工具的特征6.4.2自動(dòng)化測試工具的分類6.4.3選擇自動(dòng)化測試工具6.4.4常用測試工具概要Return6.4.1自動(dòng)化測試工具的特征支持腳本化語言(ScriptingLanguage)對程序界面中對象的識(shí)別能力支持函數(shù)的可重用支持外部函數(shù)庫抽象層—將程序界面中的對象實(shí)體映射成邏輯對象分布式測試(DistributedTest)的支持支持?jǐn)?shù)據(jù)驅(qū)動(dòng)測試(Data-DrivenTest)錯(cuò)誤處理調(diào)試器(Debugger)源代碼管理支持腳本的命令行(CommandLine)方式6.4.2自動(dòng)化測試工具的分類測試工具可以從兩個(gè)不同的方面去分類。根據(jù)測試方法不同，自動(dòng)化測試工具可以分為：白盒測試工具、黑盒測試工具根據(jù)測試的對象和目的，自動(dòng)化測試工具可以分為：單元測試工具、功能測試工具、負(fù)載測試工具、性能測試工具、Web測試工具、數(shù)據(jù)庫測試工具、回歸測試工具、嵌入式測試工具、頁面鏈接測試工具、測試設(shè)計(jì)與開發(fā)工具、測試執(zhí)行和評(píng)估工具、測試管理工具等白盒測試工具白盒測試工具一般是針對被測源程序進(jìn)行的測試，測試所發(fā)現(xiàn)的故障可以定位到代碼級(jí)。根據(jù)測試工具工作原理的不同，白盒測試的自動(dòng)化工具可分為靜態(tài)測試工具和動(dòng)態(tài)測試工具。靜態(tài)測試工具——是在不執(zhí)行程序的情況下，分析軟件的特性。靜態(tài)分析主要集中在需求文檔、設(shè)計(jì)文檔以及程序結(jié)構(gòu)方面。按照完成的職能不同，靜態(tài)測試工具包括以下幾種類型：(1)代碼審查(2)一致性檢查(3)錯(cuò)誤檢查(4)接口分析(5)輸入輸出規(guī)格說明分析檢查(6)數(shù)據(jù)流分析(7)類型分析(8)單元分析(9)復(fù)雜度分析靜態(tài)測試工具的代表有Telelogic公司的Logiscope軟件、PR公司的PRQA軟件白盒測試工具（續(xù)）動(dòng)態(tài)測試工具——是直接執(zhí)行被測程序以提供測試活動(dòng)。它需要實(shí)際運(yùn)行被測系統(tǒng)，并設(shè)置斷點(diǎn)，向代碼生成的可執(zhí)行文件中插入一些監(jiān)測代碼，掌握斷點(diǎn)這一時(shí)刻程序運(yùn)行數(shù)據(jù)（對象屬性、變量的值等），具有功能確認(rèn)、接口測試、覆蓋率分析、性能分析等性能。動(dòng)態(tài)測試工具可以分為以下幾種類型：(1)功能確認(rèn)與接口測試(2)覆蓋測試(3)性能測試(4)內(nèi)存分析常用的動(dòng)態(tài)工具有：

Compuware公司的DevPartner

IBM公司的RationalPurify黑盒測試工具黑盒測試工具是在明確軟件產(chǎn)品應(yīng)具有的功能的條件下，完全不考慮被測程序的內(nèi)部結(jié)構(gòu)和內(nèi)部特性，通過測試來檢驗(yàn)軟件功能是否按照軟件需求規(guī)格的說明正常工作。按照完成的職能不同，黑盒測試工具可以分為：功能測試工具——用于檢測程序能否達(dá)到預(yù)期的功能要求并正常運(yùn)行。性能測試工具——用于確定軟件和系統(tǒng)的性能。常用的黑盒測試工具有：

Compuware公司的QACenter

IBM公司的RationalTeamTest網(wǎng)絡(luò)測試工具這類工具主要包括網(wǎng)絡(luò)故障定位工具、網(wǎng)絡(luò)性能檢測工具、網(wǎng)絡(luò)仿真模擬工具等。他們分析分布式應(yīng)用性能，關(guān)注應(yīng)用、網(wǎng)絡(luò)和其他元素內(nèi)部的交互式活動(dòng)，以便使網(wǎng)絡(luò)管理員能夠了解不同位置和不同活動(dòng)之間應(yīng)用的行為。

NetworkAssociates提供的NetworkSniffer，是常用的網(wǎng)絡(luò)打包監(jiān)視軟件，能夠截取網(wǎng)絡(luò)打包并查看所傳遞的資料內(nèi)容，對C/S形式軟件測試的幫助很大，并可以幫助軟件找到不少軟件缺陷。測試設(shè)計(jì)與開發(fā)工具測試設(shè)計(jì)是說明被測軟件特征或特征組合的方法，并確定選擇相關(guān)測試用例的過程。測試開發(fā)是將測試設(shè)計(jì)轉(zhuǎn)換成具體的測試用例的過程。測試設(shè)計(jì)和開發(fā)需要的工具類型有：測試數(shù)據(jù)生成器（ParasoftC++Test）基于需求的測試設(shè)計(jì)工具捕獲/回放覆蓋分析測試執(zhí)行和評(píng)估工具測試執(zhí)行和評(píng)估是執(zhí)行測試用例并對測試結(jié)果進(jìn)行評(píng)估的過程，包括選擇用于執(zhí)行的測試用例、設(shè)置測試環(huán)境、運(yùn)行所選擇的測試用例、記錄測試執(zhí)行過程、分析潛在的故障，并檢查測試工作的有效性。評(píng)估類工具對執(zhí)行測試用例和評(píng)估測試結(jié)果過程起到輔助作用。測試執(zhí)行和評(píng)估類工具有：捕獲/回放覆蓋分析存儲(chǔ)器測試測試管理工具測試管理工具用于對測試過程進(jìn)行管理，幫助完成制定測試計(jì)劃，跟蹤測試運(yùn)行結(jié)果。通常，測試管理工具對測試計(jì)劃、測試用例、測試實(shí)施進(jìn)行管理，還包括缺陷跟蹤管理等。常用的測試管理工具有：IBM公司的Rational

TestManager測試管理工具包括以下內(nèi)容：測試用例管理缺陷跟蹤管理（問題跟蹤管理）配置管理6.4.3選擇自動(dòng)化測試工具測試人員在選擇和使用自動(dòng)化測試工具時(shí)，可以從以下角度來考慮：按照用途選擇匹配的測試工具在適當(dāng)?shù)纳?/p>