軟件自動(dòng)化測(cè)試基礎(chǔ)

軟件自動(dòng)化測(cè)試基礎(chǔ)第一頁(yè)，共四十四頁(yè)，編輯于2023年，星期三軟件測(cè)試自動(dòng)化簡(jiǎn)介軟件測(cè)試自動(dòng)化是一項(xiàng)讓計(jì)算機(jī)代替人進(jìn)行軟件測(cè)試的技術(shù)。那么我們?yōu)槭裁匆胱詣?dòng)化測(cè)試呢？第二頁(yè)，共四十四頁(yè)，編輯于2023年，星期三為什么要引入軟件測(cè)試自動(dòng)化呢？軟件測(cè)試是一項(xiàng)繁重的任務(wù)，全靠手工去完成測(cè)試是很難按時(shí)保質(zhì)保量的完成。有些測(cè)試在成本一定的情況下，幾乎不可能去完成。例如：需要多次回歸測(cè)試的軟件(例如迭代開(kāi)發(fā)或增量開(kāi)發(fā)的軟件，某些精確度要求比較高的重要軟件)。頻繁回歸測(cè)試使測(cè)試人員的工作熱情受損，工作質(zhì)量降低。測(cè)試時(shí)間比較長(zhǎng)甚至需要幾個(gè)通宵去進(jìn)行測(cè)試的功能并發(fā)性測(cè)試，可靠性測(cè)試，白盒邏輯覆蓋測(cè)試等手工很難完成的測(cè)試。第三頁(yè)，共四十四頁(yè)，編輯于2023年，星期三軟件測(cè)試自動(dòng)化簡(jiǎn)介軟件測(cè)試自動(dòng)化是一項(xiàng)讓計(jì)算機(jī)取代人的進(jìn)行軟件測(cè)試技術(shù)。通過(guò)自動(dòng)化測(cè)試技術(shù)可以自動(dòng)運(yùn)行大批量的測(cè)試用例，也可以完成某些手工測(cè)試難以完成的測(cè)試用例。從而節(jié)省了人力、時(shí)間和硬件資源。測(cè)試自動(dòng)化是借助測(cè)試工具來(lái)實(shí)現(xiàn)的。不同類型的測(cè)試具有不同的測(cè)試工具。自動(dòng)化測(cè)試工具中的測(cè)試用例是以腳本的形式存在的第四頁(yè)，共四十四頁(yè)，編輯于2023年，星期三自動(dòng)化測(cè)試帶來(lái)的優(yōu)點(diǎn)提高軟件測(cè)試效率。自動(dòng)化測(cè)試執(zhí)行用例的速度比手工測(cè)試快的多。方便回歸測(cè)試。可執(zhí)行更多、更繁瑣測(cè)試。提高測(cè)試人員的積極性，測(cè)試人員把時(shí)間和精力放在軟件中新的項(xiàng)目上。提高測(cè)試的準(zhǔn)確性，從而使軟件測(cè)試的可信度提高。測(cè)試的主觀因素和誤操作少了。測(cè)試具有一致性和可重復(fù)性。第五頁(yè)，共四十四頁(yè)，編輯于2023年，星期三自動(dòng)化測(cè)試帶來(lái)的優(yōu)點(diǎn)測(cè)試的復(fù)用性。（這與軟件開(kāi)發(fā)里的代碼復(fù)用性意思相同，測(cè)試用例是以腳本—一種代碼的形式存在）可執(zhí)行一些手工測(cè)試?yán)щy或不可能進(jìn)行的測(cè)試。例如：并發(fā)行測(cè)試等第六頁(yè)，共四十四頁(yè)，編輯于2023年，星期三軟件測(cè)試自動(dòng)化存在的不足既然軟件測(cè)試自動(dòng)化這么多優(yōu)點(diǎn)，是不是我們的測(cè)試活動(dòng)的目標(biāo)就是追求100%的自動(dòng)化測(cè)試呢？軟件自動(dòng)化測(cè)試的缺點(diǎn)：需要一定的時(shí)間去編寫(xiě)、調(diào)試和維護(hù)腳本。需要測(cè)試人員的水平要高。不能實(shí)現(xiàn)某些需要人腦去判斷結(jié)果的測(cè)試用例。(例如，界面是否人性化的測(cè)試)工具本身沒(méi)有想象力完全依賴測(cè)試設(shè)計(jì)，因此，自動(dòng)化測(cè)試對(duì)測(cè)試設(shè)計(jì)依賴太大。手工測(cè)試發(fā)現(xiàn)的錯(cuò)誤比自動(dòng)化測(cè)試要多的多。第七頁(yè)，共四十四頁(yè)，編輯于2023年，星期三自動(dòng)化測(cè)試和手工測(cè)試的關(guān)系由于自動(dòng)化測(cè)試的缺陷，在實(shí)踐的測(cè)試活動(dòng)中，尤其是黑盒測(cè)試中，它只是手工測(cè)試的一個(gè)有益的補(bǔ)充。但是，目前測(cè)試界和一些測(cè)試自動(dòng)化工具商過(guò)分夸大了自動(dòng)化測(cè)試的優(yōu)點(diǎn)，使很多的軟件測(cè)試學(xué)員對(duì)自動(dòng)化測(cè)試產(chǎn)生了誤解，下面我們看下對(duì)自動(dòng)化測(cè)試存在的5個(gè)誤區(qū)：第八頁(yè)，共四十四頁(yè)，編輯于2023年，星期三自動(dòng)化測(cè)試的認(rèn)識(shí)誤區(qū)1/5錯(cuò)誤期望一：自動(dòng)化測(cè)試應(yīng)完全取代人工測(cè)試。測(cè)試過(guò)程中80%以上的缺陷是手工測(cè)試發(fā)現(xiàn)的，僅有不到20%的缺陷是自動(dòng)測(cè)試發(fā)現(xiàn)的，而且這20%的發(fā)現(xiàn)要求測(cè)試人員合理的運(yùn)用工具。在測(cè)試前，分析下軟件的需求，確定哪些功能、性能等因素需要用到自動(dòng)化測(cè)試，然后有針對(duì)性的在項(xiàng)目中使用自動(dòng)化。一味的追求測(cè)試自動(dòng)化，會(huì)使測(cè)試工作的成本增加。(例如：手工測(cè)試1分鐘可以完成，自動(dòng)化測(cè)試得好幾個(gè)小時(shí)才可以)第九頁(yè)，共四十四頁(yè)，編輯于2023年，星期三自動(dòng)化測(cè)試的認(rèn)識(shí)誤區(qū)2/5錯(cuò)誤期望二：測(cè)試用例可完全由測(cè)試工具生成白盒測(cè)試中，利用某些測(cè)試工具可以自動(dòng)生成部分測(cè)試用例，（例如邏輯覆蓋測(cè)試），但是由于測(cè)試工具無(wú)法自動(dòng)了解程序的功能，仍然需要測(cè)試人員手工干預(yù)測(cè)試用例的設(shè)計(jì)和生成。黑盒測(cè)試中，幾乎所有測(cè)試用例都需要手工去設(shè)定。例如：網(wǎng)站并發(fā)性測(cè)試，需要測(cè)試員分析需求，找到被測(cè)的業(yè)務(wù)流程，編寫(xiě)腳本，設(shè)定預(yù)期結(jié)果等等。第十頁(yè)，共四十四頁(yè)，編輯于2023年，星期三自動(dòng)化測(cè)試的認(rèn)識(shí)誤區(qū)3/5錯(cuò)誤期望三：測(cè)試工具可以在任何場(chǎng)合使用。工具都是針對(duì)解決某些特定的問(wèn)題而開(kāi)發(fā)的，所以必然有其局限性。而且測(cè)試工具自身同時(shí)也是軟件，因此也會(huì)存在軟件兼容性等不可避免的軟件通病。例如：某些測(cè)試工具只能在windows上運(yùn)行；某些白盒測(cè)試工具只是針對(duì)某幾種語(yǔ)言；某些網(wǎng)絡(luò)測(cè)試工具只是針對(duì)某幾種網(wǎng)絡(luò)等等。第十一頁(yè)，共四十四頁(yè)，編輯于2023年，星期三自動(dòng)化測(cè)試的認(rèn)識(shí)誤區(qū)4/5錯(cuò)誤期望四：自動(dòng)化后測(cè)試效率立刻提高（如：測(cè)試工作馬上減輕，進(jìn)度縮短）。企業(yè)引入自動(dòng)化測(cè)試需要做大量的前期準(zhǔn)備工作，包括技術(shù)上的，資金上的，人員上的準(zhǔn)備等等。如果不做好準(zhǔn)備盲目引進(jìn)自動(dòng)化測(cè)試，可能會(huì)后期測(cè)試帶來(lái)一些意想不到的麻煩。由于在測(cè)試過(guò)程中增加了新的元素，必然增加了測(cè)試過(guò)程的復(fù)雜度。因此在使用工具的初期通常會(huì)使工作量、消耗時(shí)間等各項(xiàng)成本較手動(dòng)測(cè)試增加25%--50%，而不是象多數(shù)人想象的那樣可以很快降低成本。第十二頁(yè)，共四十四頁(yè)，編輯于2023年，星期三自動(dòng)化測(cè)試的認(rèn)識(shí)誤區(qū)5/5錯(cuò)誤期望五：自動(dòng)化測(cè)試順利引入后就一勞永逸了。自動(dòng)化測(cè)試能否達(dá)到應(yīng)有的效果還取決于實(shí)施過(guò)程中的多方面因素。⑴自動(dòng)化測(cè)試不會(huì)創(chuàng)造性地發(fā)現(xiàn)測(cè)試方案里沒(méi)有的設(shè)計(jì)缺陷。因此，需要有經(jīng)驗(yàn)的測(cè)試人員對(duì)測(cè)試方案進(jìn)行系統(tǒng)、周密的設(shè)計(jì)和不斷修改。⑵自動(dòng)化測(cè)試代碼需要使用配置工具來(lái)管理和維護(hù)。此外，還應(yīng)該對(duì)自動(dòng)化測(cè)試工作流程的規(guī)范性進(jìn)行考查，從而對(duì)自動(dòng)化測(cè)試的實(shí)施進(jìn)行監(jiān)督和評(píng)估。第十三頁(yè)，共四十四頁(yè)，編輯于2023年，星期三實(shí)戰(zhàn)中，如何運(yùn)用自動(dòng)化測(cè)試和手工測(cè)試1/2在軟件測(cè)試活動(dòng)中，通常需要把自動(dòng)化測(cè)試和手工測(cè)試結(jié)合起來(lái)，對(duì)被測(cè)軟件進(jìn)行測(cè)試。在現(xiàn)實(shí)中，根據(jù)被測(cè)軟件的需求，判定哪些需要自動(dòng)化測(cè)試，哪些不需要。要充分發(fā)揮自動(dòng)化測(cè)試和手工測(cè)試的優(yōu)勢(shì)，既能盡可能多的發(fā)現(xiàn)軟件的缺陷，又能節(jié)省軟件測(cè)試的時(shí)間和人力。那么哪些部分需要自動(dòng)化測(cè)試呢？值得我們?nèi)ビ米詣?dòng)化測(cè)試呢？這里引入一個(gè)名詞“投資回報(bào)率”。第十四頁(yè)，共四十四頁(yè)，編輯于2023年，星期三實(shí)戰(zhàn)中，如何運(yùn)用自動(dòng)化測(cè)試和手工測(cè)試2/2投資回報(bào)率是指節(jié)省的時(shí)間成本、人員成本以及其它成本與投入測(cè)試工具的費(fèi)用之比。投資回報(bào)率越高，引入的自動(dòng)化技術(shù)越成功。例如：用戶登錄功能（只進(jìn)行2次測(cè)試）。某功能，10分鐘點(diǎn)擊150次。從投資回報(bào)率上看，1不必用自動(dòng)化測(cè)試，2建議使用自動(dòng)化測(cè)試。第十五頁(yè)，共四十四頁(yè)，編輯于2023年，星期三軟件測(cè)試自動(dòng)化工具使用的前提軟件測(cè)試需求變動(dòng)不頻繁。通常是對(duì)需求比較穩(wěn)定的模塊使用自動(dòng)化測(cè)試技術(shù)。項(xiàng)目周期要足夠長(zhǎng)，要有足夠的時(shí)間設(shè)計(jì)和開(kāi)發(fā)自動(dòng)化測(cè)試。自動(dòng)化測(cè)試腳本可重復(fù)利用。第十六頁(yè)，共四十四頁(yè)，編輯于2023年，星期三我們一般什么時(shí)候使用自動(dòng)化測(cè)試呢？？一般來(lái)說(shuō)，投資回報(bào)率高的或者手工難以進(jìn)行的測(cè)試優(yōu)先選擇自動(dòng)化測(cè)試工具。我列了幾種可以考慮使用自動(dòng)化工具的情況：白盒測(cè)試大型軟件的回歸測(cè)試某些需要頻繁測(cè)試的功能或性能準(zhǔn)確度和精確度比較高的軟件某些需要長(zhǎng)時(shí)間運(yùn)行的測(cè)試手工很難完成的測(cè)試第十七頁(yè)，共四十四頁(yè)，編輯于2023年，星期三自動(dòng)化測(cè)試工具的選取需要考慮如下幾個(gè)因素：1、與被測(cè)軟件是否兼容2、經(jīng)費(fèi)是否允許3、售后技術(shù)支持質(zhì)量4、自動(dòng)化工具的資料是否容易獲得總之，不必選最貴的，只選最合適的自動(dòng)化測(cè)試的實(shí)施流程第十八頁(yè)，共四十四頁(yè)，編輯于2023年，星期三自動(dòng)化測(cè)試的原理和方法軟件測(cè)試自動(dòng)化實(shí)現(xiàn)的基礎(chǔ)是可以通過(guò)設(shè)計(jì)的特殊程序模擬測(cè)試人員對(duì)計(jì)算機(jī)的操作（黑盒測(cè)試），或者類似于編譯系統(tǒng)那樣對(duì)計(jì)算機(jī)程序進(jìn)行檢查（白盒測(cè)試）。軟件測(cè)試自動(dòng)化實(shí)現(xiàn)的原理和方法主要有：對(duì)代碼進(jìn)行靜態(tài)和動(dòng)態(tài)分析、測(cè)試過(guò)程的捕獲和回放、測(cè)試腳本技術(shù)、虛擬用戶技術(shù)和測(cè)試管理技術(shù)。第十九頁(yè)，共四十四頁(yè)，編輯于2023年，星期三自動(dòng)化測(cè)試的原理和方法（1）代碼分析（白盒測(cè)試的自動(dòng)化測(cè)試）不管是靜態(tài)白盒測(cè)試還是動(dòng)態(tài)白盒測(cè)試，一般都需要借助白盒代碼分析工具去完成測(cè)試。代碼分析工具類似于高級(jí)編譯系統(tǒng)，一般針對(duì)不同的高級(jí)語(yǔ)言去構(gòu)造不同分析工具，在工具中有類、對(duì)象、函數(shù)、變量等定義規(guī)則、語(yǔ)法規(guī)則。在分析時(shí)，對(duì)代碼進(jìn)行掃描，找出代碼的缺陷，評(píng)價(jià)軟件的質(zhì)量。第二十頁(yè)，共四十四頁(yè)，編輯于2023年，星期三自動(dòng)化測(cè)試的原理和方法（2）捕獲和回放（黑盒測(cè)試的自動(dòng)化測(cè)試）

捕獲是將用戶每一步操作都記錄下來(lái)（包括被測(cè)軟件的窗口和控件的位置以及相對(duì)應(yīng)的操作、狀態(tài)變化或是屬性變化）。所有的記錄轉(zhuǎn)換為一種腳本語(yǔ)言所描述的過(guò)程，以模擬用戶的操作。

回放時(shí)，將腳本語(yǔ)言所描述的過(guò)程轉(zhuǎn)換為屏幕上的操作，然后將被測(cè)系統(tǒng)的輸出記錄下來(lái)同預(yù)先給定的標(biāo)準(zhǔn)結(jié)果比較，最后得出測(cè)試結(jié)果，有些自動(dòng)化測(cè)試軟件可以根據(jù)測(cè)試結(jié)果對(duì)被測(cè)軟件進(jìn)行評(píng)估。這可以大大減輕黑盒測(cè)試的工作量，尤其是在回歸測(cè)試中。第二十一頁(yè)，共四十四頁(yè)，編輯于2023年，星期三自動(dòng)化測(cè)試的原理和方法關(guān)于自動(dòng)化測(cè)試中的“錄制—回放”技術(shù)舉例目前的網(wǎng)站并發(fā)性測(cè)試幾乎都是采用“錄制-回放”的技術(shù)。所謂的“錄制-回放”技術(shù)，就是先由手工完成一遍需要測(cè)試的流程，同時(shí)由計(jì)算機(jī)記錄下這個(gè)流程期間客戶端和服務(wù)器端之間的通信信息，并形成特定的腳本程序(Script)

。然后在系統(tǒng)的統(tǒng)一管理下同時(shí)生成多個(gè)虛擬用戶，并運(yùn)行該腳本，監(jiān)控硬件和軟件平臺(tái)的性能，提供分析報(bào)告或相關(guān)資料。這樣，通過(guò)幾臺(tái)機(jī)器就可以模擬出成百上千的用戶對(duì)應(yīng)用系統(tǒng)進(jìn)行負(fù)載能力的測(cè)試。第二十二頁(yè)，共四十四頁(yè)，編輯于2023年，星期三自動(dòng)化測(cè)試的原理和方法（3）測(cè)試腳本技術(shù)測(cè)試腳本是與特定測(cè)試對(duì)應(yīng)的一系列指令(及數(shù)據(jù))，這些指令可以被測(cè)試工具自動(dòng)執(zhí)行。腳本一種形式的程序。不同的工具，腳本程序的規(guī)則有所不同。將loadrunner腳本用的類C語(yǔ)言，QTP用的VBscript語(yǔ)言。腳本可以通過(guò)錄制測(cè)試的操作產(chǎn)生，然后再做修改，這樣可以減少腳本編程的工作量。當(dāng)然，也可以直接按照腳本語(yǔ)言的規(guī)則編寫(xiě)腳本。由于支持錄制，所以學(xué)習(xí)腳本語(yǔ)言相對(duì)容易些第二十三頁(yè)，共四十四頁(yè)，編輯于2023年，星期三腳本技術(shù)分類腳本技術(shù)可以分為以下幾類：線性腳本——是錄制手工執(zhí)行的測(cè)試用例得到的腳本。線性腳本很簡(jiǎn)單,通過(guò)錄制就可以得到。結(jié)構(gòu)化腳本——在線性腳本的基礎(chǔ)上，加上控制結(jié)構(gòu)（順序、循環(huán)和分支結(jié)構(gòu)）。腳本的邏輯判斷能力以及處理問(wèn)題的靈活性得到增強(qiáng)，基本上實(shí)現(xiàn)腳本的模塊化。第二十四頁(yè)，共四十四頁(yè)，編輯于2023年，星期三腳本技術(shù)分類共享腳本——是指某個(gè)腳本可被多個(gè)測(cè)試使用，一個(gè)腳本可以被另一個(gè)腳本調(diào)用。減少了腳本的數(shù)量，也使腳本容易維護(hù)。數(shù)據(jù)驅(qū)動(dòng)腳本——將測(cè)試輸入存儲(chǔ)在獨(dú)立的數(shù)據(jù)文件中，實(shí)現(xiàn)了數(shù)據(jù)和腳本的分離。(例如使用QTP，登錄系統(tǒng)測(cè)試中，可以將用戶名和密碼數(shù)據(jù)存儲(chǔ)在外部的excel文件。)關(guān)鍵字驅(qū)動(dòng)腳本——是數(shù)據(jù)驅(qū)動(dòng)腳本的邏輯擴(kuò)展。通過(guò)外部的一系列關(guān)鍵字?jǐn)?shù)據(jù)去驅(qū)動(dòng)測(cè)試的運(yùn)行。第二十五頁(yè)，共四十四頁(yè)，編輯于2023年，星期三虛擬用戶技術(shù)和測(cè)試管理技術(shù)虛擬用戶技術(shù)，是指在有限的測(cè)試主機(jī)上，虛擬出成千上萬(wàn)或者更多個(gè)用戶的技術(shù)。例如：網(wǎng)站并發(fā)性測(cè)試，我們可以用性能測(cè)試工具loadrunner虛擬多個(gè)用戶。測(cè)試管理技術(shù)，通過(guò)測(cè)試管理工具(例如：TestManager)對(duì)整個(gè)測(cè)試流程進(jìn)行管理，包括需求分析、計(jì)劃測(cè)試、設(shè)計(jì)測(cè)試用例、缺陷處理、測(cè)試報(bào)告等內(nèi)容。第二十六頁(yè)，共四十四頁(yè)，編輯于2023年，星期三軟件自動(dòng)化測(cè)試的運(yùn)用測(cè)試用例的生成測(cè)試的執(zhí)行與控制測(cè)試結(jié)果與標(biāo)準(zhǔn)輸出的對(duì)比不吻合測(cè)試結(jié)果的分析處理測(cè)試狀態(tài)的統(tǒng)計(jì)和報(bào)表的生成采用自動(dòng)化比較技術(shù)(例如：檢查點(diǎn)技術(shù))第二十七頁(yè)，共四十四頁(yè)，編輯于2023年，星期三軟件自動(dòng)化測(cè)試工具測(cè)試工具主要分為測(cè)試管理工具、性能測(cè)試工具、功能測(cè)試工具和白盒測(cè)試工具。這些工具主要是HPMercury、IBMRational等公司的產(chǎn)品，以及相當(dāng)數(shù)量的開(kāi)源測(cè)試工具。其中，HPMercury占有的市場(chǎng)份額是最大。Mercury公司是國(guó)際上最大的測(cè)試工具開(kāi)發(fā)商，被HP公司收購(gòu)后，我們就稱其為HPMercury公司。第二十八頁(yè)，共四十四頁(yè)，編輯于2023年，星期三測(cè)試管理工具

測(cè)試管理工具是對(duì)測(cè)試配置和測(cè)試過(guò)程進(jìn)行管理，對(duì)缺陷進(jìn)行跟蹤管理。QualityCenter簡(jiǎn)稱QC，其前身是大名鼎鼎的TestDirector,簡(jiǎn)稱TD（HPMercury公司）主要功能：需求管理；計(jì)劃測(cè)試；安排和執(zhí)行測(cè)試；缺陷管理；圖形化和報(bào)表輸出TestManager（IBMRational）第二十九頁(yè)，共四十四頁(yè)，編輯于2023年，星期三TestDirector第三十頁(yè)，共四十四頁(yè)，編輯于2023年，星期三功能測(cè)試工具Winrunner（HPMercury公司）自動(dòng)錄制-檢測(cè)-回放，側(cè)重于測(cè)試c/s架構(gòu)QuickTestPro，簡(jiǎn)稱QTP（HPMercury公司）自動(dòng)錄制-檢測(cè)-回放，側(cè)重于測(cè)試b/s架構(gòu)目前Winrunner不再發(fā)布新版本，已經(jīng)完全被QTP給取代，在后續(xù)的課程中我們會(huì)學(xué)習(xí)使用QTP。Robot（IBMRational公司）功能和性能測(cè)試軟件，可以去TestManager完美結(jié)合第三十一頁(yè)，共四十四頁(yè)，編輯于2023年，星期三Robot第三十二頁(yè)，共四十四頁(yè)，編輯于2023年，星期三WinRunner第三十三頁(yè)，共四十四頁(yè)，編輯于2023年，星期三QTP第三十四頁(yè)，共四十四頁(yè)，編輯于2023年，星期三性能測(cè)試工具LoadRunner（HPMercury公司）當(dāng)前市場(chǎng)上最強(qiáng)大的性能測(cè)試工具，在后續(xù)的課程中，我們會(huì)學(xué)習(xí)loadrunner工具的使用。Robot（IBMRational公司）第三十五頁(yè)，共四十四頁(yè)，編輯于2023年，星期三Loadrunner工作過(guò)程(了解)①通過(guò)VuGen來(lái)設(shè)計(jì)腳本②通過(guò)Control設(shè)計(jì)場(chǎng)景③通過(guò)負(fù)載發(fā)生器實(shí)現(xiàn)虛擬用戶并發(fā)執(zhí)行④通過(guò)Control監(jiān)控場(chǎng)景⑤通過(guò)分析器分析結(jié)果第三十六頁(yè)，共四十四頁(yè)，編輯于2023年，星期三LoadRunner的虛擬用戶發(fā)生器第三十七頁(yè)，共四十四頁(yè)，編輯于2023年，星期三白盒測(cè)試工具Parasoft公司JtestJava代碼分析和動(dòng)態(tài)類、組件測(cè)試JcontractJava實(shí)時(shí)性能監(jiān)控以