軟件測(cè)試中有效利用自動(dòng)化測(cè)試方法的研究

1、第22卷第2期長(zhǎng)沙交通學(xué)院學(xué)報(bào)Vol. 22No. 22006年6月JOURNA L OF CHANG SHA COMMUNICATIONS UNIVERSIT YJ un. 2006文章編號(hào):1000-9779(2006 02-0060-04軟件測(cè)試中有效利用自動(dòng)化測(cè)試方法的研究李永忠(長(zhǎng)沙學(xué)院計(jì)算中心, 湖南長(zhǎng)沙410003 摘要:為了提高軟件的測(cè)試質(zhì)量和測(cè)試效率, 在軟件測(cè)試過(guò)程中越來(lái)越多地利用自動(dòng)化測(cè)試方法。利用自動(dòng)化測(cè)試方法的關(guān)鍵問(wèn)題是判斷適合自動(dòng)化測(cè)試的軟件特征, 根據(jù)自動(dòng)化測(cè)試過(guò)程中各個(gè)環(huán)節(jié)的特點(diǎn), 選擇合適的自動(dòng)化測(cè)試工具或開發(fā)自動(dòng)化測(cè)試方法, 分析了適合自動(dòng)化測(cè)試的軟件特征,

2、 提出了利用自動(dòng)化測(cè)試的方法。通過(guò)對(duì)VAS3. 0證明, 該方法能有效發(fā)揮自動(dòng)化測(cè)試的作用。關(guān)鍵詞:自動(dòng)化測(cè)試; 軟件特征; 測(cè)試工具; 中圖分類號(hào):TP206+. :A 收稿日期:2005-08-31作者簡(jiǎn)介:李永忠(1968- , 男, 長(zhǎng)沙學(xué)院講師., 但是隨著企業(yè)的發(fā)展, 產(chǎn)品版本的增多, 迭代式開發(fā)模式的使用, 人們很快意識(shí)到手工測(cè)試的不足。在經(jīng)過(guò)一段時(shí)間的摸索和研究后, 自動(dòng)化測(cè)試很快被人們認(rèn)識(shí)和采用。如何有效地應(yīng)用自動(dòng)化測(cè)試也成為大家探討的問(wèn)題。本研究對(duì)這個(gè)問(wèn)題展開研究, 并詳細(xì)地闡述了應(yīng)用自動(dòng)化測(cè)試的過(guò)程。1軟件特征分析因?yàn)樽詣?dòng)化測(cè)試是用工具代替手工勞動(dòng), 所以它適合于高覆蓋性

3、、重復(fù)性、耗時(shí)性、高并發(fā)性并需要細(xì)致注意力的工作1。通過(guò)使用自動(dòng)化測(cè)試工具, 測(cè)試人員就不必手工重復(fù)已經(jīng)測(cè)試過(guò)的功能部分, 這樣既合理利用了資源, 也充分保證了軟件的質(zhì)量。經(jīng)過(guò)對(duì)軟件開發(fā)和測(cè)試過(guò)程的分析, 軟件適合自動(dòng)化測(cè)試的特征有:產(chǎn)品型項(xiàng)目; 增量式開發(fā)、持續(xù)集成項(xiàng)目; 能夠自動(dòng)編譯、自動(dòng)發(fā)布的系統(tǒng); 回歸測(cè)試; 多次重復(fù)、機(jī)械性動(dòng)作; GU I 風(fēng)格改變較小。2如何利用自動(dòng)化測(cè)試一個(gè)規(guī)范化軟件測(cè)試過(guò)程通常包括的基本測(cè)試活動(dòng)有2:擬定軟件測(cè)試計(jì)劃; 編制軟件測(cè)試大綱; 設(shè)計(jì)和生成測(cè)試用例; 實(shí)施測(cè)試; 生成軟件問(wèn)題報(bào)告。要想充分利用自動(dòng)化測(cè)試, 必須有效地利用規(guī)范化軟件測(cè)試過(guò)程將自動(dòng)化測(cè)試

4、的特點(diǎn)發(fā)揮出來(lái)。2. 1自動(dòng)化測(cè)試的需求自動(dòng)化測(cè)試腳本也是一種軟件, 它應(yīng)該遵循軟件開發(fā)的過(guò)程。1 分析每個(gè)需求, 確定自動(dòng)化測(cè)試開發(fā)的可行性評(píng)估軟件特色實(shí)現(xiàn)的價(jià)值和成本(人力和時(shí)間 及效果。如果成本太高, 時(shí)間太長(zhǎng), 工效不明顯, 這樣的特色將不列入自動(dòng)化測(cè)試范圍。 如:OMC 2X_33, 比較DB 和原始N E 文件中的數(shù)據(jù)。這個(gè)自動(dòng)化測(cè)試需求在VAS3. 0網(wǎng)管版本中就已實(shí)現(xiàn), 使用了ADO 的調(diào)用方式作了類的封裝, 只需要界面參數(shù)的輸入就可以完成所有界面類似的數(shù)據(jù)庫(kù)-界面數(shù)據(jù)比對(duì)。但在VAS3. 1網(wǎng)管中, 網(wǎng)管軟件數(shù)據(jù)庫(kù)結(jié)構(gòu)發(fā)生了很大的變化, 采用了動(dòng)態(tài)表存儲(chǔ)結(jié)構(gòu)。對(duì)于動(dòng)態(tài)變化及規(guī)

5、律性不是很強(qiáng)的結(jié)構(gòu), 自動(dòng)化腳本的實(shí)現(xiàn)有很大的困難, 會(huì)消耗當(dāng)前較多的人力, 同時(shí)存在復(fù)雜腳本本身的漏洞, 導(dǎo)致維護(hù)性和測(cè)試準(zhǔn)確率問(wèn)題。2 選擇適當(dāng)?shù)淖詣?dòng)化測(cè)試工具(loadrunner , robot , Q TP 等 來(lái)滿足不同的需求不同的自動(dòng)化測(cè)試工具有不同的特點(diǎn), 有的在數(shù)據(jù)驅(qū)動(dòng)上優(yōu)勢(shì)明顯, 有的在GU I 上簡(jiǎn)便, 有的在環(huán)境通用性上便利3。在特色的實(shí)現(xiàn)上要結(jié)合這些特點(diǎn)進(jìn)行選擇, 必要時(shí)可以多個(gè)自動(dòng)化工具混用。如:OMC 2X_12, 通過(guò)模擬或其他方式控制報(bào)警數(shù)目, 檢查報(bào)警類型、數(shù)目、對(duì)象和嚴(yán)重程度。在這個(gè)需求中, 考慮loadrunner 可以高效模擬發(fā)送告警的功能和具備Q T

6、P 檢查頁(yè)面的優(yōu)點(diǎn), 將兩種自動(dòng)化測(cè)試工具結(jié)合起來(lái), 達(dá)到了良好的效果。又如:Performance_6, 模擬602X , 。在這個(gè)需求中, 分析其特點(diǎn), 利用robot , 執(zhí)行測(cè)試。這樣, , , 可以完成高并發(fā)性的操作4。3 (, , 壓力測(cè)試等 、縮短開發(fā)周期, 重點(diǎn)完成特定階段的工作。在OMC 2X 的自動(dòng)化測(cè)試開發(fā)過(guò)程中, 在第一階段完成基本功能的自動(dòng)化測(cè)試腳本開發(fā), 在第二階段增強(qiáng)和優(yōu)化腳本, 使其能完成部分性能和壓力測(cè)試。2. 2自動(dòng)化測(cè)試用例編寫一個(gè)好的自動(dòng)化測(cè)試用例必須具有較強(qiáng)的針對(duì)性, 能夠體現(xiàn)自動(dòng)化測(cè)試的效率。手工測(cè)試注重手工操作的步驟, 而自動(dòng)化測(cè)試注重的是軟件(腳

7、本 運(yùn)行過(guò)程、輸入和輸出。同時(shí)手工測(cè)試的預(yù)期結(jié)果是對(duì)每個(gè)操作步驟的驗(yàn)證, 而自動(dòng)化測(cè)試的預(yù)期結(jié)果是對(duì)自動(dòng)生成報(bào)告的檢查5, 見表1,2。表1手工測(cè)試用例用例編號(hào)條件預(yù)計(jì)結(jié)果測(cè)試結(jié)果備注OMC 2X 2SMS 21在area id 位置輸入0,檢查其操作結(jié)果。設(shè)置成功OMC 2X 2SMS 22在area id 位置輸入65525,檢查其操作結(jié)果。設(shè)置成功OMC 2X 2SMS 23在area id 位置輸入大于65525的數(shù),檢查其操作結(jié)果。圖形用戶界面將拒絕操作并警告用戶OMC 2X 2SMS 24在area id 位置輸入小于0的數(shù),檢查其操作結(jié)果。圖形用戶界面將拒絕操作并警告用戶表2自動(dòng)

8、化測(cè)試用例用例編號(hào)條件預(yù)計(jì)結(jié)果測(cè)試結(jié)果備注Auto test OMC 2X 2SMS 211. 根據(jù)管理系統(tǒng)庫(kù)的說(shuō)明在excel 文件中設(shè)計(jì)一系列的測(cè)試數(shù)據(jù);2. 加載這個(gè)文件并且不斷地運(yùn)行腳本;3. 自動(dòng)檢查測(cè)試報(bào)告。每一個(gè)運(yùn)行結(jié)果都應(yīng)該在這個(gè)報(bào)告中顯示。數(shù)據(jù)文件作為附件由表1,2可知, 自動(dòng)化測(cè)試用例將手工測(cè)試步驟用軟件執(zhí)行過(guò)程代替, 避免了多個(gè)用例重復(fù)操作; 反映了多數(shù)據(jù)組合, 路徑選擇的覆蓋性特點(diǎn), 完整度是可控的, 而不是隨機(jī)抽樣的; 自動(dòng)化測(cè)試結(jié)果可以自動(dòng)生成, 不需要人工干預(yù)。2. 3自動(dòng)化測(cè)試的開發(fā)在需求的基礎(chǔ)上要考慮實(shí)現(xiàn)自動(dòng)化腳本代碼的重用性和結(jié)構(gòu)化6方法。16第2期李永忠:

9、 軟件測(cè)試中有效利用自動(dòng)化測(cè)試方法的研究2. 3. 1數(shù)據(jù)驅(qū)動(dòng)設(shè)計(jì)適用該方法的需求特征有:1 測(cè)試用例需要一些特定參數(shù)來(lái)表示特性例如:網(wǎng)管軟件中頁(yè)面的測(cè)試, 這些頁(yè)面具有不同的標(biāo)題、不同的指標(biāo)個(gè)數(shù)等, 將這些作為參數(shù)存放在數(shù)據(jù)矩陣中, 腳本在加載這些參數(shù)后進(jìn)行指定的一系列操作, 完成不同頁(yè)面測(cè)試。2 測(cè)試用例需要數(shù)據(jù)輸入完成操作一個(gè)好的數(shù)據(jù)驅(qū)動(dòng)設(shè)計(jì)能夠分離代碼和數(shù)據(jù), 并充分重用代碼, 測(cè)試人員能夠簡(jiǎn)單地編輯數(shù)據(jù)矩陣來(lái)設(shè)計(jì)不同的用例組合。如果用戶界面變化了, 也只需要稍稍修改命令序列, 這時(shí)測(cè)試人員通過(guò)修改電子表格中數(shù)據(jù)要比重新編寫代碼來(lái)修改測(cè)試用例要方便一些。2. 3. 2結(jié)構(gòu)化框架設(shè)計(jì)結(jié)構(gòu)

10、化框架通過(guò)共享函數(shù)庫(kù)中的函數(shù)把被測(cè)試應(yīng)用程序和測(cè)試腳本分離。的函數(shù)或者處理一個(gè)集成任務(wù)的復(fù)雜腳本函數(shù)分為:1 定義每個(gè)應(yīng)用程序的功能特征類似于函數(shù)的重用, 2 , 可以通過(guò)修改封裝函數(shù), 添加或者修改功能解決測(cè)試工具的缺陷, 。圖1V 模型示意圖3 定義小的、頻繁操作的統(tǒng)一目標(biāo)它實(shí)現(xiàn)了一個(gè)操作的命令集合。腳本開發(fā)者不用關(guān)心其過(guò)程, 只需要關(guān)注輸入和輸出。4 定義實(shí)用函數(shù)可以創(chuàng)建一個(gè)用標(biāo)準(zhǔn)方法生成測(cè)試報(bào)告的函數(shù), 在開發(fā)腳本的時(shí)候把它作為標(biāo)準(zhǔn), 在每個(gè)測(cè)試用例后邊調(diào)用這個(gè)函數(shù)。2. 4明確自動(dòng)化測(cè)試在開發(fā)和測(cè)試流程中的位置如何在傳統(tǒng)的開發(fā)測(cè)試V 模型中(如圖1所示 加入自動(dòng)化測(cè)試環(huán)節(jié)? 錯(cuò)誤理解

11、自動(dòng)化測(cè)試的位置可能會(huì)帶來(lái)負(fù)面的影響7。如圖2所示, 自動(dòng)化測(cè)試在集成測(cè)試和系統(tǒng)測(cè)試的版本n 中介入, 而拒絕在版本1中介入。圖2自動(dòng)化測(cè)試位置示意圖自動(dòng)化測(cè)試的特點(diǎn)不僅僅適用于系統(tǒng)測(cè)試(包括回歸, 壓力, 衰退, 驗(yàn)收等 , 同樣適合于持續(xù)集成測(cè)試8。使用“日構(gòu)建”和持續(xù)集成測(cè)試, 絕大多數(shù)漏洞可以在引入的同一天就被發(fā)現(xiàn), 由于一天中發(fā)生變動(dòng)的部分并不多, 所以可以很快找到出錯(cuò)的位置, 這樣減少了集成階段“捉蟲”消耗的時(shí)間及頻繁發(fā)布新版本時(shí)間, 從而提高軟件開發(fā)效率和質(zhì)量。在系統(tǒng)測(cè)試階段, 自動(dòng)化測(cè)試不用于版本1的測(cè)試, 這是因?yàn)榘姹?中過(guò)多的功能缺陷可能花費(fèi)自動(dòng)化測(cè)試高昂的代價(jià), 使腳本持

12、續(xù)執(zhí)行成為不可能9。這樣, 在版本1的測(cè)試中, 要求手工測(cè)試的用例應(yīng)該是完整的用例。在版本n 中, 將手工測(cè)試和自動(dòng)化測(cè)試結(jié)合, 用自動(dòng)化測(cè)試的用例替代手工測(cè)試的用例, 最后的報(bào)告中反映手工測(cè)試和自動(dòng)化測(cè)試用例的個(gè)數(shù)和結(jié)果, 從而反映自動(dòng)化測(cè)試在整個(gè)測(cè)試過(guò)程中所起的作用。以VAS 網(wǎng)管的配置管理為例, 對(duì)手工測(cè)試與自動(dòng)化測(cè)試進(jìn)行比較, 結(jié)果見表3,4。從表3,4的對(duì)比分析中可以看到, 在自動(dòng)化測(cè)試的第1次投入中, 它能夠節(jié)約的時(shí)間很少(有時(shí)候可能還會(huì)浪費(fèi)時(shí)間 , 但是由于它的完全覆蓋性, 在有限的時(shí)間里完成了更多的用例, 帶來(lái)的總體效率(65. 6% 是很高的。而在第2次投入中, 可以看到這個(gè)

13、效率(84. 4% 更高。因?yàn)榛貧w測(cè)試帶來(lái)的巨大工作量被自動(dòng)化測(cè)試輕松完成了, 而新增的功能開發(fā)量要遠(yuǎn)遠(yuǎn)小于最初的開發(fā)量, 這樣在第n +1次自動(dòng)化測(cè)試投入中, 將發(fā)揮越來(lái)越重要的作用。26長(zhǎng)沙交通學(xué)院學(xué)報(bào)第22卷 表3第n 次(自動(dòng)化測(cè)試投入的第1次 測(cè)試情況比較測(cè)試方法計(jì)劃開發(fā)時(shí)間/h用例開發(fā)時(shí)間/h執(zhí)行時(shí)間/h產(chǎn)生報(bào)告時(shí)間/h總時(shí)間/h執(zhí)行用例數(shù)總效率/%手工測(cè)試163240492754自動(dòng)化測(cè)試244820. 574. 5175465. 6改善測(cè)試的效率/%-50-509587. 519. 2132. 6注:總效率=手工時(shí)間/用例數(shù)目-自動(dòng)時(shí)間/用例數(shù)目表4第n +1次自動(dòng)化測(cè)試投入的

14、第2次 測(cè)試情況比較測(cè)試方法計(jì)劃開發(fā)時(shí)間/h用例開發(fā)時(shí)間/h執(zhí)行時(shí)間/h產(chǎn)生報(bào)告時(shí)間/h總時(shí)間/h執(zhí)行用例數(shù)總效率/%手工測(cè)試4848464780自動(dòng)化測(cè)試61620. 52484. 4改善測(cè)試的效率/%-50-509587. 57注:總效率=手工時(shí)間/用例數(shù)目-自動(dòng)時(shí)間/3結(jié)論判斷適合自動(dòng)化測(cè)試的軟件特征, 根據(jù)自動(dòng)化測(cè)試過(guò)程中各個(gè)環(huán)節(jié)的特點(diǎn), 選擇合適的自動(dòng)化測(cè)試工具或開發(fā)自動(dòng)化測(cè)試方法成為有效利用自動(dòng)化測(cè)試的重要途徑。本方法對(duì)于提高軟件測(cè)試質(zhì)量和測(cè)試效率具有一定的參考價(jià)值。參考文獻(xiàn):1鄧波, 黃麗娟, 曹青春. 軟件測(cè)試自動(dòng)化M .北京:機(jī)械工業(yè)出版社,2003. 2新語(yǔ). 有效軟件測(cè)試

15、M .北京:清華大學(xué)出版社,2003.3李新華, 陳麗容, 馬立群. 軟件測(cè)試過(guò)程改進(jìn)M .北京:機(jī)械工業(yè)出版社,2003. 4張?zhí)於? 淺談軟件測(cè)試自動(dòng)化解決方案J.無(wú)憂測(cè)試,2004, (2 :91.5張克東, 莊燕濱. 軟件工程與軟件測(cè)試自動(dòng)化教程M .北京:電子工業(yè)出版社,2002. 6于秀山, 胡兢玉. 軟件自動(dòng)化測(cè)試:引入、管理與實(shí)施M .北京:電子工業(yè)出版社,2003. 7許育誠(chéng). 軟件測(cè)試與質(zhì)量管理M .北京:電子工業(yè)出版社,2004. 8朱少民. 軟件測(cè)試方法和技術(shù)M .北京:清華大學(xué)出版社,2005. 9林寧, 孟慶余. 軟件測(cè)試實(shí)用指南M .北京:清華大學(xué)出版社,2004

16、.H ow to Use Automatic T est E ff iciently in Soft w are T estL I Yong 2z hong(Calculating Center , Changsha College , Changsha 410003,China Abstract :In order to increase t he quality and efficiency of software test , a met hod of automatic test has being utilized more and more in t he process of s

17、oftware test. The key question of utilizing auto 2matic test is how to judge t he software feat ures suitable for automatic test , how to select t he right au 2tomatic test tools or develop t he met hod of automatic test on t he basis of t he characteristics of each tache in t he process of automatic test. The software feat ures t hat are