軟件可靠性測試充分性問題的理論研究

1、2003年4月第29卷第4期北京航空航天大學學報JournalofBeijingUniversityofAeronauticsandAstronauticsApril2003Vol.29No14軟件可靠性測試充分性問題的理論研究李秋英陸民燕阮鐮(北京航空航天大學工程系統(tǒng)工程系)摘要:在分析了軟件可靠性測試充分性準則研究的重要意義的基礎上,闡述了軟件測試充分性準則的概念、分類以及軟件可靠性測試充分性準則與整個軟件測試充分性準則體系的關系,提出了其在軟件可靠性測試中的一種實現(xiàn)方法,是借鑒已有的軟件測試充分性方面的理論,對軟件可靠性測試充分性問題進行的初步探索.關鍵詞:軟件;可靠性;運行;則;運行剖

2、面中圖分類號:TP311文獻標識碼:A章號(2003)0420312205.即使對于軟件可靠性測試技術作為保障軟件質(zhì)量和可靠性的重要手段,越來越受到人們的重視.同軟件測試一樣,軟件可靠性測試也面臨充分性問題,該問題是軟件可靠性測試的關鍵技術和難點問題之一.針對該問題,借鑒已有的軟件測試充分性理論,對軟件可靠性測試充分性進行初步的探索.分性度量都不能滿足這一要求.軟件測試充分性最初是由Goodenough和Gerhert在驗證程序正確性時提出的2,因此人們也試圖從軟件正確性或可靠性的角度定義測試充分性,但很遺憾的是,人們發(fā)現(xiàn):測試充分性與軟件正確性或可靠性之間尚無確切的、必然的聯(lián)系1,因此從這兩

3、個角度定義充分性的作法目前尚處于難以自圓其說的狀況.基于不同目的、不同要求和不同信息的測試對應不同的測試充分性,因此建議目前不要急于給出測試充分性的統(tǒng)一定義.顯然,人們目前說某一測試集合是充分的,是相對于某一準則來說是充分的,語句覆蓋達到100%的測試數(shù)據(jù)集合相對于語句覆蓋充分性準則來說是充分的,但其對于分支覆蓋充分性準則來說則不一定是充分的.而且,可以肯定的一點是,如果根據(jù)一個非?；镜臏蕜t,如語句覆蓋準則或分支覆蓋準則,測試是不充分的,那么軟件的質(zhì)量是無法保證的.人們在不斷的測試實踐中,分析不同測試方法的特征,給出了不同的測試充分性準則,這些準則規(guī)定了不同的測試充分性,軟件測試充分性準則的

4、定義分為謂詞形式和定量度量函數(shù)形式兩種3.謂詞形式的軟件測試充分性準則C是一個定義在T×P×S上的謂詞,即C:T×P×Strue,false.C(t,p,s)1軟件測試充分性準則的定義對于什么是“軟件測試充分性”,尚未見到任何文獻給出其明確定義.從字面上理解,其定義的落腳點應為軟件測試應該具備或者表現(xiàn)出什么樣的性質(zhì),因此有人曾提出“軟件測試充分性”表示當被測軟件成功地通過測試集合中的所有測試數(shù)據(jù)時,該測試集合能夠證明程序中不存在錯誤的能力1.顯而易見,目前已有的許多充=true表示用測試收稿日期:2002201208作者簡介:李秋英(1973-),女,黑

5、龍江大慶人,博士生,100083,北京.第4期李秋英等:軟件可靠性測試充分性問題的理論研究313s.這樣根據(jù)不同的s大,充分度越高.注意這里同樣將文獻4中的功能規(guī)約改為規(guī)則.兩種定義之間是有聯(lián)系的.謂詞形式的充分性準則是度量形式的充分性準則的特例,將謂詞形式的充分性準則的值域看作是集合0,1.度量形式的充分性準則M以及一個充分度要求r,可以定義一個謂詞形式的充分性準則Cr,使得一個測試數(shù)據(jù)集合是Cr充分的,當且僅當其M充分度大于等于r4.2,闡明其與其它,將充分性準則進.:一是為了發(fā)現(xiàn)錯誤,稱其基于正確性的軟件測試;另一目的是為了確保軟件滿足使用要求,稱其基于可靠性的軟件測試.下面先依據(jù)測試目

6、的的不同將軟件測試充分性準則分為兩大類,再依據(jù)前面定義中的s的不同將軟件測試充分性準則進行分類,具體情況如圖1所示.由圖可見,軟件可靠性測試充分性準則從測試目的上區(qū)別于為了發(fā)現(xiàn)錯誤(從而驗證程序正確性)而進行的軟件正確性測試充分性準則,從依據(jù)的規(guī)則上區(qū)別于基于程序規(guī)范的語句覆蓋充試充分性準則.表1名稱功能規(guī)范使用規(guī)范程序規(guī)范義等的規(guī)格說明規(guī)定計算機程序結構的任何規(guī)格說明度量函數(shù)形式的充分性準則是一個從測試數(shù)據(jù)集合、被測程序及其規(guī)則到實數(shù)區(qū)間0,1的函數(shù).C(t,p,s)=r表示程序p相對于規(guī)則s在測試數(shù)據(jù)集合t上的測試充分度為r.r越圖1軟件測試充分性準則的分類314北京航空航天大學學報200

7、3年分性準則.對于基于程序規(guī)范的充分性準則來說,可以將程序看作一個純粹的語法對象,因此結構覆蓋信息可以衡量測試進行的程度.對于基需要被測軟件可靠度達到的最小值.該要求同樣可以表示為c(為軟件的失效概率,即不可靠度).依據(jù)可靠性的定義可知上述要求可以保障軟件中高發(fā)生概率的錯誤及早暴露,這對于一般的、非安全關鍵軟件來說,測試是足夠了,但對于安全關鍵軟件來說,某些低發(fā)生概率的致命錯誤也許不會在如此短的測試時間內(nèi)暴露出來,一旦其出現(xiàn),就會引起系統(tǒng)崩潰、人員傷亡等致命傷害,所以對于安全關鍵軟件,應增加一條要求NpiNci(i=1n)3軟件可靠性測試充分性準則定義軟件可靠性測試充分性準則區(qū)別于一般的基于功

8、能規(guī)范的測試充分性準則的特點在于,測試數(shù)據(jù)集合還需滿足使用規(guī)范中定義的運行剖面的特征,即運行剖面對于軟件可靠性測試充分與否具有一定的影響.如果遵循文獻4中的功能規(guī)約的定義,則對于軟件可靠性測試充分性準則來說其所謂的通用定義形式顯然是不適用的,因為功能規(guī)約不包含使用需求信息的使用規(guī)范,即不包含運行剖面方面的信息.因此,若要定義軟件測試充分性準則的通用定義,則定義中應該是“規(guī)則”,而不能是功能規(guī)約.Npii的錯誤數(shù);Nci;.,提出軟件可靠性測試充分性準則:RRcNpiNci(i=1,n)滿足上述要求的軟件可靠性測試數(shù)據(jù)集合可認為是實現(xiàn)軟件可靠性測試充分的數(shù)據(jù)集合,或者說,經(jīng)過滿足上述要求的軟件可

9、靠性測試數(shù)據(jù)集合測試后的軟件,實現(xiàn)了充分的軟件可靠性測試.限于篇幅,不討論軟件可靠性測試數(shù)據(jù)的生成,感興趣者可以參見相關文獻.當然,如果欲將上述準則作為廣而適之的準則,還需要經(jīng)過驗證其滿足充分性準則的公理化理論.這是下面將提出的一種保障軟件可靠性測試充分性準則實現(xiàn)的測試用例數(shù)確定方法的理論基礎.5測試數(shù)據(jù)數(shù)量的確定方法軟件可靠性測試的充分性必須通過度量來體現(xiàn),有人稱之為度量形式的軟件可靠性測試充分性準則4.軟件可靠性測試充分性度量可以分為3類:以概率為基礎的充分性度量;以可信度為基礎的度量;以可靠性估計為基礎的度量4.下面詳細闡述第類充分性度量方法,該方法借鑒了Parnas等提出的可靠性估計的

10、可信度理論,建立以可信度為基礎的度量.Parnas等應用假設檢驗方法,根據(jù)隨機測試4可靠性測試充分性準則的提法RRc樣本的大小(也就是測試數(shù)據(jù)集的元素個數(shù))和其中發(fā)現(xiàn)軟件錯誤的測試數(shù)據(jù)的個數(shù),給出了軟件的可靠性估計公式.對于一個給定的可靠性估計,例如可靠性大于等于r,那么軟件的實際可靠性大于等于r的概率即為這一估計的可信度的的要求.其中,R為被測軟件的可靠度;Rc為第4期李秋英等:軟件可靠性測試充分性問題的理論研究315軟件可靠性測試隸屬于黑盒測試,被測程序在完全不考慮程序內(nèi)部結構和內(nèi)部特性的情況下,依據(jù)需求規(guī)格說明書中提供的程序輸入和輸出之間的關系,判斷測試結果的正確性8.設是根據(jù)規(guī)范判斷程

11、序的輸出不符合預期結果的概率,即失效概率.由可靠性理論,提出如下假設:H:<1/h()假定在n,就接;,就拒絕該假設,認為軟件的失效概率不滿足指標要求.這是將文獻9中傳統(tǒng)意義的假設檢驗具體應用于軟件可靠性測試中.對于軟件的可靠性測試來說,第2類錯誤比第1類錯誤更嚴重,當軟件的失效率高于某值卻接受了該軟件,其危害性是不言而喻的,尤其對于安全關鍵軟件來說,其危害是難以想象的.根據(jù)犯第2類錯誤的概率小于(預先規(guī)定的任意小的正數(shù))的約束條件確定測試數(shù)據(jù)n的大小,即確定滿足充分性要求的測試用例的數(shù)量.設H為假時接受假設,即1/h時在測試n個測試數(shù)據(jù)時未發(fā)生失效,則此情況下n次測此為當對至少n個測試

12、用例測試成功時,犯第2類錯誤的概率小于1/h時對n的約束條件.對于充分大的h,顯見需要相當大的測試量來保障統(tǒng)計意義上的可信性,這與直觀概念相吻合.鑒于n的表達式過于復雜,本文根據(jù)不等式(1-x-1)x<e-1(x>0)(6)確定n的簡化表達式.不妨令x=h代入(6)式,則有(1-h-1)h<e-1(7)(8)對不等式(7)進行變換,hln(hhlnh-ln(h-1)(9)(5)式的要求,只需n>hlnh(10)就能夠保障測試用例的大小滿足所需要求.例如:想獲得H:<1/100,則根據(jù)(5)式,取nmin=459;根據(jù)(10)式,取nmin=461,誤差為014%.

13、可見可利用簡式(10)確定測試用例的大小.下面討論當n滿足上述約束條件時,犯第1類錯誤的概率,即n次測試中至少發(fā)生一次失效的概率為)P=1-(1-n(11)(12)考慮)y=1-(1-x當0<1-<1時,有yx>0,所以犯第1類錯誤的概率P當n>增.時單調(diào)遞lnh-ln(h-1)試時未發(fā)生失效的概率為)n(1-1/h)P=(1-令(1-1/h)nn(1)(2)這說明在保障犯第2類錯誤的概率小于1/h時,使得犯第1類錯誤的概率增加.因此有必要改變驗收準則:當n次測試中失效數(shù)小于t3時接受假設H,則t3的求解是一個最優(yōu)化過程,使得在保障犯第2類錯誤的概率小的同時犯第1類錯誤

14、的概率盡可能小,此時的t3/n作為失效概率的最優(yōu)估計,限于篇幅,該問題不詳細討論.<對(2)式兩邊同時取以e為底的對數(shù),則有(3)nln(1-1/h)<ln可得n>ln(h-1)-lnh(4)因此,當對n個測試用例進行測試成功時,H為假時接受該假設的概率,即犯第2類錯誤的概率小于.若取=1/h,即得文獻10中的表達式n>lnh-ln(h-1)(5)6結束語軟件可靠性測試充分性準則是用于確定軟件可靠性測試進行得是否充分、軟件可靠性測試可否停止的準則,這是軟件可靠性測試領域所面臨316北京航空航天大學學報2003年5MichaelRLyu.軟件可靠性工程手冊M.劉喜成譯.北

15、京:的難點問題之一.為此,闡述了軟件可靠性測試充分性準則的定義,提出了一種準則形式和在軟件可靠性測試中確定保障可靠性測試充分的測試數(shù)據(jù)數(shù)量的方法,借鑒已有的軟件測試充分性方面的理論,作為對于軟件可靠性測試充分性問題的研究的初步嘗試.參考文獻(References)1GardinerS.Testingsafety2relatedsoftware:ApracticalhandbookC.NewYork:SpringerVerlag,1999.1431542GoodenoughJB,GerhertSL.TowardatheoryoftestdataselectionJ.IEEETransaction

16、sonSoftwareEngineering,1975,SE23:156電子工業(yè)出版社,1996.110112MichaelRLyu.HandbookofsoftwarereliabilityengineeringM.LiuXichengTr.Beijing:PublishingHouseofElectronicsIndustry,1996.110112(inChinese)6WeissSN.MethodsofcomparingtestdataadequacycriteriaA.ComputerSoftwareandApplicationsConference1990ProceedingsC.

17、1990.167ParnasDL,vanSchouwenAJ,KwanSP.Evaluationofsafety2criticalsoftwareJ.CommunicationsofACM,1990,6(33):6366488鄭人杰.計算機軟件測試技術M.:清華大學出版社,1992.7980ZhengomputersoftwareM.Beijing:,80in)9上海:同濟大學出版社,90WProbabilitytheoryandmathematicalstatisticsM.Shanghai:TongjiUniversityPress,1984.8890(inChinese)10Howden

18、WE.FunctionalprogramtestingandanalysisM.NewYork:McGraw2Hill,1987.51551733ZhuHong,HallPAV.TestdataadequacymeasurementJ.Soft2wareEngineeringJournal,1993,8(1):21294朱鴻,金凌紫.軟件質(zhì)量保障與測試M.:版社,1997.8186ZhuHong,JinLingzi.Beijing:(in)TheoreticalResearchonSoftwareReliabilityTestingAdequacyLiQiuyingLuMinyanRuanLian(Dept.ofSystemEngineeringofE