使用失效數(shù)據(jù)來引導(dǎo)決定

1、使用失效數(shù)據(jù)來引導(dǎo)決定,趙建華,南京大學(xué)計(jì)算機(jī)系,失效數(shù)據(jù)的用途,失效數(shù)據(jù)可以幫助你作出以下決定,接受,拒絕一個采辦組件,引導(dǎo)你開發(fā)產(chǎn)品或者其變體的軟件開發(fā)過程,接受或者拒絕一個超系統(tǒng),發(fā)布一個產(chǎn)品,其中，決定,1,和,3,是在確認(rèn)測試的時候做,出的,引導(dǎo)過程,引導(dǎo)你開發(fā)一個產(chǎn)品或者其變體的軟件,開發(fā)過程的決定包括兩個子決定,通過估算當(dāng)前的失效強(qiáng)度和它的趨勢來引導(dǎo),軟件過程的改變,根據(jù)失效的影響（包括頻率和嚴(yán)重程度類,來確定需要解決的失效的優(yōu)先次序,確認(rèn)測試,主要的任務(wù)是確定某個軟件的,FI,是否達(dá)到,要求,使用的主要工具是,Reliability demonstration,chart,需要

2、使用的數(shù)據(jù)：每個失效發(fā)生的具體時,刻,Reliability Demonstration Chart,使用失效發(fā)生的,具體時刻,在圖中,繪制各個失效對,應(yīng)的點(diǎn)。根據(jù)點(diǎn),所在的區(qū)域決定,接受,否決一個產(chǎn),品，或者繼續(xù)測,試,縱軸：錯誤個數(shù),橫軸：標(biāo)準(zhǔn)化后,的失效時刻,Reliability Demonstration Chart,給圖表總共有,3,個參數(shù),區(qū)分比率,你所能夠接受的在估算,FI,的時候出現(xiàn)的,誤差的因子,客戶風(fēng)險水平,你接受的將不符合,FIO,的產(chǎn)品說,成符合,FIO,的可能性,供應(yīng)商風(fēng)險水平,你所能夠接受的將符合,FIO,的,產(chǎn)品說成不符合要求的可能性,當(dāng)風(fēng)險水平和,或區(qū)分比率降

3、低時,CONTINUE,區(qū)域變大。這意味著需要更加多的,測試來確定是否接受這個產(chǎn)品,對于,RDC,的解釋,可能有,10,的,機(jī)會錯誤地接,受一個其實(shí)際,FI,高于,FIO,兩,倍的產(chǎn)品,有,10,風(fēng)險錯,誤地拒絕了一,個其實(shí)際,FI,低,于,FIO,一半的,產(chǎn)品,區(qū)分比率,2,客戶風(fēng)險水平,10,供應(yīng)商風(fēng)險水平,10,確認(rèn)測試中使用,RDC,的例子,Failur,Measure,Normalized,e,numb,million,measure,er,calls,MTTF,1,0.1876,0.75,2,0.3125,1.25,3,1.25,5,例子,一些具體問題,當(dāng)失效數(shù)據(jù)一直不離開,con

4、tinue,區(qū)域時,不大可能發(fā)生,因?yàn)檫@需要,FI,不斷增加,這和,確認(rèn)測試中,軟件保持穩(wěn)定相矛盾,不一定要等到有一個點(diǎn)出現(xiàn)在,ACC,區(qū)域,才可以接受,拒絕,當(dāng)沒有失效出現(xiàn)的時候，可以認(rèn)為曲線水平,延伸。當(dāng)曲線進(jìn)入,ACC,區(qū)域的時候就可以接,受該軟件,不同風(fēng)險和區(qū)分度的,RDC,所有的,RDC,的形狀是類似的，但是不同,區(qū)域之間的分界線不一樣。分界線的方,程如下,表示區(qū)分度,n,為失效個數(shù),在拒絕區(qū)域和繼續(xù)區(qū)域,A,n,ln,T,N,1,在繼續(xù)區(qū)域和接受區(qū)域,T,N,B,n,ln,1,A,B,的意義,A,ln,1,A,的值改變很快,B,的值改變比較慢,B,ln,1,當(dāng)客戶風(fēng)險改變的時候,供

5、應(yīng)商風(fēng)險改變的時候,A,的值基本穩(wěn)定,B,的值改變比較快,不同設(shè)置時的,RDC,當(dāng),參數(shù)不同的時候,RDC,的兩個,分界線也各自不同,RDC,的例子,Consumer risk,= 5,Supplier risk,= 5,Discrimination,ratio = 2,可靠性增長測試,可靠性測試中，我們可以定期使用失效數(shù),據(jù)來估算,FI/FIO,的比值,估算的間隔可以根據(jù)你需要評估當(dāng)前的,FI,并根據(jù)需要采取行動的頻率決定,Length of test remaining,1 month,Freq. Of application of data,Daily,1-3 month,3 month

6、,semiweekly,Weekly,SMERFS,和,CASRE,可以使用,SMERFS,程序來估算當(dāng)前的,FI,的,情況。該程序的理論基礎(chǔ)是軟件可靠性,模型和統(tǒng)計(jì)推論,CASRE,是另外一個工具，它的核心還是,SMERFS,程序，但是提供了比較方便的,圖形界面,CASRE(1,接受的輸入,每個錯誤發(fā)生的時候的累計(jì)的單元（時間,數(shù)目,或者：在一個間隔內(nèi)發(fā)生的錯誤數(shù)量。這個,間隔總是起始于某個錯誤發(fā)生的時刻或者測,試開始的時刻,如果使用自然時間或單元，需要首先規(guī)范化,這些時間或者單元（乘以,FIO,得到,MTTF,CASRE(2,CASRE,使用兩種模型來估算但前的狀態(tài)和預(yù)測,將來的趨勢,對數(shù)

7、模型,Musa-Okumoto,：假設(shè)軟件在無限多的,時間內(nèi)出現(xiàn)無限多個失效。對,FI,的估算趨于悲觀,指數(shù)模型,Musa Basic,：假設(shè)軟件在無限多時間,內(nèi)出現(xiàn)有限多的失效。對,FI,的估算趨于樂觀,在實(shí)際使用中，這兩個模型中總有一個很好地,符合實(shí)際情況,CASRE(3,CASRE,的輸出是,Next step prediction,如果我們將輸入數(shù)據(jù)如前面所講的規(guī)范化了,那么,Next step prediction,就將是,MTTF,我們可,以對,MTTF,取倒數(shù)得到,FI/FIO,的比率,如果失效數(shù)據(jù)顯示測試對,FI,的提高作用很小,CASRE,將不能輸出,Next step pr

8、ediction,此,時可以使用其他的方式得到,FI/FIO,的值,CASRE(4,CASRE,對,FI/FIO,的估算的準(zhǔn)確性依賴于,具體有多少個失效數(shù)據(jù),被測系統(tǒng)的規(guī)模,5000,行代碼時，估算的效,果比較好,FI/FIO,不變的時候,當(dāng)測試發(fā)現(xiàn),FI/FIO,很大且基本不變的時候，可,以考慮下面的三個方法,增加更多的資源進(jìn)行測試,重新調(diào)整,FIO,開發(fā)時間和開發(fā)費(fèi)用之間的關(guān)系,推遲實(shí)現(xiàn)某些功能,當(dāng),FI/FIO2,時，分析最近的,5,個數(shù)據(jù)，看是否,FI/FIO,有增大的趨勢。分析原因并找出解決方,法,終止測試,當(dāng)規(guī)范化的失效強(qiáng)度,FI/FIO,的值低于,0.5,的時候，可以考慮停止測試

9、,不是在,FI/FIO,等于,1,的時候發(fā)布是因?yàn)槭?數(shù)據(jù)具有不確定性，估算具有誤差。為了保,證一定的可信度，需要使得實(shí)效強(qiáng)度更加小,一點(diǎn),發(fā)布產(chǎn)品,當(dāng)下面的情況成立的時候，可以考慮發(fā)布產(chǎn)品,對產(chǎn)品的測試圓滿結(jié)束,對于產(chǎn)品的所有變體的測試圓滿結(jié)束,在預(yù)先準(zhǔn)備好的驗(yàn)收測試中，產(chǎn)品被接受了,所有的系統(tǒng)都被接受了,當(dāng)有一些情況發(fā)生的時候，需要考慮推遲發(fā)布,比如有非常嚴(yán)重的缺陷,一般來說，當(dāng)系統(tǒng)發(fā)布的時候，所有的嚴(yán)重程,度為,1,級或,2,級的失效都得到了糾正,特殊情況,正在發(fā)展變化中的程序,在測試的過程中，程序本身可能正在被改變,沒有被報(bào)告的失效,系統(tǒng)的測試過程中，有些測試可能沒有被觀,察到,不同

10、風(fēng)險水平和區(qū)分度下的確認(rèn)測試,正在發(fā)展變化中的程序,在可靠性增長測試過程中，可靠性模型,是被用來估算穩(wěn)定的系統(tǒng)的（除了修正,錯誤，不對系統(tǒng)作出改變,但是，系統(tǒng)在開發(fā)的過程中很有可能會,因?yàn)檐浖枨蟮母淖?，技術(shù)的發(fā)展等而,發(fā)生改變,修改操作的實(shí)現(xiàn)，改變軟件,硬件,這樣的變化會引入新的錯誤,當(dāng)程序變化緩慢的時候,如果程序的進(jìn)化很慢，比如每周小于,5,的代碼,被修改。你可以忽略這樣的程序變化,此時，使用理論模型估算模型參數(shù)或,FI/FIO,的時候會,偏離實(shí)際情況。但是，模型本身就是有誤差的。由于,忽略變化而產(chǎn)生的誤差是可以接受的,當(dāng)你不停地估算參數(shù)或者,FI/FIO,的時候，最新的數(shù)據(jù),對結(jié)果的影響

11、最大。因此，隨著測試過程的進(jìn)展，估,算得到的值將比較接近新的程序,在實(shí)際的實(shí)踐中，多達(dá),21,的程序的改變引起的估算,值也只是僅僅引起了估算值的一小段時間的不連續(xù)跳,躍,這樣做的好處在于可以避免收集新的數(shù)據(jù),當(dāng)出現(xiàn)了大的改動時,可以放棄前面得到的全部數(shù)據(jù)，但是你,可能需要等待很長時間才可以得到足夠,的數(shù)據(jù)來進(jìn)行估算預(yù)測,可以考慮結(jié)合老的數(shù)據(jù)來進(jìn)行估算,預(yù)測,這樣得到的結(jié)果要比沒有數(shù)據(jù)時更不壞,當(dāng)有了足夠的數(shù)據(jù)的時候，可以考慮放,棄全部數(shù)據(jù),兩種更加顯著的變化,你可能需要處理兩種更加顯著的變化,一個組件一個組件的變化,一個操作組一個操作組的變化,書中提供的方式假設(shè)各個元素之間的失,效強(qiáng)度相互獨(dú)立

12、,處理方法（逐個組件演化,首先估算每個組件的,FI,如果程序逐個組件地演化，并且程序正常工作,需要所有的組件都正常地工作，那么你每加入,一個組件，就將其,FI,加入到系統(tǒng)的,FI,中去,比如：假設(shè)組件,A,B,的,FI,分別是,15/100H,和,20/100H,那么系統(tǒng)地的,FI,為,35/100H,如果系統(tǒng)的組合方式有所不同，那么計(jì)算方式也應(yīng),該可以改變,處理方法（逐個操作組演化,首先估算每個操作組的,FI,將這些操作組的,FI,的帶權(quán)重的和作為整,個系統(tǒng)的,FI,比如：操作組,A,的失效強(qiáng)度為,5/1000H,而,B,的失效強(qiáng)度為,10/1000H,A,中的操作,出現(xiàn)的概率為,0.6,B

13、,中的操作出現(xiàn)的概,率為,0.4,那么系統(tǒng)的,FI,為,0.6*5+0,4*10)/100H,處理方法的局限性,這樣的方法只能處理元素個數(shù)比較少的,情況,當(dāng)元素個數(shù)過多，對每個元素的數(shù)據(jù)樣本規(guī),模很小，估算誤差增大,元素個數(shù)比較大的時候，錯誤很可能出現(xiàn)在,元素的組合過程中,因此，這樣的方法適合于：變化量大,但是變化次數(shù)比較少的情況,其它適用情況,前面的方法可以用于一些其他的情況,一個程序完全由其他的組件集成而來，并且,測試的時候使用逐步進(jìn)行的方式,程序充分集成，但是觀察失效的時候是按照,漸進(jìn)的方式進(jìn)行的,開始的時候?qū)Ｗ⒂谀硞€組建（操作組），然后逐,步拓寬視野,沒有被報(bào)告的失效,1,在很多情況下

14、，有些失效可能沒有被報(bào),告，特別是在使用現(xiàn)場發(fā)生的,這些情況主要發(fā)生在嚴(yán)重程度不高，沒有引,起程序執(zhí)行中斷的失效上,通過訓(xùn)練和激勵人員，以及投入更多的,精力檢查程序輸出，你可以降低沒有被,報(bào)告的失效的比例，但是不可能完全消,除遺漏的失效,沒有被報(bào)告的失效,2,一般來說，在負(fù)載測試中會有更加多的,失效被忽略掉,在功能測試和回歸測試中，用戶一般可以知,道程序的標(biāo)準(zhǔn)輸出,在負(fù)載測試中，由于間接輸入變量的影響,往往難以預(yù)先知道確切的標(biāo)準(zhǔn)輸出,你可以通過基于系統(tǒng)需求，直到某些變,量的某些值是不可接受的。就是說，在,某些情況下可以肯定系統(tǒng)失效了,沒有被報(bào)告的失效,3,有些失效沒有被報(bào)告意味著，總的來說，我

15、們,將低估系統(tǒng)的,FI,但是，被用戶忽略的失效更加多。也就是說,相對于測試者而言，用戶會認(rèn)為這個系統(tǒng)更加,可靠,也有可能在實(shí)際使用的時候，用戶感覺到的,FI,高于測試時估算。主要原因在于系統(tǒng)測試沒有,計(jì)劃好，測試時的模擬環(huán)境和實(shí)際使用的不同,沒有被報(bào)告的失效,4,可以通過某些手段對估算到的,FI,進(jìn)行調(diào),整。具體的方法是,通過對類似項(xiàng)目的分析，看到底有多少失效,被遺漏了。（這樣的活動非常費(fèi)時費(fèi)力,通過這些歷史數(shù)據(jù)，你可以逆向估算出有多,少失效被遺漏了,中對,FI,估算的影響,1,假設(shè)第,i,個失效被,遺漏的概率的表,示方式如圖,P,i,P,i,1,a,p,2,p,1,i,a,P,i,P,2,i,a,P,i,is the probability that the,i,th failure goes unnoticed,對于,FI,估算的影響,2,對于基本執(zhí)行時間模,型,模型假設(shè),0,0,e,0,解釋,如果,P(I,不變，那么估算得到的,FI,比較小,如果,P(I,隨時間增加，那么估算得到的,FI,就比較低，而且越來越低,如果,P(I,隨時間降低，那么對于,FI,的估計(jì),開始的時候比較低，但是逐漸變好,對,FI,估算的影響,3,對