軟件可靠性的評(píng)價(jià)準(zhǔn)則

1、 軟件可靠性的評(píng)價(jià)準(zhǔn)那么 迄今為止，尚無(wú)一個(gè)軟件可靠性模型對(duì)軟件的不同特性和不同使用環(huán)境都有效。已公開(kāi) 發(fā)表的100余種軟件可靠性模型，表達(dá)形式不同，適應(yīng)性各異，與實(shí)際的軟件開(kāi)發(fā)過(guò)程有較大差 異。而且，新模型還在不斷發(fā)表。因此 ，在進(jìn)行軟件可靠性預(yù)計(jì)、分析、分配、評(píng)價(jià)和設(shè)計(jì)之 前，對(duì)軟件可靠性模型進(jìn)行評(píng)價(jià)及選擇與軟件工程相符或相近的模型非常重要。通過(guò)建立有 效的評(píng)價(jià)準(zhǔn)那么，在考慮它們與各種軟件的關(guān)系的根底上 ，對(duì)擬評(píng)價(jià)的可靠性模型就有效性、適 應(yīng)性和模型能力等進(jìn)行評(píng)價(jià)，判定它們的價(jià)值，比擬它們的優(yōu)劣，然后選擇有效的軟件可靠性 模型。另一方面，在可接受的模型之間無(wú)法做出明確的選擇時(shí) ，可根據(jù)模型

2、的使用環(huán)境等，在 模型評(píng)價(jià)準(zhǔn)那么的根底上，進(jìn)行模型擇優(yōu)。當(dāng)然，軟件可靠性模型的評(píng)價(jià)不僅依賴于模型的應(yīng)用 ，還依賴于理論的支持和豐富的、高質(zhì)量可靠性數(shù)據(jù)的支持。軟件可靠性模型的評(píng)價(jià)最早始 于1984年lannino、Musa、Okumoto和Littlewood所提出的原那么。根據(jù)這一原那么 ，結(jié)合后人 的工作，形成了根本的軟件可靠性評(píng)價(jià)準(zhǔn)那么集。它們是軟件可靠性模型比擬、選擇和應(yīng)用的 根底。 準(zhǔn)那么一：模型預(yù)測(cè)有效 軟件可靠性模型最重要的評(píng)價(jià)指標(biāo)是模型預(yù)測(cè)的有效性。它根據(jù)軟件現(xiàn)在和過(guò)去的故障 行為,用模型預(yù)測(cè)軟件將來(lái)的故障行為和可靠性水平。它主要通過(guò)能有效描述軟件故障隨機(jī) 過(guò)程特性的故障數(shù)方式

3、對(duì)模型進(jìn)行描述與評(píng)價(jià)。 基于軟件故障時(shí)間特性的隨機(jī)過(guò)程也是一種 常用的方法，而且這兩種方法相互重疊。 要確定軟件可靠性模型預(yù)測(cè)的有效性，首先要比擬模型預(yù)測(cè)質(zhì)量。這種比擬通常通過(guò)相 對(duì)誤差法、偏值、U圖法、Y圖法、趨勢(shì)法等方法進(jìn)行。故障數(shù)度量是一種在工程上被廣泛 應(yīng) 用的方法。此外，還可以通過(guò)比擬不同數(shù)據(jù)集合所做出的中位線圖形來(lái)評(píng)價(jià)模型預(yù)測(cè)的有效 性。如果一個(gè)模型產(chǎn)生的曲線最接近于 0,那么該模型是最優(yōu)的。而且，這種有效性測(cè)定方法有 效地克服了標(biāo)準(zhǔn)化圖形評(píng)價(jià)與具體軟件工程之間的聯(lián)系 ，保證了它的獨(dú)立性。 用給定可靠性數(shù)據(jù)對(duì)軟件可靠性模型進(jìn)行比擬時(shí) ，必須考察擬合模型與觀察數(shù)據(jù)的一致 性和符合性。

4、當(dāng)然，根據(jù)擬合模型進(jìn)行采樣，是否可以獲得足夠的觀察數(shù)據(jù)非常重要。擬合優(yōu) 度檢驗(yàn)是一種系統(tǒng)地表達(dá)并證明觀察數(shù)據(jù)和擬合模型之間全局符合性的方法 ，使用最廣泛的 是x2檢驗(yàn)。 1.準(zhǔn)確性 軟件可靠性模型預(yù)測(cè)的準(zhǔn)確性可用前序似然函數(shù)來(lái)測(cè)定。設(shè)觀察到的失效數(shù)據(jù)對(duì)應(yīng)于軟 件相繼失效之間的時(shí)間序列 t1，t2，.，ti-1,并用這些數(shù)據(jù)來(lái)預(yù)測(cè)軟件在未來(lái)可能的 Ti，即希 望得到Ti的真實(shí)概率密度函數(shù) Fi(t)的最優(yōu)估計(jì)值。假設(shè)以t1，t2，.，ti-1為根底預(yù)測(cè)Ti的 分布Fi(t)的概率密度函數(shù) 42D11000.GIF;表達(dá)式 1 對(duì)Ti+1，Ti+2，.，Ti+n的這種向前一步預(yù)測(cè)，即進(jìn)行了 n+1

5、次預(yù)測(cè)之后的前序似然函數(shù)為 42D11001.GIF;表達(dá)式 2 由于這種度量常常接近于 0,所以常用其自然對(duì)數(shù)進(jìn)行比擬。假定比擬的兩個(gè)軟件可靠性 模型分別為A和B,那么對(duì)它們進(jìn)行n次預(yù)測(cè)之后的前序似然比為 42D11002.GIF;表達(dá)式 3 這個(gè)比率表示一個(gè)模型將比另一個(gè)模型給出更準(zhǔn)確的預(yù)測(cè)的可能。如果 42D11003.GIF;表達(dá)式 4 那么說(shuō)明模型A比模型B預(yù)測(cè)的準(zhǔn)確性高，模型A的有效性優(yōu)于模型 B。如果有c0且 42D11004.GIF;表達(dá)式 5 即隨著預(yù)測(cè)次數(shù)的無(wú)限增加 ，兩個(gè)模型A和B的前序似然比趨于一個(gè)常量，那么說(shuō)明兩個(gè)模型 A和B的預(yù)測(cè)結(jié)果是等價(jià)的，即兩個(gè)模型的預(yù)測(cè)準(zhǔn)確性

6、或有效性是等價(jià)的。 2. 偏倚 在軟件可靠性模型的應(yīng)用過(guò)程中，如果用模型得到預(yù)期預(yù)測(cè)結(jié)果的時(shí)間和觀測(cè)到的軟件 失效時(shí)間不一致，就認(rèn)為該模型是有偏的。為了測(cè)定模型的偏倚量 ，可計(jì)算在單位斜率線和i 時(shí)刻真實(shí)概率密度的估計(jì) Fi(ti)概率積分變換值之間的最大垂直距離。 Fi(ti)是在各個(gè)觀察 到的失效時(shí)間點(diǎn)上計(jì)算出來(lái)的模型分布函數(shù)值。同時(shí) ，這一模型的分布函數(shù)值還說(shuō)明了模型 偏倚的方向。當(dāng)Fi0時(shí),表示模型趨向于樂(lè)觀，反之那么表示模型趨向悲觀。無(wú)論哪種情況絕對(duì) 值越小，模型固有的偏倚就越小。 3. 趨向 有時(shí)，模型在早期的預(yù)測(cè)值集是令人樂(lè)觀的，但這種樂(lè)觀有可能隨著預(yù)測(cè)的不斷進(jìn)行而喪 失。它說(shuō)明

7、所描述的偏倚檢驗(yàn)將均化這些影響 ，因而模型顯得是無(wú)偏的。在這種情況下 ，重要 的是分析Fi(ti)的趨向。它被定義為單位斜率線和 yi的累積分布函數(shù)之間的科爾馬高洛夫距 離。趨向表示模型偏倚的一致性。趨向值越小 ，意味著模型更能適應(yīng)軟件可靠性數(shù)據(jù)的變化 ，因而能產(chǎn)生更好的預(yù)測(cè)有效性。 4. 噪聲 在軟件可靠性模型中，通常將噪聲假設(shè)為白噪聲。實(shí)際情況并非總是如此 ，而且軟件可靠 性模型對(duì)各種噪聲并非均具有較好的適應(yīng)性和不敏感性。一般地 ，我們可用經(jīng)典統(tǒng)計(jì)學(xué)中的 均方差來(lái)檢驗(yàn)?zāi)Ｐ椭械脑肼?。無(wú)論哪種情況 ，我們都希望得到盡量小的噪聲度量值。它不僅 指模型預(yù)測(cè)中的噪聲小，還指模型具有較好的平滑性。噪聲

8、為無(wú)窮大時(shí) ，表示模型可預(yù)測(cè)的軟 件失效率為0。 準(zhǔn)那么二：模型假設(shè)合理且易于測(cè)試 在軟件可靠性模型的建立過(guò)程中 ，針對(duì)不同的對(duì)象和使用環(huán)境導(dǎo)入了一些假設(shè)條件。這 些假設(shè)有時(shí)僅僅是為了理論推導(dǎo)和證明的需要 ，甚至是為了某些特殊目的而引入的。縱觀現(xiàn) 有的各種模型假設(shè)，不僅數(shù)量多，且有泛濫的趨勢(shì)。而模型假設(shè)左右著模型質(zhì)量。因此 ，模型 假設(shè)是否合理、假設(shè)質(zhì)量的上下、假設(shè)的可測(cè)試性等無(wú)疑成了模型能力與有效性度量的一個(gè) 重要指標(biāo)。模型假設(shè)的局限性太多 ，有礙于軟件可靠性模型研究與應(yīng)用的開(kāi)展。在軟件可靠 性模型中所做的一般假設(shè)有： 模型中的初始錯(cuò)誤數(shù)是一個(gè)常數(shù)或與故障率成正比。 每個(gè)軟件錯(cuò)誤導(dǎo)致相同的軟

9、件故障率。 一次可排除一個(gè)錯(cuò)誤，排除時(shí)不引入新錯(cuò)誤，錯(cuò)誤最終將被完全排除。 故障發(fā)生率服從分布。 故障間隔時(shí)間服從負(fù)指數(shù)分布。 軟件中的剩余錯(cuò)誤數(shù)正比于最后一次測(cè)試的時(shí)間長(zhǎng)度。 測(cè)試輸入隨機(jī)地遇到故障。 所有失效的影響相互獨(dú)立。 測(cè)試空間覆蓋使用空間。 所有的失效都是一出現(xiàn)就被看到。 軟件可靠性模型的評(píng)價(jià)準(zhǔn)那么對(duì)模型假設(shè)的根本要求是 ，模型假設(shè)應(yīng)能真實(shí)地描述模型對(duì) 象與運(yùn)行環(huán)境，不做無(wú)謂的假設(shè)，且所有假設(shè)都應(yīng)是可測(cè)試、可證明的。 在對(duì)模型的假設(shè)質(zhì)量進(jìn)行評(píng)價(jià)、并由此選擇模型時(shí) ，如果對(duì)假設(shè)能進(jìn)行完全測(cè)試，那么有數(shù) 據(jù)支持的假設(shè)的優(yōu)先級(jí)應(yīng)高于其它假設(shè) ，所有采用該假設(shè)的模型都應(yīng)優(yōu)先選用。如果假設(shè)的

10、 測(cè)試很困難、甚至不可能進(jìn)行，那么應(yīng)借助于一致性觀點(diǎn)或軟件工程經(jīng)驗(yàn) ，對(duì)其繼續(xù)考察。此外 ，還必須對(duì)模型假設(shè)的清晰性和明確性進(jìn)行判斷 ，這將有助于判斷一個(gè)具體模型是否適用于當(dāng) 前的軟件工程。 準(zhǔn)那么三：模型能力與可靠性參數(shù) 測(cè)定應(yīng)滿足用戶要求 軟件可靠性模型固有的能力是對(duì)與軟件可靠性有關(guān)的量的估計(jì)能力。它涉及到模型能否 有效地應(yīng)用于軟件設(shè)計(jì)人員、管理人員制訂軟件開(kāi)發(fā)方案、實(shí)施軟件可靠性工程設(shè)計(jì)與管理 、尤其是能否以令人滿意的精確度實(shí)現(xiàn)對(duì)軟件可靠性的預(yù)計(jì)、 分析、分配和評(píng)價(jià)等。軟件可 靠性模型能力度量的量包括： 當(dāng)前的可靠性、失效率、平均故障間隔時(shí)間、可用度 ，以及這些量的分布。 所有估計(jì)參數(shù)的

11、分布與置信區(qū)間。 實(shí)現(xiàn)可靠性目標(biāo)的期望時(shí)間。 實(shí)現(xiàn)可靠性目標(biāo)的資源和費(fèi)用開(kāi)銷(xiāo)。 模型能力的測(cè)定通過(guò)對(duì)軟件開(kāi)發(fā)環(huán)境和運(yùn)行剖面等方面的研究來(lái)完成 ，對(duì)這些量的數(shù)量 和重要性在軟件生命周期中逐個(gè)加以評(píng)價(jià)。 除了在測(cè)試和運(yùn)行階段進(jìn)行軟件可靠性能力的測(cè) 定外,在軟件設(shè)計(jì)和早期開(kāi)發(fā)階段，模型能力的測(cè)定也很重要。 軟件可靠性模型參數(shù)測(cè)定的難易程度，是衡量模型有效性和模型能力的一個(gè)重要指標(biāo) ，它 涉及模型的參數(shù)個(gè)數(shù)及估計(jì)這些參數(shù)的困難。 大多數(shù)模型包含兩個(gè)以上的參數(shù)。 根據(jù)經(jīng)驗(yàn)軟 件可靠性模型要求的可靠性數(shù)據(jù)至少是待估計(jì)參數(shù)的 5倍。參數(shù)較多的模型，其有效性與模 型 能力優(yōu)于參數(shù)較少的模型。但對(duì)軟件可靠性預(yù)測(cè)

12、模型來(lái)說(shuō) ，這并不普遍正確。如果兩個(gè)模型 顯示出較好的預(yù)測(cè)能力，應(yīng)選用參數(shù)較少的模型。因?yàn)榫哂休^少參數(shù)的模型更容易應(yīng)用 ，而且 開(kāi)發(fā)人員能更好地解釋參數(shù)的物理意義 ，以便向軟件開(kāi)發(fā)過(guò)程提供適當(dāng)?shù)姆磻?yīng)。 準(zhǔn)那么四：模型應(yīng)具有較強(qiáng)的適用性 通常,軟件可靠性模型都有一個(gè)有限的使用范圍 ，如特定的軟件可靠性數(shù)據(jù)、軟件開(kāi)發(fā)過(guò) 程等。對(duì)軟件可靠性模型的適用性 ，可通過(guò)各種不同的大小、結(jié)構(gòu)、功能和應(yīng)用領(lǐng)域來(lái)分析 。一個(gè)特定模型的優(yōu)點(diǎn)，在于它在不同的開(kāi)發(fā)和運(yùn)行環(huán)境中，以及在不同生命周期階段的適用 性。應(yīng)用軟件可靠性模型時(shí)，以下情況應(yīng)該用模型進(jìn)行處理 ： 軟件過(guò)程的進(jìn)化與開(kāi)展。 軟件故障分類(lèi)。 能處理不完全的可

13、靠性數(shù)據(jù)。 能在不同的軟硬件平臺(tái)上移植。 能適應(yīng)開(kāi)發(fā)環(huán)境和應(yīng)用環(huán)境的不一致。 總之,對(duì)軟件可靠性模型的適用性，可采用各種不同大小、不同結(jié)構(gòu)、不同功能的軟件產(chǎn) 品對(duì)它們進(jìn)行比擬、評(píng)價(jià)與判斷 ，以確定其適用性水平。另外，還應(yīng)將模型應(yīng)用于不同的開(kāi)發(fā) 環(huán)境、操作運(yùn)行環(huán)境，以及不同的軟件生命周期階段，以判定其適用性。 準(zhǔn)那么五：模型的推導(dǎo)、描述、應(yīng)用應(yīng)簡(jiǎn)明 簡(jiǎn)潔性是對(duì)所有模型的共同要求。只有推導(dǎo)、證明、描述和應(yīng)用簡(jiǎn)單明了的模型 ，才能 在軟件可靠性工程實(shí)踐中發(fā)揮作用 ，才會(huì)有廣闊的應(yīng)用前景。 軟件可靠性模型的簡(jiǎn)潔性涉及到可靠性數(shù)據(jù)采集過(guò)程、模型假設(shè)、模型描述、模型推導(dǎo) 、模型證明，以及用軟件工程工具來(lái)實(shí)

14、現(xiàn)模型。在數(shù)據(jù)采集方面 ，簡(jiǎn)明性可減少測(cè)定費(fèi)用、提 高數(shù)據(jù)準(zhǔn)確性，并使它更易于模型應(yīng)用。模型假設(shè)、推導(dǎo)、描述和證明等方面的簡(jiǎn)潔性 ，使人 們更容易理解模型假設(shè)、估計(jì)參數(shù)、應(yīng)用模型和解釋結(jié)果 ，可提高模型能力和模型的有效性 。模型實(shí)現(xiàn)方面的簡(jiǎn)潔性，可促進(jìn)對(duì)軟件工程工具的有效使用 ，以推動(dòng)模型的應(yīng)用。 在選擇軟件可靠性模型時(shí)，應(yīng)充分重視其簡(jiǎn)單性。尤其在尚未對(duì)可靠性估計(jì)進(jìn)行屢次實(shí) 踐的情況下，既不能保證較復(fù)雜模型的質(zhì)量 ，一般也沒(méi)有數(shù)據(jù)來(lái)支持較復(fù)雜的模型。 準(zhǔn)那么六：模型應(yīng)有足夠的可靠性數(shù)據(jù)的支持 在軟件可靠性模型的應(yīng)用中，可靠性數(shù)據(jù)始終是一個(gè)重要的、非常突出的問(wèn)題。沒(méi)有足 夠多的可靠性數(shù)據(jù)，便企圖應(yīng)用模型去分析、估計(jì)軟件的可靠性水平 ，以及用它們來(lái)進(jìn)行預(yù)測(cè) 和決策是極其困難的，甚至是不可能的。事實(shí)上，軟件可靠性數(shù)據(jù)的數(shù)量、質(zhì)量及完整性等對(duì) 軟件可靠性模型的影響遠(yuǎn)遠(yuǎn)大于軟件可靠性