軟件可靠性的評(píng)價(jià)準(zhǔn)則

1、軟件可靠性的評(píng)價(jià)準(zhǔn)則迄今為止，尚無(wú)一個(gè)軟件可靠性模型對(duì)軟件的不同特性和不同使用環(huán)境都有效。已公開 發(fā)表的100余種軟件可靠性模型，表達(dá)形式不同，適應(yīng)性各異，與實(shí)際的軟件開發(fā)過(guò)程有較大差 異。而且，新模型還在不斷發(fā)表。因此 ，在進(jìn)行軟件可靠性預(yù)計(jì)、分析、分配、評(píng)價(jià)和設(shè)計(jì)之 前，對(duì)軟件可靠性模型進(jìn)行評(píng)價(jià)及選擇與軟件項(xiàng)目相符或相近的模型非常重要。通過(guò)建立有 效的評(píng)價(jià)準(zhǔn)則，在考慮它們與各種軟件的關(guān)系的基礎(chǔ)上，對(duì)擬評(píng)價(jià)的可靠性模型就有效性、適應(yīng)性和模型能力等進(jìn)行評(píng)價(jià)，判定它們的價(jià)值，比較它們的優(yōu)劣，然后選擇有效的軟件可靠性 模型。另一方面，在可接受的模型之間無(wú)法做出明確的選擇時(shí)，可根據(jù)模型的使用環(huán)境等，

2、在模型評(píng)價(jià)準(zhǔn)則的基礎(chǔ)上，進(jìn)行模型擇優(yōu)。當(dāng)然，軟件可靠性模型的評(píng)價(jià)不僅依賴于模型的應(yīng)用 ，還依賴于理論的支持和豐富的、高質(zhì)量可靠性數(shù)據(jù)的支持。軟件可靠性模型的評(píng)價(jià)最早始 于1984年lannino、Musa、Okumoto和Littlewood所提出的原則。根據(jù)這一原則 ，結(jié)合后人 的工作，形成了基本的軟件可靠性評(píng)價(jià)準(zhǔn)則集。它們是軟件可靠性模型比較、選擇和應(yīng)用的 基礎(chǔ)。準(zhǔn)則一：模型預(yù)測(cè)有效軟件可靠性模型最重要的評(píng)價(jià)指標(biāo)是模型預(yù)測(cè)的有效性。它根據(jù)軟件現(xiàn)在和過(guò)去的故障 行為,用模型預(yù)測(cè)軟件將來(lái)的故障行為和可靠性水平。它主要通過(guò)能有效描述軟件故障隨機(jī) 過(guò)程特性的故障數(shù)方式對(duì)模型進(jìn)行描述與評(píng)價(jià)?；谲浖?/p>

3、故障時(shí)間特性的隨機(jī)過(guò)程也是一種常用的方法，而且這兩種方法相互重疊。要確定軟件可靠性模型預(yù)測(cè)的有效性，首先要比較模型預(yù)測(cè)質(zhì)量。這種比較通常通過(guò)相 對(duì)誤差法、偏值、U圖法、Y圖法、趨勢(shì)法等方法進(jìn)行。故障數(shù)度量是一種在工程上被廣泛 應(yīng)用的方法。此外，還可以通過(guò)比較不同數(shù)據(jù)集合所做出的中位線圖形來(lái)評(píng)價(jià)模型預(yù)測(cè)的有效 性。如果一個(gè)模型產(chǎn)生的曲線最接近于0,則該模型是最優(yōu)的。而且，這種有效性測(cè)定方法有效地克服了規(guī)范化圖形評(píng)價(jià)與具體軟件項(xiàng)目之間的聯(lián)系，保證了它的獨(dú)立性。用給定可靠性數(shù)據(jù)對(duì)軟件可靠性模型進(jìn)行比較時(shí)，必須考察擬合模型與觀察數(shù)據(jù)的一致性和符合性。當(dāng)然，根據(jù)擬合模型進(jìn)行采樣，是否可以獲得足夠的觀察數(shù)

4、據(jù)非常重要。擬合優(yōu) 度檢驗(yàn)是一種系統(tǒng)地表達(dá)并證明觀察數(shù)據(jù)和擬合模型之間全局符合性的方法，使用最廣泛的是x2檢驗(yàn)。1.準(zhǔn)確性軟件可靠性模型預(yù)測(cè)的準(zhǔn)確性可用前序似然函數(shù)來(lái)測(cè)定。設(shè)觀察到的失效數(shù)據(jù)對(duì)應(yīng)于軟件相繼失效之間的時(shí)間序列 t1，t2，.，ti-1,并用這些數(shù)據(jù)來(lái)預(yù)測(cè)軟件在未來(lái)可能的Ti，即希望得到Ti的真實(shí)概率密度函數(shù) Fi(t)的最優(yōu)估計(jì)值。假設(shè)以t1，t2，.，ti-1為基礎(chǔ)預(yù)測(cè)Ti的 分布Fi(t)的概率密度函數(shù)42D11000.GIF;表達(dá)式 1對(duì)Ti+1，Ti+2，.，Ti+n的這種向前一步預(yù)測(cè)，即進(jìn)行了 n+1次預(yù)測(cè)之后的前序似然函數(shù)為 42D11001.GIF;表達(dá)式 2由于這

5、種度量常常接近于0,所以常用其自然對(duì)數(shù)進(jìn)行比較。假定比較的兩個(gè)軟件可靠性模型分別為A和B,則對(duì)它們進(jìn)行n次預(yù)測(cè)之后的前序似然比為42D11002.GIF;表達(dá)式 3這個(gè)比率表示一個(gè)模型將比另一個(gè)模型給出更準(zhǔn)確的預(yù)測(cè)的可能。如果42D11003.GIF;表達(dá)式 4則表明模型A比模型B預(yù)測(cè)的準(zhǔn)確性高，模型A的有效性優(yōu)于模型 B。如果有c>0且 42D11004.GIF;表達(dá)式 5即隨著預(yù)測(cè)次數(shù)的無(wú)限增加，兩個(gè)模型A和B的前序似然比趨于一個(gè)常量，則表明兩個(gè)模型A和B的預(yù)測(cè)結(jié)果是等價(jià)的，即兩個(gè)模型的預(yù)測(cè)準(zhǔn)確性或有效性是等價(jià)的。2. 偏倚在軟件可靠性模型的應(yīng)用過(guò)程中，如果用模型得到預(yù)期預(yù)測(cè)結(jié)果的時(shí)

6、間和觀測(cè)到的軟件 失效時(shí)間不一致，就認(rèn)為該模型是有偏的。為了測(cè)定模型的偏倚量，可計(jì)算在單位斜率線和i時(shí)刻真實(shí)概率密度的估計(jì)Fi(ti)概率積分變換值之間的最大垂直距離。Fi(ti)是在各個(gè)觀察到的失效時(shí)間點(diǎn)上計(jì)算出來(lái)的模型分布函數(shù)值。同時(shí)，這一模型的分布函數(shù)值還表明了模型偏倚的方向。當(dāng)Fi>0時(shí),表示模型趨向于樂(lè)觀，反之則表示模型趨向悲觀。無(wú)論哪種情況絕對(duì) 值越小，模型固有的偏倚就越小。3. 趨向有時(shí)，模型在早期的預(yù)測(cè)值集是令人樂(lè)觀的，但這種樂(lè)觀有可能隨著預(yù)測(cè)的不斷進(jìn)行而喪 失。它說(shuō)明所描述的偏倚檢驗(yàn)將均化這些影響，因而模型顯得是無(wú)偏的。在這種情況下，重要的是分析Fi(ti)的趨向。它被

7、定義為單位斜率線和yi的累積分布函數(shù)之間的科爾馬高洛夫距離。趨向表示模型偏倚的一致性。趨向值越小，意味著模型更能適應(yīng)軟件可靠性數(shù)據(jù)的變化，因而能產(chǎn)生更好的預(yù)測(cè)有效性。4. 噪聲在軟件可靠性模型中，通常將噪聲假設(shè)為白噪聲。實(shí)際情況并非總是如此，而且軟件可靠性模型對(duì)各種噪聲并非均具有較好的適應(yīng)性和不敏感性。一般地，我們可用經(jīng)典統(tǒng)計(jì)學(xué)中的均方差來(lái)檢驗(yàn)?zāi)Ｐ椭械脑肼暋o(wú)論哪種情況，我們都希望得到盡量小的噪聲度量值。它不僅指模型預(yù)測(cè)中的噪聲小，還指模型具有較好的平滑性。噪聲為無(wú)窮大時(shí)，表示模型可預(yù)測(cè)的軟件失效率為0。 準(zhǔn)則二：模型假設(shè)合理且易于測(cè)試 在軟件可靠性模型的建立過(guò)程中，針對(duì)不同的對(duì)象和使用環(huán)境導(dǎo)

8、入了一些假設(shè)條件。這些假設(shè)有時(shí)僅僅是為了理論推導(dǎo)和證明的需要，甚至是為了某些特殊目的而引入的?？v觀現(xiàn)有的各種模型假設(shè)，不僅數(shù)量多，且有泛濫的趨勢(shì)。而模型假設(shè)左右著模型質(zhì)量。因此，模型假設(shè)是否合理、假設(shè)質(zhì)量的高低、假設(shè)的可測(cè)試性等無(wú)疑成了模型能力與有效性度量的一個(gè) 重要指標(biāo)。模型假設(shè)的局限性太多，有礙于軟件可靠性模型研究與應(yīng)用的發(fā)展。在軟件可靠性模型中所做的一般假設(shè)有：模型中的初始錯(cuò)誤數(shù)是一個(gè)常數(shù)或與故障率成正比。每個(gè)軟件錯(cuò)誤導(dǎo)致相同的軟件故障率。一次可排除一個(gè)錯(cuò)誤，排除時(shí)不引入新錯(cuò)誤，錯(cuò)誤最終將被完全排除。故障發(fā)生率服從分布。故障間隔時(shí)間服從負(fù)指數(shù)分布。軟件中的剩余錯(cuò)誤數(shù)正比于最后一次測(cè)試的時(shí)

9、間長(zhǎng)度。測(cè)試輸入隨機(jī)地遇到故障。所有失效的影響相互獨(dú)立。測(cè)試空間覆蓋使用空間。所有的失效都是一出現(xiàn)就被看到。軟件可靠性模型的評(píng)價(jià)準(zhǔn)則對(duì)模型假設(shè)的基本要求是，模型假設(shè)應(yīng)能真實(shí)地描述模型對(duì)象與運(yùn)行環(huán)境，不做無(wú)謂的假設(shè)，且所有假設(shè)都應(yīng)是可測(cè)試、可證明的。 在對(duì)模型的假設(shè)質(zhì)量進(jìn)行評(píng)價(jià)、并由此選擇模型時(shí)，如果對(duì)假設(shè)能進(jìn)行完全測(cè)試，則有數(shù)據(jù)支持的假設(shè)的優(yōu)先級(jí)應(yīng)高于其它假設(shè)，所有采用該假設(shè)的模型都應(yīng)優(yōu)先選用。如果假設(shè)的測(cè)試很困難、甚至不可能進(jìn)行，則應(yīng)借助于一致性觀點(diǎn)或軟件工程經(jīng)驗(yàn)，對(duì)其繼續(xù)考察。此外，還必須對(duì)模型假設(shè)的清晰性和明確性進(jìn)行判斷，這將有助于判斷一個(gè)具體模型是否適用于當(dāng)前的軟件項(xiàng)目。 準(zhǔn)則三：模型

10、能力與可靠性參數(shù)測(cè)定應(yīng)滿足用戶要求軟件可靠性模型固有的能力是對(duì)與軟件可靠性有關(guān)的量的估計(jì)能力。它涉及到模型能否 有效地應(yīng)用于軟件設(shè)計(jì)人員、管理人員制訂軟件開發(fā)計(jì)劃、實(shí)施軟件可靠性工程設(shè)計(jì)與管理 、尤其是能否以令人滿意的精確度實(shí)現(xiàn)對(duì)軟件可靠性的預(yù)計(jì)、分析、分配和評(píng)價(jià)等。軟件可靠性模型能力度量的量包括：當(dāng)前的可靠性、失效率、平均故障間隔時(shí)間、可用度，以及這些量的分布。所有估計(jì)參數(shù)的分布與置信區(qū)間。 實(shí)現(xiàn)可靠性目標(biāo)的期望時(shí)間。 實(shí)現(xiàn)可靠性目標(biāo)的資源和費(fèi)用開銷。 模型能力的測(cè)定通過(guò)對(duì)軟件開發(fā)環(huán)境和運(yùn)行剖面等方面的研究來(lái)完成，對(duì)這些量的數(shù)量和重要性在軟件生命周期中逐個(gè)加以評(píng)價(jià)。除了在測(cè)試和運(yùn)行階段進(jìn)行軟

11、件可靠性能力的測(cè)定外,在軟件設(shè)計(jì)和早期開發(fā)階段，模型能力的測(cè)定也很重要。 軟件可靠性模型參數(shù)測(cè)定的難易程度，是衡量模型有效性和模型能力的一個(gè)重要指標(biāo)，它涉及模型的參數(shù)個(gè)數(shù)及估計(jì)這些參數(shù)的困難。大多數(shù)模型包含兩個(gè)以上的參數(shù)。根據(jù)經(jīng)驗(yàn)軟件可靠性模型要求的可靠性數(shù)據(jù)至少是待估計(jì)參數(shù)的5倍。參數(shù)較多的模型，其有效性與模型 能力優(yōu)于參數(shù)較少的模型。但對(duì)軟件可靠性預(yù)測(cè)模型來(lái)說(shuō)，這并不普遍正確。如果兩個(gè)模型顯示出較好的預(yù)測(cè)能力，應(yīng)選用參數(shù)較少的模型。因?yàn)榫哂休^少參數(shù)的模型更容易應(yīng)用，而且開發(fā)人員能更好地解釋參數(shù)的物理意義，以便向軟件開發(fā)過(guò)程提供適當(dāng)?shù)姆答?。?zhǔn)則四：模型應(yīng)具有較強(qiáng)的適用性 通常,軟件可靠性模型

12、都有一個(gè)有限的使用范圍，如特定的軟件可靠性數(shù)據(jù)、軟件開發(fā)過(guò)程等。對(duì)軟件可靠性模型的適用性 ，可通過(guò)各種不同的大小、結(jié)構(gòu)、功能和應(yīng)用領(lǐng)域來(lái)分析 。一個(gè)特定模型的優(yōu)點(diǎn)，在于它在不同的開發(fā)和運(yùn)行環(huán)境中，以及在不同生命周期階段的適用 性。應(yīng)用軟件可靠性模型時(shí)，下列情況應(yīng)該用模型進(jìn)行處理 ： 軟件過(guò)程的進(jìn)化與發(fā)展。 軟件故障分類。 能處理不完全的可靠性數(shù)據(jù)。 能在不同的軟硬件平臺(tái)上移植。 能適應(yīng)開發(fā)環(huán)境和應(yīng)用環(huán)境的不一致。 總之,對(duì)軟件可靠性模型的適用性，可采用各種不同大小、不同結(jié)構(gòu)、不同功能的軟件產(chǎn) 品對(duì)它們進(jìn)行比較、評(píng)價(jià)與判斷 ，以確定其適用性水平。另外，還應(yīng)將模型應(yīng)用于不同的開發(fā) 環(huán)境、操作運(yùn)行環(huán)

13、境，以及不同的軟件生命周期階段，以判定其適用性。 準(zhǔn)則五：模型的推導(dǎo)、描述、應(yīng)用應(yīng)簡(jiǎn)明 簡(jiǎn)潔性是對(duì)所有模型的共同要求。只有推導(dǎo)、證明、描述和應(yīng)用簡(jiǎn)單明了的模型，才能在軟件可靠性工程實(shí)踐中發(fā)揮作用，才會(huì)有廣闊的應(yīng)用前景。軟件可靠性模型的簡(jiǎn)潔性涉及到可靠性數(shù)據(jù)采集過(guò)程、模型假設(shè)、模型描述、模型推導(dǎo)、模型證明，以及用軟件工程工具來(lái)實(shí)現(xiàn)模型。在數(shù)據(jù)采集方面，簡(jiǎn)明性可減少測(cè)定費(fèi)用、提高數(shù)據(jù)準(zhǔn)確性，并使它更易于模型應(yīng)用。模型假設(shè)、推導(dǎo)、描述和證明等方面的簡(jiǎn)潔性，使人們更容易理解模型假設(shè)、估計(jì)參數(shù)、應(yīng)用模型和解釋結(jié)果，可提高模型能力和模型的有效性。模型實(shí)現(xiàn)方面的簡(jiǎn)潔性，可促進(jìn)對(duì)軟件工程工具的有效使用 ，以推動(dòng)模型的應(yīng)用。在選擇軟件可靠性模型時(shí)，應(yīng)充分重視其簡(jiǎn)單性。尤其在尚未對(duì)可靠性估計(jì)進(jìn)行多次實(shí) 踐的情況下，既不能保證較復(fù)雜模型的質(zhì)量 ，一般也沒(méi)有數(shù)據(jù)來(lái)支持較復(fù)雜的模型。準(zhǔn)則六：模型應(yīng)有足夠的可靠性數(shù)據(jù)的支持在軟件可靠性模型的應(yīng)用中，可靠性數(shù)據(jù)始終是一個(gè)重要的、非常突出的問(wèn)題。沒(méi)有足 夠多的可靠性數(shù)據(jù)，便企圖應(yīng)用模型去分析、估計(jì)軟件的可靠性水平，以及用它們來(lái)進(jìn)行預(yù)測(cè)和決策是極其困難的，甚至是不可能的。事實(shí)上，軟件可靠性數(shù)據(jù)的數(shù)量、質(zhì)量及完整性等對(duì) 軟件可靠性模型的影響遠(yuǎn)遠(yuǎn)大于軟件可靠性