軟件可靠性的評價準則

1、軟件可靠性的評價準則迄今為止，尚無一個軟件可靠性模型對軟件的不同特性和不同使用環(huán)境都有效。已公開 發(fā)表的100余種軟件可靠性模型，表達形式不同，適應(yīng)性各異，與實際的軟件開發(fā)過程有較大差 異。而且，新模型還在不斷發(fā)表。因此 ，在進行軟件可靠性預(yù)計、分析、分配、評價和設(shè)計之 前，對軟件可靠性模型進行評價及選擇與軟件項目相符或相近的模型非常重要。通過建立有 效的評價準則，在考慮它們與各種軟件的關(guān)系的基礎(chǔ)上，對擬評價的可靠性模型就有效性、適應(yīng)性和模型能力等進行評價，判定它們的價值，比較它們的優(yōu)劣，然后選擇有效的軟件可靠性 模型。另一方面，在可接受的模型之間無法做出明確的選擇時，可根據(jù)模型的使用環(huán)境等，

2、在模型評價準則的基礎(chǔ)上，進行模型擇優(yōu)。當然，軟件可靠性模型的評價不僅依賴于模型的應(yīng)用 ，還依賴于理論的支持和豐富的、高質(zhì)量可靠性數(shù)據(jù)的支持。軟件可靠性模型的評價最早始 于1984年lannino、Musa、Okumoto和Littlewood所提出的原則。根據(jù)這一原則 ，結(jié)合后人 的工作，形成了基本的軟件可靠性評價準則集。它們是軟件可靠性模型比較、選擇和應(yīng)用的 基礎(chǔ)。準則一：模型預(yù)測有效軟件可靠性模型最重要的評價指標是模型預(yù)測的有效性。它根據(jù)軟件現(xiàn)在和過去的故障 行為,用模型預(yù)測軟件將來的故障行為和可靠性水平。它主要通過能有效描述軟件故障隨機 過程特性的故障數(shù)方式對模型進行描述與評價?；谲浖?/p>

3、故障時間特性的隨機過程也是一種常用的方法，而且這兩種方法相互重疊。要確定軟件可靠性模型預(yù)測的有效性，首先要比較模型預(yù)測質(zhì)量。這種比較通常通過相 對誤差法、偏值、U圖法、Y圖法、趨勢法等方法進行。故障數(shù)度量是一種在工程上被廣泛 應(yīng)用的方法。此外，還可以通過比較不同數(shù)據(jù)集合所做出的中位線圖形來評價模型預(yù)測的有效 性。如果一個模型產(chǎn)生的曲線最接近于0,則該模型是最優(yōu)的。而且，這種有效性測定方法有效地克服了規(guī)范化圖形評價與具體軟件項目之間的聯(lián)系，保證了它的獨立性。用給定可靠性數(shù)據(jù)對軟件可靠性模型進行比較時，必須考察擬合模型與觀察數(shù)據(jù)的一致性和符合性。當然，根據(jù)擬合模型進行采樣，是否可以獲得足夠的觀察數(shù)

4、據(jù)非常重要。擬合優(yōu) 度檢驗是一種系統(tǒng)地表達并證明觀察數(shù)據(jù)和擬合模型之間全局符合性的方法，使用最廣泛的是x2檢驗。1.準確性軟件可靠性模型預(yù)測的準確性可用前序似然函數(shù)來測定。設(shè)觀察到的失效數(shù)據(jù)對應(yīng)于軟件相繼失效之間的時間序列 t1，t2，.，ti-1,并用這些數(shù)據(jù)來預(yù)測軟件在未來可能的Ti，即希望得到Ti的真實概率密度函數(shù) Fi(t)的最優(yōu)估計值。假設(shè)以t1，t2，.，ti-1為基礎(chǔ)預(yù)測Ti的 分布Fi(t)的概率密度函數(shù)42D11000.GIF;表達式 1對Ti+1，Ti+2，.，Ti+n的這種向前一步預(yù)測，即進行了 n+1次預(yù)測之后的前序似然函數(shù)為 42D11001.GIF;表達式 2由于這

5、種度量常常接近于0,所以常用其自然對數(shù)進行比較。假定比較的兩個軟件可靠性模型分別為A和B,則對它們進行n次預(yù)測之后的前序似然比為42D11002.GIF;表達式 3這個比率表示一個模型將比另一個模型給出更準確的預(yù)測的可能。如果42D11003.GIF;表達式 4則表明模型A比模型B預(yù)測的準確性高，模型A的有效性優(yōu)于模型 B。如果有c>0且 42D11004.GIF;表達式 5即隨著預(yù)測次數(shù)的無限增加，兩個模型A和B的前序似然比趨于一個常量，則表明兩個模型A和B的預(yù)測結(jié)果是等價的，即兩個模型的預(yù)測準確性或有效性是等價的。2. 偏倚在軟件可靠性模型的應(yīng)用過程中，如果用模型得到預(yù)期預(yù)測結(jié)果的時

6、間和觀測到的軟件 失效時間不一致，就認為該模型是有偏的。為了測定模型的偏倚量，可計算在單位斜率線和i時刻真實概率密度的估計Fi(ti)概率積分變換值之間的最大垂直距離。Fi(ti)是在各個觀察到的失效時間點上計算出來的模型分布函數(shù)值。同時，這一模型的分布函數(shù)值還表明了模型偏倚的方向。當Fi>0時,表示模型趨向于樂觀，反之則表示模型趨向悲觀。無論哪種情況絕對 值越小，模型固有的偏倚就越小。3. 趨向有時，模型在早期的預(yù)測值集是令人樂觀的，但這種樂觀有可能隨著預(yù)測的不斷進行而喪 失。它說明所描述的偏倚檢驗將均化這些影響，因而模型顯得是無偏的。在這種情況下，重要的是分析Fi(ti)的趨向。它被

7、定義為單位斜率線和yi的累積分布函數(shù)之間的科爾馬高洛夫距離。趨向表示模型偏倚的一致性。趨向值越小，意味著模型更能適應(yīng)軟件可靠性數(shù)據(jù)的變化，因而能產(chǎn)生更好的預(yù)測有效性。4. 噪聲在軟件可靠性模型中，通常將噪聲假設(shè)為白噪聲。實際情況并非總是如此，而且軟件可靠性模型對各種噪聲并非均具有較好的適應(yīng)性和不敏感性。一般地，我們可用經(jīng)典統(tǒng)計學(xué)中的均方差來檢驗?zāi)Ｐ椭械脑肼?。無論哪種情況，我們都希望得到盡量小的噪聲度量值。它不僅指模型預(yù)測中的噪聲小，還指模型具有較好的平滑性。噪聲為無窮大時，表示模型可預(yù)測的軟件失效率為0。 準則二：模型假設(shè)合理且易于測試 在軟件可靠性模型的建立過程中，針對不同的對象和使用環(huán)境導(dǎo)

8、入了一些假設(shè)條件。這些假設(shè)有時僅僅是為了理論推導(dǎo)和證明的需要，甚至是為了某些特殊目的而引入的?？v觀現(xiàn)有的各種模型假設(shè)，不僅數(shù)量多，且有泛濫的趨勢。而模型假設(shè)左右著模型質(zhì)量。因此，模型假設(shè)是否合理、假設(shè)質(zhì)量的高低、假設(shè)的可測試性等無疑成了模型能力與有效性度量的一個 重要指標。模型假設(shè)的局限性太多，有礙于軟件可靠性模型研究與應(yīng)用的發(fā)展。在軟件可靠性模型中所做的一般假設(shè)有：模型中的初始錯誤數(shù)是一個常數(shù)或與故障率成正比。每個軟件錯誤導(dǎo)致相同的軟件故障率。一次可排除一個錯誤，排除時不引入新錯誤，錯誤最終將被完全排除。故障發(fā)生率服從分布。故障間隔時間服從負指數(shù)分布。軟件中的剩余錯誤數(shù)正比于最后一次測試的時

9、間長度。測試輸入隨機地遇到故障。所有失效的影響相互獨立。測試空間覆蓋使用空間。所有的失效都是一出現(xiàn)就被看到。軟件可靠性模型的評價準則對模型假設(shè)的基本要求是，模型假設(shè)應(yīng)能真實地描述模型對象與運行環(huán)境，不做無謂的假設(shè)，且所有假設(shè)都應(yīng)是可測試、可證明的。 在對模型的假設(shè)質(zhì)量進行評價、并由此選擇模型時，如果對假設(shè)能進行完全測試，則有數(shù)據(jù)支持的假設(shè)的優(yōu)先級應(yīng)高于其它假設(shè)，所有采用該假設(shè)的模型都應(yīng)優(yōu)先選用。如果假設(shè)的測試很困難、甚至不可能進行，則應(yīng)借助于一致性觀點或軟件工程經(jīng)驗，對其繼續(xù)考察。此外，還必須對模型假設(shè)的清晰性和明確性進行判斷，這將有助于判斷一個具體模型是否適用于當前的軟件項目。 準則三：模型

10、能力與可靠性參數(shù)測定應(yīng)滿足用戶要求軟件可靠性模型固有的能力是對與軟件可靠性有關(guān)的量的估計能力。它涉及到模型能否 有效地應(yīng)用于軟件設(shè)計人員、管理人員制訂軟件開發(fā)計劃、實施軟件可靠性工程設(shè)計與管理 、尤其是能否以令人滿意的精確度實現(xiàn)對軟件可靠性的預(yù)計、分析、分配和評價等。軟件可靠性模型能力度量的量包括：當前的可靠性、失效率、平均故障間隔時間、可用度，以及這些量的分布。所有估計參數(shù)的分布與置信區(qū)間。 實現(xiàn)可靠性目標的期望時間。 實現(xiàn)可靠性目標的資源和費用開銷。 模型能力的測定通過對軟件開發(fā)環(huán)境和運行剖面等方面的研究來完成，對這些量的數(shù)量和重要性在軟件生命周期中逐個加以評價。除了在測試和運行階段進行軟

11、件可靠性能力的測定外,在軟件設(shè)計和早期開發(fā)階段，模型能力的測定也很重要。 軟件可靠性模型參數(shù)測定的難易程度，是衡量模型有效性和模型能力的一個重要指標，它涉及模型的參數(shù)個數(shù)及估計這些參數(shù)的困難。大多數(shù)模型包含兩個以上的參數(shù)。根據(jù)經(jīng)驗軟件可靠性模型要求的可靠性數(shù)據(jù)至少是待估計參數(shù)的5倍。參數(shù)較多的模型，其有效性與模型 能力優(yōu)于參數(shù)較少的模型。但對軟件可靠性預(yù)測模型來說，這并不普遍正確。如果兩個模型顯示出較好的預(yù)測能力，應(yīng)選用參數(shù)較少的模型。因為具有較少參數(shù)的模型更容易應(yīng)用，而且開發(fā)人員能更好地解釋參數(shù)的物理意義，以便向軟件開發(fā)過程提供適當?shù)姆答?。準則四：模型應(yīng)具有較強的適用性 通常,軟件可靠性模型

12、都有一個有限的使用范圍，如特定的軟件可靠性數(shù)據(jù)、軟件開發(fā)過程等。對軟件可靠性模型的適用性 ，可通過各種不同的大小、結(jié)構(gòu)、功能和應(yīng)用領(lǐng)域來分析 。一個特定模型的優(yōu)點，在于它在不同的開發(fā)和運行環(huán)境中，以及在不同生命周期階段的適用 性。應(yīng)用軟件可靠性模型時，下列情況應(yīng)該用模型進行處理 ： 軟件過程的進化與發(fā)展。 軟件故障分類。 能處理不完全的可靠性數(shù)據(jù)。 能在不同的軟硬件平臺上移植。 能適應(yīng)開發(fā)環(huán)境和應(yīng)用環(huán)境的不一致。 總之,對軟件可靠性模型的適用性，可采用各種不同大小、不同結(jié)構(gòu)、不同功能的軟件產(chǎn) 品對它們進行比較、評價與判斷 ，以確定其適用性水平。另外，還應(yīng)將模型應(yīng)用于不同的開發(fā) 環(huán)境、操作運行環(huán)

13、境，以及不同的軟件生命周期階段，以判定其適用性。 準則五：模型的推導(dǎo)、描述、應(yīng)用應(yīng)簡明 簡潔性是對所有模型的共同要求。只有推導(dǎo)、證明、描述和應(yīng)用簡單明了的模型，才能在軟件可靠性工程實踐中發(fā)揮作用，才會有廣闊的應(yīng)用前景。軟件可靠性模型的簡潔性涉及到可靠性數(shù)據(jù)采集過程、模型假設(shè)、模型描述、模型推導(dǎo)、模型證明，以及用軟件工程工具來實現(xiàn)模型。在數(shù)據(jù)采集方面，簡明性可減少測定費用、提高數(shù)據(jù)準確性，并使它更易于模型應(yīng)用。模型假設(shè)、推導(dǎo)、描述和證明等方面的簡潔性，使人們更容易理解模型假設(shè)、估計參數(shù)、應(yīng)用模型和解釋結(jié)果，可提高模型能力和模型的有效性。模型實現(xiàn)方面的簡潔性，可促進對軟件工程工具的有效使用 ，以推動模型的應(yīng)用。在選擇軟件可靠性模型時，應(yīng)充分重視其簡單性。尤其在尚未對可靠性估計進行多次實 踐的情況下，既不能保證較復(fù)雜模型的質(zhì)量 ，一般也沒有數(shù)據(jù)來支持較復(fù)雜的模型。準則六：模型應(yīng)有足夠的可靠性數(shù)據(jù)的支持在軟件可靠性模型的應(yīng)用中，可靠性數(shù)據(jù)始終是一個重要的、非常突出的問題。沒有足 夠多的可靠性數(shù)據(jù)，便企圖應(yīng)用模型去分析、估計軟件的可靠性水平，以及用它們來進行預(yù)測和決策是極其困難的，甚至是不可能的。事實上，軟件可靠性數(shù)據(jù)的數(shù)量、質(zhì)量及完整性等對 軟件可靠性模型的影響遠遠大于軟件可靠性