軟件檢測實驗室能力驗證方案研究

Word版本，下載可自由編輯軟件檢測實驗室能力驗證方案研究軟件檢測實驗室能力驗證方案研究

王欣

中國電子技術(shù)標準化研究所

1.引言

近年來，各地建立了大批第三方軟件產(chǎn)品檢測實驗室，到目前為止已超過50家。這些機構(gòu)承擔(dān)了國內(nèi)幾乎全部軟件產(chǎn)品的外部測試工作，其中很多實驗室的業(yè)務(wù)還介入到了企業(yè)的開發(fā)過程中。這些實驗室檢測能力的高低，將直接影響某個地區(qū)軟件行業(yè)的發(fā)展。不同于傳統(tǒng)檢測實驗室，軟件產(chǎn)品檢測實驗室的能力往往無法通過傳統(tǒng)的方法得到。例如，針對傳統(tǒng)的檢測與校準實驗室，可以采取不同實驗室對同一標準物質(zhì)進行測量，然后對測量結(jié)果進行比對的手段。而對于軟件產(chǎn)品檢測實驗室，這種方法的意義就顯得并不明顯。因此，需要一種針對軟件產(chǎn)品檢測實驗室的新的能力驗證方案。這種方案目前在國內(nèi)和國際上都還沒有形成。

本報告通過對軟件檢測實驗室能力驗證方案的現(xiàn)狀、需求和技術(shù)發(fā)展趨勢的分析，結(jié)合曾經(jīng)舉辦過的一些能力驗證活動的實際數(shù)據(jù)，列舉出了建立一整套嚴密驗證方案所面臨的幾大重點課題，并嘗試著就這些課題給出了某種可行的解決方案。最終，本報告試圖通過以上分析，給出一條理論上可行的解決途徑，作為建立第三方軟件檢測實驗室能力驗證方案的一種參考，供相關(guān)人員研究。

2.正文

2.1.現(xiàn)狀分析

軟件產(chǎn)業(yè)的飛速發(fā)展極大地提高了生產(chǎn)力，促進了社會發(fā)展。隨之而來的問題就是如何來有效地規(guī)范市場上眾多的軟件產(chǎn)品，如何有效地鑒別軟件產(chǎn)品質(zhì)量的優(yōu)劣，從而保護消費者利益，引導(dǎo)軟件產(chǎn)業(yè)健康發(fā)展。無疑，最直接和最有效的手段就是對軟件產(chǎn)品實施檢測。正是基于這個原因，近年來國內(nèi)成立了很多從事軟件檢測業(yè)務(wù)的機構(gòu)。但是如何來驗證這些檢測機構(gòu)是否真的具備從事相應(yīng)檢測業(yè)務(wù)的能力呢?如何來驗證這些檢測機構(gòu)出具的檢測結(jié)果是否準確有效呢?這顯然是企業(yè)、用戶以及管理部門共同關(guān)心的關(guān)鍵問題。

目前，為了保證檢測結(jié)果的公正、科學(xué)，軟件產(chǎn)品的檢測任務(wù)通常由中立的第三方軟件檢測機構(gòu)來承擔(dān)。這些檢測機構(gòu)在開展檢測業(yè)務(wù)之前須經(jīng)過國家實驗室認可委員會的認可。認可后的各個實驗室之間，相同業(yè)務(wù)范圍內(nèi)的檢測結(jié)果應(yīng)是互相認可并一致的。然而，由于軟件實驗室相對于傳統(tǒng)實驗室的特殊性，很多檢測實驗室通過認可之后，在同樣業(yè)務(wù)范圍內(nèi)的檢測能力仍然相差很多，往往造成彼此間的檢測數(shù)據(jù)不一致。截止到20**年，國內(nèi)各類第三方軟件檢測實驗室已經(jīng)達到了一定數(shù)量

(超過50家)，覆蓋了我國大部分的行政區(qū)域，在軟件產(chǎn)業(yè)比較發(fā)達的地區(qū)，實驗室的數(shù)量更加集中，例如北京地區(qū)，各種檢測實驗室達到7、8家。上海、廣州等地區(qū)也有多家實驗室同時開展工作。這些實驗室中，絕大部分是由于"雙軟認證'任務(wù)的需要建立起來的，所以實驗室的檢測業(yè)務(wù)能力范圍多數(shù)均為GB/T17544和GB/T16260。但由于這兩個標準本身的一些原因?qū)е碌母鱾€實驗室理解上的差異，以及實際檢測能力上的差別，經(jīng)常出現(xiàn)某一產(chǎn)品在某地區(qū)通過檢測后，在另外一個地區(qū)無法通過當?shù)貙嶒炇覚z測的情況。為解決這種狀況，除了繼續(xù)加強標準化工作以外，急需出臺專門面向軟件檢測實驗室的能力驗證制度。軟件檢測實驗室能力驗證方案的最終用戶雖然是各個第三方軟件檢測實驗室，但這一方案發(fā)揮的效果對國內(nèi)軟件市場的影響力是不可估量的。

在國外，軟件檢測實驗室主要通過市場機制進行約束和調(diào)控，有關(guān)能力驗證方面的資料非常少。而國內(nèi)的檢測實驗室統(tǒng)一受國家認證認可監(jiān)督管理委員會監(jiān)督管理。國家認證認可監(jiān)督管理委員會于20**年月13日發(fā)布了《實驗室能力驗證實施辦法》，于20**年5月1日起施行。這標志著國家對于各類檢測實驗室能力驗證的重視已經(jīng)達到了新的高度。

而到目前為止，有關(guān)軟件檢測實驗室能力驗證的方法、工具還是空白，所以研制專門面向軟件檢測實驗室的能力驗證工具是管理部門的迫切需求。只有掌控了檢測機構(gòu)的實際能力，才能規(guī)范整個軟件檢測行業(yè)，進而促進軟件產(chǎn)業(yè)的健康發(fā)展。

這一辦法既表明了國家加強實驗室管理的態(tài)度，也對軟件檢測實驗室的能力驗證問題提出了嚴峻的挑戰(zhàn)。另一方面，軟件檢測實驗室和其他檢測、校準實驗室有很大差別，無法運用傳統(tǒng)手段進行能力驗證。作為實驗室管理機構(gòu)的中國實驗室國家認可委員會，目前對軟件檢測實驗室的認可工作基本上仍然以對其他領(lǐng)域?qū)嶒炇业恼J可準

則為依據(jù)，這本身在很大程度上并不適合于軟件檢測實驗室。為了解決這個問題，國際標準化組織專門發(fā)布了技術(shù)文件，國家認可委正在將該技術(shù)文件轉(zhuǎn)化為《檢測和校準實驗室認可準則(CNAL/AC01)在軟件檢測實驗室的應(yīng)用附加指南》。該文件在一定程度上針對軟件檢測實驗室進行了調(diào)整，并提出了部分合乎軟件檢測實驗室實際需求的要求條款。但是一直到目前為止，有關(guān)軟件檢測實驗室能力驗證方案的問題，國內(nèi)外都沒有可借鑒的參考方案。

2.2.總體方案

根據(jù)《實驗室能力驗證實施辦法》中第二條的規(guī)定，"本辦法所稱的能力驗證，是指利用實驗室間指定檢測數(shù)據(jù)的比對，確定實驗室從事特定測試活動的技術(shù)能力。'參考傳統(tǒng)實驗室的這種比對活動，都是采取標準物質(zhì)作為測試對象，對各個參加能力驗證的實驗室的實際測量結(jié)果進行比較分析，最終得出結(jié)論。作為軟件檢測實驗室，其能力驗證的原理也是如此，只是在某些具體問題上與其他實驗室差別較大。這些問題在下面的章節(jié)中會詳細討論，這里先給出能力驗證的總體設(shè)想方案和其中的幾個主要環(huán)節(jié)(這些方案和環(huán)節(jié)中并沒有考慮組織管理上的諸多因素，那部分內(nèi)容不在本報告的討論范圍之內(nèi))：

設(shè)想方案：

建立一套《軟件檢測實驗室能力驗證用測試對象庫》，也就是一個可以任意組裝和拆卸的軟件模塊庫，這些模塊或大或小對應(yīng)著GB/T16260中規(guī)定的質(zhì)量特性、子特性或是度量元，當我們要開始一次能力驗證時，確定了要使用的質(zhì)量模型之后，就從庫中抽取合適的模塊，組裝成測試對象。

主要環(huán)節(jié)：

(1)設(shè)定能力驗證范圍

(2)制備測試對象

.-物業(yè)經(jīng)理人

(3)分發(fā)并實施測試

(4)收集測試結(jié)果并進行統(tǒng)計分析針對上面列出的個主要環(huán)節(jié)，我們一一討論其解決方案及可行性。

2.3.主要課題

(1)設(shè)定能力驗證范圍

在這個環(huán)節(jié)中，我們的任務(wù)主要是以下幾個方面：

a.確定檢測依據(jù)和范圍

目前的軟件檢測實驗室，其業(yè)務(wù)范圍主要是GB/T17544和GB/T16260。其中GB/T16260已經(jīng)修訂，而與之配套使用的GB/T17544的修訂工作還沒有結(jié)束。這兩個標準是針對所有軟件產(chǎn)品的通用標準，覆蓋了軟件產(chǎn)品的全部質(zhì)量特性。但是一般來說，一個軟件產(chǎn)品并不會涉及到全部這些質(zhì)量特性。那么哪些質(zhì)量特性在驗證范圍內(nèi)，哪些不在驗證范圍內(nèi)，要給出明確的說明。這些質(zhì)量特性在GB/T16260中又被分為了子特性和度量元，因此，在確定了檢測依據(jù)和范圍之后，應(yīng)給出本次能力驗證使用的質(zhì)量模型。

b.確定結(jié)果數(shù)據(jù)的要求

定義了質(zhì)量特性范圍之后，要對測試結(jié)果數(shù)據(jù)有明確要求。如果測試的依據(jù)只是GB/T17544，那么由于該標準并未對測試后產(chǎn)生何種數(shù)據(jù)進行規(guī)定，因此必須在這一環(huán)節(jié)中給出明確要求。例如，要求給出Buglist，統(tǒng)計錯誤和失效的數(shù)量，進行錯誤分布分析等等。同時，由于這些錯誤與失效的嚴重性級別是不同的，因此，還有必要對錯誤的分級進行統(tǒng)一的定義，并要求結(jié)果數(shù)據(jù)中給出相應(yīng)的級別描述。

如果測試的依據(jù)中包括了

GB/T16260，那么由于該標準中將各個質(zhì)量特性劃分為子特性，并進一步細分為度量元，且給出了將各個度量元測試結(jié)果歸結(jié)為數(shù)值的方法，因此在這一環(huán)節(jié)中應(yīng)給出進行比對測試時使用的質(zhì)量模型。也就是說，應(yīng)列出需要各個實驗室提供結(jié)果數(shù)據(jù)的那些度量元的列表。

(2)制備測試對象

這個環(huán)節(jié)是整個能力驗證方案中最為艱難的一個環(huán)節(jié)。其主要問題集中在以下幾個方面：

a.標準結(jié)果數(shù)據(jù)的問題

其他實驗室使用的測試對象是標準物質(zhì)，其標準的結(jié)果數(shù)據(jù)是已知的;而軟件由于其自身的特殊性，標準的結(jié)果數(shù)據(jù)幾乎是無法獲得的。要解決這一問題，方法有兩個。一是向測試對象植入錯誤，并在結(jié)果分析時只考慮這些植入的錯誤。

這種方法針對功能性比較有效，但是對于其他質(zhì)量特性，效果不明顯。二是對測試對象進行反復(fù)測試，使結(jié)果數(shù)據(jù)盡量逼近真實數(shù)據(jù)。這種方法理論上是可以實現(xiàn)的，但是由誰來進行測試是個問題。單獨選取一家檢測機構(gòu)進行測試很難達到效果;而如果選取多家反復(fù)進行測試，測試對象就變得公開。

b.測試對象對標準的覆蓋程度問題

除了結(jié)果數(shù)據(jù)的問題，整套的能力驗證方案必須覆蓋GB/T中規(guī)定的所有質(zhì)量特性，依靠一個單一的測試對象很難達到這一標準，因此，應(yīng)該采取測試對象庫的方式。也就是說，設(shè)計一套可以任意組裝和拆卸的軟件模塊庫，這些模塊或大或小對應(yīng)著GB/T16260中規(guī)定的質(zhì)量特性、子特性或是度量元，當我們要開始一次能力驗證時，確定了要使用的質(zhì)量模型之后，就從庫中抽取合適的模塊，組裝成測試對象，分發(fā)給實驗室進行比對測試。這部分工作的工作量極其龐大，而且涉及了軟件開發(fā)、軟件測試、軟件標準化等不同領(lǐng)域，需要大量的投入。鑒于目前軟件檢測市場上的需求，可以先從功能性方面的模塊入手。

(3)分發(fā)并實施測試

這個環(huán)節(jié)和傳統(tǒng)實驗室的能力驗證沒什么重大區(qū)別，可以按照以往經(jīng)驗進行操作。

(4)收集測試結(jié)果并進行統(tǒng)計分析

如果要求結(jié)果數(shù)據(jù)是針對度量元的數(shù)值，那么就要給出每個度量元可以接受的結(jié)果數(shù)值范圍。這個結(jié)果數(shù)值范圍的確定，應(yīng)通過嚴密的數(shù)學(xué)分析，借助統(tǒng)計學(xué)的某些概念和公式最終導(dǎo)出。這需要協(xié)同其他行業(yè)的專家一起來完成。

如果要求的結(jié)果數(shù)據(jù)是Buglist形式，不能只考慮最終發(fā)現(xiàn)缺陷的個數(shù)，而應(yīng)對應(yīng)標準的缺陷列表，為每個缺陷分配權(quán)值，再依據(jù)加權(quán)