軟件驗(yàn)收參考標(biāo)準(zhǔn)

1、精選文檔軟件驗(yàn)收標(biāo)準(zhǔn)探討（賓建偉信息產(chǎn)業(yè)部電子第五研究所,廣東廣州510610）摘要：目前,軟件產(chǎn)品在驗(yàn)收過程中,常常會因各種原因發(fā)生糾紛,對此,提出了一套可參考的驗(yàn)收標(biāo)準(zhǔn),對軟件開發(fā)合同的簽訂和驗(yàn)收工作具有指導(dǎo)意義。關(guān)鍵詞： 軟件驗(yàn)收； 嚴(yán)重性等級； 驗(yàn)收標(biāo)準(zhǔn) 中圖分類號： TP ；311.5文獻(xiàn)標(biāo)識碼 ：A文章編號：1672-5468（2005）04-0010-04一、引言目前,國內(nèi)軟件產(chǎn)品在驗(yàn)收過程中發(fā)生各種糾紛的情況層出不窮,甚至還有對簿公堂的情況。在其中一個軟件采購合同的糾紛中,采購合同的驗(yàn)收標(biāo)準(zhǔn)一欄描述為（供需雙方按照中標(biāo)的投標(biāo)文件中的）驗(yàn)收標(biāo)準(zhǔn)或雙方認(rèn)可的標(biāo)準(zhǔn)分別對平臺行驗(yàn)收。而

2、追溯到投標(biāo)文件中的系統(tǒng)驗(yàn)收條目,只列出了驗(yàn)收時間(驗(yàn)收項(xiàng)目(驗(yàn)收工作程序,而沒有列出相關(guān)的驗(yàn)收標(biāo)準(zhǔn)。業(yè)界都存在一種共識一個軟件存在缺陷錯誤是不可避免的。因此,軟件在提交驗(yàn)收時,往往還會存在一些錯誤,如果只是比較少的(且危害性不大的錯誤,開發(fā)方在更正之后,用戶一般都會接受。那么,究竟軟件的錯誤數(shù)量是多少,其危害的程度又如何,才是用戶不能接受,或者開發(fā)方也承認(rèn)是不能接受的呢目前國內(nèi)還沒有一個統(tǒng)一的標(biāo)準(zhǔn),在開發(fā)合同中一般也沒有列明這些條款。這樣,必然會在驗(yàn)收時,發(fā)生相互扯皮(推卸責(zé)任的事情。而且,國內(nèi)大部分的軟件開發(fā)商還沒有建立起一支訓(xùn)練有素的測試隊(duì)伍,對測試也不重視,往往是開發(fā)人員自己進(jìn)行設(shè)計(jì)(編

3、碼后,再進(jìn)行簡單的測試就提交給用戶,將實(shí)際的測試工作交給了用戶去做。而開發(fā)方在提交后的半年內(nèi),通常會留下1N2個程序員去專門更改用戶方發(fā)現(xiàn)的各種錯誤。一般來說,一個軟件,特別是業(yè)務(wù)類的軟件通常會涉及到各個部門,其工作人員只會對自己負(fù)責(zé)的相關(guān)業(yè)務(wù)的軟件模塊感興趣,并且往往只對試用過程中發(fā)生的業(yè)務(wù)種類感興趣，一般不會主動地測試軟件是否能在各種情況下完成任務(wù)。所以即使是在試用半年后,軟件仍會殘留錯誤,有時會更加激發(fā)用戶和軟件開發(fā)商之間的矛盾。目前,國內(nèi)軟件的驗(yàn)收沒有可參照的強(qiáng)制性標(biāo)準(zhǔn),就軟件測試和評價(jià)來說,參照的標(biāo)準(zhǔn)是GB/T17544和GB/T16260,它們都是推薦性標(biāo)準(zhǔn),且都是定性而非定量的標(biāo)

4、準(zhǔn),這樣,對于軟件的驗(yàn)收來說,存在很大的分歧和不確定性為了改變這種狀況,更好地規(guī)范軟件的開發(fā)和驗(yàn)收工作,中國賽寶試驗(yàn)室軟件評測中心和廣東省信息中心合作,積極開展第三方驗(yàn)收測試工作。為此,在軟件開發(fā)合同的簽訂階段就提出軟件驗(yàn)收項(xiàng)目和驗(yàn)收通過標(biāo)準(zhǔn)的意見;在軟件的需求評審階段,仔細(xì)審閱軟件的需求規(guī)格說明書,指出不利于測試和可能存在歧義的描述;在開發(fā)方開發(fā)完軟件并經(jīng)過開發(fā)方內(nèi)部仔細(xì)的測試后,對完成的軟件進(jìn)行第三方的驗(yàn)收測試,提供完整的錯誤報(bào)告,提交給用戶方,由用戶方根據(jù)之前簽訂的開發(fā)合同中相應(yīng)的驗(yàn)收標(biāo)準(zhǔn)判斷是否進(jìn)行驗(yàn)收。二、驗(yàn)收項(xiàng)目和驗(yàn)收標(biāo)準(zhǔn)2.1驗(yàn)收項(xiàng)目1)功能項(xiàng)測試對軟件需求規(guī)格說明書中的所有功能

5、項(xiàng)進(jìn)行測試。b)業(yè)務(wù)流程測試對軟件項(xiàng)目的典型業(yè)務(wù)流程進(jìn)行測試。c)容錯測試容錯測試的檢查內(nèi)容包括:1)軟件對用戶常見的誤操作是否能進(jìn)行提示;2)軟件對用戶的的操作錯誤和軟件錯誤,是否有準(zhǔn)確、清晰的提示;3)軟件對重要數(shù)據(jù)的刪除是否有警告和確認(rèn);4)軟件是否能判斷數(shù)據(jù)的有效性,屏蔽用戶的錯誤輸入,識別非法值,并有相應(yīng)的錯誤提示。d)安全性測試安全性測試的檢查內(nèi)容包括:1)軟件中的密鑰是否以密文方式存儲;2)軟件是否有留痕功能,即是否保存有用戶的操作日志;3)軟件中各種用戶的權(quán)限分配是否合理。e)性能測試對軟件需求規(guī)格說明書中明確的軟件性能進(jìn)行測試。測試的準(zhǔn)則是要滿足規(guī)格明書中的各項(xiàng)性能指標(biāo)。f)

6、易用性測試易用性測試的內(nèi)容包括:1)軟件的用戶界面是否友好,是否出現(xiàn)中英文混雜的界面;2)軟件中的提示信息是否清楚、易理解,是否存在原始的英文提示;3)軟件中各個模塊的界面風(fēng)格是否一致;4)軟件中的查詢結(jié)果的輸出方式是否比較直觀、合理。g)適應(yīng)性測試參照用戶的軟、硬件使用環(huán)境和需求規(guī)格說明書中的規(guī)定,列出開發(fā)的軟件需要滿足的軟、硬件環(huán)境。對每個環(huán)境進(jìn)行測試。h)文檔測試用戶文檔包括:安裝手冊、操作手冊和維護(hù)手冊。對用戶文檔測試的內(nèi)容包括:1)操作、維護(hù)文檔是否齊全、是否包含產(chǎn)品使用所需的信息和所有的功能模塊;2)用戶文檔描述的信息是否正確,是否沒有歧義和錯誤的表達(dá);3)戶文檔是否容易理解,是否

7、通過使用適當(dāng)?shù)男g(shù)語、圖形表示、詳細(xì)的解釋來表達(dá);4)用戶文檔對主要功能和關(guān)鍵操作是否提供應(yīng)用實(shí)例;5)用戶文檔是否有詳細(xì)的目錄表和索引表。i)用戶有特別要求的測試。2.2驗(yàn)收標(biāo)準(zhǔn)2.2.1軟件錯誤的嚴(yán)重性等級如表1、2所示2.2.2驗(yàn)收標(biāo)準(zhǔn)1)測試用例不通過數(shù)的比例<3%;2)不存在錯誤等級為1的錯誤;3)不存在錯誤等級為2的錯誤;4)錯誤等級為3的錯誤數(shù)量10;5)所有提交的錯誤都已得到更正表1嚴(yán)重性等級定義表嚴(yán)重性等級說明1不能執(zhí)行正常功能或重要功能,或者危及人身安全2嚴(yán)重地影響系統(tǒng)要求或基本功能的實(shí)現(xiàn),且沒有辦法解決3嚴(yán)重地影響系統(tǒng)要求或基本功能的實(shí)現(xiàn),但存在合理的解決辦法4使操作

8、者不方便或遇到麻煩,但不影響執(zhí)行正常功能或重要功能5其它錯誤表2錯誤與嚴(yán)重性等級對應(yīng)測試特性錯誤嚴(yán)重性等級功能沒有實(shí)現(xiàn)應(yīng)有的功能1沒有實(shí)現(xiàn)部分功能,并且沒有替代方案2沒有實(shí)現(xiàn)部分功能，但有替代方案3業(yè)務(wù)業(yè)務(wù)業(yè)務(wù)流程存在重大的隱患1業(yè)務(wù)流程銜接錯誤2性能性能不能滿足性能指標(biāo)2容錯由誤操作或錯誤輸入等導(dǎo)致死機(jī)或系統(tǒng)自動退出1對誤操作、錯誤輸入沒有提示3沒有識別非法值和錯誤輸入,導(dǎo)致錯誤數(shù)據(jù)存儲到數(shù)據(jù)庫中3安全性密鑰以明文方式存儲2沒有留痕功能2各種用戶的權(quán)限分配不合理2易用界面不友好,出現(xiàn)中英文夾雜的界面4提示不清楚,出現(xiàn)原始的英文提示4界面風(fēng)格不一致4查詢結(jié)果輸出方式不直觀4適應(yīng)在特定的軟、硬件

9、環(huán)境下,不能實(shí)現(xiàn)應(yīng)有的功能1在特定的軟、硬件環(huán)境下,不能實(shí)現(xiàn)部分功能,并且沒有替代方案2在特定的軟、硬件環(huán)境下,不能實(shí)現(xiàn)部分功能,但有合理的替代方案3文檔文檔錯誤52.3驗(yàn)收標(biāo)準(zhǔn)的詳細(xì)說明驗(yàn)收項(xiàng)目的劃分參照GB/T16260標(biāo)準(zhǔn)。在該標(biāo)準(zhǔn)中,將軟件的質(zhì)量特性分為6大特性、21個子特性,而對于具體的軟件,并非都要進(jìn)行這21個特性的測試和評價(jià)。本文選取的是最通用的子特性部分,當(dāng)然,針對各種不同的軟件,可以對驗(yàn)收項(xiàng)目進(jìn)行剪裁或擴(kuò)充。鑒于目前軟件驗(yàn)收沒有相關(guān)的國家強(qiáng)制性標(biāo)準(zhǔn)的情況,我們自行制定了上述驗(yàn)收標(biāo)準(zhǔn)。首先,在表1中定義了軟件錯誤的嚴(yán)重性等級,將錯誤分為15個等級,等級1為最嚴(yán)重的錯誤,而等級5

10、為最輕微的錯誤。a)1級錯誤的描述這一級別的錯誤一般包括以下內(nèi)容:沒有實(shí)現(xiàn)或錯誤地實(shí)現(xiàn)重要的功能;軟件在操作過程中由于軟件自身的原因自動退出系統(tǒng)或出現(xiàn)死機(jī)的情況;軟件在操作過程中由于軟件自身的原因?qū)ο到y(tǒng)或數(shù)據(jù)造成破壞;特殊軟件在操作過程中可能危及人身安全等。b)2級錯誤的描述這一級別的錯誤一般包括:沒有實(shí)現(xiàn)基本功能,并且不存在替代辦法;沒有實(shí)現(xiàn)重要功能中的部分功能,并且不存在替代辦法;沒有滿足系統(tǒng)的性能要求。c)3級錯誤的描述這一級的錯誤是與第2級別的錯誤相對應(yīng)的,在第2級錯誤中,不存在替代方法,而第3級錯誤則存在替代方法。d)4級錯誤的描述這一級別的錯誤通常為易用性方面的錯誤。e)5級錯誤的

11、描述通常為文檔方面的錯誤,如安裝手冊、操作手冊、維護(hù)手冊中的描述錯誤。其次對發(fā)現(xiàn)的每一個錯誤都要確定相應(yīng)的嚴(yán)重性等級,如表2中的說明。最后,需要制定驗(yàn)收標(biāo)準(zhǔn),即每一級別的錯誤量的可接受范圍。一般來說,不允許存在1級和2級錯誤,而3級錯誤的數(shù)量則可由用戶方和開發(fā)方根據(jù)軟件的規(guī)模和復(fù)雜程度進(jìn)行商定,并在軟件開發(fā)合同中明確地列出。在軟件驗(yàn)收測試中,測試依據(jù)包括軟件的投標(biāo)文件、開發(fā)合同、需求規(guī)格說明書,同時還包括特定軟件的相關(guān)行業(yè)標(biāo)準(zhǔn)(這些行業(yè)標(biāo)準(zhǔn)應(yīng)在開發(fā)合同中明示出來)。在進(jìn)行第三方的驗(yàn)收測試后,軟件評測中心將發(fā)現(xiàn)的所有錯誤進(jìn)行總結(jié)和歸納,并提交完整的錯誤報(bào)告,在錯誤報(bào)告中包括每一級別的錯誤數(shù)量和錯誤清單(所有的錯誤都需經(jīng)過用戶方和開發(fā)方的確認(rèn))。用戶方根據(jù)錯誤報(bào)告中每一級別的錯誤數(shù)量和錯誤清單與軟件開發(fā)合同中的驗(yàn)收標(biāo)準(zhǔn)進(jìn)行對照,如錯誤的級別和數(shù)量在合同可接受的范圍內(nèi),用戶方認(rèn)為軟件可以驗(yàn)收,但要求開發(fā)方對錯誤報(bào)告中的所有錯誤進(jìn)行整改,并提給軟件評測中心進(jìn)行回歸測試,確認(rèn)錯誤報(bào)告中的所有錯誤全部改正方可;如錯誤的級別和數(shù)量在合同可接受的范圍外,用戶方認(rèn)為軟件不可驗(yàn)