軟件測(cè)試自動(dòng)化方法與工具-第5講 (回歸與驗(yàn)收)

軟件測(cè)試自動(dòng)化方法與工具

主講吳取勁2016.4第5講回歸測(cè)試與驗(yàn)收測(cè)試回歸測(cè)試（RegressionTesting）作為軟件生命周期的一個(gè)組成部分，在軟件開發(fā)的各個(gè)階段都可能會(huì)進(jìn)行若干次回歸測(cè)試，回歸測(cè)試在整個(gè)軟件測(cè)試過程當(dāng)中占有很大的工作量比重。驗(yàn)收測(cè)試（AcceptanceTesting）是在系統(tǒng)測(cè)試之后進(jìn)行了的測(cè)試，目的是為了驗(yàn)證此系統(tǒng)是否能夠滿足用戶的需要。依據(jù)是開發(fā)方與用戶間的合同、軟件需求說明書、國(guó)家標(biāo)準(zhǔn)、相關(guān)行業(yè)標(biāo)準(zhǔn)、法律法規(guī)等。包括軟件功能、性能、可靠性、可維護(hù)性、可移植性等特性的嚴(yán)格測(cè)試。5.1回歸測(cè)試的實(shí)用技術(shù)討論內(nèi)容:●回歸測(cè)試概述●回歸測(cè)試用例庫的維護(hù)方法●回歸測(cè)試的方法●回歸測(cè)試的基本過程●總結(jié)回歸測(cè)試的結(jié)果●回歸測(cè)試自動(dòng)化的問題●回歸測(cè)試實(shí)踐總結(jié)●回歸測(cè)試文檔軟件測(cè)試技術(shù)研究組·中國(guó)信息大學(xué)回歸測(cè)試概述主要內(nèi)容包括:什么是回歸測(cè)試、目的、范圍、基本過程、人員、選擇有效的回歸測(cè)試包、人工回歸測(cè)試流程、自動(dòng)化自動(dòng)回歸測(cè)試流程、自動(dòng)回歸測(cè)試框架和框架的技術(shù)特點(diǎn)。軟件測(cè)試技術(shù)研究組·中國(guó)信息大學(xué)5.1.1回歸測(cè)試概述1什么是回歸測(cè)試只要軟件發(fā)生修改，我們就必須重新測(cè)試軟件，以便確定修改的軟件功能是否達(dá)到了預(yù)期的目的，修改可能產(chǎn)生新的問題：可能導(dǎo)致軟件未被修改的部分產(chǎn)生新的問題，使本來工作正常的功能產(chǎn)生錯(cuò)誤；在有新代碼加入軟件的時(shí)候，除了新加入的代碼中有可能含有錯(cuò)誤外，新代碼還有可能對(duì)原有的代碼帶來影響。軟件測(cè)試技術(shù)研究組·中國(guó)信息大學(xué)2回歸測(cè)試的目的確認(rèn)軟件經(jīng)過一些小的變更或修改后是否仍滿足所有的需求。確認(rèn)變更后會(huì)對(duì)軟件的功能或性能產(chǎn)生怎樣的影響回歸測(cè)試是重復(fù)測(cè)試，要求使用相同的方法，使用相同的測(cè)試用例和數(shù)據(jù)，在相同的環(huán)境下進(jìn)行測(cè)試。軟件測(cè)試技術(shù)研究組·中國(guó)信息大學(xué)3回歸測(cè)試的范圍測(cè)試所有修改或修正過的功能模塊；測(cè)試與被修改的模塊相關(guān)的模塊；測(cè)試所有新增加的功能模塊；測(cè)試整個(gè)系統(tǒng)。表現(xiàn)(1)、表現(xiàn)(2)和表現(xiàn)(3)中只進(jìn)行了部分的回歸測(cè)試，這樣的測(cè)試是不健全的，因?yàn)樵谲浖到y(tǒng)中，對(duì)本地代碼的修改可能導(dǎo)致整個(gè)系統(tǒng)產(chǎn)生副作用。軟件測(cè)試技術(shù)研究組·中國(guó)信息大學(xué)4回歸測(cè)試的基本過程軟件測(cè)試技術(shù)研究組·中國(guó)信息大學(xué)5回歸測(cè)試的策略

回歸測(cè)試需要時(shí)間、經(jīng)費(fèi)和人力來計(jì)劃、實(shí)施和管理。為了盡可能有效地進(jìn)行回歸測(cè)試，需要對(duì)回歸測(cè)試選擇相應(yīng)的策略。回歸測(cè)試管理人員管理測(cè)試用例庫管理測(cè)試執(zhí)行管理計(jì)劃跟蹤管理人員的選擇獨(dú)立的測(cè)試人員測(cè)試用例庫的維護(hù)刪除過時(shí)的測(cè)試用例改進(jìn)不受控制的測(cè)試用例刪除冗余的測(cè)試用例增添新的測(cè)試用例軟件測(cè)試技術(shù)研究組·中國(guó)信息大學(xué)6回歸測(cè)試人員在回歸測(cè)試過程當(dāng)中，測(cè)試過程由一個(gè)測(cè)試經(jīng)理（或組長(zhǎng)）來監(jiān)控測(cè)試工作的各個(gè)細(xì)節(jié)。而回歸測(cè)試經(jīng)常與系統(tǒng)測(cè)試和驗(yàn)收測(cè)試相關(guān)聯(lián)，所以由測(cè)試經(jīng)理（或組長(zhǎng)）負(fù)責(zé)，確保選擇合適的測(cè)試技術(shù)和在合理的質(zhì)量控制中執(zhí)行充分的回歸測(cè)試。在回歸測(cè)試工作中，回歸測(cè)試人員將設(shè)計(jì)并實(shí)現(xiàn)測(cè)試新的擴(kuò)展或增強(qiáng)部分所需的新測(cè)試用例，可結(jié)合自動(dòng)化測(cè)試工具修改現(xiàn)有的測(cè)試數(shù)據(jù)。軟件測(cè)試技術(shù)研究組·中國(guó)信息大學(xué)7選擇有效的回歸測(cè)試包回歸測(cè)試包選擇的兩種策略:

選擇全部測(cè)試用例組成選擇重要的、關(guān)鍵的和可疑的測(cè)試用例在軟件測(cè)試中，測(cè)試用例庫可能變得相當(dāng)大，每次回歸測(cè)試都重新運(yùn)行完整的測(cè)試包變得不切實(shí)際，有時(shí)測(cè)試組不得不選擇一個(gè)縮減的、有效的回歸測(cè)試包來完成回歸測(cè)試。當(dāng)測(cè)試組選擇縮減的回歸測(cè)試包時(shí)，要?jiǎng)h除部分測(cè)試用例，刪除那些不會(huì)讓回歸測(cè)試的意圖遭到破壞的測(cè)試用例。軟件測(cè)試技術(shù)研究組·中國(guó)信息大學(xué)8人工回歸測(cè)試流程

軟件測(cè)試技術(shù)研究組·中國(guó)信息大學(xué)9自動(dòng)化自動(dòng)回歸測(cè)試流程軟件測(cè)試技術(shù)研究組·中國(guó)信息大學(xué)降低管理難度設(shè)計(jì)與實(shí)現(xiàn)分離技術(shù)與業(yè)務(wù)分離充分利用工具提升效率與測(cè)試管理集成

軟件測(cè)試技術(shù)研究組·中國(guó)信息大學(xué)10自動(dòng)回歸測(cè)試框架、作用和框架的技術(shù)特點(diǎn)5.1.2回歸測(cè)試用例庫的維護(hù)方法刪除過時(shí)的測(cè)試用例實(shí)用的測(cè)試用例是經(jīng)過長(zhǎng)期的工作積累而成的，但是隨著項(xiàng)目的不同，使用環(huán)境的不同，原來成功的測(cè)試用例可能不適應(yīng)新的環(huán)境，需要對(duì)原有的測(cè)試用例進(jìn)行修改和刪除。刪除不是一味清除原有測(cè)試用例，而是對(duì)原有的測(cè)試用例進(jìn)行加工改造，使之適應(yīng)新的應(yīng)用項(xiàng)目。軟件測(cè)試技術(shù)研究組·中國(guó)信息大學(xué)改進(jìn)不受控的測(cè)試用例在測(cè)試用例庫中，有的測(cè)試用例是可重復(fù)并且是可控制的，但是有的測(cè)試用例不是可控制的（有些對(duì)輸入或運(yùn)行狀態(tài)十分敏感的測(cè)試用例是不容易重復(fù)而且是難以控制的，會(huì)影響回歸測(cè)試的效率），需要進(jìn)行改進(jìn)，使其達(dá)到可重復(fù)和可控制的要求。刪除冗余的測(cè)試用例在回歸測(cè)試當(dāng)中，有些測(cè)試用例隨著項(xiàng)目的開展，難免會(huì)出現(xiàn)冗余（存在兩個(gè)或者多個(gè)測(cè)試用例針對(duì)一組相同的輸入和輸出進(jìn)行測(cè)試），所以需要定期的整理、維護(hù)測(cè)試用例庫，將冗余的用例刪除掉，并保存到回歸測(cè)試用例庫中，從而提高測(cè)試用例庫的高效性和可用性。軟件測(cè)試技術(shù)研究組·中國(guó)信息大學(xué)增添新的測(cè)試用例測(cè)試用例隨著應(yīng)用的環(huán)境、功能、性能的不同，原有的測(cè)試用例庫中的測(cè)試用例不能滿足回歸測(cè)試的要求，需要添加新的測(cè)試用例，如果某個(gè)程序段、構(gòu)件或關(guān)鍵的接口發(fā)生了變化，那么應(yīng)該開發(fā)新測(cè)試用例重新對(duì)其進(jìn)行測(cè)試，并將新開發(fā)的測(cè)試用例合并到測(cè)試用例庫中。軟件測(cè)試技術(shù)研究組·中國(guó)信息大學(xué)5.1.3回歸測(cè)試的方法再測(cè)試全部用例把測(cè)試用例庫的全部測(cè)試用例組成回歸測(cè)試包進(jìn)行測(cè)試，這是一種比較安全的方法，再測(cè)試全部用例具有最低的遺漏回歸錯(cuò)誤的風(fēng)險(xiǎn)，但測(cè)試時(shí)間、人員、設(shè)備、和經(jīng)費(fèi)成本最高。全部再測(cè)試幾乎可以應(yīng)用到任何情況下，基本上不需要進(jìn)行分析和重新開發(fā)，但是隨著開發(fā)工作的進(jìn)展，測(cè)試用例不斷增多，重復(fù)原先所有的測(cè)試將帶來很大的工作量，往往超過了預(yù)算和進(jìn)度。軟件測(cè)試技術(shù)研究組·中國(guó)信息大學(xué)基于風(fēng)險(xiǎn)進(jìn)行測(cè)試從測(cè)試用例庫中選擇測(cè)試用例進(jìn)行回歸。這種方法有一定的風(fēng)險(xiǎn)。選擇測(cè)試用例首先要選擇運(yùn)行最重要的、關(guān)鍵的和可疑的測(cè)試，而跳過那些非關(guān)鍵的、優(yōu)先級(jí)別低的或者高穩(wěn)定的測(cè)試用例。基于操作進(jìn)行測(cè)試如果測(cè)試用例庫的測(cè)試用例是基于軟件操作開發(fā)的，回歸測(cè)試可以優(yōu)先選擇基于操作的測(cè)試用例，針對(duì)最重要或最頻繁使用功能的測(cè)試用例，這種方法可以在一個(gè)給定的預(yù)算下最有效地提高系統(tǒng)的可靠性，但實(shí)施起來有一定的難度。軟件測(cè)試技術(shù)研究組·中國(guó)信息大學(xué)僅測(cè)試修改部分當(dāng)測(cè)試者對(duì)修改的局部化有足夠的信心時(shí)，可以僅測(cè)試修改部分，但要分析修改情況和修改的影響，回歸測(cè)試盡可能覆蓋受到影響的部分，但實(shí)施起來有一定的風(fēng)險(xiǎn)。在回歸測(cè)試時(shí)，采用多種測(cè)試技術(shù)是常見的，表現(xiàn)在以下兩個(gè)方面：(1)如果測(cè)試者對(duì)一個(gè)修改的軟件進(jìn)行回歸測(cè)試時(shí)，回歸測(cè)試者可以采用多種回歸測(cè)試方法，例如：采用回歸測(cè)試工具，進(jìn)而增加了對(duì)修改軟件的信心；(2)不同的回歸測(cè)試者可能會(huì)根據(jù)自己的經(jīng)驗(yàn)和判斷選擇不同的回歸測(cè)試技術(shù)和方法。軟件測(cè)試技術(shù)研究組·中國(guó)信息大學(xué)5.1.4總結(jié)回歸測(cè)試的結(jié)果

在軟件測(cè)試周期結(jié)束后，測(cè)試、開發(fā)人員對(duì)回歸測(cè)試的結(jié)果非常關(guān)注，因?yàn)樗麄兿胫浪麄儗?duì)bug修改是否達(dá)到的預(yù)期的結(jié)果，所以需要總結(jié)回歸測(cè)試的結(jié)果。關(guān)于總結(jié)回歸測(cè)試的結(jié)果，印度學(xué)者SrinivasanDesikanGopalawamyRamesh做了如下5點(diǎn)概括性的分析：軟件測(cè)試技術(shù)研究組·中國(guó)信息大學(xué)如果特定測(cè)試用例的執(zhí)行結(jié)果對(duì)于以前的版本通過，而當(dāng)前版本未通過，則回歸未通過。需要提交新版本，并對(duì)測(cè)試用例重新設(shè)置后重新測(cè)試。如果特定測(cè)試用例的執(zhí)行結(jié)果對(duì)于以前的版本未通過，而當(dāng)前的版本通過，則可以有把握地說缺陷修改有效。如果特定測(cè)試用例的執(zhí)行結(jié)果對(duì)于以前的版本未通過，而當(dāng)前版本也通過，如果對(duì)于這個(gè)特定的測(cè)試用例沒有針對(duì)缺陷修改，則可能意味著這個(gè)測(cè)試用例的執(zhí)行結(jié)果應(yīng)該未通過，而且在回歸測(cè)試中不應(yīng)該選擇這類測(cè)試用例。軟件測(cè)試技術(shù)研究組·中國(guó)信息大學(xué)如果特定測(cè)試用例的執(zhí)行結(jié)果對(duì)于以前的版本未通過，但是通過某種寫入文檔的迂回方法可以通過，而且測(cè)試人員也對(duì)這種迂回方法感到滿意，則可以認(rèn)為對(duì)于系統(tǒng)測(cè)試周期和回歸測(cè)試周期都通過。如果測(cè)試人員對(duì)迂回不滿意，則可以認(rèn)為系統(tǒng)測(cè)試周是未通過，但是回歸測(cè)試周期是通過的。軟件測(cè)試技術(shù)研究組·中國(guó)信息大學(xué)5.1.5回歸測(cè)試自動(dòng)化的問題對(duì)于回歸測(cè)試自動(dòng)化工具的問題，目前有回歸測(cè)試自動(dòng)操作工具的供應(yīng)商，但是需要考慮的組件和方面有：(1)系統(tǒng)應(yīng)是自動(dòng)構(gòu)造程序。表現(xiàn)為：服務(wù)需要自動(dòng)編譯、自動(dòng)部署。(2)回歸測(cè)試自動(dòng)化工具可以構(gòu)造與實(shí)際使用場(chǎng)景相似的測(cè)試用例。(3)回歸測(cè)試自動(dòng)化工具一般只可以進(jìn)行框架的測(cè)試。(4)使用回歸測(cè)試自動(dòng)化工具產(chǎn)生統(tǒng)一的結(jié)果報(bào)告，這樣不用重復(fù)花時(shí)間去檢驗(yàn)測(cè)試執(zhí)行結(jié)果。軟件測(cè)試技術(shù)研究組·中國(guó)信息大學(xué)5.1.6回歸測(cè)試實(shí)踐總結(jié)組織回歸測(cè)試時(shí)需注意的問題各測(cè)試階段發(fā)生的修改一定在此階段內(nèi)完成回歸期間軟件版本一定要凍結(jié)重新進(jìn)行回歸測(cè)試時(shí)需注意的問題更換測(cè)試人員分配老手設(shè)計(jì)新的回歸測(cè)試用例鼓勵(lì)變化回歸測(cè)試人員應(yīng)掌握的測(cè)試手段熟悉業(yè)務(wù)流程測(cè)試用例更新及時(shí)與開發(fā)人員進(jìn)行有效溝通熟練掌握開發(fā)用的各種計(jì)算機(jī)語言軟件測(cè)試技術(shù)研究組·中國(guó)信息大學(xué)軟件測(cè)試技術(shù)研究組·中國(guó)信息大學(xué)討論內(nèi)容:●驗(yàn)收測(cè)試的條件、目的和涉及到的文檔；●驗(yàn)收測(cè)試的常用策略；●驗(yàn)收測(cè)試的組織過程；●驗(yàn)收測(cè)試內(nèi)容。5.2驗(yàn)收測(cè)試的實(shí)用技術(shù)5.2.1驗(yàn)收測(cè)試的條件、目的和涉及到的文檔驗(yàn)收測(cè)試是一個(gè)過程，是一個(gè)以用戶為主的測(cè)試。一般，驗(yàn)收測(cè)試是在軟件系統(tǒng)測(cè)試結(jié)束以及軟件配置審查之后開始的，驗(yàn)收測(cè)試應(yīng)由用戶、測(cè)試人員、軟件開發(fā)人員和質(zhì)量保證人員一起參與，驗(yàn)證軟件系統(tǒng)的功能和性能及其它特性是否與用戶的要求一致。軟件測(cè)試技術(shù)研究組·中國(guó)信息大學(xué)1驗(yàn)收測(cè)試的首要條件驗(yàn)收測(cè)試的首要條件有以下幾點(diǎn)：軟件開發(fā)已經(jīng)完成，并全部解決了已知的軟件缺陷；驗(yàn)收測(cè)試計(jì)劃已經(jīng)過評(píng)審并批準(zhǔn)，并且置于文檔控制之下；對(duì)軟件需求說明書的審查已經(jīng)完成；對(duì)概要設(shè)計(jì)、詳細(xì)設(shè)計(jì)的審查已經(jīng)完成；對(duì)所有關(guān)鍵模塊的代碼審查已經(jīng)完成；軟件測(cè)試技術(shù)研究組·中國(guó)信息大學(xué)2驗(yàn)收測(cè)試的目的新建系統(tǒng)產(chǎn)品是否是按照用戶需求開發(fā)的，體驗(yàn)該產(chǎn)品是否能夠滿足用戶使用要求、有沒有達(dá)到原設(shè)計(jì)水平、完成的功能怎樣；新建系統(tǒng)產(chǎn)品通過運(yùn)行的結(jié)果表明，對(duì)業(yè)務(wù)處理的能力；對(duì)照合同的需求進(jìn)行驗(yàn)收測(cè)試，是否符合雙方達(dá)成的共識(shí)；新建系統(tǒng)產(chǎn)品的可靠性和可維護(hù)性好不好？軟件測(cè)試技術(shù)研究組·中國(guó)信息大學(xué)3驗(yàn)收測(cè)試的過程驗(yàn)收測(cè)試人員要了解軟件功能和性能要求、軟硬件環(huán)境要求；驗(yàn)收測(cè)試人員要了解軟件的質(zhì)量要求和驗(yàn)收要求；驗(yàn)收測(cè)試人員要編制《驗(yàn)收測(cè)試計(jì)劃》，根據(jù)軟件需求和驗(yàn)收要求編制測(cè)試計(jì)劃，制定需測(cè)試的測(cè)試項(xiàng)；驗(yàn)收測(cè)試人員要編制《項(xiàng)目驗(yàn)收準(zhǔn)則》，制定測(cè)試策略及驗(yàn)收通過準(zhǔn)則，并經(jīng)過客戶參與的計(jì)劃評(píng)審；

根據(jù)測(cè)試結(jié)果編制《驗(yàn)收測(cè)試報(bào)告》，并提交給客戶。軟件測(cè)試技術(shù)研究組·中國(guó)信息大學(xué)4驗(yàn)收測(cè)試的主要內(nèi)容新建系統(tǒng)產(chǎn)品已通過單元測(cè)試、功能測(cè)試、網(wǎng)絡(luò)測(cè)試、軟件安裝測(cè)試、性能測(cè)試、集成測(cè)試、系統(tǒng)測(cè)試的測(cè)試階段，在驗(yàn)收測(cè)試這一階段主要內(nèi)容是：(1)軟件是否滿足合同規(guī)定的所有功能和性能？(2)文檔資料是否完整？(3)對(duì)功能測(cè)試、網(wǎng)絡(luò)測(cè)試、軟件安裝測(cè)試、性能測(cè)試、集成測(cè)試、系統(tǒng)測(cè)試的測(cè)試用例進(jìn)行回歸測(cè)試。軟件測(cè)試技術(shù)研究組·中國(guó)信息大學(xué)5驗(yàn)收測(cè)試文檔①文檔測(cè)試內(nèi)容將文檔同程序相比較，看是否有不相符的情況；檢查文檔的流程圖是否跟程序一致；檢查文檔是否有錯(cuò)字或不符合語法規(guī)范的地方；②測(cè)試過程涉及到的文檔測(cè)試任務(wù)說明書；測(cè)試計(jì)劃說明書；測(cè)試用例說明書；測(cè)試報(bào)告說明書；測(cè)試總結(jié)說明書；測(cè)試驗(yàn)收說明書。軟件測(cè)試技術(shù)研究組·中國(guó)信息大學(xué)6驗(yàn)收測(cè)試的設(shè)計(jì)思路驗(yàn)收測(cè)試由3大部分組成：軟件配置審核；可執(zhí)行程序測(cè)試；驗(yàn)收測(cè)試分為用戶應(yīng)用系統(tǒng)驗(yàn)收測(cè)試和外包軟件的驗(yàn)收測(cè)試。驗(yàn)收測(cè)試的要點(diǎn)：對(duì)文檔進(jìn)行審核；對(duì)源代碼進(jìn)行審核；對(duì)配置進(jìn)行審核；對(duì)測(cè)試程序或腳本進(jìn)行審核；對(duì)可執(zhí)行程序進(jìn)行測(cè)試；按照需求說明書對(duì)系統(tǒng)進(jìn)行評(píng)審。驗(yàn)收測(cè)試注意要點(diǎn)：在用戶方進(jìn)行驗(yàn)收測(cè)試之前，開發(fā)方應(yīng)對(duì)軟件的進(jìn)行了全面的正式測(cè)試；用戶在接收時(shí)，開發(fā)方提供的測(cè)試報(bào)告內(nèi)容和審核報(bào)告應(yīng)齊全。軟件測(cè)試技術(shù)研究組·中國(guó)信息大學(xué)5.2.2應(yīng)用系統(tǒng)驗(yàn)收測(cè)試

應(yīng)用系統(tǒng)驗(yàn)收測(cè)試，是系統(tǒng)開發(fā)機(jī)構(gòu)向用戶移交系統(tǒng)時(shí)履行的正式手續(xù)，也是用戶對(duì)新系統(tǒng)的認(rèn)可。 驗(yàn)收是用戶對(duì)開發(fā)工作的認(rèn)可，驗(yàn)收要檢查新系統(tǒng)功能是否達(dá)到要求的設(shè)計(jì)水平，新系統(tǒng)能否正常運(yùn)轉(zhuǎn)等。只有通過驗(yàn)收，才能投入正常運(yùn)行。軟件測(cè)試技術(shù)研究組·中國(guó)信息大學(xué)1驗(yàn)收工作新系統(tǒng)投入試運(yùn)行工作結(jié)束后，用戶對(duì)開發(fā)的新系統(tǒng)進(jìn)行驗(yàn)收，完成開發(fā)單位向用戶轉(zhuǎn)交的手續(xù)。驗(yàn)收小組依據(jù)系統(tǒng)設(shè)計(jì)說明書、系統(tǒng)使用說明書和系統(tǒng)維護(hù)手冊(cè)對(duì)新系統(tǒng)演示一遍，以確認(rèn):整個(gè)系統(tǒng)是否運(yùn)行正常，達(dá)到預(yù)定目標(biāo)；各個(gè)子系統(tǒng)是否運(yùn)行正常，達(dá)到預(yù)定目標(biāo)；各個(gè)功能模塊是否運(yùn)行正常，達(dá)到預(yù)定目標(biāo)；使用和維護(hù)是否能實(shí)現(xiàn)。軟件測(cè)試技術(shù)研究組·中國(guó)信息大學(xué)2驗(yàn)收?qǐng)?bào)告驗(yàn)收?qǐng)?bào)告，也稱為用戶使用報(bào)告或用戶報(bào)告，它的主要內(nèi)容如下:引言軟件名稱/用戶單位/研制單位/運(yùn)行環(huán)境/操作人員/使用起止日期性能指標(biāo)精度/效率/功能/差錯(cuò)系統(tǒng)評(píng)價(jià)用戶需求滿足程度經(jīng)濟(jì)效益與社會(huì)效益使用方便程度系統(tǒng)可靠性用戶對(duì)系統(tǒng)的評(píng)價(jià)軟件測(cè)試技術(shù)研究組·中國(guó)信息大學(xué)3鑒定工作程序和文檔資料鑒定組織工作鑒定工作由開發(fā)方和使用方共同組織完成。其程序如下:邀請(qǐng)有關(guān)專家、教授組成鑒定小組和考核小組，擬出鑒定小組成員名單(注明姓名、工作單位、專業(yè)、職稱)；要求開發(fā)單位寫出研究報(bào)告，供鑒定會(huì)宣讀；要求用戶單位寫出驗(yàn)收?qǐng)?bào)告(或用戶使用報(bào)告)，供鑒定會(huì)宣讀；要求開發(fā)單位寫出技術(shù)報(bào)告，供鑒定會(huì)宣讀；要求開發(fā)單位準(zhǔn)備鑒定用技術(shù)文檔資料；組織鑒定考核小組進(jìn)入現(xiàn)場(chǎng)測(cè)試；要求鑒定考核小組寫出鑒定測(cè)試報(bào)告，供鑒定會(huì)宣讀；要求鑒定考核小組寫出鑒定結(jié)論報(bào)告，供鑒定會(huì)宣讀；要求考核小組擬出鑒定書草案；確定鑒定會(huì)地址、時(shí)間、參加人員，并發(fā)出邀請(qǐng)信。軟件測(cè)試技術(shù)研究組·中國(guó)信息大學(xué)鑒定報(bào)告主要內(nèi)容鑒定考核工作是一項(xiàng)非常嚴(yán)肅認(rèn)真的工作，負(fù)責(zé)提供鑒定測(cè)試報(bào)告、測(cè)試結(jié)論報(bào)告和鑒定書草案。（1）鑒定測(cè)試報(bào)告的主要內(nèi)容:鑒定小組成員（姓名/職務(wù)/職稱/專業(yè)/工作單位）系統(tǒng)總體測(cè)試大綱（科學(xué)性/完整性/實(shí)用性/安全性/可靠性/可擴(kuò)充性/先進(jìn)性/界面使用方便性）系統(tǒng)技術(shù)資料規(guī)范化、完整性審查（產(chǎn)品文檔/紙質(zhì)文檔管理/電子文檔管理）軟件測(cè)試技術(shù)研究組·中國(guó)信息大學(xué)（2）鑒定測(cè)試結(jié)論報(bào)告的主要內(nèi)容:測(cè)試依據(jù)測(cè)試環(huán)境\設(shè)備\內(nèi)容測(cè)試結(jié)果測(cè)試結(jié)論（3）鑒定書草案的主要內(nèi)容:鑒定小組成員技術(shù)先進(jìn)性經(jīng)濟(jì)效益\社會(huì)效益系統(tǒng)內(nèi)在質(zhì)量建議軟件測(cè)試技術(shù)研究組·中國(guó)信息大學(xué)5.2.3外包軟件的驗(yàn)收測(cè)試外包軟件的驗(yàn)收測(cè)試事實(shí)上是根據(jù)應(yīng)用對(duì)象或產(chǎn)品對(duì)象被分為：非正式驗(yàn)收測(cè)試和正式驗(yàn)收測(cè)試。外包軟件的驗(yàn)收測(cè)試的策略通常建立在合同需求和公司標(biāo)準(zhǔn)的基礎(chǔ)上。外包軟件驗(yàn)收測(cè)試的結(jié)果有可能兩種：功能和性能指標(biāo)滿足軟件需求說明的要求，用戶接受；功能和性能指標(biāo)不滿足軟件需求說明的要求，用戶不接受。軟件測(cè)試技術(shù)研究組·中國(guó)信息大學(xué)1外包軟件驗(yàn)收測(cè)試的軟件配置和配置審核軟件配置和配置審核是外包驗(yàn)收測(cè)試的重要環(huán)節(jié)。在進(jìn)行外包軟件驗(yàn)收測(cè)試之前，必須保證所有軟件配置項(xiàng)都能進(jìn)入驗(yàn)收測(cè)試，只有這樣才能保證最終交付給用戶的軟件產(chǎn)品完整性和有效性。軟件配置程序與腳本/開發(fā)類文檔/管理類文檔/系統(tǒng)維護(hù)文檔配置審核計(jì)劃；預(yù)備會(huì)議（預(yù)備會(huì)議是對(duì)審核內(nèi)容進(jìn)行介紹并討論）；準(zhǔn)備階段（責(zé)任人事先審核并記錄發(fā)現(xiàn)的問題）；審核會(huì)議（最終確定工作產(chǎn)品中包含的錯(cuò)誤和缺陷）；問題追蹤。軟件測(cè)試技術(shù)研究組·中國(guó)信息大學(xué)2非正式驗(yàn)收測(cè)試外包軟件的非正式驗(yàn)收測(cè)試過程分為α（Alpha）測(cè)試和β（Beta）測(cè)試。在非正式驗(yàn)收測(cè)試中，執(zhí)行測(cè)試過程的限定不象正式驗(yàn)收測(cè)試中那樣嚴(yán)格，方法不像正式驗(yàn)收測(cè)試那樣組織有序，而且更為主觀。軟件測(cè)試技術(shù)研究組·中國(guó)信息大學(xué)α測(cè)試P169α測(cè)試是用戶在開發(fā)環(huán)境下的測(cè)試，或者是開發(fā)公司組織內(nèi)部人員模擬各類用戶行為對(duì)即將面市軟件產(chǎn)品進(jìn)行的測(cè)試，由開發(fā)人員或測(cè)試人員進(jìn)行的測(cè)試。α測(cè)試沒有正式驗(yàn)收測(cè)試那樣嚴(yán)格，在α測(cè)試中，主要是對(duì)使用的功能和任務(wù)進(jìn)行確認(rèn)，測(cè)試的內(nèi)容由用戶需求說明書決定。α測(cè)試試圖發(fā)現(xiàn)軟件產(chǎn)品的錯(cuò)誤。軟件測(cè)試技術(shù)研究組·中國(guó)信息大學(xué)β測(cè)試P170

經(jīng)過α測(cè)試調(diào)整后的軟件產(chǎn)品稱為β（Beta）版本。β版本的產(chǎn)品是典型用戶在日常工作中實(shí)際試用的版本。要求典型用戶報(bào)告異常情況、提出批評(píng)意見。然后軟件開發(fā)公司再對(duì)β版本進(jìn)行改錯(cuò)和完善（一般包括功能、性