測(cè)試案例分析

西安軟件測(cè)評(píng)中心測(cè)試流程介紹-------FormDesigner3.0案例分析軟件質(zhì)量已成為開(kāi)發(fā)商和顧客共同關(guān)注的焦點(diǎn)。沒(méi)有質(zhì)量確保的軟件產(chǎn)品，就沒(méi)有市場(chǎng)競(jìng)爭(zhēng)力。軟件測(cè)試與否充足、有效，直接影響到軟件產(chǎn)品的質(zhì)量。西安軟件工程技術(shù)研究中心作為第三方軟件評(píng)測(cè)機(jī)構(gòu)，按照國(guó)家有關(guān)原則，為軟件開(kāi)發(fā)公司和軟件顧客提供軟件評(píng)測(cè)技術(shù)服務(wù)?，F(xiàn)以西安協(xié)同數(shù)碼股份有限公司開(kāi)發(fā)的SynchroFlow工作流管理系統(tǒng)的輔助開(kāi)發(fā)工具FormDesigner3.0為例介紹西安軟件工程技術(shù)研究中心的測(cè)試流程。緣于軟件生產(chǎn)的特性，軟件測(cè)試是軟件生產(chǎn)的一種重點(diǎn)和難點(diǎn)。軟件測(cè)試含有四個(gè)層次的作用：找錯(cuò)、確認(rèn)、組裝和評(píng)定，其中確認(rèn)和評(píng)定的意義與難度在規(guī)?；能浖a(chǎn)中遠(yuǎn)遠(yuǎn)不不大于找錯(cuò)和組裝。軟件生產(chǎn)迫切需要脫離手工作坊方式的軟件調(diào)試，在規(guī)范化軟件測(cè)試的基礎(chǔ)上實(shí)現(xiàn)規(guī)?；浖y(cè)試，達(dá)成提高軟件產(chǎn)品質(zhì)量、減少軟件生產(chǎn)成本。軟件測(cè)試的辦法學(xué)和軟件測(cè)試的管理學(xué)應(yīng)是軟件測(cè)試工作者關(guān)注的重點(diǎn)。只有對(duì)的、快速、精確地解決這些缺點(diǎn)，才干消除軟件缺點(diǎn)，確保在要公布的軟件中滿足軟件需求。西安軟件工程技術(shù)研究中心制訂了科學(xué)規(guī)范的測(cè)試流程，通過(guò)規(guī)范的軟件測(cè)試服務(wù)，為軟件公司和軟件顧客提供高質(zhì)量軟件評(píng)測(cè)服務(wù)。我們把軟件測(cè)試項(xiàng)目中的活動(dòng)普通分為測(cè)試計(jì)劃、測(cè)試設(shè)計(jì)、測(cè)試開(kāi)發(fā)、測(cè)試執(zhí)行和測(cè)試評(píng)定這五個(gè)環(huán)節(jié)來(lái)組織的，如圖所示。一、任務(wù)委托收到軟件開(kāi)發(fā)公司或軟件顧客的測(cè)試需要后，我中心派出測(cè)試工程師與顧客進(jìn)行測(cè)試需求溝通與交流、商討并訂立《軟件測(cè)試技術(shù)合同》、《軟件委托測(cè)試合同》和《保密合同》。顧客將根據(jù)合同工作內(nèi)容，填寫(xiě)《軟件測(cè)試記錄表》，提交《軟件規(guī)格闡明書(shū)》和《軟件使用手冊(cè)》。二、測(cè)試計(jì)劃測(cè)試計(jì)劃中我們重要擬定四方面內(nèi)容：必須進(jìn)行那些測(cè)試？測(cè)試在何時(shí)開(kāi)始，但愿何時(shí)通過(guò)以及測(cè)試日程安排；3、測(cè)試在哪里進(jìn)行？換句話說(shuō)，就是測(cè)試將在何種軟、硬件配備的環(huán)境下運(yùn)行？4、擬定測(cè)試辦法和測(cè)試工具；以上這些內(nèi)容擬定后便能夠著手定義測(cè)試輸入條件，擬定測(cè)試方略和劃分測(cè)試功效點(diǎn)、設(shè)計(jì)測(cè)試用例規(guī)劃。在此過(guò)程中還要考慮測(cè)試用例的屬性和該測(cè)試與否進(jìn)行迭代測(cè)試。在FormDesigner3.0項(xiàng)目測(cè)試過(guò)程中，顧客規(guī)定我們對(duì)FormDesigner3.0進(jìn)行功效測(cè)試。根據(jù)FormDesigner3.0的功效點(diǎn)、參考其顧客手冊(cè)、以及顧客規(guī)定進(jìn)行回歸測(cè)試的特性，我們?cè)谥朴啘y(cè)試計(jì)劃時(shí)，需要考慮測(cè)試用例的可復(fù)用性。我們將FormDesigner3.0劃分為12個(gè)模塊，準(zhǔn)備開(kāi)發(fā)的測(cè)試用例，將全部覆蓋FormDesigner3.0全部功效點(diǎn)。在組織FormDesigner3.0的測(cè)試過(guò)程中我們用RationalTestManager來(lái)管理測(cè)試過(guò)程，通過(guò)使用RationalTestManage工具自動(dòng)跟蹤整個(gè)項(xiàng)目的質(zhì)量和需求狀態(tài)來(lái)分析所造成的針對(duì)測(cè)試用例的影響，并能獲得基特定角度的測(cè)試構(gòu)造數(shù)據(jù),并且運(yùn)用這些數(shù)據(jù)對(duì)于測(cè)試工作進(jìn)行決策。三、測(cè)試設(shè)計(jì)測(cè)試設(shè)計(jì)是對(duì)每個(gè)測(cè)試用例進(jìn)行具體的測(cè)試環(huán)節(jié)設(shè)計(jì)，設(shè)計(jì)時(shí)力求覆蓋全部功效點(diǎn)。設(shè)計(jì)的測(cè)試環(huán)節(jié)，就是實(shí)施測(cè)試時(shí)的操作環(huán)節(jié)。測(cè)試設(shè)計(jì)還涉及選擇檢查點(diǎn)、設(shè)計(jì)檢查位置、定義測(cè)試用例的條件和擬定測(cè)試通過(guò)的原則。對(duì)于規(guī)定進(jìn)行回歸測(cè)試的軟件用例的設(shè)計(jì)要考慮測(cè)試用例的復(fù)用性和擴(kuò)展性。對(duì)于FormDesigner3.0，測(cè)試用例設(shè)計(jì)這一環(huán)節(jié)中我們采用點(diǎn)面結(jié)合的方式進(jìn)行測(cè)試，所謂“面”就是軟件系統(tǒng)的業(yè)務(wù)流程要完整，而“點(diǎn)”就是所測(cè)系統(tǒng)的全部功效點(diǎn)要全方面，同時(shí)測(cè)試設(shè)計(jì)時(shí)還要考慮到要進(jìn)行回歸測(cè)試，根據(jù)計(jì)劃和測(cè)試用例的可執(zhí)行性、可擴(kuò)展性以及可迭代性我們將FormDesigner3.0劃分成12個(gè)模塊來(lái)設(shè)計(jì)用例，累計(jì)設(shè)計(jì)了272個(gè)測(cè)試用例，所設(shè)計(jì)測(cè)試用例嚴(yán)格遵照《FormDesigner3.0需求規(guī)格闡明書(shū)》和《FormDesigner3.0顧客手冊(cè)》并覆蓋了FormDesigner3.0全部的功效點(diǎn)。四、測(cè)試實(shí)現(xiàn)測(cè)試實(shí)現(xiàn)是根據(jù)測(cè)試用例設(shè)計(jì)的測(cè)試環(huán)節(jié)進(jìn)行具體的測(cè)試準(zhǔn)備，即通過(guò)對(duì)被測(cè)程序的操作，運(yùn)用測(cè)試工具錄制自動(dòng)執(zhí)行測(cè)試的腳本并修改腳本增強(qiáng)腳本的強(qiáng)健性。對(duì)于不適合自動(dòng)化測(cè)試的功效點(diǎn)我們采用編寫(xiě)手工測(cè)試用例進(jìn)行補(bǔ)充。通過(guò)軟件測(cè)試用例設(shè)計(jì)過(guò)程中被測(cè)軟件中的部分缺點(diǎn)可能被發(fā)現(xiàn)。對(duì)于發(fā)現(xiàn)的缺點(diǎn)通過(guò)驗(yàn)證確認(rèn)后，用RationalClearQuest統(tǒng)計(jì)下來(lái)進(jìn)行統(tǒng)一管理。考慮到FormDesigner3.0需進(jìn)行多次迭代，在整個(gè)測(cè)試實(shí)施過(guò)程中根據(jù)設(shè)計(jì)好的測(cè)試用例，我們運(yùn)用Rationalrobot編制了大量的自動(dòng)化測(cè)試腳本總計(jì)265個(gè)。對(duì)錄制好的測(cè)試腳本為了增強(qiáng)其的強(qiáng)健性，我們對(duì)其進(jìn)行了多次修改以方便迭代測(cè)試的規(guī)定。五、測(cè)試執(zhí)行在測(cè)試執(zhí)行過(guò)程中，運(yùn)用測(cè)試工具針對(duì)被測(cè)軟件自動(dòng)回放測(cè)試用例腳本，通過(guò)多次回放自動(dòng)化腳本，測(cè)試工具會(huì)自動(dòng)統(tǒng)計(jì)測(cè)試信息。如果腳本在回放中出現(xiàn)問(wèn)題，則將測(cè)試失敗的信息及時(shí)統(tǒng)計(jì)到缺點(diǎn)跟蹤數(shù)據(jù)庫(kù)中，并建立優(yōu)先級(jí)。在執(zhí)行測(cè)試過(guò)程中。重要是出現(xiàn)的問(wèn)題進(jìn)行驗(yàn)證、查錯(cuò)，從而擬定缺點(diǎn)發(fā)生發(fā)范疇和缺點(diǎn)發(fā)生的環(huán)境。在通過(guò)20多天的第一次測(cè)試后，我們把測(cè)試成果回饋給委托方，經(jīng)其驗(yàn)證修改我們又進(jìn)行了二次迭代測(cè)試。運(yùn)用已編制好的大量自動(dòng)化測(cè)試腳本，迭代測(cè)試時(shí)極大地提高了我們的測(cè)試效率，整個(gè)測(cè)試過(guò)程只用了5天時(shí)間。迭代測(cè)試時(shí)我們發(fā)現(xiàn)先前提交的缺點(diǎn)絕大多數(shù)都得到了修正，同時(shí)我們又發(fā)現(xiàn)了新的缺點(diǎn)，我們把這些信息及時(shí)反饋給委托方，從而協(xié)助委托方對(duì)軟件的質(zhì)量狀況做出精確地判斷和決定。對(duì)于發(fā)現(xiàn)的缺點(diǎn)采用缺點(diǎn)跟蹤管理工具ClearQuest進(jìn)行全程跟蹤管理，并分派專人進(jìn)行驗(yàn)證測(cè)試。六、測(cè)試評(píng)定測(cè)試評(píng)定是客戶比較關(guān)心的地方，它是對(duì)整個(gè)測(cè)試的完畢狀況進(jìn)行總結(jié)評(píng)定，并對(duì)整個(gè)項(xiàng)目所產(chǎn)生缺點(diǎn)的趨勢(shì)進(jìn)行分析，形成測(cè)試報(bào)告。測(cè)試報(bào)告中涉及整個(gè)測(cè)試活動(dòng)過(guò)程，涉及測(cè)試的軟硬件環(huán)境、測(cè)試工具、測(cè)試人員、測(cè)試資源消耗、測(cè)試缺點(diǎn)分類和描述、以及測(cè)試缺點(diǎn)優(yōu)先級(jí)和對(duì)被測(cè)軟件的各模塊和總體評(píng)價(jià)。我們使用RationalTestManager和RationalClearQuese等工具對(duì)整個(gè)測(cè)試過(guò)程進(jìn)行評(píng)定，運(yùn)用工具生成各類圖表來(lái)分析測(cè)試腳本執(zhí)行狀況，測(cè)試用例覆蓋程度，被測(cè)系統(tǒng)在不同訪問(wèn)量下的響應(yīng)時(shí)間，缺點(diǎn)的狀態(tài)及其分布狀況等必要因素，從而得到整個(gè)測(cè)試的完畢狀況和被測(cè)應(yīng)用的質(zhì)量狀況。以協(xié)助委托方對(duì)軟件的質(zhì)量狀況做出精確地判斷和決定，方便于對(duì)軟件系統(tǒng)進(jìn)一步完善功效和改善軟件中存在的質(zhì)量問(wèn)題。七、結(jié)束語(yǔ)測(cè)試只是一種手段對(duì)軟件質(zhì)量狀況進(jìn)行驗(yàn)證和評(píng)定的一種有效手段，不管采用什么測(cè)試手段和采用什么樣的測(cè)試工具不可能證明軟件沒(méi)有錯(cuò)、很難做到100%的覆蓋軟件，通過(guò)測(cè)試、通過(guò)建立規(guī)范的測(cè)試流程實(shí)現(xiàn)專業(yè)化的軟件測(cè)試，對(duì)提高軟件產(chǎn)品質(zhì)量、減少軟件生產(chǎn)成本是非常有用的。測(cè)試活動(dòng)及其管理測(cè)試資產(chǎn)數(shù)據(jù)測(cè)試用例測(cè)試資產(chǎn)數(shù)據(jù)測(cè)試用例測(cè)試輸入測(cè)試腳本測(cè)試工件缺點(diǎn)跟蹤軟件需求管理數(shù)據(jù)庫(kù)軟件配備管理數(shù)據(jù)庫(kù)軟件變更管理數(shù)據(jù)庫(kù)軟件模型管理數(shù)據(jù)庫(kù)多個(gè)自動(dòng)化測(cè)試工具、人工（輔助）測(cè)試測(cè)試管理需求管理配備管理模型管理變更管理RationalTestManager用來(lái)從測(cè)試的各個(gè)方面進(jìn)行管理，通過(guò)自動(dòng)跟蹤整個(gè)項(xiàng)目的質(zhì)量和需求狀態(tài)來(lái)分析所造成的針對(duì)測(cè)試用例的影響,由此成為整個(gè)軟件團(tuán)體的項(xiàng)目狀態(tài)的數(shù)據(jù)集散中心.QA或者QE經(jīng)理,商業(yè)分析師,開(kāi)發(fā)者和測(cè)試者使用RationalTestManager都能夠獲得基于他們自己特定角度的測(cè)試構(gòu)造數(shù)據(jù),并且運(yùn)用這些數(shù)據(jù)對(duì)于他們的工作進(jìn)行決策.RationalTestManager在整個(gè)項(xiàng)目生命周期內(nèi)為團(tuán)體提供了持續(xù)地面對(duì)測(cè)試計(jì)劃目的的狀態(tài)和進(jìn)度跟蹤。測(cè)試活動(dòng)當(dāng)中的每一種人都不僅需要理解變更在特定層面上造成的影響,也需要理解對(duì)于整個(gè)項(xiàng)目的影響.我們使用缺點(diǎn)和變更跟蹤工具RationalClearQuest在整個(gè)項(xiàng)目的生命周期中跟蹤缺點(diǎn)和需求變更,分派工作活動(dòng)和訪問(wèn)項(xiàng)目的真實(shí)狀態(tài)。運(yùn)用RationalClearCaseLT與RationalClearQuest相結(jié)合，建立“統(tǒng)一變更管理”機(jī)制這樣就提供了有價(jià)值的公共數(shù)據(jù)訪問(wèn)，還提供了從需求分析到產(chǎn)品公布，供團(tuán)體進(jìn)行變更管理、質(zhì)量監(jiān)控、有效溝通的流程和工具。運(yùn)用