軟件測(cè)試策略

軟件測(cè)試策略第2章軟件測(cè)試策略第2頁,共40頁，2024年2月25日，星期天目錄軟件測(cè)試的分類1軟件測(cè)試的原則2軟件測(cè)試關(guān)鍵問題3軟件測(cè)試與軟件質(zhì)量4軟件測(cè)試的誤區(qū)5第3頁,共40頁，2024年2月25日，星期天軟件測(cè)試的分類按照開發(fā)階段劃分單元測(cè)試：模塊測(cè)試，檢查每個(gè)程序單元嫩否正確實(shí)現(xiàn)詳細(xì)設(shè)計(jì)說明中的模塊功能等。集成測(cè)試：組裝測(cè)試，將所有的程序模塊進(jìn)行有序、遞增的測(cè)試，檢驗(yàn)程序單元或部件的接口關(guān)系系統(tǒng)測(cè)試：檢查完整的程序系統(tǒng)能否和系統(tǒng)（包括硬件、外設(shè)和網(wǎng)絡(luò)、系統(tǒng)軟件、支持平臺(tái)等）正確配置、連接，并滿足用戶需求。確認(rèn)測(cè)試：證實(shí)軟件是否滿足特定于其用途的需求，是否滿足軟件需求說明書的規(guī)定。驗(yàn)收測(cè)試：按照項(xiàng)目任務(wù)或合同，供需雙方簽訂的驗(yàn)收依據(jù)文檔進(jìn)行的對(duì)整個(gè)系統(tǒng)的測(cè)試與評(píng)審，決定是否接受或拒收系統(tǒng)。第4頁,共40頁，2024年2月25日，星期天軟件測(cè)試的分類按照測(cè)試技術(shù)劃分白盒測(cè)試：通過對(duì)程序內(nèi)部結(jié)構(gòu)的分析、檢測(cè)來尋找問題。檢查是否所有的結(jié)構(gòu)及邏輯都是正確的，檢查軟件內(nèi)部動(dòng)作是否按照設(shè)計(jì)說明的規(guī)定正常進(jìn)行。--結(jié)構(gòu)測(cè)試黑盒測(cè)試：通過軟件的外部表現(xiàn)來發(fā)現(xiàn)錯(cuò)誤，是在程序界面處進(jìn)行測(cè)試，只是檢查是否按照需求規(guī)格說明書的規(guī)定正常實(shí)現(xiàn)?；液袦y(cè)試：介于白盒測(cè)試與黑盒測(cè)試之間的測(cè)試，關(guān)注輸出對(duì)輸入的正確性；同時(shí)，也關(guān)注內(nèi)部表現(xiàn)，不像白盒那樣詳細(xì)，只是通過一些表征性現(xiàn)象、事件、標(biāo)志來判斷內(nèi)部的運(yùn)行狀態(tài)。第5頁,共40頁，2024年2月25日，星期天軟件測(cè)試的分類按照測(cè)試實(shí)施組織劃分開發(fā)方測(cè)試：開發(fā)方通過檢測(cè)和提供客觀證據(jù)，證實(shí)軟件的實(shí)現(xiàn)是否滿足規(guī)定的需求，在開發(fā)環(huán)境下，開發(fā)方對(duì)提交的軟件進(jìn)行全面的自我檢查。用戶測(cè)試：在用戶的應(yīng)用環(huán)境中，用戶通過運(yùn)行軟件，檢測(cè)軟件實(shí)現(xiàn)是否符合自己預(yù)期的要求，這里指用戶的使用性測(cè)試。第三方測(cè)試：介于軟件開發(fā)方和用戶方之間的測(cè)試組織的測(cè)試。第6頁,共40頁，2024年2月25日，星期天按程序?qū)ο蠓置嫦驕y(cè)試對(duì)象粒度的劃分按測(cè)試方法分類按運(yùn)行狀態(tài)分類面向軟件測(cè)試實(shí)施者的劃分嵌入式軟件測(cè)試與非嵌入式軟件測(cè)試軟件測(cè)試的分類第7頁,共40頁，2024年2月25日，星期天軟件測(cè)試的原則1完全測(cè)試的不可能性例:測(cè)試windows計(jì)算機(jī)器原因：輸入量太大輸出結(jié)果太多軟件執(zhí)行路徑太多軟件說明書是主觀的，沒有客觀標(biāo)準(zhǔn)。第8頁,共40頁，2024年2月25日，星期天2軟件測(cè)試是有風(fēng)險(xiǎn)的活動(dòng)SoftwareTestingisaRisk-BasedExercise如果不選擇完全測(cè)試所有情況，那就是選擇了冒險(xiǎn)Nottotesteverypossibletestscenario,Customerwilleventuallyfinditsomeday.如：1024+1024=2048矛盾：Testingvs.ReleasedeadlineStoptestingvs.Costlybug關(guān)鍵測(cè)試要點(diǎn)：把數(shù)量巨大的可能測(cè)試減少到可以控制的范圍針對(duì)風(fēng)險(xiǎn)做出明智的選擇，哪些測(cè)試重要，哪些不重要第9頁,共40頁，2024年2月25日，星期天軟件缺陷故障數(shù)量測(cè)試量測(cè)試不足測(cè)試費(fèi)用優(yōu)化測(cè)試量測(cè)試過量遺漏軟件缺陷數(shù)目測(cè)試工作量與軟件缺陷數(shù)量之間的關(guān)系第10頁,共40頁，2024年2月25日，星期天3.測(cè)試無法顯示潛伏的軟件缺陷和故障軟件測(cè)試員可以報(bào)告軟件缺陷存在,卻不能報(bào)告軟件缺陷不存在.可以進(jìn)行測(cè)試,發(fā)現(xiàn)并報(bào)告軟件缺陷,但是任何情況下都不能保證軟件缺陷不存在.Whatcanyoudo?!唯一的方法:繼續(xù)測(cè)試,找到更多的缺陷第11頁,共40頁，2024年2月25日，星期天4.充分注意測(cè)試中的群集現(xiàn)象缺陷可能成群出現(xiàn)發(fā)現(xiàn)一個(gè),附近就可能有一群缺陷一個(gè)接一個(gè)可能的原因:A.程序員也有心情不好的時(shí)候B.程序員往往犯同樣的錯(cuò)誤C.有些軟件故障可能是冰山一角第12頁,共40頁，2024年2月25日，星期天5.殺蟲劑現(xiàn)象農(nóng)藥—害蟲軟件測(cè)試越多，對(duì)測(cè)試的免疫力越強(qiáng)，尋找更多軟件缺陷就更加困難.克服辦法：在軟件測(cè)試中采用單一的方法不能高效和完全的針對(duì)所有軟件缺陷，因此軟件測(cè)試應(yīng)該盡可能的多采用多種途徑進(jìn)行測(cè)試.

第13頁,共40頁，2024年2月25日，星期天6.并非所有的軟件缺陷都要修復(fù)雖然測(cè)試員盡了最大的努力，但并非找到的所有軟件缺陷都要修復(fù)。并非意味著軟件測(cè)試員沒有達(dá)到目的.解決辦法依賴軟件測(cè)試員的素質(zhì)—進(jìn)行良好的判斷，根據(jù)風(fēng)險(xiǎn)決定哪些缺陷需要修復(fù)，哪些不需要修復(fù)。造成軟件缺陷不能修復(fù)的原因：（1）時(shí)間不夠（2）不算真正的軟件缺陷（3）修復(fù)的風(fēng)險(xiǎn)太大（4）不值得修復(fù)第14頁,共40頁，2024年2月25日，星期天7.難以描述的軟件缺陷如果軟件中存在缺陷，但沒有人能夠發(fā)現(xiàn)，算不算缺陷？軟件缺陷的定義：(1)軟件未達(dá)到產(chǎn)品說明書中已經(jīng)標(biāo)明的功能；(2)軟件出現(xiàn)了產(chǎn)品說明書中指明不會(huì)出現(xiàn)的錯(cuò)誤；(3)軟件未達(dá)到產(chǎn)品說明書中雖未指出但應(yīng)當(dāng)達(dá)到的目標(biāo)；(4)軟件功能超出了產(chǎn)品說明書中指明的范圍；(5)軟件測(cè)試人員認(rèn)為軟件難以理解、不易使用，或者最終用戶認(rèn)為該軟件使用效果不良。一棵樹在森林中倒下，沒有人看見聽見，它發(fā)出聲音了嗎？第15頁,共40頁，2024年2月25日，星期天8）80-20原則

第一個(gè)含義：80%的軟件缺陷常常生存在軟件20%的空間里。如果想使軟件測(cè)試有效，就要更加關(guān)注那些經(jīng)?；蛘呖赡艹霈F(xiàn)錯(cuò)誤的程序段，在那里發(fā)現(xiàn)軟件缺陷的可能性會(huì)大的多。這一原則對(duì)于軟件測(cè)試人員提高測(cè)試效率及缺陷發(fā)現(xiàn)率有著重大的意義。

第16頁,共40頁，2024年2月25日，星期天8）80-20原則

第二個(gè)含義：在系統(tǒng)分析、設(shè)計(jì)、實(shí)現(xiàn)階段的復(fù)審工作中能夠發(fā)現(xiàn)和避免80%的軟件缺陷，此后的系統(tǒng)測(cè)試能夠幫助我們找出剩余缺陷中的80%，最后的5%的軟件缺陷可能只有在系統(tǒng)交付使用后用戶經(jīng)過大范圍、長(zhǎng)時(shí)間使用后才會(huì)曝露出來。因?yàn)檐浖y(cè)試只能夠保證盡可能多地發(fā)現(xiàn)軟件缺陷，卻無法保證能夠發(fā)現(xiàn)所有的軟件缺陷。第17頁,共40頁，2024年2月25日，星期天8.）80-20原則

第三個(gè)含義：實(shí)踐證明80%的軟件缺陷可以借助人工測(cè)試而發(fā)現(xiàn)，20%的軟件缺陷可以借助自動(dòng)化測(cè)試能夠得以發(fā)現(xiàn)。由于這二者間具有交叉的部分，因此尚有5%左右的軟件缺陷需要通過其他方式進(jìn)行發(fā)現(xiàn)和修正。第18頁,共40頁，2024年2月25日，星期天9.軟件測(cè)試必須有預(yù)期結(jié)果

軟件缺陷是經(jīng)過對(duì)比而得出來的。沒有預(yù)期結(jié)果的測(cè)試是絕不可以的。我們事先不知道或是無法肯定預(yù)期的結(jié)果，我們必然無法了解測(cè)試正確性。第19頁,共40頁，2024年2月25日，星期天10.應(yīng)當(dāng)把“盡早地和不斷地進(jìn)行軟件測(cè)試”作為軟件測(cè)試者的座右銘（想想蟲卵、小蟲、大蟲）

第20頁,共40頁，2024年2月25日，星期天11.程序員應(yīng)該避免檢查自己的程序。Why?程序員從來不會(huì)承認(rèn)自己寫的程序有錯(cuò)誤程序員的測(cè)試思路有明顯的局限性多數(shù)程序員沒有經(jīng)過嚴(yán)格正規(guī)的職業(yè)訓(xùn)練，常忽視測(cè)試程序員無良好的BUG跟蹤和回歸測(cè)試的習(xí)慣第21頁,共40頁，2024年2月25日，星期天12追溯至用戶需求

13及時(shí)更新測(cè)試第22頁,共40頁，2024年2月25日，星期天軟件測(cè)試關(guān)鍵問題

（1）測(cè)試由誰來執(zhí)行？通常軟件產(chǎn)品的開發(fā)設(shè)計(jì)包括開發(fā)者和測(cè)試者兩種角色。開發(fā)者：通過開發(fā)形成產(chǎn)品，如分析、設(shè)計(jì)、編碼調(diào)試或文檔編制等。測(cè)試者通過測(cè)試來檢測(cè)產(chǎn)品中是否存在缺陷，包括根據(jù)特定目的而設(shè)計(jì)測(cè)試用例、構(gòu)造測(cè)試、執(zhí)行測(cè)試和評(píng)價(jià)測(cè)試結(jié)果等。通常由開發(fā)者負(fù)責(zé)完成第一階段的代碼單元測(cè)試，而系統(tǒng)測(cè)試則由獨(dú)立的測(cè)試人員或?qū)ｉT的測(cè)試機(jī)構(gòu)進(jìn)行。按照測(cè)試實(shí)施組織劃分，軟件測(cè)試可分為開發(fā)方測(cè)試、用戶測(cè)試（β測(cè)試）、第三方測(cè)試。第23頁,共40頁，2024年2月25日，星期天軟件測(cè)試關(guān)鍵問題開發(fā)方測(cè)試通常也叫“驗(yàn)證測(cè)試”或“α測(cè)試”。開發(fā)方通過檢測(cè)和提供客觀證據(jù)，證實(shí)軟件的實(shí)現(xiàn)是否滿足規(guī)定的需求。驗(yàn)證測(cè)試是在軟件開發(fā)環(huán)境下，由開發(fā)者檢測(cè)與證實(shí)軟件的實(shí)現(xiàn)是否滿足軟件設(shè)計(jì)說明或軟件需求說明的要求。主要是指在軟件開發(fā)完成以后，開發(fā)方對(duì)要提交的軟件進(jìn)行全面的自我檢查與驗(yàn)證，可以和軟件的“系統(tǒng)測(cè)試”一并進(jìn)行。第24頁,共40頁，2024年2月25日，星期天軟件測(cè)試關(guān)鍵問題用戶測(cè)試在用戶的應(yīng)用環(huán)境下，用戶通過運(yùn)行和使用軟件，檢測(cè)與核實(shí)軟件實(shí)現(xiàn)是否符合自己預(yù)期的要求。通常情況用戶測(cè)試不是指用戶的“驗(yàn)收測(cè)試”，而是指用戶的使用性測(cè)試，由用戶找出軟件的應(yīng)用過程中發(fā)現(xiàn)的軟件缺陷與問題，并對(duì)使用質(zhì)量進(jìn)行評(píng)價(jià)。β測(cè)試通常被看成是一種“用戶測(cè)試”。β測(cè)試主要是把軟件產(chǎn)品有計(jì)劃地免費(fèi)分發(fā)到目標(biāo)市場(chǎng)，讓用戶大量使用，并評(píng)價(jià)、檢查軟件。通過用戶各種方式的大量使用，來發(fā)現(xiàn)軟件存在的問題與錯(cuò)誤，把信息反饋給開發(fā)者修改。第25頁,共40頁，2024年2月25日，星期天軟件測(cè)試關(guān)鍵問題第三方測(cè)試介于軟件開發(fā)和用戶方之間的測(cè)試組織的測(cè)試。也稱為獨(dú)立測(cè)試。軟件質(zhì)量工程強(qiáng)調(diào)開展獨(dú)立驗(yàn)證和確認(rèn)（IV&V）活動(dòng)。由在技術(shù)、管理和財(cái)務(wù)上與開發(fā)方和用戶方相對(duì)獨(dú)立的組織進(jìn)行的軟件測(cè)試。一般情況下是在模擬用戶真實(shí)應(yīng)用環(huán)境下，進(jìn)行軟件確認(rèn)測(cè)試。第26頁,共40頁，2024年2月25日，星期天軟件測(cè)試關(guān)鍵問題（2）測(cè)試什么？軟件產(chǎn)品的組成：軟件產(chǎn)品到底是什么？并不僅僅是從軟盤或者光盤安裝到計(jì)算機(jī)上的程序，還包括許多隱含的內(nèi)容，容易被忽視，但這些也往往是包含軟件缺陷的測(cè)試對(duì)象，需要軟件測(cè)試員銘記在心！第27頁,共40頁，2024年2月25日，星期天軟件測(cè)試關(guān)鍵問題軟件測(cè)試對(duì)象：軟件測(cè)試不僅僅是對(duì)程序的測(cè)試，而是貫穿于軟件定義和開發(fā)的整個(gè)過程。因此，軟件開發(fā)過程中產(chǎn)生的需求分析、概要設(shè)計(jì)、詳細(xì)設(shè)計(jì)以及編碼等各個(gè)階段所得到的文檔，包括需求規(guī)格說明、概要設(shè)計(jì)說明、詳細(xì)設(shè)計(jì)規(guī)格說明以及源程序，都是軟件測(cè)試的對(duì)象。軟件測(cè)試在軟件生命周期，也就是從開發(fā)設(shè)計(jì)、運(yùn)行、直到結(jié)束使用的全過程中，主要橫跨以下兩個(gè)測(cè)試階段：第28頁,共40頁，2024年2月25日，星期天軟件測(cè)試關(guān)鍵問題第一階段：?jiǎn)卧獪y(cè)試階段，即在每個(gè)模塊編寫出以后所做的必要測(cè)試。第二階段：綜合測(cè)試階段，即在完成單元測(cè)試后進(jìn)行的測(cè)試，如集成測(cè)試、系統(tǒng)測(cè)試、驗(yàn)收測(cè)試等。研究表明，通常表現(xiàn)在程序中的故障，并不一定是由編碼所引起的，可能是需求分析，概要設(shè)計(jì)、詳細(xì)設(shè)計(jì)等階段的問題所致，要排除故障就必須追溯到前期的工作（這就涉及到下一個(gè)問題——什么時(shí)候進(jìn)行測(cè)試）第29頁,共40頁，2024年2月25日，星期天軟件測(cè)試關(guān)鍵問題（3）什么時(shí)候進(jìn)行測(cè)試。測(cè)試可以是一個(gè)與開發(fā)并行的過程，也可以是開發(fā)完成某個(gè)階段任務(wù)后的的活動(dòng)，即模塊開發(fā)結(jié)束之后，還可以在各模塊裝配成為一個(gè)完整的程序之后再進(jìn)行測(cè)試。第30頁,共40頁，2024年2月25日，星期天軟件測(cè)試關(guān)鍵問題（4）怎樣進(jìn)行測(cè)試。對(duì)軟件進(jìn)行測(cè)試就是根據(jù)軟件的功能規(guī)范說明和程序?qū)崿F(xiàn)，利用各種測(cè)試方法，生成有效的測(cè)試用例，對(duì)軟件進(jìn)行測(cè)試。第31頁,共40頁，2024年2月25日，星期天軟件測(cè)試關(guān)鍵問題（5）測(cè)試停止的標(biāo)準(zhǔn)是什么從現(xiàn)實(shí)和經(jīng)濟(jì)的角度來看，對(duì)軟件進(jìn)行完全測(cè)試是不可能的。那么，什么時(shí)候停止測(cè)試呢？因?yàn)闊o法判斷當(dāng)前查出的故障是否為最后一個(gè)故障，所以決定什么時(shí)候停止測(cè)試是一件很困難的事。測(cè)試完成的傳統(tǒng)標(biāo)準(zhǔn)是分配的測(cè)試時(shí)間用完了或完成了所有的測(cè)試又沒有檢測(cè)出故障。但這兩個(gè)完成標(biāo)準(zhǔn)都沒有什么實(shí)用價(jià)值。實(shí)用的停止測(cè)試標(biāo)準(zhǔn)應(yīng)該基于以下幾個(gè)因素：成功地采用了具體的測(cè)試用例設(shè)計(jì)方法；每一類覆蓋的覆蓋率；第32頁,共40頁，2024年2月25日，星期天軟件測(cè)試關(guān)鍵問題故障檢測(cè)率（即每一單元測(cè)試時(shí)間內(nèi)檢測(cè)出的故障數(shù)）低于指定的限度?；诠收蠙z測(cè)數(shù)量的標(biāo)準(zhǔn)必須注明故障的嚴(yán)重性程度。檢測(cè)出故障的具體數(shù)量或消耗的具體時(shí)間等。常用的停止測(cè)試的標(biāo)準(zhǔn)有5類測(cè)試超過了預(yù)定的時(shí)間，停止測(cè)試；執(zhí)行了所有測(cè)試用例但沒有發(fā)現(xiàn)故障，停止測(cè)試；使用特定的測(cè)試用例設(shè)計(jì)方法作為判斷測(cè)試停止的基礎(chǔ)；正面指出測(cè)試停止的要求，比如發(fā)現(xiàn)并修改70個(gè)軟件故障；根據(jù)單位時(shí)間內(nèi)查出故障的數(shù)量決定是否停止測(cè)試。第33頁,共40頁，2024年2月25日，星期天軟件測(cè)試與軟件質(zhì)量事實(shí)上，對(duì)于軟件來講，不論采用什么技術(shù)和什么方法，軟件中仍然會(huì)有錯(cuò)。采用新的語言、先進(jìn)的開發(fā)方式、完善的開發(fā)過程，可以減少錯(cuò)誤的引入，但是不可能完全杜絕軟件中的錯(cuò)誤，這些引入的錯(cuò)誤需要通過測(cè)試來發(fā)現(xiàn)，軟件中的錯(cuò)誤密度也需要測(cè)試來進(jìn)行估計(jì)。統(tǒng)計(jì)表明，在典型的軟件開發(fā)項(xiàng)目中，軟件測(cè)試工作量往往占軟件開發(fā)總工作量的40％以上。而在軟件開發(fā)的總成本中，用在測(cè)試上的開銷要占30％到50％。

第34頁,共40頁，2024年2月25日，星期天軟件測(cè)試與軟件質(zhì)量軟件質(zhì)量保證（SQA）的職能是向管理層提供正確的可視化的信息，從而促進(jìn)與協(xié)助流程改進(jìn)。SQA還充當(dāng)測(cè)試工作的指導(dǎo)者和監(jiān)督者，幫助軟件測(cè)試建立質(zhì)量標(biāo)準(zhǔn)、測(cè)試過程評(píng)審方法和測(cè)試流程，同時(shí)通過跟蹤、審計(jì)和評(píng)審，及時(shí)發(fā)現(xiàn)軟件測(cè)試過程中的問題，從而幫助改進(jìn)測(cè)試或整個(gè)開發(fā)的流程等，因此有了SQA，測(cè)試工作就可以被客觀的檢查與評(píng)價(jià)，同時(shí)也可以協(xié)助測(cè)試流程的改進(jìn)。第35頁,共40頁，2024年2月25日，星期天軟件測(cè)試與軟件質(zhì)量而測(cè)試為SQA提供數(shù)據(jù)和