嵌入式軟件測試課件1

嵌入式軟件測試

第一部分軟件測試技術(shù)軟件測試技術(shù)—提要軟件測試基礎(chǔ)軟件測試的典型問題及對策嵌入式軟件測試級別及內(nèi)容軟件測試過程及管理概述—測試的定義由人工或自動方法來執(zhí)行或評價系統(tǒng)或系統(tǒng)部件的過程，以驗證它是否滿足規(guī)定的需求；或識別出期望的結(jié)果和實際結(jié)果之間有無差別。概述—測試的目的驗證軟件是否滿足軟件開發(fā)合同或任務(wù)書、系統(tǒng)/子系統(tǒng)設(shè)計文檔、軟件需求規(guī)格說明和軟件設(shè)計說明所規(guī)定的軟件質(zhì)量特性要求；通過測試，發(fā)現(xiàn)軟件錯誤；為軟件產(chǎn)品質(zhì)量的評價提供依據(jù)。概述—測試的地位有效的測試對于開發(fā)可靠、安全和成功的軟件是必須的測試不是“銀彈(silverbullet)”，它具有有效范圍，它不是其他軟件工程方法的替代品概述—測試的作用1證實給定的軟件滿足其規(guī)格說明測試公理不可能對程序進行完全的測試局限無法確信規(guī)格說明100%正確無法確信可以達到100%足夠的軟件測試無法保證測試環(huán)境100%滿足測試要求概述—測試的作用2在給定的時限內(nèi)盡可能多的發(fā)現(xiàn)缺陷和隱患測試公理測試無法說明軟件沒有缺陷局限軟件質(zhì)量體現(xiàn)在多個方面，但首先要面對并必須解決的方面是軟件缺陷，在資源制約和技術(shù)限制的條件下，無法保證找到軟件中所有的缺陷概述—測試的作用3為軟件產(chǎn)品質(zhì)量的評價提供依據(jù)測試公理發(fā)現(xiàn)的問題越多,那里潛在的問題也更多局限不可能通過測試獲得100%的質(zhì)量信心無法確信測試系統(tǒng)(或環(huán)境)的正確性無法確信測試人員完全理解了軟件產(chǎn)品沒有足夠的資源徹底完成軟件測試概述—測試的發(fā)展歷程時間區(qū)間狀況-1956面向調(diào)試的階段1957-1978面向證實的階段1979-1982面向缺陷的階段1983-1987面向評價的階段1988-面向預(yù)防的階段概述—測試對象的特點軟件被廣泛應(yīng)用，承擔(dān)許多關(guān)鍵與核心任務(wù)軟件是被開發(fā)或設(shè)計的，包括維護階段軟件是邏輯產(chǎn)品，可視性低軟件是復(fù)雜的，輸入空間無限大，可執(zhí)行路徑特別多大多數(shù)軟件是定制的，可選標(biāo)準(zhǔn)構(gòu)件少概述—軟件的缺陷屬性無法提供無缺陷的軟件，缺陷已成為軟件的固有屬性和特征各種研究報告表明，每寫1000行代碼會產(chǎn)生30到85個缺陷大多數(shù)缺陷可通過測試捕獲在大量的已完成測試的軟件中，每1000行代碼仍存在0.5~3缺陷軟件缺陷有可能會給系統(tǒng)質(zhì)量尤其是可靠性帶來重大影響概述—缺陷與失效失誤(mistake)在軟件開發(fā)過程中軟件開發(fā)人員產(chǎn)生隱錯／缺陷(bug/defect)在軟件產(chǎn)品中軟件中存在設(shè)計者的錯誤行為(失誤)→導(dǎo)致軟件中留有錯誤的設(shè)計(缺陷)→導(dǎo)致軟件錯誤地執(zhí)行(故障)→導(dǎo)致軟件的錯誤行為(失效)。故障(fault)在軟件運行中缺陷被激活失效(failure)在運行階段用戶的經(jīng)歷概述—缺陷過濾器容錯(Defecttolerance)編譯失誤避錯(Defectavoidance)排錯(defectremoval)審查使用缺陷逃逸測試概述—缺陷解決策略避錯(Defectavoidance)第一次就做正確排錯(Defectremoval)早發(fā)現(xiàn),早實施容錯(Defecttolerance)有缺陷，也能正確的完成任務(wù)恢復(fù)選用最佳恢復(fù)策略，失效后繼續(xù)工作概述—如何獲得高質(zhì)量軟件軟件質(zhì)量軟件工程方法正式技術(shù)評審度量與控制標(biāo)準(zhǔn)與過程測試SCM與SQA概述—驗證與確認驗證與確認是廣泛認可的質(zhì)量保證方法和手段軟件測試是軟件驗證與確認的重要組成部分驗證是指對某項規(guī)定活動進行檢查的過程，以確保該活動實現(xiàn)了規(guī)定功能確認是指審查已建立的軟件產(chǎn)品是否符合客戶需要的過程驗證(Verification):

Arewebuildingtheproductright?確認(Validation):

Arewebuildingtherightproduct?概述—測試與調(diào)試測試不是調(diào)試，調(diào)試也不是測試，實際工作中人們常將測試與調(diào)試混為一談主要區(qū)別：測試是一種檢驗，調(diào)試是推理過程測試從已知條件開始，使用預(yù)先定義的規(guī)程并且有可預(yù)知的結(jié)果；調(diào)試的開始條件可能是不可知的，結(jié)果不可預(yù)見測試經(jīng)常由非程序設(shè)計人員完成，調(diào)試必須由程序設(shè)計者完成概述—嵌入式軟件執(zhí)行數(shù)據(jù)采集、控制等任務(wù)，邏輯復(fù)雜運行在資源受限系統(tǒng)上系統(tǒng)構(gòu)成多樣化部署后不受人的控制修補困難多為實時系統(tǒng)多為關(guān)鍵系統(tǒng)既可能運行在芯片上，也可能運行與大型工業(yè)控制系統(tǒng)概述—嵌入式軟件測試對測試環(huán)境的要求高對專業(yè)測試的依賴程度高測試輸入和結(jié)果獲得需要專門的手段測試約束大軟件測試典型問題及對策軟件測試時機軟件測試層次軟件測試環(huán)境軟件測試管理軟件測試風(fēng)險軟件測試復(fù)雜性軟件測試追溯性軟件測試終止準(zhǔn)則問題及對策—測試時機測試的時機問題代碼出來了，甚至系統(tǒng)實現(xiàn)了，才開始測試文檔開發(fā)滯后，更新不及時，追蹤性差系統(tǒng)狀態(tài)不穩(wěn)定，測試的效果無法體現(xiàn)主要對策在軟件開發(fā)過程中盡早開展軟件測試做好軟件設(shè)計評審和分析做好配置管理工作問題及對策—測試層次典型問題調(diào)試代替低層次測試，ATP代替高層次測試不測試無效和不期望的輸入不希望外部介入完全依賴外部測試主要對策開展第三方測試對開發(fā)過程中的測試提出明確要求問題及對策—測試環(huán)境典型問題過分關(guān)注測試執(zhí)行，而忽視測試設(shè)計期望自動工具替代測試工程師期望靠測試自動化節(jié)約測試成本期望靠測試自動化改善測試質(zhì)量相信錄制/回放工具是萬能的主要對策先建立流程，再實現(xiàn)自動化與實際需求相結(jié)合問題及對策—測試管理典型問題被測對象來自非受控渠道測試沒有文檔化的計劃、方案支持獨立測試組與開發(fā)組之間關(guān)系不協(xié)調(diào)主要對策建立測試過程，進行測試項目策劃、跟蹤與控制，開展測試的質(zhì)量保證和配置管理將需求工程延伸到測試問題及對策—測試風(fēng)險典型問題不使用風(fēng)險分析技術(shù)，測試不關(guān)注風(fēng)險開發(fā)時希望成關(guān)鍵，測試時希望成一般主要對策通過風(fēng)險分析確定測試范圍、目標(biāo)和策略將測試作為一種高風(fēng)險活動進行管理問題及對策—測試復(fù)雜性典型問題認為測試工作很簡單，測試成為新程序員的過渡性工作/不合格程序員的歸宿認為軟件測試太復(fù)雜，投入很大，做了但是沒有效果進行無知的測試主要對策培訓(xùn)，指派有經(jīng)驗、富有創(chuàng)造性的人員承擔(dān)測試采用適當(dāng)?shù)募夹g(shù)、有效的方法進行測試設(shè)計完善動態(tài)仿真環(huán)境，掌握測試工具問題及對策—測試追溯性典型問題軟件需求規(guī)格說明太簡單、過時即興測試不創(chuàng)建和維護測試文檔主要對策測試應(yīng)源于用戶需求維持完整的證據(jù)鏈進行可重復(fù)和可再現(xiàn)的測試問題及對策—測試終止準(zhǔn)則典型問題測試組應(yīng)對保證質(zhì)量負責(zé)用發(fā)現(xiàn)缺陷數(shù)量評價測試業(yè)績測試到資源耗盡就結(jié)束主要對策明確定義測試結(jié)束的標(biāo)準(zhǔn)正確理解測試的作用和局限性提高和改善軟件設(shè)計質(zhì)量級別—測試策略SRDCUIVST系統(tǒng)工程單元測試編碼軟件需求分析設(shè)計集成測試配置項測試系統(tǒng)測試級別—為什么要分級別？與軟件開發(fā)過程相適應(yīng)為了說明軟件系統(tǒng)內(nèi)單元/部件的互操作性需要進行三種基本的測試單獨單元/部件的測試測試單元/部件間互操作測試單元/部件結(jié)合成的軟件系統(tǒng)級別—單元測試的特點對象－模塊依據(jù)－軟件設(shè)計規(guī)格說明實現(xiàn)－串行或并行測試方法－白盒為主被測模塊測試用例結(jié)果測試工程師級別—單元測試內(nèi)容靜態(tài)測試代碼走查代碼檢查靜態(tài)分析動態(tài)測試黑盒測試白盒測試基于數(shù)據(jù)結(jié)構(gòu)的測試級別—單元動態(tài)測試焦點被測單元單元接口局部數(shù)據(jù)結(jié)構(gòu)邊界條件獨立執(zhí)行路徑錯誤處理的路徑測試用例級別—單元動態(tài)測試環(huán)境被測模塊驅(qū)動模塊結(jié)果測試用例模塊接口局部數(shù)據(jù)結(jié)構(gòu)邊界條件獨立執(zhí)行路徑錯誤處理的路徑樁1樁2樁n級別—單元測試工作產(chǎn)品單元測試計劃單元測試說明單元測試報告測試記錄問題報告與問題處理報告質(zhì)量記錄級別—集成測試集成測試的對象是軟件部件軟件部件由軟件單元組成集成測試前，部件中的所有單元必須已經(jīng)完成了單元測試級別—集成測試準(zhǔn)備要求的文檔可提交軟件概要設(shè)計說明軟件接口設(shè)計說明被集成的軟件單元已通過單元測試被測試構(gòu)件已納入配置管理中具備了滿足要求的集成測試環(huán)境和測試工具級別—集成測試內(nèi)容單元間的接口測試全局?jǐn)?shù)據(jù)結(jié)構(gòu)測試軟件功能模塊的功能測試性能測試邊界和人為條件下的性能級別—集成測試焦點重點尋找與下述內(nèi)容相關(guān)的缺陷軟件系統(tǒng)結(jié)構(gòu)的設(shè)計和構(gòu)造在子系統(tǒng)層次上被集成的功能或操作組件/模塊之間的接口和相互作用資源集成環(huán)境集成級別—集成測試通過準(zhǔn)則單元間無錯誤連接滿足各項功能、性能要求對錯誤有正確的處理對測試中的異常有合理解釋接口正確級別—部件測試工作產(chǎn)品部件測試計劃部件測試說明部件測試報告測試記錄問題報告與問題處理報告質(zhì)量記錄級別—配置項測試概念配置項測試的對象是計算機軟件配置項（CSCI）計算機軟件配置項，是能夠被獨立地進行配置管理的，并能夠滿足最終用戶功能的一組軟件級別—配置項測試的目的發(fā)現(xiàn)軟件配置項內(nèi)存在的缺陷和問題驗證軟件配置項實現(xiàn)了所需的能力驗證軟件是否按軟件需求規(guī)格說明書中確定的軟件功能、性能、質(zhì)量屬性、約束及限制等技術(shù)要求進行工作檢驗軟件配置項與相關(guān)的軟件/硬件配置項接口的正確性和互操作性級別—配置項測試依據(jù)測試要求任務(wù)書、合同、測試規(guī)范等對軟件測試有約束力的文件，規(guī)定了軟件測試的類型、程度、管理，等等被測對象的規(guī)格說明軟件需求規(guī)格說明書，等級別—配置項測試焦點功能(針對業(yè)務(wù)/任務(wù)需求，逐項)接口(關(guān)注通信需求與手段)配置項級的性能(關(guān)注容量、余量、瓶頸)質(zhì)量屬性(關(guān)注質(zhì)量設(shè)計的實現(xiàn))設(shè)計約束(關(guān)注資源的利用率和余量)級別—配置項測試主要內(nèi)容功能測試性能測試接口測試容錯測試安全性測試邊界測試安裝性測試文檔審查用戶操作特定條件下的行為與硬件配置項的集成與系統(tǒng)中其它軟件配置項的集成與協(xié)作級別—配置項測試環(huán)境要求配置項測試對測試環(huán)境的關(guān)注更關(guān)注環(huán)境的可控性，通常會在仿真或模擬環(huán)境下進行，要求高度的可控性和盡量的真實性對侵入式測試方法的支持級別—配置項測試工作產(chǎn)品配置項測試計劃配置項測試說明配置項測試報告測試記錄問題報告與問題處理報告質(zhì)量記錄級別—系統(tǒng)測試概念軟件系統(tǒng)作為一個整體進行測試，檢驗系統(tǒng)各部分之間的協(xié)調(diào)情況，以證實在目標(biāo)環(huán)境下軟件完成了全部系統(tǒng)功能和性能。系統(tǒng)測試是一系列不同測試的組合，這些測試目的不同，但都是為了整個系統(tǒng)成分能正常地集成到一起并完成分配的功能。級別—系統(tǒng)測試的目的發(fā)現(xiàn)軟件系統(tǒng)范圍內(nèi)存在的缺陷和問題驗證軟件系統(tǒng)實現(xiàn)了所需的能力驗證軟件系統(tǒng)各部分之間的協(xié)調(diào)情況，以證實在目標(biāo)環(huán)境下軟件系統(tǒng)完成了軟件任務(wù)書或系統(tǒng)/子系統(tǒng)設(shè)計文檔規(guī)定的全部軟件需求檢驗軟件系統(tǒng)能否與其他指定的系統(tǒng)成功地進行協(xié)同操作級別—系統(tǒng)測試的依據(jù)測試要求任務(wù)書、合同、測試規(guī)范等對軟件測試有約束力的文件，規(guī)定了軟件測試的類型、程度、管理，等等被測對象的規(guī)格說明軟件研制任務(wù)書系統(tǒng)/子系統(tǒng)需求規(guī)格說明系統(tǒng)/子系統(tǒng)設(shè)計文檔，等級別—系統(tǒng)測試焦點功能(針對高級系統(tǒng)需求，強調(diào)完整的業(yè)務(wù)/任務(wù)場景)接口(關(guān)注與其他系統(tǒng)的協(xié)同操作)性能(關(guān)注總體性能和資源競爭)質(zhì)量屬性(關(guān)注因協(xié)同操作帶來的質(zhì)量屬性問題)級別—系統(tǒng)測試主要內(nèi)容功能測試性能測試接口測試容錯測試安全性測試邊界測試容量測試強度測試安裝性測試文檔審查用戶操作特定條件下的行為軟件與硬件的集成與協(xié)作軟件與外部軟件和系統(tǒng)的集成系統(tǒng)可用性測試級別—系統(tǒng)測試環(huán)境要求系統(tǒng)測試對測試環(huán)境的關(guān)注更關(guān)注環(huán)境的真實性對于嵌入式軟件，軟件運行環(huán)境較容易保證，但是通用測試工具環(huán)境缺乏對于非嵌入式系統(tǒng)，尤其是大型系統(tǒng)，軟件運行環(huán)境較難保證，而通用測試工具環(huán)境豐富級別—系統(tǒng)測試工作產(chǎn)品系統(tǒng)測試計劃系統(tǒng)測試說明系統(tǒng)測試報告測試記錄問題報告與問題處理報告質(zhì)量記錄級別—回歸測試原因超過60%的對軟件系統(tǒng)的修改會無意中引入新的錯誤每修改6行代碼就會引入一個新的錯誤目標(biāo)檢驗修改是否達到了預(yù)期的目的檢驗是否損害了原有的正常功能，從而造成系統(tǒng)的回歸級別—回歸測試級別—回歸測試流程識別變更，進行變更影響分析對原測試集進行維護，生成新的測試集從測試集中選擇回歸測試包用選擇的測試包進行回歸測試對回歸測試結(jié)果進行分析并報告級別—回歸測試用例集再測試全部用例基于風(fēng)險選擇測試基于操作剖面選擇測試再測試修改的部分防火墻內(nèi)再測試級別—更改的影響性分析通過跟蹤矩陣，確定缺陷更改關(guān)聯(lián)的范圍通過修改屬性(糾錯、適用、需求)，確定受修改影響的范圍通過被修改工作產(chǎn)品內(nèi)部關(guān)系，保證修改的內(nèi)部一致性、正確性管理—典型測試過程測試要求測試策劃測試設(shè)計和實現(xiàn)測試執(zhí)行測試總結(jié)需求管理

策劃管理跟蹤與控制質(zhì)量保證

配置管理軟件測評項目管理

軟件測試過程管理—關(guān)于測試過程的說明過程和階段的設(shè)置與測試的組織形式有關(guān)獨立性測試組織的文化和成熟度在開發(fā)組織開展內(nèi)部測試時軟件測評項目管理應(yīng)與軟件開發(fā)管理活動融合，如需求管理、項目策劃、項目監(jiān)督與控制、質(zhì)量保證、配置管理管理—測試策劃確定測試策略確定測試項確定測試方法確定測試工作產(chǎn)品確定資源要求確定人員要求工作量估算風(fēng)險分析確定結(jié)束條件確定評價準(zhǔn)則和方法測試進度規(guī)劃確定度量及采集要求管理—測試設(shè)計和實現(xiàn)分解測試項根據(jù)測試項特征，