軟件集成測試指導(dǎo)書

1、集成測試操作指導(dǎo)書1、簡介1.1 集成測試的關(guān)鍵目標(biāo)由于集成測試所處層次、檢驗對象與單元測試、系統(tǒng)測試有著很大的差異，其操作方法與檢驗標(biāo)準(zhǔn)也有所不同。首先，集成測試必須是可重復(fù)的。在產(chǎn)品的生命周期中軟件維護(hù)貫穿始終，不停的修改代碼成為必然，僅考慮一次操作的集成測試是一種低效勞動， 而且集成測試處于系統(tǒng)的中間層次（與單元測試與系統(tǒng)測試不同）需要編寫一系列測試代碼，操作難度也較大，所以構(gòu)造可重復(fù)的集成測試過程是保證低投入高產(chǎn)出的前提。其次，集成測試必須是規(guī)范的操作。代碼千差萬別，有簡單的有復(fù)雜的、有規(guī)范性好的與規(guī)范性差的，如何保證不同的代碼有相同的測試效果。測試者的素質(zhì)也千差萬別，有經(jīng)驗的與沒經(jīng)驗

2、的，能力強的與能力弱的，測試效果大不一樣。要保證集成測試是可操作的、可推廣的，需要解決這些問題。另外， 集成測試還需是可度量的。不可度量的測試往往意味著失控，質(zhì)量與進(jìn)度得不到保證，尤其對于集成測試，有一定難度，執(zhí)行起來差異很大，更需要對測試效果進(jìn)行度量。在提供覆蓋分析的測試中，我們可以直觀的看到哪些代碼覆蓋到了，哪些代碼沒覆蓋到，再有針對的設(shè)計測試用例，這種白盒的方法，有力保證了高效測試。以上三點是集成測試首先要解決的問題，也是集成測試的關(guān)鍵目標(biāo)，如下：關(guān)鍵目標(biāo)1：構(gòu)造可重復(fù)的集成測試過程關(guān)鍵目標(biāo)2：定義規(guī)范的集成測試操作關(guān)鍵目標(biāo)3：度量集成測試效果1.2 達(dá)成關(guān)鍵目標(biāo)的對策1.2.1 構(gòu)造可

3、重復(fù)的集成測試過程構(gòu)造可重復(fù)的測試過程依賴自動測試工具，使用自動工具是一種手段，目標(biāo)是構(gòu)造可重復(fù)過程，在達(dá)成此目標(biāo)的前提下，是否使用工具視具體情況，所以使用自動工具很重要，但非必須。一個理想的集成測試工具應(yīng)具備以下特征：1、用規(guī)范的格式（下稱腳本）記錄測試用例，測試執(zhí)行在腳本控制下進(jìn)行。2、能方便的維護(hù)測試用例。要標(biāo)識測試用例，能方便的擴充、修改用例。3、支持測試過程管理，包括起?？刂?，測試過程記錄，執(zhí)行中的異常處 理。4、支持測試結(jié)果自動分析。基于消息處理的被測系統(tǒng)中，測試驅(qū)動可以簡化，構(gòu)造出驅(qū)動消息放到指定隊列。自動測試結(jié)果分析首先要截取程序變量，然后發(fā)送到測試管理模塊在腳本控制下完成比較

4、。1.2.2 定義規(guī)范的集成測試操作集成測試是對設(shè)計進(jìn)行驗證，設(shè)計有明確的層次性，一般而言，在函數(shù)調(diào)用被調(diào)用結(jié)構(gòu)中，頂層部分對應(yīng)于概要設(shè)計，底層部分對應(yīng)于詳細(xì)設(shè)計。相對應(yīng)的集成測試也有明確的層次性，設(shè)計時怎么細(xì)化下去的，集成就怎么合回來，設(shè)計是怎么個粗略程度，集成時也該這么個粗略程度。明確這一點對定義集成測試操作有重要意義，實際上這也是V真式的一個核心思想，單元測試對應(yīng)于編碼，集成測試對應(yīng)于設(shè)計，系統(tǒng)測試對應(yīng)于功能與需求，測試過程就是正向開發(fā)的逆向驗證過程，各階段的測試對象對應(yīng)于相應(yīng)開發(fā)階段所要分析的對象。規(guī)范的集成測試必須是基于接口的，因為程序設(shè)計是根據(jù)接口一層一層細(xì)化，集成時也只需考察接口

5、。基于接口的集成測試只關(guān)注接口的正確性，而不關(guān)注函數(shù)過程執(zhí)行的正確性。函數(shù)內(nèi)執(zhí)行過程的正確性應(yīng)該屬于單元測試范疇，集成測試再關(guān)注這個意味著重復(fù)，工作量也異常龐大，最終也導(dǎo)致集成測試可操作性差，且失去重點。只關(guān)注接口的另一個好處理是：考察點清晰，截取變量的值便可實現(xiàn)自動測試，否則，基于過程的測試最終因函數(shù)過程千差萬異，而使自動測試無法實現(xiàn)。另外，代碼經(jīng)常在變，而接口相對穩(wěn)定，基于接口的測試保證較好的可繼承性。還有，脫離千差萬別的過程，使得整個測試不過分的依賴于測試者的個人素質(zhì)，該操作是易用易推廣的。基于接口的集成測試是規(guī)范的測試，而非調(diào)試。之所以要把集成測試與調(diào)試嚴(yán)格區(qū)分，一方面是因為調(diào)試過程不

6、是規(guī)范的，隨機因素很多，批量的測試實現(xiàn)不了，測試結(jié)果無法自動比較，可重復(fù)的過程也不能實現(xiàn)；另一方面，調(diào)試效果因人而異，調(diào)試方法并非可拷貝的。1.2.3 度量集成測試效果量化測試效果一方面為了控制質(zhì)量，另一方面是為了改進(jìn)，在集成測試中后者更為重要。集成測試方法是黑盒的，只關(guān)注輸入輸出，若沒有指標(biāo)度量，測試程度無從了解，測試質(zhì)量就失控了。所以，作為一條規(guī)則， 集成測試需要提供覆蓋指標(biāo)。在覆蓋分析中能直觀的看到哪些代碼未被覆蓋，可以有針對性的再作測試，這樣的集成測試過程是可改進(jìn)的過程，保證了測試效率。2、入口準(zhǔn)則集成測試的入口準(zhǔn)則已在 DP0070軟件集成測試過程中定義，下 面描述幾項重要規(guī)則。集成

7、測試首先要求被測對象具備基本的穩(wěn)定性，聯(lián)調(diào)要通過，否則集成測試將無法做起。另外，環(huán)境物料應(yīng)有充分的保障，這在集成測試前幾 個月就得準(zhǔn)備。在軟件設(shè)計階段應(yīng)同步編寫集成測試計劃，定義各個組件的集成級別，考慮各功能模塊的集成方法。這點很重要，集成測試需要一系列條件，應(yīng)該事先考慮好集成策略，樁模塊如何搭建，驅(qū)動模塊如何設(shè)計，測試代碼與源代碼如何接口，特殊情況還需考慮外來的數(shù)據(jù)驅(qū)動如何實現(xiàn)，比如：板內(nèi)集成測試時，被測對象賴以啟動的配置數(shù)據(jù)如何得到，板間或子系統(tǒng)集成時考慮的因素將更多。集成測試計劃不僅要規(guī)劃被測內(nèi)容，也要標(biāo)識各子項的輕重緩急、重要程度，用以指導(dǎo)后繼的測試設(shè)計與測試操作。做完集成測試計劃后，

8、需要與產(chǎn)品設(shè)計相結(jié)合，同步開展可測性設(shè)計，預(yù)留集成測試接口，開始設(shè)計、實現(xiàn)測試代碼。如果此項工作未同步開展，后期編碼完成了才考慮集成測試的接口，滿足不了需求再去修改設(shè)計將給系統(tǒng)帶來很大傷害。具備一定素質(zhì)的測試人員也是集成測試的一項重要入口準(zhǔn)則，按照經(jīng)驗，集成測試中是否具備一定技術(shù)能力、有無集成測試經(jīng)驗，對最終的測試效果影響很大。進(jìn)行集成測試的操作者最好是被測對象的正規(guī)檢視者（方案、設(shè)計與代碼審查）。3、關(guān)鍵活動本節(jié)描述集成測試過程的關(guān)鍵活動包括： 制定集成測試計劃 集成測試風(fēng)險分析 集成測試方案設(shè)計 集成測試工具設(shè)計和調(diào)研 集成測試接口分析與測試用例設(shè)計 集成測試操作 集成測試報告評審3.1

9、制定集成測試計劃集成測試計劃應(yīng)在設(shè)計階段完成，一般情況下，概要設(shè)計結(jié)束時，集成測試計劃也應(yīng)完成。集成測試計劃規(guī)劃了今后的集成測試內(nèi)容、測試方法以及可測性接口，以后所有集成測試均在該計劃的框架下進(jìn)行，所有，制定一份完善的集成測試計劃非常重要。制定集成測試計劃之前需要進(jìn)行充分的調(diào)研，調(diào)研的主要內(nèi)容包括：1）調(diào)研集成測試內(nèi)容，確定哪些功能模塊需要進(jìn)行集成測試2）關(guān)鍵模塊的集成策略擬定3）關(guān)鍵模塊的集成測試接口與驅(qū)動條件分析4）依據(jù)集成策略需要進(jìn)行的測試設(shè)計與工具調(diào)研、開發(fā)5）集成測試進(jìn)度計劃6）集成測試需要的環(huán)境物料考慮3.1.1 調(diào)研集成測試內(nèi)容調(diào)研集成測試內(nèi)容，應(yīng)在軟件總體測試計劃的框架下，綜合

10、考慮單元測試、性能測試、系統(tǒng)測試的工作安排。以下提供一般性的建議：A、 考慮集成的層次，在函數(shù)的調(diào)用與被調(diào)用關(guān)系中，集成測試對象應(yīng)盡量選取上層，過于底層測試的往往會產(chǎn)生低效勞動。B、 考慮軟件的層次，集成測試不應(yīng)測試單元測試測過的內(nèi)容，系統(tǒng)測試能測到的內(nèi)容，應(yīng)定義低優(yōu)先級，典型的如MPU 板的業(yè)務(wù)處理，處理單板的應(yīng)用層，系統(tǒng)測試即能覆蓋大部分語句，在一般情況下不必作為集成測試內(nèi)容。C、 考慮軟件復(fù)雜度，越復(fù)雜的也越容易出錯，也越需要進(jìn)行集成測試。D、 考慮被測模塊的重要性，在系統(tǒng)中處于核心位置或關(guān)鍵地置，即使復(fù)雜度不高，也需作重點測試。確定集成測試對象，還需分配該項的測試的集成級別，集成級別用

11、于標(biāo)識任務(wù)的重要程度，標(biāo)識集成級別為后繼工作提供指導(dǎo)。E、 權(quán)衡投入產(chǎn)出，在有限資源條件下選取恰當(dāng)?shù)臏y試集。特別是某些被集成子對象之間互不相干時，不應(yīng)作為測試內(nèi)容。比如：網(wǎng)接續(xù)與板內(nèi)其它功能進(jìn)行集成測試時，查看控存也是一項應(yīng)用層功能，但該業(yè)務(wù)不修改業(yè)務(wù)狀態(tài)，也不作備份，對其它應(yīng)用層功能除了性能不再有其它影響，這時集成測試時就可以不考慮該項功能。F、 考慮可測性，此項考慮的優(yōu)先級應(yīng)低于測試需求，難測的項目應(yīng)盡可能去測，在可測試性上多下功夫。3.1.2 關(guān)鍵模塊的集成策略擬定集成策略可分三類：一是自下而上式，被測試對象從底層一級一級往上疊加，集成測試也一級一級的進(jìn)行，這種做法的好處是不需編寫樁函數(shù)

12、，構(gòu)造出的環(huán)境較真實，是最常用的一種方法。二是自上而下式，頂層是真實的驅(qū)動，樁函數(shù)需自己編寫，這種方法適用于上層設(shè)計較復(fù)雜而下層較為清晰簡單的場合。第三類是介于上兩者之間，被測對象的上層驅(qū)動與底層樁函數(shù)都需自己構(gòu)造，這種應(yīng)用較為少見。如果對系統(tǒng)進(jìn)行集成，對被測對象的特性緊密相關(guān)，如何集成是方法，目的是要以最小的投入獲得最佳的效益，應(yīng)盡可能保證系統(tǒng)的真實性的前提下減少測試代碼編寫。3.1.3 關(guān)鍵模塊的集成測試接口與驅(qū)動條件分析集成測試接口應(yīng)選擇在具有明顯層次性的地方，這樣的接口通常是清晰的，接口清晰使得測試驅(qū)動與結(jié)果監(jiān)測變得簡捷，這對集成測試構(gòu)造有著莫大的好處。集成測試應(yīng)具備清晰的層次性，但這

13、種層次不宜過多，以CC08O勺單板為例，集成的層次應(yīng)控制在 34層為宜，如：鏈路處理、傳 輸層、板內(nèi)關(guān)鍵業(yè)務(wù)的相互關(guān)系、同一業(yè)務(wù)的多板多個子系統(tǒng)間集成。分析集成測試接口主要考慮幾點：A. 驅(qū)動集成測試需要具備哪些接口條件，如：需要下發(fā)哪些驅(qū)動命令，命令怎么發(fā)下去，變量值怎么報上來。B. 兼容性考慮，盡可能少的破壞系統(tǒng)原有結(jié)構(gòu)，且有良好的可擴展性。C. 監(jiān)測試點需要具備一定的穩(wěn)定性，因為集成測試不只測試一次，易變的接口對重復(fù)測試不利。3.1.4 依據(jù)集成策略需要進(jìn)行的測試設(shè)計與工具調(diào)研、開發(fā)集成策略與測試接口分析清楚后，應(yīng)考慮如何進(jìn)行測試設(shè)計，另外還得考慮是否已有合適的測試工具，未有工具應(yīng)考慮調(diào)

14、研后外購或自行開發(fā)。此項工作需在設(shè)計階段考慮清楚，因為測試工具與集成對象接口，如果要做集成測試了才考慮這些，被測對象未必有合適的接口預(yù)留，如果再去修改程序麻煩就大了。如何進(jìn)行測試設(shè)計與工具調(diào)研、開發(fā)，詳見3.4 小節(jié)內(nèi)容。3.1.5 集成測試進(jìn)度計劃制定集成測試進(jìn)度計劃考慮以下情況：A. 考慮集成測試被測試對象數(shù)量，即工作量B. 關(guān)鍵模塊進(jìn)度安排應(yīng)多留時間，寧可犧牲不重要模塊的測試也不要犧牲重要模塊的測試質(zhì)量。C. 考慮集成測試難度與風(fēng)險，難度大風(fēng)險高的模塊應(yīng)多預(yù)留時間D. 考慮測試者的整體技術(shù)水平E. 考慮測試工具調(diào)研或開發(fā)的時間F. 給集成測試設(shè)計預(yù)留出足夠的時間G. 結(jié)合開發(fā)計劃，要有一

15、定的風(fēng)險估計3.1.6 集成測試需要的環(huán)境物料考慮測試物料與怎么測有關(guān)，制定集成測試計劃后測試思路清晰了，相關(guān)的物料計劃需要做出來，因為申購物料需要時間，物料需在集成測試啟動前到位。3.2 集成測試風(fēng)險分析集成測試需要較多的條件才能開展，具有較高的風(fēng)險，所以在啟動集成測試前要做充分的風(fēng)險分析。主要考慮以下方面：A、代碼是否具有足夠的穩(wěn)定性，接口是否具有基本的穩(wěn)定性。B、集成測試方案在現(xiàn)有人力物力條件下是否可行。C、集成測試是否支持重復(fù)測試，不支持重復(fù)測試的集成方案應(yīng)嚴(yán)格受控。D集成測試方法是否基于接口。E、是否采用覆蓋工具，工具的使用效果如何。F、測試者是否具備一定的技術(shù)水平，是否已有集成測試

16、經(jīng)驗。G測試中是否有足夠的技術(shù)支援風(fēng)險分析報告需經(jīng)過專家評審，一般情況下風(fēng)險分析與集成測試方案 一同遞交評審，評審結(jié)論還要有跟蹤解決。3.3 集成測試方案設(shè)計集成測試方案要實現(xiàn)集成測試的3個關(guān)鍵目標(biāo)，即：實現(xiàn)可重復(fù)測試、 基于接口測試、以覆蓋指標(biāo)衡量測試質(zhì)量，集成測試方案圍繞這三個目標(biāo)來 構(gòu)造。一個典型的集成測試系統(tǒng)，如圖1所示，測試管理系統(tǒng)位于被測系統(tǒng) 之外的獨立系統(tǒng)，它與被測單板通過網(wǎng)口（或串口或其它通道）聯(lián)接，測試 用例管理模塊主要完成測試用例設(shè)計與維護(hù)，測試過程控制模塊通過腳本完 成測試過程控制。測試管理系統(tǒng)下發(fā)測試驅(qū)動命令，發(fā)送到被測單板的驅(qū)動 模塊，再由驅(qū)動模塊驅(qū)動被測系統(tǒng)正常運行

17、，運行結(jié)果的采集也通過驅(qū)動模 塊完成，采集的結(jié)果發(fā)送到測試管理系統(tǒng)用于判斷測試結(jié)果是否正確。圖1集成測試系統(tǒng)示例被測單板測試管理系統(tǒng)采集運行結(jié)果需要設(shè)置監(jiān)測點，監(jiān)測點數(shù)量多少要視被測對象的接口 特性，接口簡單的，監(jiān)測點就少，反之監(jiān)測點多。一般情況下，一個監(jiān)測點 就是一個全局變量或一個消息，我們不建議把局部變量作為監(jiān)測點，因為局 部變量在函數(shù)內(nèi)定義，也只在函數(shù)內(nèi)生效，監(jiān)測局部變量是單元測試的范疇， 此外，要監(jiān)測局部變量需修改被測試系統(tǒng)，這不是我們所希望的，我們應(yīng)盡 可能保證被測系統(tǒng)的真實性。對消息的監(jiān)測，往往需要修改接收消息函數(shù)， 我們需要捕獲特定隊列、特定特性的消息，實現(xiàn)起來較為容易。因為監(jiān)測

18、的 對象是變量或消息，測試結(jié)果比較相對簡單（不象系統(tǒng)測試，監(jiān)測對象是GUI 界面或一段文字輸出或特定設(shè)備特定動作），集成測試的自動化還是比較容 易實現(xiàn)的。被測代碼還需要插裝以支持覆蓋率統(tǒng)計，這部分工作最好用商用工具 實現(xiàn)。覆蓋指標(biāo)中我們主要關(guān)心兩項：語句覆蓋與分支覆蓋。路徑覆蓋與數(shù) 據(jù)流覆蓋因測試難度較大，一般情況下可不作要求。進(jìn)行覆蓋測試還需注意 插裝對代碼運行效率的影響，缺少硬件支持打點取樣的系統(tǒng)在插裝前與插裝 后的運行效率能有數(shù)倍或數(shù)十倍的差異，這一點需注意，對運行效率有要求 的被測系統(tǒng)，插裝范圍應(yīng)有所控制。對運行效率有嚴(yán)格要求的系統(tǒng)，應(yīng)采用 硬件支持打點取樣的工具，如 CodeTEST

19、制定集成測試方案需要審核被測系統(tǒng)的真實性，因為驅(qū)動模塊、樁函 數(shù)設(shè)計，驅(qū)動命令發(fā)送與監(jiān)測點捕獲都需修改程序，修改前后可能會給被測 對象帶來差異，尤其是加入被測代碼，調(diào)度方式可能會產(chǎn)生改變，規(guī)劃集成 測試方案時需對這些差異進(jìn)行祥細(xì)的評估，否則，差異過大的測試最終可能 導(dǎo)致無效的勞動。制定集成測試方案還需對測試范圍界定， 集成是某一層次的集成，處 于被測對象下層與上層的代碼測不到，需明確的作出說明或評估，為更上一 層的集成測試或系統(tǒng)測試提供服務(wù)。集成測試應(yīng)考慮為性能測試提供方便， 某些情況下，集成測試的構(gòu)造 與性能測試是相同的，采用不同的腳本即能完成這兩項測試。3.4 集成測試工具設(shè)計和調(diào)研根據(jù)上

20、述測試框架，集成測試有兩類測試工具需考慮，一類是驅(qū)動被 測系統(tǒng)以及截取結(jié)果分析的工具，另一類是覆蓋率測試工具。第一類工具因被測試系統(tǒng)是千變?nèi)f化的，驅(qū)動模塊、樁函數(shù)和監(jiān)測點 的捕獲沒有現(xiàn)成的商用工具可用，但后臺的測試管理系統(tǒng)只要接口兼容性好， 多數(shù)情況可重用。值得一提的是，利用商用腳本語言（如 TCL）構(gòu)造驅(qū)動模 塊與樁函數(shù)能提高測試效率。第二類工具我們有許多商用工具可調(diào)研， 覆蓋工具應(yīng)用不同的被測系 統(tǒng)有不同的選擇，我們應(yīng)優(yōu)先調(diào)研商用工具，如沒有合適的才考慮開發(fā)。調(diào) 研覆蓋工具需關(guān)注工具的易用性與健壯性，因插裝打點過程較復(fù)雜，還依賴 特定的語法分析器，許多商用工具較難用或不穩(wěn)定。3.5 集成測

21、試接口分析與測試用例設(shè)計測試用例設(shè)計是開展集成測試的基礎(chǔ)，而測試接口分析是測試用例設(shè) 計的基礎(chǔ)。我們以接口特性考察被測對象，接口特性又從需求分析派生，所 以接口分析時，我們要關(guān)注接口特性對需求描述的符合度，即，我們把所分 析的接口特性疊加就能較完整的表達(dá)需求（或該需求的某一子項）。接口分析需要羅列我們關(guān)心的接口， 給出程序中對應(yīng)的變量名，然后 考慮如何驅(qū)動或監(jiān)測。如表1所示：表1:接口分析表樣例類別屬性對應(yīng)艾量驅(qū)動或監(jiān)測試方法表 1中類別用來概括一種接口，如網(wǎng)接續(xù)集成測試中，應(yīng)用層發(fā)起連網(wǎng)、拆網(wǎng)命令，這是一個接口類，假設(shè)鏈路層已仿真掉，對被測系統(tǒng)鏈路接口也是一個接口類。表 1中屬性是指一個接口類下的各種屬性，如網(wǎng)接續(xù)接口下有：連網(wǎng)申請、拆網(wǎng)申請、成功或失敗指示，控存值等屬性，這些屬性在程序中都有對應(yīng)變量，這些變量是我們用以驅(qū)動測試或監(jiān)測運行狀態(tài)的對象。驅(qū)動或監(jiān)測方法用來描述測試中如何使用該變量，如對于連網(wǎng)申請，我們可以在模擬一個時隙申請的消息放到指定隊列，時隙是否申請成功，我們可以察看標(biāo)識控存的變量。分析完接口特性，我們就對如何驅(qū)動被測對象與如何捕獲動行結(jié)果有著清晰認(rèn)識，這時可以開始設(shè)計測試用例了。測試用例應(yīng)以規(guī)范的腳本描述，設(shè)計時應(yīng)充分考慮用例的可擴展性，并考慮將來接口的可能變化。至于如何設(shè)計完善的測試用