軟件測試能力介紹

軟件測試能力介紹第1頁，共57頁，2023年，2月20日，星期日主要內(nèi)容測試對象及組織機(jī)構(gòu)測試標(biāo)準(zhǔn)與規(guī)范測試流程軟件測試管理軟件測試能力成功案例第2頁，共57頁，2023年，2月20日，星期日我所從50年代后期開始涉足我國飛行控制領(lǐng)域。上世紀(jì)80年代開始，隨著數(shù)字計算機(jī)在飛控系統(tǒng)的廣泛采用，飛控系統(tǒng)軟件的質(zhì)量逐漸成為影響系統(tǒng)安全可靠的重要環(huán)節(jié)。由于飛行控制系統(tǒng)是影響到各類飛行器安全的關(guān)鍵系統(tǒng)。因此飛控系統(tǒng)軟件的測試和驗(yàn)證成為貫穿于整個軟件生命周期過程的不可或缺重要工作。

專業(yè)簡介第3頁，共57頁，2023年，2月20日，星期日目前我所飛控系統(tǒng)產(chǎn)品所涉及的兩個主要領(lǐng)域?yàn)椋很娪蔑w行器固定翼飛機(jī)旋翼飛機(jī)無人機(jī)導(dǎo)彈民用飛機(jī)主要領(lǐng)域第4頁，共57頁，2023年，2月20日，星期日安全關(guān)鍵級軟件的測試數(shù)字化控制在飛控系統(tǒng)中的應(yīng)用，計算機(jī)軟件在飛控系統(tǒng)中得到大量的應(yīng)用。飛控軟件在規(guī)模上以及重要性上，均呈急劇上升的趨勢。2001年開始，我們成立了軟件測試中心建立一整套面向高安全性、高可靠性飛控軟件的軟件測試驗(yàn)證流程第5頁，共57頁，2023年，2月20日，星期日主要內(nèi)容測試對象及組織機(jī)構(gòu)測試標(biāo)準(zhǔn)與規(guī)范測試流程軟件測試管理軟件測試能力成功案例第6頁，共57頁，2023年，2月20日，星期日測試標(biāo)準(zhǔn)與規(guī)范通用規(guī)范：CMM、DO-178B行業(yè)規(guī)范：涉及航空、航天、武器、電信和軍事等領(lǐng)域企業(yè)標(biāo)準(zhǔn)與規(guī)范：《機(jī)載軟件編程規(guī)范》《飛行控制系統(tǒng)軟件測試規(guī)范》《軟件開發(fā)流程》第7頁，共57頁，2023年，2月20日，星期日主要內(nèi)容測試對象及組織機(jī)構(gòu)測試標(biāo)準(zhǔn)與規(guī)范

測試流程軟件測試管理軟件測試能力成功案例

第8頁，共57頁，2023年，2月20日，星期日軟件生存周期全流程第9頁，共57頁，2023年，2月20日，星期日軟件測試驗(yàn)證流程第10頁，共57頁，2023年，2月20日，星期日軟件測試驗(yàn)證流程階段1-流程中的位置第11頁，共57頁，2023年，2月20日，星期日軟件測試驗(yàn)證流程階段1-總體描述關(guān)注重點(diǎn)：軟件需求的評審與分析系統(tǒng)測試用例采用技術(shù)：基于需求的測試用例自動生成技術(shù)使用工具：T-VEC第12頁，共57頁，2023年，2月20日，星期日軟件測試驗(yàn)證流程階段1-關(guān)注重點(diǎn)高級需求（軟件需求規(guī)格說明）評審和分析

參加高級需求評審和分析的組織組織單位評審參與組織配合組織飛控部軟件測試組軟件開發(fā)組項(xiàng)目系統(tǒng)組軟件配置管理組質(zhì)量監(jiān)督組織（SQA）在軟件需求文檔的評審檢查表中所有的項(xiàng)目都必須填寫，評審和分析意見應(yīng)填寫在評審報告中，并和軟件需求文檔一起歸檔入配置庫。

第13頁，共57頁，2023年，2月20日，星期日軟件測試驗(yàn)證流程階段1-主要技術(shù)基于需求的自動測試用例生成技術(shù)是一種驗(yàn)證和確認(rèn)的方法，它能夠在產(chǎn)品發(fā)布之前減少“瘋狂”測試和返工，因?yàn)闇y試工程師在項(xiàng)目早期就對需求進(jìn)行精練和建模，能夠使缺陷對系統(tǒng)產(chǎn)生影響前就被發(fā)現(xiàn)。隨著軟件開發(fā)的進(jìn)行，測試工程師創(chuàng)建測試用例和測試驅(qū)動，并建立它們與目標(biāo)系統(tǒng)的映射和模板；當(dāng)系統(tǒng)具備可測試條件的時候，測試工程師就可以把經(jīng)過充分準(zhǔn)備的、全面的測試過程快速地進(jìn)行實(shí)施。

第14頁，共57頁，2023年，2月20日，星期日軟件測試驗(yàn)證流程階段1-使用工具系統(tǒng)測試用例生成工具——T-VEC

為了保證系統(tǒng)測試用例設(shè)計的正確性、完整性，提高效率，我們采用了軟件測試用例生成工具

T-VEC。它能夠幫助我們在需求分析的基礎(chǔ)上，不依賴于任何軟件編譯平臺和任何硬件平臺，獨(dú)立設(shè)計測試用例生成模型，并自動生成測試用例。第15頁，共57頁，2023年，2月20日，星期日軟件測試驗(yàn)證流程階段1-使用工具T-VEC工具的TTM模型圖

第16頁，共57頁，2023年，2月20日，星期日軟件測試驗(yàn)證流程階段2-流程中的位置第17頁，共57頁，2023年，2月20日，星期日軟件測試驗(yàn)證流程階段2-總體描述關(guān)注重點(diǎn)：軟件設(shè)計的評審與分析單元/集成測試用例采用技術(shù)：基于模型的測試用例自動生成技術(shù)使用工具：

SimulinkTesterT-VEC第18頁，共57頁，2023年，2月20日，星期日軟件測試驗(yàn)證流程階段2-關(guān)注重點(diǎn)參加低級需求的評審和分析的組織組織單位評審參與組織配合組織所級管理部門軟件測試組軟件開發(fā)組項(xiàng)目系統(tǒng)組軟件配置管理組質(zhì)量監(jiān)督組織（SQA）在軟件設(shè)計文檔的評審檢查表和軟件結(jié)構(gòu)的評審表中所有的項(xiàng)目都必須填寫，評審和分析意見應(yīng)填寫在評審報告中，并和軟件設(shè)計文檔一起歸檔入配置庫。

低級需求（軟件設(shè)計文檔）評審和分析

第19頁，共57頁，2023年，2月20日，星期日軟件測試驗(yàn)證流程階段2-采用技術(shù)基于模型的測試用例自動生成技術(shù)

測試驅(qū)動生成器能夠生成和MatlabSimulinkRTW相兼容的測試用例驅(qū)動模板。將測試用例驅(qū)動和源代碼在同一個環(huán)境下編譯生成測試程序；該測試程序在目標(biāo)環(huán)境下執(zhí)行，并且在測試驅(qū)動執(zhí)行的時候每個測試執(zhí)行的結(jié)構(gòu)被存儲起來和預(yù)期結(jié)果進(jìn)行比較。

第20頁，共57頁，2023年，2月20日，星期日軟件測試驗(yàn)證流程階段2-使用工具基于設(shè)計模型的單元測試用例生成工具SimulinkTester

軟件單元測試用例的設(shè)計需要在本階段內(nèi)完成，以往我們是參照設(shè)計文檔和模型，手工編制測試用例。這樣的方式不僅效率低，而且不能保證測試的完整性。我們引入基于設(shè)計模型的單元測試工具SimulinkTester幫助我們產(chǎn)生測試用例和驅(qū)動第21頁，共57頁，2023年，2月20日，星期日軟件測試驗(yàn)證流程階段2-使用工具SimulinkTester的特點(diǎn)提供包括模型分析、自動測試生成、測試執(zhí)行和結(jié)果分析在內(nèi)的一套集成解決方案；分析設(shè)計模型層次中的每個路徑并且生成測試向量來測試每個路徑的邊界；模型中會導(dǎo)致產(chǎn)生死代碼的不可達(dá)路徑會被標(biāo)識出來，并且以超鏈接的方式鏈接到Simulink模型中的相關(guān)部分；該測試過程可以選擇生成單元、集成測試用例，以便更有效的發(fā)現(xiàn)邏輯方面的判斷錯誤，整數(shù)和浮點(diǎn)數(shù)數(shù)據(jù)域方面的計算錯誤。

第22頁，共57頁，2023年，2月20日，星期日軟件測試驗(yàn)證流程階段2-使用工具模型獲取子系統(tǒng)選擇模型分析模型仿真轉(zhuǎn)換選項(xiàng)測試生成信號數(shù)據(jù)范圍覆蓋分析SimulinkTester（T-Vec）工作流程第23頁，共57頁，2023年，2月20日，星期日軟件測試驗(yàn)證流程階段3-流程中的位置第24頁，共57頁，2023年，2月20日，星期日軟件測試驗(yàn)證流程階段3-總體描述關(guān)注重點(diǎn)：源代碼的評審與分析靜態(tài)測試單元測試集成測試采用技術(shù)：滿足安全關(guān)鍵系統(tǒng)要求的靜態(tài)分析技術(shù)滿足MC/DC結(jié)構(gòu)覆蓋要求的單元測試基于抽象解釋的飛行控制軟件的自動集成測試技術(shù)使用工具：靜態(tài)測試工具Testbed單元測試工具Tbrun集成測試工具PolySpace第25頁，共57頁，2023年，2月20日，星期日軟件測試驗(yàn)證流程階段3-關(guān)注重點(diǎn)參加源代碼評審和分析的組織組織單位評審參與組織配合組織所級管理部門軟件測試組軟件開發(fā)組項(xiàng)目系統(tǒng)組軟件配置管理組質(zhì)量監(jiān)督組織（SQA）在源代碼評審檢查表中所有的項(xiàng)目都必須填寫，評審和分析意見應(yīng)填寫在評審報告中，并和源代碼一起歸檔入配置庫。源代碼的評審和分析

第26頁，共57頁，2023年，2月20日，星期日軟件測試驗(yàn)證流程階段3-采用技術(shù)（靜態(tài)測試）軟件靜態(tài)測試技術(shù)2002年編寫了《飛行控制系統(tǒng)軟件測試規(guī)范》；根據(jù)已有的測試規(guī)范，國內(nèi)首次引入了Testbed靜態(tài)分析測試輔助工具；在國內(nèi)首次定制了適合飛控專業(yè)的Testbed軟件靜態(tài)分析標(biāo)準(zhǔn)（并先后兩次進(jìn)行了該標(biāo)準(zhǔn)的修訂）；為發(fā)布軟件靜態(tài)分析的國軍標(biāo)測試標(biāo)準(zhǔn)奠定了堅實(shí)的基礎(chǔ)。

第27頁，共57頁，2023年，2月20日，星期日軟件測試驗(yàn)證流程階段3-使用工具（靜態(tài)測試）軟件靜態(tài)測試工具Testbed

為了提高軟件代碼審查、靜態(tài)測試和分析的效率，保證軟件源代碼滿足特定的代碼規(guī)則要求，我們借助軟件靜態(tài)測試與分析工具Testbed開展軟件靜態(tài)測試工作。該工具可以幫助我們完成以下工作：自動地驗(yàn)證應(yīng)用軟件是否遵循了所選擇的編程規(guī)則（比如國軍標(biāo)GJB、歐洲防務(wù)標(biāo)準(zhǔn)DERA以及汽車軟件標(biāo)準(zhǔn)MISRA）；提供多種形式的軟件度量方法，有助于我們能夠準(zhǔn)確分析和評價被測軟件的質(zhì)量。常用的度量方法有：控制流結(jié)點(diǎn)度量、扇入/扇出度量、McCabe圈復(fù)雜度、注釋行度量；代碼可達(dá)性度量等。

第28頁，共57頁，2023年，2月20日，星期日軟件測試驗(yàn)證流程階段3-使用工具（靜態(tài)測試）擁有支持多種編程語言的靜態(tài)測試和分析工具

TestbedforC：2001年購入并在國內(nèi)率先使用

TestbedforASM：2006年購入并在國內(nèi)領(lǐng)先使用

TestbedforADA：2006年購入并在國內(nèi)率先使用第29頁，共57頁，2023年，2月20日，星期日軟件測試驗(yàn)證流程階段3-采用技術(shù)（單元測試）序號說明軟件等級適用性ABCD1測試規(guī)程是否正確●○○2測試結(jié)果是否正確及解釋不符合值●○○3高級需求的測試覆蓋范圍是否實(shí)現(xiàn)●○○○4低級需求的測試覆蓋范圍是否實(shí)現(xiàn)●○○5軟件結(jié)構(gòu)（更改的條件/決策，也即MC/DC）的測試覆蓋范圍是否實(shí)現(xiàn)●6軟件結(jié)構(gòu)的測試覆蓋范圍（決策范圍，也即DC）是否實(shí)現(xiàn)●●7軟件結(jié)構(gòu)的測試覆蓋范圍（語句范圍）是否實(shí)現(xiàn)●●○8軟件結(jié)構(gòu)（數(shù)據(jù)耦合和控制耦合）的測試覆蓋范圍是否實(shí)現(xiàn)●●○MC/DC：滿足DO-178BA級軟件的必要條件右表中的符號●表示該目標(biāo)要單獨(dú)滿足，符號○表示該目標(biāo)要滿足。

第30頁，共57頁，2023年，2月20日，星期日軟件測試驗(yàn)證流程階段3-使用工具（單元測試）單元測試工具TBrun

為滿足軟件單元測試的結(jié)構(gòu)覆蓋要求，達(dá)到DO-178BA級軟件的MC/DC結(jié)構(gòu)覆蓋率100%，我們借助軟件單元測試工具Tbrun展開軟件單元測試。我們使用TBrun自動產(chǎn)生軟件測試驅(qū)動、樁模塊；Tbrun允許我們在修改代碼后自動對測試用例進(jìn)行驗(yàn)證和回歸測試；同時Tbrun還可以為我們提供代碼結(jié)構(gòu)覆蓋率分析，比如：語句（BC）覆蓋、分支/判定（DC）覆蓋、修正條件/判定覆蓋（MC/DC）等。第31頁，共57頁，2023年，2月20日，星期日軟件測試驗(yàn)證流程階段3-采用技術(shù)（集成測試）集成測試

集成測試的主要內(nèi)容包含：模塊間的接口測試、全局?jǐn)?shù)據(jù)結(jié)構(gòu)測試、性能測試、軟件功能模塊的功能測試。驗(yàn)證軟件的數(shù)據(jù)耦合與控制耦合。

軟件集成測試過程中采用了基于抽象解釋的軟件的自動集成測試技術(shù)，該項(xiàng)技術(shù)具有以下特點(diǎn)：采用抽象解釋技術(shù)，無需編寫測試用例、代碼插裝和運(yùn)行被測程序，在編譯階段就可以檢測運(yùn)行時潛在錯誤；無需測試人員干預(yù)，整個過程自動進(jìn)行。

第32頁，共57頁，2023年，2月20日，星期日軟件測試驗(yàn)證流程階段3-使用工具（集成測試）軟件集成測試工具PolySpace

通過單元測試可以解決DO-178B所要求的結(jié)構(gòu)覆蓋要求，驗(yàn)證軟件的控制耦合和部分?jǐn)?shù)據(jù)耦合。但是，對于數(shù)據(jù)耦合的另外的部分問題（比如：數(shù)組越界、數(shù)據(jù)溢出、非法指針等）無法得到完整的驗(yàn)證，因此我們借助PolySpace對被測軟件進(jìn)行測試,實(shí)現(xiàn)對被測軟件的完整測試。第33頁，共57頁，2023年，2月20日，星期日軟件測試驗(yàn)證流程階段4-流程中的位置第34頁，共57頁，2023年，2月20日，星期日軟件測試驗(yàn)證流程階段4-總體描述關(guān)注重點(diǎn)：系統(tǒng)測試采用技術(shù)：飛行控制軟件的系統(tǒng)級白盒測試技術(shù)使用工具：

CodeTest第35頁，共57頁，2023年，2月20日，星期日軟件測試驗(yàn)證流程階段4-采用技術(shù)提出并實(shí)現(xiàn)了“飛控系統(tǒng)軟件的系統(tǒng)級白盒測試技術(shù)”

成功開發(fā)研制了一種高覆蓋率的電傳控制系統(tǒng)軟件的系統(tǒng)級白盒測試環(huán)境；提出并驗(yàn)證了系統(tǒng)環(huán)境下針對軟件MC/DC結(jié)構(gòu)覆蓋的電傳控制系統(tǒng)軟件白盒測試技術(shù)；提出并實(shí)現(xiàn)了一種系統(tǒng)級白盒測試環(huán)境下的電傳控制系統(tǒng)軟件代碼的跟蹤技術(shù)。第36頁，共57頁，2023年，2月20日，星期日軟件測試驗(yàn)證流程階段4-使用工具軟件系統(tǒng)級測試工具CodeTest

軟件系統(tǒng)級測試是困擾我們多年的問題。由于沒有得力的工具支持，軟件系統(tǒng)級測試一直采用黑盒方式進(jìn)行。測試人員無法跟蹤軟件的內(nèi)部運(yùn)行情況，不利軟件問題的發(fā)現(xiàn)和定位。CodeTest可以幫助我們采用硬件輔助軟件的系統(tǒng)構(gòu)架和源代碼插裝技術(shù)，實(shí)現(xiàn)對軟件內(nèi)部運(yùn)行情況的跟蹤，實(shí)現(xiàn)以下功能：性能分析動態(tài)內(nèi)存分配分析執(zhí)行追蹤分析測試覆蓋分析第37頁，共57頁，2023年，2月20日，星期日軟件測試驗(yàn)證流程階段4-使用工具電傳控制系統(tǒng)軟件的系統(tǒng)級白盒測試環(huán)境第38頁，共57頁，2023年，2月20日，星期日軟件測試驗(yàn)證流程階段4-使用工具系統(tǒng)測試環(huán)境下的軟件代碼跟蹤技術(shù)第39頁，共57頁，2023年，2月20日，星期日基于模型設(shè)計的軟件生存周期流程第40頁，共57頁，2023年，2月20日，星期日軟件測試方法的轉(zhuǎn)變概要設(shè)計詳細(xì)設(shè)計需求分析編碼代碼走查靜態(tài)分析無法定量衡量單元測試代碼覆蓋率分析代碼走查靜態(tài)分析無法定量衡量需求分析概要設(shè)計詳細(xì)設(shè)計模擬仿真模型覆蓋率分析生成代碼單元測試省略代碼覆蓋率分析省略傳統(tǒng)軟件的開發(fā)測試流程圖

基于模型的開發(fā)測試流程圖

？？第41頁，共57頁，2023年，2月20日，星期日軟件測試方法的轉(zhuǎn)變隨著基于模型的開發(fā)方法的提出，基于模型設(shè)計的軟件測試與驗(yàn)證方法也成為研究的焦點(diǎn)。如何提高基于模型開發(fā)的軟件測試效率，是提高整個軟件開發(fā)流程水平的關(guān)鍵。模型審查技術(shù)；模型覆蓋率技術(shù)；編譯器驗(yàn)證技術(shù)。第42頁，共57頁，2023年，2月20日，星期日基于模型設(shè)計的軟件測試與驗(yàn)證方法模型審查技術(shù)：

對軟件模型進(jìn)行模型審查時，既要對軟件模型進(jìn)行審查，也要對各類軟件文檔進(jìn)行審查：對軟件開發(fā)過程中的軟件需求和模型設(shè)計等階段中所生成的文檔進(jìn)行檢查。

第43頁，共57頁，2023年，2月20日，星期日基于模型設(shè)計的軟件測試與驗(yàn)證方法模型覆蓋率技術(shù)為了保證測試的完備性，SCADE提供了基于模型的覆蓋率分析（MTC，ModelTestCoverage）。它能夠分析仿真場景在模型中的覆蓋程度，并能指明未覆蓋的路徑，發(fā)現(xiàn)設(shè)計或需求中的缺陷。同時，SCADE還能自動生成覆蓋率分析的報告。

第44頁，共57頁，2023年，2月20日，星期日基于模型設(shè)計的軟件測試與驗(yàn)證方法編譯器驗(yàn)證技術(shù)CVKKCG（代碼生成器）所產(chǎn)生代碼編譯后的目標(biāo)碼，經(jīng)過CVK軟件包的驗(yàn)證，可指出該C編譯器是否是安全的。第45頁，共57頁，2023年，2月20日，星期日基于模型設(shè)計的軟件測試與驗(yàn)證方法編譯器驗(yàn)證技術(shù)CVK第46頁，共57頁，2023年，2月20日，星期日主要內(nèi)容測試對象及組織機(jī)構(gòu)測試標(biāo)準(zhǔn)與規(guī)范測試流程軟件測試管理軟件測試能力成功案例第47頁，共57頁，2023年，2月20日，星期日軟件測試管理清晰的軟件配置管理嚴(yán)格的軟件質(zhì)量保證統(tǒng)一的軟件測試管理第48頁，共57頁，2023年，2月20日，星期日軟件測試管理清晰的軟件配置管理

為了有效地管理測試過程中產(chǎn)生的各類文檔、資料和數(shù)據(jù)，我們借助IBM公司的ClearCase和ClearQuest實(shí)現(xiàn)軟件配置管理和變更控制活動：錄入可復(fù)用的被測試軟件庫；錄入/撿出被測試程序的源代碼、目標(biāo)代碼、設(shè)計、測試文檔；觀察一個元素的歷史記錄；比較元素版本間的差異，便于管理軟件的回歸測試；跟蹤檢出的軟件測試版本；為相同開發(fā)項(xiàng)目提供與軟件產(chǎn)品有關(guān)的測試文檔和數(shù)據(jù)。第49頁，共57頁，2023年，2月20日，星期日軟件測試管理嚴(yán)格的軟件質(zhì)量保證建立了評審的控制程序、軟件過程活動審核制度和軟件的檢查和監(jiān)督制度，SQA嚴(yán)格按照上述的程序和制度，采取抽樣檢查、參與評審和階段評審的方法，在軟件的全生命周期中，嚴(yán)格執(zhí)行軟件的SQA制度，確保軟件的產(chǎn)品質(zhì)量。

第50頁，共57頁，2023年，2月20日，星期日軟件測試管理測試管理工具TestDirector

為了將各個階段、測試工具和測試人員產(chǎn)生的軟件測試數(shù)據(jù)和結(jié)果統(tǒng)一進(jìn)行分析和管理，解決不同測試工具形成的“信息孤島”現(xiàn)象。基于Web的測試管理系統(tǒng)為我們提供了一個協(xié)同合作的環(huán)境和一個中央數(shù)據(jù)倉庫；Web界面簡化了這些需求管理過程，。通過提供一個比較直觀的機(jī)制將需求和測試用例、測試結(jié)果和報告的錯誤聯(lián)系起來，從而確保能