Rational系統(tǒng)測(cè)試解決方案

1、Rational測(cè)試解決方案測(cè)試解決方案議程議程w 組件測(cè)試w 系統(tǒng)測(cè)試管理w GUI功能測(cè)試自動(dòng)化w 性能測(cè)試自動(dòng)化議程議程w 當(dāng)前軟件測(cè)試面臨的挑戰(zhàn)w 組件測(cè)試w 系統(tǒng)測(cè)試管理w GUI功能測(cè)試自動(dòng)化w 性能測(cè)試自動(dòng)化當(dāng)前軟件測(cè)試面臨的挑戰(zhàn)當(dāng)前軟件測(cè)試面臨的挑戰(zhàn)w 如何適應(yīng)由于軟件新技術(shù)、新架構(gòu)的應(yīng)用導(dǎo)致測(cè)試工作量增大？w如何進(jìn)行軟件測(cè)試工作的分工？w如何提高開發(fā)團(tuán)隊(duì)的進(jìn)行組件測(cè)試的質(zhì)量？w如何提高系統(tǒng)測(cè)試團(tuán)隊(duì)的士氣？w如何評(píng)價(jià)系統(tǒng)測(cè)試過程的進(jìn)度？w如何評(píng)價(jià)系統(tǒng)測(cè)試的完備性？w如何評(píng)價(jià)軟件質(zhì)量？軟件測(cè)試階段軟件測(cè)試階段傳統(tǒng)的軟件測(cè)試單元測(cè)試單元測(cè)試集成測(cè)試集成測(cè)試系統(tǒng)測(cè)試系統(tǒng)測(cè)試驗(yàn)收測(cè)試驗(yàn)

2、收測(cè)試Time現(xiàn)代軟件測(cè)試Time組件測(cè)試組件測(cè)試系統(tǒng)測(cè)試系統(tǒng)測(cè)試軟件項(xiàng)目工作流程軟件項(xiàng)目工作流程測(cè)試評(píng)估測(cè)試評(píng)估業(yè)務(wù)建模業(yè)務(wù)建模需求分析需求分析軟件設(shè)計(jì)軟件設(shè)計(jì)軟件實(shí)現(xiàn)軟件實(shí)現(xiàn)測(cè)試計(jì)劃測(cè)試計(jì)劃測(cè)試設(shè)計(jì)測(cè)試設(shè)計(jì)測(cè)試實(shí)現(xiàn)測(cè)試實(shí)現(xiàn)測(cè)試執(zhí)行測(cè)試執(zhí)行組件測(cè)試組件測(cè)試組件測(cè)試組件測(cè)試以測(cè)試為驅(qū)動(dòng)的開發(fā)（以測(cè)試為驅(qū)動(dòng)的開發(fā)（XP）w 目的 盡可能發(fā)現(xiàn)早的軟件缺陷 保證系統(tǒng)測(cè)試的效率w 測(cè)試方法黑盒和白盒相結(jié)合 黑盒測(cè)試：基于軟件設(shè)計(jì)規(guī)范設(shè)計(jì)測(cè)試用例 白盒測(cè)試：基于代碼覆蓋情況設(shè)計(jì)測(cè)試用例w 利用Xunit測(cè)試框架提高測(cè)試用例實(shí)現(xiàn)效率 http:/ 利用Coverage工具獲得代碼覆蓋情況組件測(cè)試組件測(cè)試R

3、ational解決方案解決方案w 組件測(cè)試?yán)砟?邊開發(fā)邊測(cè)試 減少對(duì)軟件開發(fā)自身的影響 無(wú)需學(xué)習(xí)測(cè)試腳本語(yǔ)言w 軟件測(cè)試工具 Purify：自動(dòng)定位內(nèi)存相關(guān)錯(cuò)誤 Quantify：發(fā)現(xiàn)程序的性能瓶頸 Coverage：發(fā)現(xiàn)未被測(cè)試的代碼 Test RealTime：針對(duì)嵌入式系統(tǒng)軟件組件測(cè)試系統(tǒng)測(cè)試系統(tǒng)測(cè)試w 主要由測(cè)試部門進(jìn)行w 為測(cè)試工程師提供良好的職業(yè)發(fā)展道路 測(cè)試經(jīng)理 測(cè)試分析員 測(cè)試員w 增強(qiáng)測(cè)試團(tuán)隊(duì)和開發(fā)團(tuán)隊(duì)的溝通w 明確定義并貫徹的測(cè)試過程是測(cè)試自動(dòng)化的重要前提系統(tǒng)測(cè)試過程系統(tǒng)測(cè)試過程測(cè)試計(jì)劃測(cè)試計(jì)劃輸入：軟件需求書輸出：測(cè)試計(jì)劃書執(zhí)行. 執(zhí)行測(cè)試計(jì)劃缺陷跟蹤測(cè)試開發(fā)測(cè)試設(shè)計(jì)評(píng)估

4、建立 建立 執(zhí)行 建立1 1、測(cè)試需求、測(cè)試需求2 2、測(cè)試策略、測(cè)試策略3 3、測(cè)試資源、測(cè)試資源4 4、測(cè)試進(jìn)度、測(cè)試進(jìn)度系統(tǒng)測(cè)試過程系統(tǒng)測(cè)試過程測(cè)試設(shè)計(jì)測(cè)試設(shè)計(jì)輸入：軟件測(cè)試計(jì)劃書輸出：軟件測(cè)試大綱執(zhí)行. 執(zhí)行.測(cè)試計(jì)劃缺陷跟蹤測(cè)試開發(fā)測(cè)試設(shè)計(jì)評(píng)估 建立建立執(zhí)行.建立1 1、測(cè)試描述、測(cè)試描述2 2、前置條件、前置條件3 3、測(cè)試步驟、測(cè)試步驟4 4、驗(yàn)證點(diǎn)、驗(yàn)證點(diǎn)5 5、后置條件、后置條件6 6、測(cè)試通過條件、測(cè)試通過條件良好的測(cè)試設(shè)計(jì)是測(cè)試自動(dòng)化良好的測(cè)試設(shè)計(jì)是測(cè)試自動(dòng)化的重要保證！的重要保證！系統(tǒng)測(cè)試過程系統(tǒng)測(cè)試過程測(cè)試開發(fā)測(cè)試開發(fā)測(cè)試腳本 手工測(cè)試腳本 自動(dòng)化測(cè)試腳本執(zhí)行. 執(zhí)行

5、.測(cè)試計(jì)劃缺陷跟蹤測(cè)試開發(fā)測(cè)試設(shè)計(jì)評(píng)估建立 建立執(zhí)行.建立系統(tǒng)測(cè)試過程系統(tǒng)測(cè)試過程測(cè)試執(zhí)行測(cè)試執(zhí)行測(cè)試執(zhí)行 進(jìn)行測(cè)試執(zhí)行管理 運(yùn)行測(cè)試 記錄測(cè)試結(jié)果，包括缺陷報(bào)告和測(cè)試日志執(zhí)行. 執(zhí)行.測(cè)試計(jì)劃缺陷跟蹤測(cè)試開發(fā)測(cè)試設(shè)計(jì)評(píng)估建立建立執(zhí)行.建立系統(tǒng)測(cè)試過程系統(tǒng)測(cè)試過程測(cè)試評(píng)估測(cè)試評(píng)估測(cè)試評(píng)估 統(tǒng)計(jì)和分析測(cè)試結(jié)果，確定是否達(dá)到軟件發(fā)布的標(biāo)準(zhǔn)執(zhí)行. 執(zhí)行.測(cè)試計(jì)劃缺陷跟蹤測(cè)試開發(fā)測(cè)試設(shè)計(jì)評(píng)估建立建立執(zhí)行.建立系統(tǒng)測(cè)試過程系統(tǒng)測(cè)試過程缺陷跟蹤缺陷跟蹤缺陷跟蹤 記錄測(cè)試發(fā)現(xiàn)的缺陷或用戶問題，并且跟蹤、管理缺陷的狀態(tài)變更執(zhí)行. 執(zhí)行.測(cè)試計(jì)劃缺陷跟蹤測(cè)試開發(fā)測(cè)試設(shè)計(jì)評(píng)估建立建立執(zhí)行.建立系統(tǒng)測(cè)試度量系統(tǒng)測(cè)試

6、度量w 測(cè)試覆蓋率：評(píng)價(jià)測(cè)試的完備性 需求覆蓋率 代碼覆蓋率w 測(cè)試報(bào)告 Defect Density Defect Aging Defect Trendw 性能指標(biāo) 動(dòng)態(tài)監(jiān)控 響應(yīng)時(shí)間/吞吐量報(bào)告 百分比報(bào)告Rational系統(tǒng)測(cè)試方案系統(tǒng)測(cè)試方案w 軟件工具是完美過程得以成功實(shí)施的重要保證w Rational TeamTest TestManager： 集中、可伸縮的測(cè)試管理平臺(tái) Robot：傳統(tǒng)應(yīng)用自動(dòng)化測(cè)試工具 RobotJ：Web/Java自動(dòng)測(cè)試工具 ClearQuest：缺陷跟蹤工具TestManager: 控制中心控制中心View ResultsPassFailCoverage

7、 reports Generate change requestsTest DesignOS/VerMemDiskTest IterationsTest ConfigurationsTest PlanTest CasesTest InputsAdaptersInputRobot GUI and VU ScriptsVB or Java scriptsExternal Scripts on other OSsExecutionAdaptersRational TestManager: 跨越整個(gè)測(cè)試周期跨越整個(gè)測(cè)試周期 TestManager和和ClearQuest集成集成自動(dòng)實(shí)現(xiàn)缺陷與需求之間的

8、關(guān)聯(lián)自動(dòng)實(shí)現(xiàn)缺陷與需求之間的關(guān)聯(lián)測(cè)試度量測(cè)試度量: 覆蓋覆蓋, 趨勢(shì)等趨勢(shì)等Rational系統(tǒng)測(cè)試方案系統(tǒng)測(cè)試方案PlanTestTestManagerDesignTestTestManagerImplementTestRobotRobotJTestManagerExecuteTestRobotRobotJTestManagerEvaluateTestClearQuestTestManagerChange Request and Configuration Management - ClearQuest and ClearCase LTRational Unified ProcessGUI自

9、動(dòng)化測(cè)試自動(dòng)化測(cè)試w 設(shè)計(jì)測(cè)試用例，并手工進(jìn)行測(cè)試。w 如果測(cè)試未通過，則先改正缺陷，再次執(zhí)行測(cè)試。w 如果測(cè)試通過，利用測(cè)試工具運(yùn)行該測(cè)試過程，捕獲運(yùn)行過程需要檢測(cè)的屏幕對(duì)象，并保存。w 在進(jìn)行回歸測(cè)試測(cè)試，自動(dòng)利用測(cè)試工具運(yùn)行測(cè)試，并比較運(yùn)行過程的屏幕對(duì)象與保存的屏幕對(duì)象比較，從而判斷測(cè)試用例是否通過。利用利用Robot進(jìn)行基于進(jìn)行基于GUI的自動(dòng)功能測(cè)試的自動(dòng)功能測(cè)試2. 2. 執(zhí)行測(cè)試腳本執(zhí)行測(cè)試腳本OKFind執(zhí)行腳本執(zhí)行腳本檢驗(yàn)結(jié)果檢驗(yàn)結(jié)果報(bào)告錯(cuò)誤報(bào)告錯(cuò)誤迭代迭代1. 1. 創(chuàng)建測(cè)試腳本創(chuàng)建測(cè)試腳本選擇測(cè)試需求錄制操作過程（面向?qū)ο箐浿疲┎迦腧?yàn)證點(diǎn)編輯生成的腳本（可選） 和白盒工具

10、集成和白盒工具集成RobotJ：測(cè)試測(cè)試Java和和Web應(yīng)用應(yīng)用NEWTechnology forJava and Web BasedApplicationsScriptAssureScriptAssure技術(shù)保證了即使對(duì)象名稱發(fā)生改變，測(cè)試腳本也能正?；胤臘ynamic DataValidation驗(yàn)證動(dòng)態(tài)內(nèi)容ProfessionalLanguageand IDE利用Eclipse這一標(biāo)準(zhǔn)的IDE環(huán)境，同時(shí)提供與版本控制工具的集成ScriptAssure: 降低了測(cè)試腳本的維護(hù)成本降低了測(cè)試腳本的維護(hù)成本Determines MatchVersion 1.0Version 2.0Teste

11、rseesTool sees動(dòng)態(tài)數(shù)據(jù)驗(yàn)證動(dòng)態(tài)數(shù)據(jù)驗(yàn)證：可伸縮的測(cè)試腳本可伸縮的測(cè)試腳本Order ID changes with each order placedw 動(dòng)態(tài)內(nèi)容匹配 利用模式匹配技術(shù)來(lái)驗(yàn)證數(shù)據(jù)Test Fails when comparing static baseline to dynamic dataTest Passes when comparing pattern baseline to dynamic data 如不是驗(yàn)證 “Order ID 230”, 而是 “Order ID #” 當(dāng)驗(yàn)證應(yīng)用的行為時(shí)，考慮了各種不同的合法響應(yīng)業(yè)界標(biāo)準(zhǔn)的業(yè)界標(biāo)準(zhǔn)的IDE和測(cè)試腳本語(yǔ)

12、言和測(cè)試腳本語(yǔ)言w Eclipse集成環(huán)境 調(diào)試器、代碼編輯器w 使用標(biāo)準(zhǔn)的Java語(yǔ)言作為測(cè)試腳本語(yǔ)言專業(yè)的測(cè)試開發(fā)環(huán)境版本控制版本控制: 管理代碼的變更管理代碼的變更w 與ClearCase和ClearCase LT集成 簡(jiǎn)單的check in/check out操作 對(duì)腳本文件和對(duì)象映射文件進(jìn)行版本控制 保證測(cè)試人員不互相干擾ClearCase VOBScript1 - v1, v2Script2 v1Script3 v1Etc.Local ViewCheck-out/in script or datastoreRational TeamTest正確認(rèn)識(shí)測(cè)試自動(dòng)化正確認(rèn)識(shí)測(cè)試自動(dòng)化w 不

13、現(xiàn)實(shí)的期望注定測(cè)試自動(dòng)化的失敗w 測(cè)試自動(dòng)化能： 顯著降低重復(fù)手工測(cè)試的時(shí)間 建立可靠、重復(fù)的測(cè)試，減少認(rèn)為錯(cuò)誤 增強(qiáng)測(cè)試質(zhì)量和覆蓋率w 測(cè)試自動(dòng)化不能： 完全替代手工測(cè)試和手工測(cè)試工程師 保證100%的測(cè)試覆蓋率 彌補(bǔ)測(cè)試實(shí)踐的不足測(cè)試自動(dòng)化項(xiàng)目的本質(zhì)測(cè)試自動(dòng)化項(xiàng)目的本質(zhì)w 定義：利用GUI自動(dòng)化測(cè)試工具來(lái)開發(fā)和執(zhí)行測(cè)試腳本，從而驗(yàn)證是否滿足需求w 本質(zhì)：測(cè)試自動(dòng)化項(xiàng)目本質(zhì)上是軟件開發(fā)項(xiàng)目w 一個(gè)測(cè)試自動(dòng)化項(xiàng)目必須具有： 清晰定義并嚴(yán)格實(shí)施的過程 來(lái)自組織各級(jí)的支持 周密的計(jì)劃 具體的設(shè)計(jì)和架構(gòu)測(cè)試自動(dòng)化成本測(cè)試自動(dòng)化成本/收益分析收益分析結(jié)構(gòu)結(jié)構(gòu)成成本本收收益益凈收凈收益益No Autom

14、ation000Recording and Playback8.3112.7Data-driven structure using datapools8.4189.6Framework structure9.8155.2Framework / data-driven (hybrid) structure focusing on views of the application and using datapools11.6197.4什么是什么是Data-Driven?Data-Driven測(cè)試腳本測(cè)試腳本Hard-coded測(cè)試腳本測(cè)試腳本實(shí)現(xiàn)測(cè)試數(shù)據(jù)和實(shí)現(xiàn)測(cè)試數(shù)據(jù)和測(cè)試代碼相分離測(cè)試代碼相分

15、離什么是性能測(cè)試？什么是性能測(cè)試？w 模擬實(shí)際用戶負(fù)載，測(cè)試系統(tǒng)的：反應(yīng)速度，最大用戶，系統(tǒng)最優(yōu)配置、軟硬件性能等虛擬用戶：發(fā)起各虛擬用戶：發(fā)起各種各樣的負(fù)載組合種各樣的負(fù)載組合GUI GUI 代理：衡量代理：衡量端到端的性能端到端的性能主機(jī)：負(fù)責(zé)錄制、主機(jī)：負(fù)責(zé)錄制、回放、監(jiān)視和分析回放、監(jiān)視和分析運(yùn)行結(jié)果運(yùn)行結(jié)果WebAppDB利用利用Robot和和TestManager進(jìn)行性能測(cè)試進(jìn)行性能測(cè)試自動(dòng)生成多用戶測(cè)試所需的各種數(shù)據(jù) Bob $1.34VisaMary$27.00MCAnn$21.00AmEx捕獲、錄制單一用戶與Server之間的會(huì)話 創(chuàng)建用戶活動(dòng)的計(jì)劃表 Order Singl

16、e Item 5% of users Order “Pick of Day” 35% of users Search for CDs 60% of users運(yùn)行計(jì)劃表，做多用戶測(cè)試，增加虛擬用戶數(shù)，查找性能瓶頸Virtual UsersRational全方位服務(wù)保證測(cè)試成功全方位服務(wù)保證測(cè)試成功w Rational Developer Network TestStudio Knowledge Center QA & Testing Knowledge Center Discussion Forums on the following topics: Automated Testing

17、, Runtime Analysis with PurifyPlus Family, ClearQuest, ClearCase, Requirements Management and RequisitePro, ProjectConsole, SoDA, and RUPw Rational University Rational TeamTest Fundamentals for Functional Testing Essentials of Functional Testing with Rational TeamTest for Java and Web-based Applicat

18、ions (RobotJ Focused) Rational TeamTest Fundamentals for Performance Testing Principles of Test Automation for GUI Testing (WBT) Recommended Courses: Courses for the following point products:Rational TestManager, Rational ClearCase LT, Rational ClearQuest, Rational RequisitePro, Rational ProjectConsole, Rational SoDA,