Topsummit大型軟件組織的敏捷測試—微軟

1、歐陽辰敏捷開發(fā)的演變敏捷開發(fā)帶來的測試挑戰(zhàn)大型軟件的敏捷測試實踐 虛擬化技術(shù)(Virtualization) 持續(xù)集成(Continuous integration) 集成測試環(huán)境(Integration Environment) 軟件部署(Deployment) 在產(chǎn)品中進行測試(Test in Product)敏捷測試的管理實踐敏捷 “the ability to move quickly and easily” 靈敏迅速 （漢語詞典）敏捷成為程序員的生活方式 XP: 簡單，交流，反饋，尊重，勇氣 Scrum: 增量迭代，價值驅(qū)動，管理性 小公司，大公司；傳統(tǒng)軟件，互聯(lián)網(wǎng)應(yīng)用 “敏捷”的文

2、化和氛圍質(zhì)量度量1990敏捷軟件開發(fā)雪鳥會議(2001)2009輕量級軟件開發(fā)方法1991軟件質(zhì)量預(yù)防2000尋找質(zhì)量缺陷1980敏捷開發(fā)普及（深度，廣度）20106SigmaUMLRUPXPSCRUMCMMxUnit敏捷 V.S 軟件質(zhì)量可信度變化 V.S 測試進度不可控簡單 V.S 很多“設(shè)計”缺陷協(xié)作 V.S 職責不清楚測試認同感(identity)降低個體化 V.S 管理難度加大“80% 的質(zhì)量問題都是來源于管理層，而不是執(zhí)行層” 約瑟夫，朱蘭定義質(zhì)量(Define Quality)缺陷交流(Communication)及時反饋(Feedback)質(zhì)量信心指數(shù)(Quality Conf

3、idence)代表用戶體驗(User Experience)“敏捷時代，雖然測試人員可以減少，但是測試活動不能減少” Lisa Crispan測試人員的數(shù)量減少: 互聯(lián)網(wǎng)企業(yè)開發(fā)測試比例 3:1 -10:1部分質(zhì)量?；顒愚D(zhuǎn)移到開發(fā)人員: 低不確定性 單元測試, 部分功能測試, 部分性能、壓力測試測試人員的質(zhì)保活動：高不確定，復(fù)雜活動 集成測試 驗收測試滿足用戶需求的程度(IEEE)質(zhì)量屬性的集合質(zhì)量定義沒有變化，變化的是軟件需求、使用模式，競爭環(huán)境“軟件質(zhì)量是真正用戶的體驗，而不是工程師眼中的各種指標”自動化測試更為重要 更加頻繁的發(fā)布 持續(xù)集成 快速獲得質(zhì)量反饋投資回報率(ROI) 和可復(fù)用

4、性考慮不清楚的目標和缺少經(jīng)驗界面自動化的神話自動化測試用例是大型軟件的重要部分！價值驅(qū)動的測試活動 Over 流程驅(qū)動缺陷預(yù)防 Over 亡羊補牢持續(xù)質(zhì)?；顒?Over 集中在測試階段用戶需求導(dǎo)向的測試 Over 指標導(dǎo)向的測試界面測試服務(wù)(Service)測試組件(Component)測試文件(Assemble)模塊/單元(Unit)測試手動測試自動化，自動化，自動化構(gòu)建部署到測試環(huán)境全功能測試報告提交監(jiān)測構(gòu)建構(gòu)建& &驗驗證證真正真正提交提交預(yù)提交預(yù)構(gòu)建)Regular Build(正常構(gòu)建)按需運行測試用例快速反饋快速反饋頻繁，盡早和自動測試架構(gòu)支持 構(gòu)建(Build):

5、 分布式的構(gòu)建引擎 編譯模式(快速，完整) 部署 部署模式 (快速，完整) 測試 并行化測試用例 刪除費時的測試用例 讓開發(fā)人員使用你的用例長期保持著可以工作的軟件整個過程保持在1-2個小時完成一些好的實踐 當構(gòu)建(Build)失敗時候，提供快速回滾功能速度和簡單最為關(guān)鍵持續(xù)集成是一個復(fù)雜的工程，接受學(xué)習(xí)曲線反饋起著非常大的作用創(chuàng)造持續(xù)集成的氛圍，創(chuàng)建報告/通知投資回報率(ROI) 規(guī)劃和管理 更新頻率 開發(fā)&測試一些好的實踐 集成環(huán)境變化記錄 大規(guī)模數(shù)據(jù) 一次集中一個環(huán)境開發(fā)環(huán)境單機版One Box集成環(huán)境1.產(chǎn)品環(huán)境鏡像Clone of Production+集成效果維護成本虛擬化

6、 節(jié)省成本 低碳實驗室 簡化管理 快速部署 失敗點調(diào)查 硬件模擬 168 臺式機 被 12個服務(wù)器代替一些好的實踐 精心制定網(wǎng)絡(luò)拓撲圖 成本考慮 服務(wù)器瓶頸(磁盤，內(nèi)存網(wǎng)絡(luò)） 特別需求(USB,顯卡，電源管理） 機器軟件的License 管理(OS,App and etc) 自動保持長期不用的機器大規(guī)模軟件的部署測試 假定錯誤發(fā)生: 回滾(Rollback) 測試 全自動部署: 從構(gòu)建(build)到生產(chǎn)系統(tǒng)(Production)中 橫向擴展（Scale Out）和 非橫向擴展(Scale Up) 診斷工具支持 在生產(chǎn)環(huán)境中運行測試用例基礎(chǔ)設(shè)施 計算，存儲，平臺服務(wù) “Were All in

7、” Yes, We are in一些好的實踐 統(tǒng)一的部署框架(Deployment Framework) 部署往往成為升級的瓶頸 在不同的數(shù)據(jù)中的性能考慮 創(chuàng)建產(chǎn)品克隆集成環(huán)境 橫向擴展的考慮(Scale Out) 日常測試 驗收測試 部署后測試軟件發(fā)布 V1.0（Software+Service) 日常測試 驗收測試 部署后測試軟件發(fā)布 V1.1 日常測試 驗收測試 部署后測試 軟件發(fā)布 V2.0產(chǎn)品狀態(tài)監(jiān)測，統(tǒng)計A/B 測試產(chǎn)品狀態(tài)監(jiān)測，統(tǒng)計A/B 測試發(fā)布不是測試結(jié)束，而是真正的開始 軟件(Software) + 服務(wù)(Service)模式 產(chǎn)品狀態(tài)監(jiān)測： 對外軟件服務(wù)的狀態(tài) 對內(nèi)軟件后臺系統(tǒng)的狀態(tài) 性能，可靠性狀態(tài) 在產(chǎn)品進行定期測試，內(nèi)置可測試性 利用生產(chǎn)數(shù)據(jù)進一步提升測試 找到盲點讓管理層獲得更多的反饋和數(shù)據(jù)敏捷團隊與管理層保持距離利用管理層消除組織障礙，優(yōu)化資源分配讓管理層集中在業(yè)務(wù)戰(zhàn)略和長期技術(shù)策略敏捷=愉快+效率給每個人更大的空間和決策權(quán)力快速決策并且快速修正決策自發(fā)而且自由的交流一線組長的領(lǐng)導(dǎo)力寬容和開放預(yù)防勝于治療持續(xù)改進缺陷預(yù)防能力80-20原則讓質(zhì)量成為一種習(xí)慣和必須質(zhì)量文化質(zhì)保流程安全可理解性可移植性可測試性可用性可靠性可擴展性可復(fù)用性可適應(yīng)性模塊性高效性健壯性復(fù)雜性可