Devops軟件敏捷測試之道

1、Devops軟件敏捷測試之道技術創(chuàng)新 變革未來新商業(yè)模式小步快跑、快速試錯顛覆性技術，新的商業(yè)模式，互聯(lián)網平臺 促成業(yè)務“在少量試用后，會被迅速推廣 和接受”產品推向市場周期大大縮短，更新?lián)Q代快不確定性較高的新領域要更快的交付速度Stability + Reliability Velocity + Reliability擁抱敏捷和DevOps計劃開發(fā)集成測試部署供應商業(yè)計 劃需求監(jiān)控產品經理產品經理 產品經理技術經理技術經理 技術經理開發(fā)工程師開發(fā)工程師 開發(fā)工程師產品運營產品運營 產品運營產品經理技術經理開發(fā)工程師產品運營服務1 服務2 服務3服務N業(yè)務部門（Business）研發(fā)部門（De

2、v）商業(yè) 計劃需求用例特性計劃Go-to- market設計開發(fā)重構單元 測試Bug修復部署供應配置編排部署報告監(jiān)控運營部門（Ops）市場運營/需求管 理/項目管理/.經理/研發(fā)工程師/測試工程師.平臺運維/基礎架 構運維團隊流程轉型前轉型后組織：服務/微服務全功能團隊，產品經理負責制 流程：全流程整合，高度自動化，一鍵發(fā)布轉型在敏捷轉型基礎上，進一步橫向整合從業(yè)務-研發(fā)-運營的團隊和全流程。DevOps轉型Agile Dev 轉型市 場 及 銷 售商 業(yè) 開 發(fā)客 戶 支 持面向云服務/微服務的架構，向Agile/DevOps全功能團隊轉型：對特性/部件/服務，完整的實施規(guī)劃/需求/設計/開

3、發(fā)/測試并獨立部署、交付、運維（DevOps場景）的項目型團隊。測試債務（現(xiàn)狀和挑戰(zhàn)）重開發(fā)，輕測試，測試人員職業(yè)發(fā)展受限測試人員編程能力不足開發(fā)人員對測試重視不足測試工作量高，但人員配比低產品耦合度高，可測試性差測試人員對需求理解不足過于依賴黑盒功能測試測試策略、方法不恰當迭代速度快，測試時間少測試環(huán)境部署時間長，頻繁升級質量向速度過分妥協(xié)忽視敏捷文化和價值觀測試焦點：業(yè)務價值的質量測試聚焦業(yè)務價值的 質量識別質量核心關切點選擇測試策略和方法度量效果反饋安全性易用性性能功能兼容性擴展性業(yè)務價值質量從源頭開始保障質量有效的質量控制措施準確完整描述用戶需求關注非功能性需求質量內建在開發(fā)過程之中小

4、循環(huán)快速獲取驗證反饋自動化、自動化、自動化信息公開透明，授權決策適度架構，組織和架構匹配從失敗中吸取教訓軟件缺陷隨著時間推移，發(fā)現(xiàn)和修復成本越來越高傳統(tǒng)測試是發(fā)現(xiàn)質量問題的手段，不預防和解決質量問題測試金字塔和持續(xù)測試測試金字塔由關注測試數量轉向關注測試質量測試層級越高，運行效率越低，延緩持續(xù)集成的構建- 反饋循環(huán)測試層級越高，開發(fā)復雜度越高，如果團隊能力受限， 交付進度受影響端到端測試更容易遇到測試結果的不確定性測試層級越低，單元隔離性越強，定位分析問題越容 易持續(xù)測試將測試金字塔的三層自動化測試加入持續(xù)集成（CI）中，代碼提交，自動 觸發(fā)自動化測試過程，反饋測試結果持續(xù)測試保證產品源碼具備

5、隨時可發(fā)布上線的狀態(tài)，保證團隊持續(xù)交付能力界面 測試接口測試單元測試常規(guī)安全與彈性安全常規(guī)的安全指的是盡可能多的發(fā)現(xiàn)并消除錯誤的部分，達到絕對安全，這是理想另一種則是彈性安全，即使發(fā)生錯誤，只要及時恢復，也能正常工作，這是現(xiàn)實- Eric HollnagelEfficiency-Effectiveness Trade Offs測試左移和測試右移測試左移，盡早開展測試使用BDD通過契約測試，解耦前后端和服務間開發(fā)依賴加強開發(fā)自測試測試右移，覆蓋發(fā)布和線上運行階段灰度測試線上應用性能監(jiān)控線上撥測將測試工作可視化If You Cant Measure It, You Cant Manage It 愛

6、德華.戴明產品不同發(fā)展時期的測試策略Kent Beck 3X模型探索階段：尋找產品和市場匹配點，以手工測試為主擴張階段：市場需求指數級增長，引入自動化 測試保證一致性提取階段：產品穩(wěn)定，最大化產品收益，自動 化測試識別任何改動引入的風險按需循序漸進建立高效測試管理和自動化測試能力開發(fā)團隊規(guī)模特點可采用的實踐實踐效果(目標)5人自組織缺陷管理回歸測試典型用例庫建立輕量有序的缺陷管理機制建立輕量的問題總結反饋機制510人總體測試工作量增加， 模塊間集成復雜度增 加專職測試人員需求串講初步建立自動化測試初步的持續(xù)測試能力開發(fā)和測試之間有效溝通協(xié)作初步的自動化測試能力1015人以上測試工作量超過1人工

7、 作量組建測試團隊測試項目管理測試用例管理測試覆蓋率管理測試進度管理測試度量和報告測試環(huán)境管理規(guī)?；淖詣踊瘻y試能力持續(xù)自動化測試測試團隊內部以及和開發(fā)團隊間 有效協(xié)作建立自動化測試為主的測試能力按 需 實 踐， 提 升 測 試 成 熟 度建立敏捷測試組織建立與微服務架構匹配的2 Pizza全功能團隊(產品經理+UCD+運營+開發(fā)+運維)測試團隊轉型服務化組織，測試工程師賦能全功能團隊初期幫助功能團隊建立開發(fā)自測試能力和基礎設施賦能安全、性能等專項測試能力評審全功能團隊測試計劃優(yōu)化測試流程測試自動化減少手工測試和手工操作測試自動化不僅僅包括自動化測試執(zhí)行，還包括其他所有可以減少人力投入的活動，

8、例如自動化環(huán)境創(chuàng)建，自動化部署，自動化監(jiān)控，自動化數據分析等部署測試環(huán)境生成測試數據執(zhí)行自動化測試生成結果和日志結果告警和通知生成測試報告獲得測試反饋提交代碼全流程自動化降低反饋時間測試儀表盤契約測試幫助解耦開發(fā)依賴微服務A微服務B微服務CREST API接口REST API接口 REST API接口A和B確定微服務B的接口描 述，訂立接口契約，創(chuàng)建接 口Mock和接口測試A開發(fā)微服務A 的業(yè)務邏輯B開發(fā)微服務B 的業(yè)務邏輯Mock Server接口測試微服務A和B 聯(lián)調測試技術接口和組織接口匹配，溝通效率高、清晰解耦依賴，實現(xiàn)微服務的并行開發(fā)，獨立上線接口契約DevCloud實踐：端到端自動

9、化測試用戶視角自動化不斷體會，不斷打磨，不斷改進，才能真正增強體驗 性能首屏加載時間測試，在線時延監(jiān)控反饋在線測試分層自動化測試微服務全面構筑功能/安全/性能/可靠性測試自動化能力， 將自動化測試分層解耦到Alpha/Beta/Gamma環(huán)節(jié)提升功能/安全/性能/可靠性自動化測試覆蓋情況利用自動化技術，提升用例執(zhí)行效率與穩(wěn)定性，監(jiān)控反 饋流水線各測試環(huán)節(jié)執(zhí)行效率 在線測試在線業(yè)務測試，對生產環(huán)境業(yè)務主線與重點功能持續(xù)在線 撥測，先于用戶發(fā)現(xiàn)業(yè)務異常并告警在線體驗巡檢，每日生產環(huán)境巡檢E2E主線場景體驗在線7x24監(jiān)控，錯誤事務和運行異常對比分析告警推送構建CloudNative測試能力，實現(xiàn)測

10、試活動解耦，在線業(yè)務測試與監(jiān)控從用戶視角看產品聯(lián)合駐場產品經理，設計出用戶真實的E2E測試場景， 每日精準在線自動化測試保障Dog Food 文化，自己開發(fā)自己使用，切換為用戶視角，Huawei 18測試自動化實踐，推進測試前移在線撥測Chaos測試性能測試PerfTest 安全測試RF+Selenium UI測試 接口測試APITest單元測試Junit在線撥測：服務團隊針對生產環(huán)境的功能持續(xù)驗證，保障生產環(huán)境持續(xù)運行Chaos測試：專職團隊對生產環(huán)境的可 靠性、穩(wěn)定性、健壯性測試性能測試和安全測試：專職團隊對DFx（非功能屬性）的解決方案級驗證服務團隊承擔：接口測試：看護接口，保障功能實現(xiàn)

11、正 確，安全重構單元測試：代碼級、函數級的快速驗證服務團隊專職團隊專職團隊專職團隊DevCloud云測和移動應用測試：云端一站式測試解決方案高效：一站式云端測試平臺， 高效協(xié)同，開展用例設計、 測試執(zhí)行、缺陷提交，提高 測試效率雙向追溯：通過需求-用例-缺 陷雙向追溯，確保所有需求 都被正確測試，杜絕漏測、 誤測自動化測試：提供Android和iOS兼容性測試、接口測試， 集成流水線支持持續(xù)自動化 測試可視化：多維度產品質量看 板，全方位評估產品質量， 保障產品高效驗收TestMan測試用例和測試任務管理使用DevCloud測試工具TestMan進行測試用例和測試任務管理，需求驅動的測試管理、測試用例和 需求、缺陷的追溯管理、測試覆蓋率管理、實時測試報表。APITest接口自動測試使用DevCloud測試工具APITest進行接口和接口級場景功能自動化測試，結合華為優(yōu)先研發(fā)實踐和研發(fā)理 念，測試用例免代碼編寫、一鍵導入swagger接口定義自動生成腳本模板，基于腳本模板組裝編排、管理 接口自動化測試用例。PerformanceTest接口性能自動化測試使用DevCloud測試工具PerformanceTest進行接口性能自動化測試，結