Top100summit支付寶無線測試平臺建設(shè)實踐—支付寶

1、揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團隊獲得過多源動力與更大的推動力！支付寶無線測試平臺建設(shè)實踐于龍-王超 支付寶質(zhì)量部揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團隊獲得過多源動力與更大的推動力！關(guān)于我20072007年年-2008-2008年，微軟全球技術(shù)支持中心，年，微軟全球技術(shù)支持中心，軟件測試開發(fā)工程師,負責(zé)測試計劃、測試用例撰寫、自動化測試引入等20082008年年-2011-2011年，年，SAPSAP中國研究院，中國研究院，軟件測試開發(fā)工程師、測試工具組Lead，負責(zé)EPR測試框架研發(fā)、ERP測試平臺建設(shè)、測試工具組團隊管理等20112011年年

2、- -至今：至今： 淘寶網(wǎng)，淘寶網(wǎng)，技術(shù)專家，負責(zé)PC自動化測試框架AutomanX研發(fā)團隊；支付寶，支付寶，技術(shù)專家/主管，負責(zé)支付寶質(zhì)量部測試工具研發(fā)團隊 郵件： 電話示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團隊獲得過多源動力與更大的推動力！支付寶質(zhì)量部工具研發(fā)團隊統(tǒng)一測試統(tǒng)一測試平臺：平臺：前端設(shè)計、基礎(chǔ)組件、新測試技術(shù)研發(fā)等PCPC自動化：自動化：Web UI功能自動化、接口測試框架、調(diào)度體系等鏈路分析：鏈路分析：OSGI分布式系統(tǒng)問題快速定位、業(yè)務(wù)場景日志分析等數(shù)據(jù)平臺：數(shù)據(jù)平臺：銀行接口mock系統(tǒng)、測試數(shù)據(jù)管理、場景準備等無線測試：無線測試

3、：真機訪問、應(yīng)用提測、設(shè)備管控、自動化測試、無線mock等字節(jié)字節(jié)碼測試：碼測試：覆蓋率與應(yīng)用瘦身、故障注入、靜態(tài)分析等其他：其他：性能評測中心、線下環(huán)境運維系統(tǒng)、角色化管理實踐等三個統(tǒng)一：三個統(tǒng)一：入口統(tǒng)一、技術(shù)體系統(tǒng)一、迭代流程統(tǒng)一研發(fā)方向：研發(fā)方向：提升工具質(zhì)量、走出技術(shù)支持的困境、走貼近業(yè)務(wù)的工具研發(fā)道路承載小微金服測試工具研發(fā)使命揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團隊獲得過多源動力與更大的推動力！無線測試平臺-基礎(chǔ)模塊組件統(tǒng)一測試平臺統(tǒng)一測試平臺- -無線測試自動化測試升級測試字節(jié)碼分析安裝卸載設(shè)備管理借用管理真機訪問設(shè)備管控應(yīng)用提測低耦合統(tǒng)一技術(shù)體系合作研發(fā)高

4、內(nèi)聚Monkey測試遍歷測試性能監(jiān)控安全掃描應(yīng)用打包質(zhì)量報告用例管理數(shù)據(jù)準備UISDK應(yīng)用評價中心版本管理渠道管理評論中心無線mock揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團隊獲得過多源動力與更大的推動力！系統(tǒng)開發(fā)精要POC原型驗證與方案確認項目迭代開發(fā)周期管理Report與例會制度等發(fā)布與部署：數(shù)據(jù)庫與WEB部署項目管理一Url統(tǒng)一主干分支管理代碼評審與結(jié)對編程架構(gòu)、數(shù)據(jù)庫設(shè)計等評審相關(guān)規(guī)范CURD三層架構(gòu)、靜態(tài)資源共享Menu、Tab、Tree、Grid、ListView、Dropdown等通用組件公用組件，如Json、Email、旺旺、Ark等異常以及通知機制風(fēng)格統(tǒng)一統(tǒng)

5、一登錄與用戶管理權(quán)限管理域名統(tǒng)一標準工程模板業(yè)務(wù)抽象系統(tǒng)開發(fā)技術(shù)沉淀、系統(tǒng)開發(fā)效率提升、開源與交流等揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團隊獲得過多源動力與更大的推動力！One Rule原則靜態(tài)資源，aqc-assets公共組件，aqc-common模塊A，Prj A模塊B，Prj B模塊C，Prj C工程組織公用的圖片、CSS、JS、Config等公用的GridView、Dropdown、Checkbox等公用的RichTextbox、Datetime控件等靜態(tài)資源與公共組件一個應(yīng)用，一個工程數(shù)據(jù)庫設(shè)計三層架構(gòu)開發(fā)前端渲染系統(tǒng)發(fā)布開發(fā)單位靜態(tài)資源共享通用組件共享應(yīng)用開發(fā)隔

6、離數(shù)據(jù)庫隔離開發(fā)原則One PersonOne PersonPeerPeer ReviewReviewOne AppOne AppOne DBOne DBueduedshareshareOne AppOne AppOne ProjectOne ProjectShare靜態(tài)資源 & One App & One Project & One DB & One Owner & Peer Review揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團隊獲得過多源動力與更大的推動力！安裝、卸載、啟動、升級方案特色方案特色代碼在線瀏覽問題在線排查傻瓜化Web操

7、作支持PC與Mobile應(yīng)用選擇設(shè)備選擇設(shè)備用戶擁有的系統(tǒng)提供的運行測試運行測試發(fā)送請求Controller執(zhí)行測試結(jié)果測試結(jié)果Controller結(jié)果返回結(jié)果分析結(jié)果分析安裝情況卸載情況啟動情況應(yīng)用上傳應(yīng)用上傳上傳新應(yīng)用選擇已有應(yīng)用揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團隊獲得過多源動力與更大的推動力！Monkey測試基本概念基本概念A(yù)ndroid命令行工具偽隨機用戶事件流穩(wěn)定性測試方案核心特性核心特性僅針對應(yīng)用程序包不可定制事件流事件數(shù)量和頻率可定制運行約束選項，如針對特定包典型示例典型示例l $ adb shell monkey -p

8、 -v 100P代表指定應(yīng)用v代表查看monkey生成的隨機事件數(shù)100代表隨機事件數(shù)方案特色方案特色參數(shù)可配置化原子化與集成化揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團隊獲得過多源動力與更大的推動力！字節(jié)碼測試靜態(tài)分析：靜態(tài)分析：在不執(zhí)行程序的前提下對其進行分析的技術(shù)動態(tài)分析：動態(tài)分析：通過對靜態(tài)代碼進行缺陷注入，執(zhí)行測試，發(fā)現(xiàn)隱含在異常流程中的邏輯錯誤，以此校驗上層應(yīng)用的穩(wěn)定性表現(xiàn) 。掃描策略配置掃描策略配置任務(wù)監(jiān)控定期或立即應(yīng)用信息配置應(yīng)用信息配置svn和envapp基本信息掃描結(jié)果掃描結(jié)果提交到CQ提供OpenApi缺陷流程缺陷流程開發(fā)修復(fù)測試校驗選擇場景選擇場景依賴、

9、網(wǎng)絡(luò)并發(fā)、硬件執(zhí)行并測試執(zhí)行并測試取遠程class文件新class文件回傳方案特色方案特色代碼在線瀏覽問題在線排查揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團隊獲得過多源動力與更大的推動力！性能監(jiān)測一源代碼級源代碼級方法級別的測試模塊級別的相互調(diào)用緩存策略的設(shè)計垃圾回收策略設(shè)計IO 操作的線程化異步第三方庫引用的消耗埋點自動化測試硬件級硬件級不同品牌機型(Android有內(nèi)核被改造）不同API版本的性能優(yōu)化相關(guān)的改造不同機型硬件配備用戶場景級用戶場景級操作消耗的流量使用消耗量使用響應(yīng)速度使用中操作流暢度使用過程中crash率感知應(yīng)用啟動時間無線測試平臺-性能數(shù)據(jù)分析揭示研發(fā)管理白

10、金定律，分享那些激動人心的創(chuàng)新與變革，使得團隊獲得過多源動力與更大的推動力！性能監(jiān)測二方案特色方案特色常規(guī)性能數(shù)據(jù)采集支付寶埋點數(shù)據(jù)采集源碼級與場景級性能監(jiān)測性能監(jiān)測用戶場景管控嵌入式性能SDK性能代碼掃描設(shè)備管控采集引擎應(yīng)用管控性能指標性能指標內(nèi)存流量CPU電量操作響應(yīng)時間網(wǎng)絡(luò)響應(yīng)速度客戶端Crash率揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團隊獲得過多源動力與更大的推動力！自動化測試方案特色方案特色統(tǒng)一平臺技術(shù)體系無線開發(fā)提供UISDK用例特點用例特點PC端用例開發(fā)手機端用例執(zhí)行用例java工程化用例apk化，通過UISDK進一步復(fù)SDK整體方案整體方案自動化自動化UISD

11、KJava工程計劃管理調(diào)度管理CQ集成測試工程設(shè)備管理用例管理配置管理文件服務(wù)報表管理OpenApi數(shù)據(jù)準備揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團隊獲得過多源動力與更大的推動力！設(shè)備管控設(shè)備管理設(shè)備管理設(shè)備入庫設(shè)備查詢OpenApi設(shè)備盤點借用管理借用管理設(shè)備申請借用審批設(shè)備歸還催還設(shè)備借用報告方案特色方案特色設(shè)備統(tǒng)一管理提供統(tǒng)一OpenApi真真機入口機入口可用訪問真機借用揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團隊獲得過多源動力與更大的推動力！統(tǒng)一控制中心一真機訪問真機訪問應(yīng)用提測cmd命令真機操作ApiApi接口接口安裝卸載自動化、遠程命令執(zhí)行性能采集

12、Monkey測試日志、手機文件操作遠程截圖WEB UI操作Api接口方案特色方案特色模塊解耦接口統(tǒng)一管理通過USB訪問揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團隊獲得過多源動力與更大的推動力！統(tǒng)一控制中心二方案特色方案特色模塊解耦、接口統(tǒng)一通過USB訪問破圖率業(yè)相比降低80% ControllerController架構(gòu)架構(gòu)用戶層操作層設(shè)備驅(qū)動層真機設(shè)備觸屏功能命令執(zhí)行截圖功能日志抓取其他功能按鍵操作真機操作真機操作揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團隊獲得過多源動力與更大的推動力！遍歷測試盡可能模仿人的思維邏輯去做測試，可認為是智能monkey可自動躲避退出按鈕智能躲避重復(fù)操作時間控制可配置登錄更強大的webview插件支持，自動發(fā)現(xiàn)鏈接方案特色方案特色作為隨機monkey測試有效補充智能monkey揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團隊獲得過多源動力與更大的推動力！遍歷測試盡可能模仿人的思維邏輯去做測試，可認為是智能monkey可自動躲避退出按鈕智能躲避重復(fù)操作時間控制可配置登錄