Top100summit支付寶無(wú)線(xiàn)測(cè)試平臺(tái)建設(shè)實(shí)踐—支付寶

1、揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過(guò)多源動(dòng)力與更大的推動(dòng)力！支付寶無(wú)線(xiàn)測(cè)試平臺(tái)建設(shè)實(shí)踐于龍-王超 支付寶質(zhì)量部揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過(guò)多源動(dòng)力與更大的推動(dòng)力！關(guān)于我20072007年年-2008-2008年，微軟全球技術(shù)支持中心，年，微軟全球技術(shù)支持中心，軟件測(cè)試開(kāi)發(fā)工程師,負(fù)責(zé)測(cè)試計(jì)劃、測(cè)試用例撰寫(xiě)、自動(dòng)化測(cè)試引入等20082008年年-2011-2011年，年，SAPSAP中國(guó)研究院，中國(guó)研究院，軟件測(cè)試開(kāi)發(fā)工程師、測(cè)試工具組Lead，負(fù)責(zé)EPR測(cè)試框架研發(fā)、ERP測(cè)試平臺(tái)建設(shè)、測(cè)試工具組團(tuán)隊(duì)管理等20112011年年

2、- -至今：至今： 淘寶網(wǎng)，淘寶網(wǎng)，技術(shù)專(zhuān)家，負(fù)責(zé)PC自動(dòng)化測(cè)試框架AutomanX研發(fā)團(tuán)隊(duì)；支付寶，支付寶，技術(shù)專(zhuān)家/主管，負(fù)責(zé)支付寶質(zhì)量部測(cè)試工具研發(fā)團(tuán)隊(duì) 郵件： 電話(huà)示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過(guò)多源動(dòng)力與更大的推動(dòng)力！支付寶質(zhì)量部工具研發(fā)團(tuán)隊(duì)統(tǒng)一測(cè)試統(tǒng)一測(cè)試平臺(tái)：平臺(tái)：前端設(shè)計(jì)、基礎(chǔ)組件、新測(cè)試技術(shù)研發(fā)等PCPC自動(dòng)化：自動(dòng)化：Web UI功能自動(dòng)化、接口測(cè)試框架、調(diào)度體系等鏈路分析：鏈路分析：OSGI分布式系統(tǒng)問(wèn)題快速定位、業(yè)務(wù)場(chǎng)景日志分析等數(shù)據(jù)平臺(tái)：數(shù)據(jù)平臺(tái)：銀行接口mock系統(tǒng)、測(cè)試數(shù)據(jù)管理、場(chǎng)景準(zhǔn)備等無(wú)線(xiàn)測(cè)試：無(wú)線(xiàn)測(cè)試

3、：真機(jī)訪(fǎng)問(wèn)、應(yīng)用提測(cè)、設(shè)備管控、自動(dòng)化測(cè)試、無(wú)線(xiàn)mock等字節(jié)字節(jié)碼測(cè)試：碼測(cè)試：覆蓋率與應(yīng)用瘦身、故障注入、靜態(tài)分析等其他：其他：性能評(píng)測(cè)中心、線(xiàn)下環(huán)境運(yùn)維系統(tǒng)、角色化管理實(shí)踐等三個(gè)統(tǒng)一：三個(gè)統(tǒng)一：入口統(tǒng)一、技術(shù)體系統(tǒng)一、迭代流程統(tǒng)一研發(fā)方向：研發(fā)方向：提升工具質(zhì)量、走出技術(shù)支持的困境、走貼近業(yè)務(wù)的工具研發(fā)道路承載小微金服測(cè)試工具研發(fā)使命揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過(guò)多源動(dòng)力與更大的推動(dòng)力！無(wú)線(xiàn)測(cè)試平臺(tái)-基礎(chǔ)模塊組件統(tǒng)一測(cè)試平臺(tái)統(tǒng)一測(cè)試平臺(tái)- -無(wú)線(xiàn)測(cè)試自動(dòng)化測(cè)試升級(jí)測(cè)試字節(jié)碼分析安裝卸載設(shè)備管理借用管理真機(jī)訪(fǎng)問(wèn)設(shè)備管控應(yīng)用提測(cè)低耦合統(tǒng)一技術(shù)體系合作研發(fā)高

4、內(nèi)聚Monkey測(cè)試遍歷測(cè)試性能監(jiān)控安全掃描應(yīng)用打包質(zhì)量報(bào)告用例管理數(shù)據(jù)準(zhǔn)備UISDK應(yīng)用評(píng)價(jià)中心版本管理渠道管理評(píng)論中心無(wú)線(xiàn)mock揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過(guò)多源動(dòng)力與更大的推動(dòng)力！系統(tǒng)開(kāi)發(fā)精要POC原型驗(yàn)證與方案確認(rèn)項(xiàng)目迭代開(kāi)發(fā)周期管理Report與例會(huì)制度等發(fā)布與部署：數(shù)據(jù)庫(kù)與WEB部署項(xiàng)目管理一Url統(tǒng)一主干分支管理代碼評(píng)審與結(jié)對(duì)編程架構(gòu)、數(shù)據(jù)庫(kù)設(shè)計(jì)等評(píng)審相關(guān)規(guī)范CURD三層架構(gòu)、靜態(tài)資源共享Menu、Tab、Tree、Grid、ListView、Dropdown等通用組件公用組件，如Json、Email、旺旺、Ark等異常以及通知機(jī)制風(fēng)格統(tǒng)一統(tǒng)

5、一登錄與用戶(hù)管理權(quán)限管理域名統(tǒng)一標(biāo)準(zhǔn)工程模板業(yè)務(wù)抽象系統(tǒng)開(kāi)發(fā)技術(shù)沉淀、系統(tǒng)開(kāi)發(fā)效率提升、開(kāi)源與交流等揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過(guò)多源動(dòng)力與更大的推動(dòng)力！One Rule原則靜態(tài)資源，aqc-assets公共組件，aqc-common模塊A，Prj A模塊B，Prj B模塊C，Prj C工程組織公用的圖片、CSS、JS、Config等公用的GridView、Dropdown、Checkbox等公用的RichTextbox、Datetime控件等靜態(tài)資源與公共組件一個(gè)應(yīng)用，一個(gè)工程數(shù)據(jù)庫(kù)設(shè)計(jì)三層架構(gòu)開(kāi)發(fā)前端渲染系統(tǒng)發(fā)布開(kāi)發(fā)單位靜態(tài)資源共享通用組件共享應(yīng)用開(kāi)發(fā)隔

6、離數(shù)據(jù)庫(kù)隔離開(kāi)發(fā)原則One PersonOne PersonPeerPeer ReviewReviewOne AppOne AppOne DBOne DBueduedshareshareOne AppOne AppOne ProjectOne ProjectShare靜態(tài)資源 & One App & One Project & One DB & One Owner & Peer Review揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過(guò)多源動(dòng)力與更大的推動(dòng)力！安裝、卸載、啟動(dòng)、升級(jí)方案特色方案特色代碼在線(xiàn)瀏覽問(wèn)題在線(xiàn)排查傻瓜化Web操

7、作支持PC與Mobile應(yīng)用選擇設(shè)備選擇設(shè)備用戶(hù)擁有的系統(tǒng)提供的運(yùn)行測(cè)試運(yùn)行測(cè)試發(fā)送請(qǐng)求Controller執(zhí)行測(cè)試結(jié)果測(cè)試結(jié)果Controller結(jié)果返回結(jié)果分析結(jié)果分析安裝情況卸載情況啟動(dòng)情況應(yīng)用上傳應(yīng)用上傳上傳新應(yīng)用選擇已有應(yīng)用揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過(guò)多源動(dòng)力與更大的推動(dòng)力！Monkey測(cè)試基本概念基本概念A(yù)ndroid命令行工具偽隨機(jī)用戶(hù)事件流穩(wěn)定性測(cè)試方案核心特性核心特性?xún)H針對(duì)應(yīng)用程序包不可定制事件流事件數(shù)量和頻率可定制運(yùn)行約束選項(xiàng)，如針對(duì)特定包典型示例典型示例l $ adb shell monkey -p

8、 -v 100P代表指定應(yīng)用v代表查看monkey生成的隨機(jī)事件數(shù)100代表隨機(jī)事件數(shù)方案特色方案特色參數(shù)可配置化原子化與集成化揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過(guò)多源動(dòng)力與更大的推動(dòng)力！字節(jié)碼測(cè)試靜態(tài)分析：靜態(tài)分析：在不執(zhí)行程序的前提下對(duì)其進(jìn)行分析的技術(shù)動(dòng)態(tài)分析：動(dòng)態(tài)分析：通過(guò)對(duì)靜態(tài)代碼進(jìn)行缺陷注入，執(zhí)行測(cè)試，發(fā)現(xiàn)隱含在異常流程中的邏輯錯(cuò)誤，以此校驗(yàn)上層應(yīng)用的穩(wěn)定性表現(xiàn) 。掃描策略配置掃描策略配置任務(wù)監(jiān)控定期或立即應(yīng)用信息配置應(yīng)用信息配置svn和envapp基本信息掃描結(jié)果掃描結(jié)果提交到CQ提供OpenApi缺陷流程缺陷流程開(kāi)發(fā)修復(fù)測(cè)試校驗(yàn)選擇場(chǎng)景選擇場(chǎng)景依賴(lài)、

9、網(wǎng)絡(luò)并發(fā)、硬件執(zhí)行并測(cè)試執(zhí)行并測(cè)試取遠(yuǎn)程class文件新class文件回傳方案特色方案特色代碼在線(xiàn)瀏覽問(wèn)題在線(xiàn)排查揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過(guò)多源動(dòng)力與更大的推動(dòng)力！性能監(jiān)測(cè)一源代碼級(jí)源代碼級(jí)方法級(jí)別的測(cè)試模塊級(jí)別的相互調(diào)用緩存策略的設(shè)計(jì)垃圾回收策略設(shè)計(jì)IO 操作的線(xiàn)程化異步第三方庫(kù)引用的消耗埋點(diǎn)自動(dòng)化測(cè)試硬件級(jí)硬件級(jí)不同品牌機(jī)型(Android有內(nèi)核被改造）不同API版本的性能優(yōu)化相關(guān)的改造不同機(jī)型硬件配備用戶(hù)場(chǎng)景級(jí)用戶(hù)場(chǎng)景級(jí)操作消耗的流量使用消耗量使用響應(yīng)速度使用中操作流暢度使用過(guò)程中crash率感知應(yīng)用啟動(dòng)時(shí)間無(wú)線(xiàn)測(cè)試平臺(tái)-性能數(shù)據(jù)分析揭示研發(fā)管理白

10、金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過(guò)多源動(dòng)力與更大的推動(dòng)力！性能監(jiān)測(cè)二方案特色方案特色常規(guī)性能數(shù)據(jù)采集支付寶埋點(diǎn)數(shù)據(jù)采集源碼級(jí)與場(chǎng)景級(jí)性能監(jiān)測(cè)性能監(jiān)測(cè)用戶(hù)場(chǎng)景管控嵌入式性能SDK性能代碼掃描設(shè)備管控采集引擎應(yīng)用管控性能指標(biāo)性能指標(biāo)內(nèi)存流量CPU電量操作響應(yīng)時(shí)間網(wǎng)絡(luò)響應(yīng)速度客戶(hù)端Crash率揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過(guò)多源動(dòng)力與更大的推動(dòng)力！自動(dòng)化測(cè)試方案特色方案特色統(tǒng)一平臺(tái)技術(shù)體系無(wú)線(xiàn)開(kāi)發(fā)提供UISDK用例特點(diǎn)用例特點(diǎn)PC端用例開(kāi)發(fā)手機(jī)端用例執(zhí)行用例java工程化用例apk化，通過(guò)UISDK進(jìn)一步復(fù)SDK整體方案整體方案自動(dòng)化自動(dòng)化UISD

11、KJava工程計(jì)劃管理調(diào)度管理CQ集成測(cè)試工程設(shè)備管理用例管理配置管理文件服務(wù)報(bào)表管理OpenApi數(shù)據(jù)準(zhǔn)備揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過(guò)多源動(dòng)力與更大的推動(dòng)力！設(shè)備管控設(shè)備管理設(shè)備管理設(shè)備入庫(kù)設(shè)備查詢(xún)OpenApi設(shè)備盤(pán)點(diǎn)借用管理借用管理設(shè)備申請(qǐng)借用審批設(shè)備歸還催還設(shè)備借用報(bào)告方案特色方案特色設(shè)備統(tǒng)一管理提供統(tǒng)一OpenApi真真機(jī)入口機(jī)入口可用訪(fǎng)問(wèn)真機(jī)借用揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過(guò)多源動(dòng)力與更大的推動(dòng)力！統(tǒng)一控制中心一真機(jī)訪(fǎng)問(wèn)真機(jī)訪(fǎng)問(wèn)應(yīng)用提測(cè)cmd命令真機(jī)操作ApiApi接口接口安裝卸載自動(dòng)化、遠(yuǎn)程命令執(zhí)行性能采集

12、Monkey測(cè)試日志、手機(jī)文件操作遠(yuǎn)程截圖WEB UI操作Api接口方案特色方案特色模塊解耦接口統(tǒng)一管理通過(guò)USB訪(fǎng)問(wèn)揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過(guò)多源動(dòng)力與更大的推動(dòng)力！統(tǒng)一控制中心二方案特色方案特色模塊解耦、接口統(tǒng)一通過(guò)USB訪(fǎng)問(wèn)破圖率業(yè)相比降低80% ControllerController架構(gòu)架構(gòu)用戶(hù)層操作層設(shè)備驅(qū)動(dòng)層真機(jī)設(shè)備觸屏功能命令執(zhí)行截圖功能日志抓取其他功能按鍵操作真機(jī)操作真機(jī)操作揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過(guò)多源動(dòng)力與更大的推動(dòng)力！遍歷測(cè)試盡可能模仿人的思維邏輯去做測(cè)試，可認(rèn)為是智能monkey可自動(dòng)躲避退出按鈕智能躲避重復(fù)操作時(shí)間控制可配置登錄更強(qiáng)大的webview插件支持，自動(dòng)發(fā)現(xiàn)鏈接方案特色方案特色作為隨機(jī)monkey測(cè)試有效補(bǔ)充智能monkey揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過(guò)多源動(dòng)力與更大的推動(dòng)力！遍歷測(cè)試盡可能模仿人的思維邏輯去做測(cè)試，可認(rèn)為是智能monkey可自動(dòng)躲避退出按鈕智能躲避重復(fù)操作時(shí)間控制可配置登錄