APP端側(cè)數(shù)據(jù)智能化測試實踐

1、APP端側(cè)數(shù)據(jù)智能化測試實踐2APP適配測試1基于數(shù)據(jù)智能化的分層測試實踐目錄質(zhì)量 目標(biāo)結(jié)果質(zhì)量APP版本質(zhì)量核心項目質(zhì)量過程質(zhì)量PMO質(zhì)量效能文化線上質(zhì)量監(jiān)控客戶質(zhì)量質(zhì)量 策略 &無線 平臺功能測試分層自動化主干用例UI接口灰度機制單元測試驗收測試SDK測試APP專項適配性能55318網(wǎng)絡(luò)安全多語言多幣種數(shù)據(jù)智能測試請求系列 APPmock埋點自動 化適配Monkey快速適配深度遍歷穩(wěn)定性適 配真機遠程真機租用H5適配 多機同步輔助工具Debug工具包管理 發(fā)布記錄質(zhì)量基建用例庫測試環(huán)自動化境平臺無線設(shè)備機房管理運維APP打包埋點平臺平臺數(shù)據(jù) 銀行監(jiān)控 體系A(chǔ)PP質(zhì)量保障體系無線適配：設(shè)備碎

2、片化無線適配：需要解決的問題收集解決驗證發(fā)現(xiàn)Monkey高效的覆蓋更多的場景，發(fā)現(xiàn)更多有效crashMonkey策略演進Monkey3.0實現(xiàn)原理AccessibilityNodeInfo主要方法getBoundsInScreen (RectoutBounds)getViewIdResourceName()getClassName()isClickable()isScrollable()isLongClickable()Monkey3.0實現(xiàn)原理Monkey3.0實現(xiàn)原理使用Accessibility替代坐標(biāo)事件，提升事件注入效率解析App權(quán)限并賦權(quán)，防止因權(quán)限申請失敗而影響測試接入監(jiān)測App

3、進程狀態(tài)，發(fā)現(xiàn)跳出App立即切回接入ActivityController，增加黑名單功能，加強Monkey自控能力Monkey3.0效果對比對比Monkey1.0Monkey2.0Monkey3.0Activity覆蓋率59.35%81.59%Crash/leaks1866App進程監(jiān)控NOYESYES支持精準(zhǔn)點擊NOYESYES黑名單監(jiān)控NOYESYES權(quán)限處理NONOYES設(shè)備穩(wěn)定性可拓展性YESNOYES支持平臺全版本Android 5.0+全版本2APP適配測試1基于數(shù)據(jù)智能化的分層測試實踐目錄測試數(shù)據(jù)傳統(tǒng)數(shù)據(jù)新數(shù)據(jù)性能數(shù)據(jù)DB增 刪改 數(shù)據(jù)用戶 行為 數(shù)據(jù)請求 數(shù)據(jù)多語 言，多 幣種

4、Crash 數(shù)據(jù)測試 用例包信 息源代碼認(rèn)識數(shù)據(jù)，為我所用BRD交互文檔視覺文檔測試用例測試數(shù)據(jù)執(zhí)行測試賬號商品數(shù)據(jù)訂單數(shù)據(jù)。賬號商品數(shù)據(jù)訂單數(shù)據(jù)。賬號商品數(shù)據(jù)訂單數(shù)據(jù)。功能 測試性能 測試傳統(tǒng)數(shù)據(jù)的使用公司logo線上數(shù)據(jù)線下數(shù)據(jù)Monkey手工測試UI自動化埋點數(shù)據(jù)用戶行為數(shù) 據(jù)請求數(shù)據(jù)性能數(shù)據(jù)Crash路徑intent數(shù)據(jù)專項測試多語言文案二三方依賴Activity包大小包權(quán)限協(xié)議包文件diff包分析包大小diff多語言檢測專項工具集發(fā)布包日志 分析包權(quán)限diff發(fā)布包驗證請求系列全鏈路壓測場景劃分采集渠道源數(shù)據(jù)專項 場景個性化源碼靜態(tài)數(shù)據(jù)APKMonkey 精 準(zhǔn)升級APP注入測試策略

5、買家畫像網(wǎng)關(guān)Crash平 臺埋點平臺多語言平 臺源碼分析文案diff依賴分析請求回放場景回放請求對比APP mock新數(shù)據(jù)使用思路-APP端側(cè)數(shù)據(jù)智能化測試應(yīng)用分析：包大小對比應(yīng)用分析：包文件對比應(yīng)用分析：原始文案對比應(yīng)用分析：依賴分析對比APP客戶端測試模式垂直化測試模式分端測試模式問題項目測試中，約定好了服務(wù)端聯(lián)調(diào)、發(fā)布時間，服務(wù)端delay 了，APP發(fā)版怎么應(yīng)對？日常測試中，服務(wù)端有小需求發(fā)布，如何評估對APP端的影響，APP端怎么快速配合驗證？APP端有了線上問題，發(fā)版來不及了，服務(wù)端通過發(fā)版后端服務(wù) 來兼容？總結(jié)：如何解決服務(wù)端與客戶端之間，端到端的相互依賴問題？服務(wù)端APP測試中

6、遇到的問題底層服務(wù)用戶貼近 用戶 場景 真實成本 效率問題定位網(wǎng)關(guān)客戶端網(wǎng)絡(luò)庫客戶端UI層APP分層測試請求數(shù)據(jù)RequestResponse策略請求對比請求回放場景回放APP Mock客 戶 端服 務(wù) 端策略應(yīng)用場景APP新版本 回歸測試APP網(wǎng)絡(luò)庫升級驗證服務(wù)端發(fā)布 驗證請求對比 請求回放 場景回放 APP MockAPP分層測試：應(yīng)用場景業(yè) 務(wù) 場 景核心業(yè)務(wù)場景分國家分區(qū)域普通業(yè)務(wù)場景首頁搜索detail購物車訂單激活P4P國家區(qū)域客戶端UI層客戶端網(wǎng)絡(luò)庫統(tǒng)一接入層區(qū)域化路由網(wǎng)關(guān)底層服務(wù)客戶端UI自動化網(wǎng)關(guān)請求回放接口自動化底層接口自動化Request參數(shù)對比版本 比對基線比對Resp

7、onse對比客戶端網(wǎng)關(guān)客戶端場景回放對比元素 比對圖片比對App請求回放App請求參數(shù) 比對App場景回放服務(wù)端請求回放數(shù)據(jù)采集+清洗分層策略策略優(yōu)化結(jié)果展示APPrequest responseidb線 下 流 量應(yīng)用線 上流 量odpsRequest截 取 線 上n%流 量定 時 同 步APP分層測試：解決方案APP分層測試：請求數(shù)據(jù)處理邏輯數(shù)據(jù)采集APPrequest responseidb線 下 流 量應(yīng)用線 上流 量odpsRequest截 取 線 上n%流 量定 時 同 步APP ClientAPPversionAPI Name協(xié)議intentRequest KeyRequest

8、Key valueResponse基線新版 本數(shù) 據(jù)老版 本數(shù) 據(jù)數(shù)據(jù)處理清洗過濾合并去重白名單數(shù)據(jù)結(jié)果Request對比相同key不同key 數(shù)量數(shù)量相同key不同key 明細明細Response對比全量對比關(guān)鍵K-V 對比request網(wǎng)絡(luò)庫場景回放截圖 對比請求回放場景回放元素 對比intenthook請求對比：request效果-list對比請求名稱請 求 頁 面請求對比：request效果-詳情頁面請求參數(shù)對比請求參數(shù)對比請求對比：基線對比效果請 求 名 稱請求 詳情請求回放：response效果測試版本 request客戶端 網(wǎng)路庫測試 response基線 response對比基線requestService Mtop網(wǎng)關(guān)Android解決的問題無需再造測試數(shù)據(jù)，歷史數(shù)據(jù)持久化可復(fù)用；response增刪改功能，方便構(gòu)造異常數(shù)據(jù)；以網(wǎng)關(guān)層接口定義為標(biāo)準(zhǔn)，端到 端進行隔離測試，徹底降低端到 端的依賴iOSService AresponseDB