自動(dòng)化測(cè)試平臺(tái)解決方案V

1、Smart Robot自動(dòng)化測(cè)試解決方案目錄1.迫切需要解決的問(wèn)題41.1.智能移動(dòng)設(shè)備的軟件系統(tǒng)和硬件方案的復(fù)雜組合，導(dǎo)致APP 實(shí)現(xiàn)多機(jī)型兼容難度大，投入大。41.2.敏捷開(kāi)發(fā)、迭代開(kāi)發(fā)，產(chǎn)品追求快速上線，導(dǎo)致回歸測(cè)試可靠性測(cè)試等任務(wù)重，形成測(cè)試工作量波峰。41.3.開(kāi)發(fā)框架多、開(kāi)發(fā)人員能力不足導(dǎo)致安全漏洞突出41.4.市場(chǎng)競(jìng)爭(zhēng)，產(chǎn)品同質(zhì)化嚴(yán)重，追求客戶體驗(yàn)差異化重要性凸現(xiàn)。42.自動(dòng)化測(cè)試平臺(tái)整體解決方案43.自動(dòng)化測(cè)試平臺(tái)實(shí)現(xiàn)功能53.1.兼容性測(cè)試系統(tǒng)5SMART 平臺(tái)5智能源碼掃描63.2.安全監(jiān)控系統(tǒng)8高精度電流監(jiān)控8監(jiān)控應(yīng)用及整機(jī)文件系統(tǒng).9監(jiān)控應(yīng)用及整機(jī)數(shù)據(jù)流量監(jiān)控，記錄非法

2、數(shù)據(jù)傳輸?shù)惹闆r9用戶行為跟蹤，監(jiān)控電話、短信、拍照、攝像、錄音等典型動(dòng)作103.3.性能測(cè)試系統(tǒng)10響應(yīng)時(shí)間測(cè)試系統(tǒng)10流暢度測(cè)試系統(tǒng)121. 面臨的問(wèn)題1.1.智能移動(dòng)設(shè)備的軟件系統(tǒng)和硬件方案的復(fù)雜組合，導(dǎo)致APP 實(shí)現(xiàn)多機(jī)型兼容難度大，投入大。1.2.敏捷開(kāi)發(fā)、迭代開(kāi)發(fā)，產(chǎn)品追求快速上線，導(dǎo)致回歸測(cè)試、可靠性測(cè)試等任務(wù)重，無(wú)法有效應(yīng)對(duì)測(cè)試工作量波峰。1.3.APP 開(kāi)發(fā)框架多、開(kāi)發(fā)人員能力不足導(dǎo)致安全漏洞突出1.4.軟件硬件設(shè)計(jì)交叉影響，性能優(yōu)化難度加大。2. 自動(dòng)化測(cè)試平臺(tái)整體解決方案為解決移動(dòng)應(yīng)用開(kāi)發(fā)商面臨的以問(wèn)題，結(jié)局方案設(shè)計(jì)如下。 可全面解決移動(dòng)應(yīng)用開(kāi)發(fā)面臨的兼容性問(wèn)題、安全性問(wèn)題

3、、測(cè)試工作量波峰、用戶體驗(yàn)問(wèn)題，并全程為移動(dòng)應(yīng)用的開(kāi)發(fā)保駕護(hù)航。整體解決方案兼容性測(cè)試系統(tǒng) ：智能源碼掃描，即通過(guò)解析APK 文件，將源碼與問(wèn)題特征庫(kù)自動(dòng)比對(duì)，查找兼容性問(wèn)題，并自動(dòng)生成測(cè)試報(bào)告。SMART 平臺(tái)，實(shí)現(xiàn)被測(cè)設(shè)備管理 + 測(cè)試用例制作、 管理、自動(dòng)化執(zhí)行、 并生成測(cè)試報(bào)告?？蓪?shí)現(xiàn)APP 的定制用例的多機(jī)自動(dòng)化運(yùn)行、適配性測(cè)試、功能及UI 測(cè)試；安全監(jiān)控系統(tǒng) ：監(jiān)測(cè)系統(tǒng)文件變化、監(jiān)測(cè)數(shù)據(jù)流量、耗電情況、監(jiān)控非法用戶行為等。性能測(cè)試系統(tǒng) ：通過(guò)專業(yè)的自動(dòng)化測(cè)試設(shè)備（硬件工具），測(cè)量流暢度卡頓數(shù)據(jù)、量化響應(yīng)時(shí)間指標(biāo)，為研發(fā)人員提供毫秒級(jí)數(shù)據(jù)，助力改善用戶體驗(yàn)。3. 解決方案的實(shí)現(xiàn)3.1

4、.兼容性測(cè)試系統(tǒng)平臺(tái)SMART 兼容性測(cè)試平臺(tái)，提供自動(dòng)化測(cè)試的解決方案，提供用例制作、管理、自動(dòng)化運(yùn)行、測(cè)試結(jié)果自動(dòng)校驗(yàn)。無(wú)需人員干預(yù)即可實(shí)現(xiàn)各類APP 自動(dòng)化用例的運(yùn)行，并自動(dòng)生成測(cè)試報(bào)告。測(cè)試步驟測(cè)試步驟a) 自動(dòng)化測(cè)試腳本開(kāi)發(fā)b) 真機(jī)運(yùn)行腳本c) 輸出測(cè)試報(bào)告測(cè)試框架測(cè)試框架通過(guò)手機(jī) usb 接口實(shí)現(xiàn)對(duì)手機(jī)的控制，完成測(cè)試工具及app 的下發(fā)，運(yùn)行及測(cè)試結(jié)果的拉取和展示。測(cè)試工具采用lua 腳本編寫(xiě)測(cè)試case，通過(guò)進(jìn)程注入技術(shù)獲取屏幕顯示信息， 結(jié)合 Touch 事件模擬，可以實(shí)現(xiàn)基于控件級(jí)別的復(fù)雜測(cè)試case，測(cè)試結(jié)果以 Log、屏幕截圖等形式輸出。平臺(tái)可實(shí)現(xiàn)的功能適配性測(cè)試 ：

5、進(jìn)行被測(cè)應(yīng)用的安裝、啟動(dòng)、運(yùn)行、卸載測(cè)試，驗(yàn)證在不同終端類型上是否存在安裝失敗、啟動(dòng)閃退、運(yùn)行崩潰等不兼容現(xiàn)象。功能及 UI 測(cè)試：支持遍歷測(cè)試以及業(yè)務(wù)主流程腳本測(cè)試，驗(yàn)證應(yīng)用功能，同時(shí)檢測(cè)是否存在黑邊、白屏、拉伸、混淆、變色等UI 問(wèn)題。系統(tǒng)性能檢測(cè) ：測(cè)試過(guò)程中需要獲取移動(dòng)終端設(shè)備CPU、內(nèi)存、流量耗用、電池性能等數(shù)據(jù)， 判斷應(yīng)用運(yùn)行的情況， 同時(shí)包括安裝時(shí)間、 啟動(dòng)時(shí)間、CPU均值占用、 CPU 峰值占用、內(nèi)存均值占用、內(nèi)存峰值占用、流量耗用、電池溫度、卸載時(shí)間等。測(cè)試報(bào)告： 所提供的測(cè)試結(jié)果報(bào)告，直觀全面，包括原始數(shù)據(jù)、匯總后的圖表展示以及故障點(diǎn)截圖，對(duì)應(yīng)的問(wèn)題log 信息，并支持離線

6、閱讀。兼容性測(cè)試報(bào)告智能源碼掃描使用該系統(tǒng)在研發(fā)階段即可發(fā)現(xiàn)代碼中的兼容性缺陷，直接給出問(wèn)題的定位，根源及解決方案。針對(duì)源代碼構(gòu)建靜態(tài)語(yǔ)法樹(shù)，輔以程序控制流和數(shù)據(jù)流分析，結(jié)合龐大的兼容性問(wèn)題特征庫(kù)和解決方案庫(kù)，準(zhǔn)確定位問(wèn)題代碼， 并直接提供已驗(yàn)證的解決方案。智能源碼掃描適配可覆蓋Android 系統(tǒng)所有功能點(diǎn)，涵蓋1300 多種兼容性問(wèn)題特征及解決方案，掃描支持機(jī)型超過(guò)500 款；10w 行級(jí)源碼 45s內(nèi)完成掃描，30w 行源碼 2 分鐘內(nèi)完成掃描， 60w 行源碼 5 分鐘內(nèi)完成掃描；包括 SDK 差異，缺陷分析的特征庫(kù)達(dá)到10000條以上。系統(tǒng)架構(gòu)問(wèn)題特征庫(kù)解決方案庫(kù)服務(wù)端客戶端提供問(wèn)題

7、來(lái)源提供解決方案源代碼掃描引擎定位問(wèn)題，代碼提供解決方案用戶端系統(tǒng)架構(gòu)系統(tǒng)包含客戶端和服務(wù)端兩個(gè)模塊：服務(wù)端：存儲(chǔ)適配問(wèn)題特征庫(kù)和解決方案庫(kù)，包含特征庫(kù)、解決方案庫(kù)、掃描引擎三大模塊?？蛻舳耍和ㄟ^(guò)在瀏覽器端上傳源代碼或apk，進(jìn)行智能源碼掃描，掃描結(jié)果定位問(wèn)題并給出對(duì)應(yīng)的解決方案。智能源碼掃描特征庫(kù)智能源碼掃描特征庫(kù)智能源碼掃描解決方案庫(kù)智能源碼掃描解決方案庫(kù)智能源碼掃描引擎智能源碼掃描引擎3.2.安全監(jiān)控系統(tǒng)安全監(jiān)控系統(tǒng)通過(guò)實(shí)時(shí)監(jiān)控終端的系統(tǒng)內(nèi)部的行為、狀態(tài)等，檢測(cè)并發(fā)現(xiàn)并定位安全問(wèn)題點(diǎn)， 為用戶報(bào)告查找潛在的軟硬件設(shè)計(jì)中的安全漏洞。規(guī)避造成信息泄露、耗用系統(tǒng)流量、文件系統(tǒng)篡改等安全隱患。高

8、精度電流監(jiān)控終端功耗自動(dòng)化測(cè)試模塊是一款通過(guò)自動(dòng)化操作手機(jī)終端，同時(shí)檢測(cè)、記錄、分析電流變化，該模塊可以自動(dòng)測(cè)試終端、應(yīng)用電流消耗情況，通過(guò)精準(zhǔn)的監(jiān)控手機(jī)電流的變化，進(jìn)而輔助分析手機(jī)電流變化的內(nèi)在原因。該模塊由終端自動(dòng)化測(cè)試模塊及電流監(jiān)控模塊組成。系統(tǒng)可檢測(cè)安捷倫等電源設(shè)備輸出的電流信息，并結(jié)合測(cè)試動(dòng)作分析，對(duì)系統(tǒng)進(jìn)行復(fù)測(cè)，提供測(cè)試報(bào)告等智能監(jiān)控安全電流閾值系統(tǒng)可設(shè)定終端設(shè)備工作時(shí)電流的閾值，在測(cè)試過(guò)程中全程監(jiān)控電流值，自動(dòng)分析并記錄超出閾值范圍的電流時(shí)刻及所運(yùn)行用例場(chǎng)景，進(jìn)而確定導(dǎo)致電流異常的 App 及其行為。系統(tǒng)具有自動(dòng)調(diào)整測(cè)試策略功能，即根據(jù)電流信息反向控制用例執(zhí)行場(chǎng)景。在發(fā)現(xiàn)電流異常

9、時(shí)自動(dòng)進(jìn)行異常處理及缺陷判定，系統(tǒng)集成的復(fù)測(cè)機(jī)制可對(duì)所運(yùn)行場(chǎng)景跟蹤測(cè)試，進(jìn)而判斷所執(zhí)行用例場(chǎng)景的功耗問(wèn)題。系統(tǒng)集成測(cè)試管理相關(guān)功能，可對(duì)測(cè)試用例、測(cè)試腳本、測(cè)試任務(wù)、測(cè)試報(bào)告等進(jìn)行有效管理。 可快速生成測(cè)試用例并投入使用，測(cè)試任務(wù)結(jié)束后即時(shí)生成測(cè)試報(bào)告，直觀顯示功耗測(cè)試結(jié)果。監(jiān)控應(yīng)用及整機(jī)文件系統(tǒng)系統(tǒng)對(duì)整機(jī)文件系統(tǒng)，包括系統(tǒng)文件及存儲(chǔ)卡文件全面進(jìn)行監(jiān)控，對(duì)于系統(tǒng)中植入的惡意進(jìn)程，或惡意APP 程序進(jìn)行監(jiān)測(cè)，當(dāng)系統(tǒng)文件發(fā)生篡改時(shí)進(jìn)行詳細(xì)記錄，最終匯總文件系統(tǒng)變更情況等。監(jiān)控應(yīng)用及整機(jī)數(shù)據(jù)流量監(jiān)控，記錄非法數(shù)據(jù)傳輸?shù)惹闆r系統(tǒng)能夠監(jiān)控整機(jī)及某個(gè)指定應(yīng)用的數(shù)據(jù)流量，通過(guò)監(jiān)控?cái)?shù)據(jù)流量的方式，能夠監(jiān)測(cè)某些

10、不應(yīng)使用數(shù)據(jù)流量的應(yīng)用或時(shí)機(jī)，通過(guò)分析這些異常的流量指標(biāo)，進(jìn)而發(fā)現(xiàn)系統(tǒng)中對(duì)應(yīng)存在的使用流量的相關(guān)非法操作。用戶行為跟蹤，監(jiān)控電話、短信、拍照、攝像、錄音等典型動(dòng)作開(kāi)啟用戶行為跟蹤后，系統(tǒng)將監(jiān)控用戶電話、短信、拍照、攝像、錄音等功能，一旦系統(tǒng)發(fā)生了上述行為，系統(tǒng)將一一記錄，如典型的竊密流程：通過(guò)后臺(tái)進(jìn)程以靜默方式開(kāi)啟錄音，并通過(guò)數(shù)據(jù)通道傳至某個(gè)遠(yuǎn)端位置，而后刪除當(dāng)前錄音。 以上三個(gè)動(dòng)作， 用戶行為檢測(cè)（錄音）、數(shù)據(jù)流量檢測(cè) （上傳至遠(yuǎn)端位置）、文件檢測(cè)（刪除錄音）系統(tǒng)都能夠一一截取。3.3.性能測(cè)試系統(tǒng)（ FTS 系統(tǒng)）性能測(cè)試系統(tǒng)采用點(diǎn)擊、滑動(dòng)、長(zhǎng)按、拖拽、按鍵等操作方法。通過(guò)外置電子眼工業(yè)相

11、機(jī)， 對(duì)操作過(guò)程中的終端進(jìn)行高速跟蹤、測(cè)試，進(jìn)而準(zhǔn)確度量終端性能指標(biāo)，有效改善用戶體驗(yàn)。響應(yīng)時(shí)間測(cè)試系統(tǒng)（ RTS 系統(tǒng)）相應(yīng)時(shí)間是指移動(dòng)應(yīng)用對(duì)其操作（點(diǎn)擊、拖拽、滑動(dòng)等）的響應(yīng)時(shí)間，響應(yīng)時(shí)間測(cè)試系統(tǒng)采用人工操作加高幀相機(jī)的方式計(jì)算移動(dòng)應(yīng)用的相應(yīng)時(shí)間，精確的測(cè)試了相應(yīng)的起始時(shí)間，量化移動(dòng)應(yīng)用的響應(yīng)時(shí)間。集成電子眼、觸控傳感器等高端設(shè)備準(zhǔn)確計(jì)算設(shè)備響應(yīng)性能響應(yīng)時(shí)間測(cè)試系統(tǒng)系統(tǒng)采用電子眼相機(jī)并配合觸控傳感器，捕獲用戶的操作過(guò)程。 如用戶需檢測(cè)滑屏?xí)r間，只需將設(shè)備置于測(cè)試工作臺(tái)之上，電子眼自動(dòng)及時(shí)跟蹤設(shè)備界面的變化，當(dāng)用戶完成滑屏動(dòng)作后， 智能分析軟件分析幀圖變化并自動(dòng)查找動(dòng)作起始點(diǎn)及結(jié)束點(diǎn)，計(jì)算兩

12、者之間的時(shí)間差，最終量化響應(yīng)時(shí)間。智能視覺(jué)圖像處理技術(shù)，快速、準(zhǔn)確識(shí)別和分析圖像電子眼對(duì)置于工作平臺(tái)上的設(shè)備進(jìn)行監(jiān)控，并逐幀進(jìn)行圖像抓取，圖像分析模塊對(duì)大量的圖像數(shù)據(jù)進(jìn)行比對(duì)，智能分析圖像變化， 檢索最有價(jià)值的圖像信息。智能捕獲用戶觸屏過(guò)程通過(guò)高頻手勢(shì)感應(yīng)技術(shù)快速捕獲用戶操作過(guò)程系統(tǒng)采用智能觸控傳感器，監(jiān)控用戶對(duì)設(shè)備的觸控過(guò)程，短時(shí)間內(nèi)可獲取大量觸控?cái)?shù)據(jù)， 并捕獲每一幀數(shù)據(jù)變化。 輔以手勢(shì)智能分析模塊， 對(duì)壓力數(shù)據(jù)進(jìn)行分析，確定觸控?cái)?shù)據(jù)中的按下、滑動(dòng)、抬起等一系列動(dòng)作，從而確定一組最有效的觸控操作過(guò)程。高頻手勢(shì)感應(yīng)數(shù)據(jù)（手勢(shì)為按下后抬起）高速數(shù)據(jù)處理芯片可即時(shí)運(yùn)算電子眼、智能傳感器產(chǎn)生的海量數(shù)

13、據(jù)系統(tǒng)采用超高速圖像分析技術(shù)及智能觸控?cái)?shù)據(jù)分析技術(shù)，高速計(jì)算圖像及觸控?cái)?shù)據(jù)。高速數(shù)據(jù)處理模塊在保證及時(shí)處理數(shù)據(jù)的同時(shí)，將有效的圖像及觸控?cái)?shù)據(jù)進(jìn)行智能拼接，并以最小的內(nèi)存及CPU 開(kāi)銷，最優(yōu)的處理方式合理的分配資源，并實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)。圖像差異識(shí)別、智能比對(duì)等圖形算法有效保證準(zhǔn)確計(jì)算設(shè)備響應(yīng)時(shí)間通過(guò)差異化比對(duì)方式處理設(shè)備界面變化圖像，以 60 幀/ 秒的攝像頭為例， 每秒鐘捕獲到 60 張圖片。若無(wú)有效的差異存儲(chǔ)技術(shù)， 則每秒鐘需要處理60張圖片，所有圖片均需存儲(chǔ)到磁盤(pán)用以配合傳感器分析用戶動(dòng)作及界面響應(yīng)情況，因而磁盤(pán) I/O 及 CPU 計(jì)算速度會(huì)大大影響計(jì)算效能。同時(shí)，若采用差異化處理方式，只存

14、儲(chǔ)變化圖片，會(huì)大大減少需要處理的圖片數(shù)量，以最少的磁盤(pán)開(kāi)銷、I/O 寫(xiě)入頻率及 CPU 運(yùn)算速度處理圖片，從而將更多的資源留給電子眼及觸控傳感器使用。以保證響應(yīng)時(shí)間計(jì)算的準(zhǔn)確性。流暢度測(cè)試系統(tǒng)流暢度測(cè)試系統(tǒng)完全滿足移動(dòng)應(yīng)用開(kāi)發(fā)商對(duì)流暢度測(cè)試的要求，結(jié)合多年圖像處理、軟件算法等眾多領(lǐng)域的經(jīng)驗(yàn)，可以精準(zhǔn)量化手機(jī)卡頓過(guò)程相關(guān)數(shù)據(jù)，進(jìn)而準(zhǔn)確測(cè)量終端的流暢度指標(biāo)。圖像輪廓識(shí)別技術(shù)，測(cè)量手機(jī)流暢度相關(guān)指標(biāo)，分析手機(jī)流暢度瓶頸系統(tǒng)對(duì)流暢度測(cè)試結(jié)果進(jìn)行全方位、立體化的分析， 量化用戶對(duì)手機(jī)流暢度感知最明顯的指標(biāo)項(xiàng)，如列表滑動(dòng)時(shí)最大連續(xù)卡頓幀數(shù)， 滑動(dòng)過(guò)程的卡頓總幀數(shù)，以及平均卡頓幀數(shù)等數(shù)據(jù)?？D幀數(shù)指標(biāo)匯總系

15、統(tǒng)提供對(duì)同一測(cè)試場(chǎng)景的不同測(cè)試結(jié)果進(jìn)行對(duì)比分析的功能，可逐幀播放，從而查看并對(duì)比兩款手機(jī)或同一款手機(jī)的兩次測(cè)試結(jié)果的流暢度情況，以及卡頓點(diǎn)出現(xiàn)的位置等。同步逐幀播放測(cè)試結(jié)果，對(duì)比測(cè)試過(guò)程同時(shí)可對(duì)多機(jī)型測(cè)試結(jié)果進(jìn)行對(duì)比分析，得出相同用例在多個(gè)不同機(jī)型手機(jī)上的流暢度表現(xiàn)，進(jìn)而對(duì)提高手機(jī)流暢度提供數(shù)據(jù)支持。多款機(jī)型流暢度指標(biāo)對(duì)比集成電子眼工業(yè)級(jí)相機(jī)，采集手機(jī)界面元素，捕獲運(yùn)動(dòng)過(guò)程系統(tǒng)集成高幀工業(yè)級(jí)電子眼， 利用圖像識(shí)別技術(shù)，可大大提高圖像對(duì)比精度，準(zhǔn)確判斷、分析手機(jī)畫(huà)面的變化過(guò)程。智能視覺(jué)圖形處理技術(shù)，快速、準(zhǔn)確識(shí)別和分析圖像元素輪廓系統(tǒng)內(nèi)置圖形處理技術(shù)， 對(duì)電子眼拍攝的海量數(shù)據(jù)進(jìn)行掃描分析，圖形處理模塊將圖像進(jìn)行分解， 基于灰度閾值進(jìn)行圖像分割， 利用數(shù)學(xué)形態(tài)學(xué)方法對(duì)二值圖像進(jìn)行缺陷修補(bǔ)，通過(guò)鏈碼跟蹤存儲(chǔ)輪廓信息，實(shí)現(xiàn)輪廓的快速提取與存儲(chǔ)，進(jìn)而判斷輪廓的位移量及速度等數(shù)據(jù)。智能追蹤畫(huà)面元素的位移及速度，自動(dòng)分析運(yùn)動(dòng)過(guò)程卡幀數(shù)據(jù)電子眼對(duì)置于工作平臺(tái)上的設(shè)備進(jìn)行拍攝，并逐幀進(jìn)行圖像抓取， 圖形分析模塊對(duì)大量的圖像數(shù)據(jù)進(jìn)行分析，記錄圖像變化過(guò)程。 如一個(gè)滑屏操作， 圖形處理分析模塊智能匹配圖標(biāo)的顯示過(guò)程的虛影信息，根據(jù)虛影的變化過(guò)程判斷是否發(fā)生卡頓。智能捕獲圖標(biāo)變化過(guò)程