軟件測(cè)試流程分享

1、軟件測(cè)試流程分享目 錄整體流程各階段質(zhì)量評(píng)審方式和標(biāo)準(zhǔn)Bug分布CodeReview單元測(cè)試測(cè)試用例設(shè)計(jì)功能測(cè)試性能測(cè)試異常測(cè)試1. 整體流程測(cè)試溝通溝通紀(jì)要測(cè)試設(shè)計(jì)測(cè)試設(shè)計(jì)文檔測(cè)試執(zhí)行測(cè)試報(bào)告2. 各階段質(zhì)量評(píng)審方式和標(biāo)準(zhǔn)階段評(píng)審方式通過(guò)標(biāo)準(zhǔn)啟動(dòng)MRD需求設(shè)計(jì)評(píng)審項(xiàng)目相關(guān)人員達(dá)成一致，預(yù)判能實(shí)現(xiàn)項(xiàng)目目標(biāo)。編碼階段CodeReview代碼走查核心模塊和邏輯復(fù)雜模塊走查。單元測(cè)試由程序開(kāi)發(fā)人員完成函數(shù)覆蓋率90%行覆蓋率80%分支覆蓋率60%全面測(cè)試階段集成測(cè)試性能測(cè)試異常測(cè)試場(chǎng)景化測(cè)試與開(kāi)發(fā)人員共同review確認(rèn)達(dá)成項(xiàng)目設(shè)計(jì)目標(biāo)。預(yù)上線階段線上監(jiān)控設(shè)計(jì)災(zāi)備、預(yù)案小流量上線確認(rèn)穩(wěn)定性。上線線上

2、回歸測(cè)試 邏輯BUG 代碼做了錯(cuò)誤的事情，例如條件語(yǔ)句寫(xiě)錯(cuò)，變量未賦值等 銜接BUG 對(duì)象之間銜接時(shí)候出現(xiàn)錯(cuò)誤，例如接口之間傳遞參數(shù)出錯(cuò)等 渲染BUG 能夠用眼睛看出來(lái)的錯(cuò)誤，出現(xiàn)在UI 例如頁(yè)面布局與MRD不一致典型的BUG分布情況邏輯BUG銜接BUG渲染BUG邏輯銜接渲染出現(xiàn)概率高中低發(fā)現(xiàn)難度難一般容易修復(fù)代價(jià)高中低最理想的測(cè)試方法單元測(cè)試接口測(cè)試系統(tǒng)測(cè)試3. Bug分布DAODataServicePageServiceAction模板UTST，針對(duì)渲染和銜接BUGIT，針對(duì)銜接BUGhttp請(qǐng)求http應(yīng)答UT 針對(duì)邏輯BUGUTUTUT3. Bug分布并非所有的類都要做UT4. Cod

3、eReview何時(shí)進(jìn)行開(kāi)發(fā)人員每次提交代碼前，都應(yīng)通過(guò)本地單測(cè)并將代碼提交team間及測(cè)試人員Review，Reveiw通過(guò)后才能入庫(kù)。優(yōu)點(diǎn) 保持項(xiàng)目整體代碼風(fēng)格一致 團(tuán)隊(duì)間互相熟悉代碼 提前發(fā)現(xiàn)錯(cuò)誤 CodeReview 要點(diǎn) 遵守代碼規(guī)范，保持項(xiàng)目整體代碼風(fēng)格一致 邏輯錯(cuò)誤 異常條件考慮不足5. 單元測(cè)試單元測(cè)試開(kāi)發(fā)原則 短：一般在10行以內(nèi) 平：基本上都是順序執(zhí)行，沒(méi)有分支語(yǔ)句，沒(méi)有循環(huán)語(yǔ)句 快：一個(gè)用例執(zhí)行時(shí)間在毫秒級(jí)別 一致性：測(cè)試用例多次執(zhí)行，結(jié)果一致 原子性：測(cè)試用例的執(zhí)行結(jié)果，要么是PASS，要么是FAIL 獨(dú)立性：測(cè)試用例之間獨(dú)立，即測(cè)試用例的執(zhí)行順序不影響結(jié)果單元測(cè)試架構(gòu)工

4、具 c+單測(cè)框架：Gtest c+覆蓋率分析：Lcov python單測(cè)框架：unittest,nose java單測(cè)框架：Junit java覆蓋率分析：cobertura6. 測(cè)試用例設(shè)計(jì)輸入 細(xì)化的測(cè)試需求 測(cè)試的方法 相關(guān)的資源輸出 完成測(cè)試需求的數(shù)據(jù)設(shè)計(jì) 完成測(cè)試步驟 完成測(cè)試預(yù)期 可選：標(biāo)識(shí)別用例的優(yōu)先級(jí) 可選：和測(cè)試需求綁定 用例間的執(zhí)行順序測(cè)試分類： 功能測(cè)試 性能測(cè)試 異常測(cè)試6.1 功能測(cè)試對(duì)產(chǎn)品的各功能進(jìn)行驗(yàn)證，檢查產(chǎn)品是否達(dá)到用戶要求的功能。構(gòu)造輸入（正常/異常）測(cè)試數(shù)據(jù)（正常數(shù)據(jù)）配置文件（正常配置）測(cè)試環(huán)境（正常環(huán)境）測(cè)試步驟針對(duì)系統(tǒng)功能進(jìn)行驗(yàn)證檢查輸出數(shù)據(jù)：正確性

5、、新舊diff功能：正確性針對(duì)namespace、database 的增刪改查功能的系統(tǒng)測(cè)試。 測(cè)試輸入 測(cè)試數(shù)據(jù)：系統(tǒng)對(duì)外部數(shù)據(jù)沒(méi)有強(qiáng)依賴，測(cè)試使用數(shù)據(jù)可以進(jìn)行構(gòu)造 測(cè)試環(huán)境：?jiǎn)吸c(diǎn)server、后臺(tái)數(shù)據(jù)庫(kù) 系統(tǒng)配置：使用線上配置 測(cè)試步驟針對(duì)namespace、database的增刪改查，及交叉功能應(yīng)用常用測(cè)試設(shè)計(jì)方法進(jìn)行測(cè)試設(shè)計(jì)。 測(cè)試輸出檢查增刪改查的功能是否實(shí)現(xiàn)，數(shù)據(jù)是否正確。6.1 功能測(cè)試 舉例6.2 性能測(cè)試 - 基本概念極限性能穩(wěn)定性能預(yù)期負(fù)載性能性能壓力常態(tài)負(fù)載極限負(fù)載 壓力評(píng)估通過(guò)自動(dòng)化的測(cè)試工具模擬多種正常、峰值以及異常負(fù)載條件來(lái)對(duì)系統(tǒng)的各項(xiàng)性能指標(biāo)進(jìn)行測(cè)試?；靖拍頒P

6、UIO內(nèi)存帶寬成功率超時(shí)率響應(yīng)時(shí)間并發(fā)用戶數(shù)資源指標(biāo)產(chǎn)品指標(biāo)資源指標(biāo)與硬件消耗直接相關(guān)。本質(zhì)反映的是成本問(wèn)題。產(chǎn)品指標(biāo)與場(chǎng)景需求直接相關(guān)。本質(zhì)反映的是效果問(wèn)題。 6.2 性能測(cè)試 關(guān)鍵指標(biāo)14step1分析對(duì)象設(shè)計(jì)原理 確認(rèn)資源消耗類型 確認(rèn)具體關(guān)注指標(biāo)性能測(cè)試場(chǎng)景設(shè)計(jì) 架構(gòu)部署方案設(shè)計(jì) 性能預(yù)期設(shè)計(jì)（穩(wěn)定、極限） 壓力方案設(shè)計(jì)step2step3step4step5環(huán)境、數(shù)據(jù)與工具選擇 環(huán)境（超時(shí)、線程、日志、硬件資源等） 數(shù)據(jù)（大小、讀寫(xiě)方式、cache機(jī)制） 工具選擇（線程池、連接方式、通信方式、壓力增加方式）執(zhí)行方案 執(zhí)行輪次優(yōu)化（對(duì)比方案）結(jié)果指標(biāo)分析 指標(biāo)組合判斷 性能指標(biāo)評(píng)估 瓶

7、頸判斷 優(yōu)化方案設(shè)計(jì)6.2 性能測(cè)試 測(cè)試方案設(shè)計(jì)6.2 性能測(cè)試 舉例消息發(fā)送平臺(tái)接口測(cè)試 測(cè)試目的：測(cè)試線上單臺(tái)機(jī)器消息發(fā)送接口的發(fā)送能力（系統(tǒng)入口接受外部請(qǐng)求的能力） 期望值：系統(tǒng)入口：2000QPS，單機(jī)500QPS（線上共四臺(tái)機(jī)器）；CUP_IDLE : 30以上。 性能測(cè)試過(guò)程：(1) 搭建性能測(cè)試環(huán)境，準(zhǔn)備線上測(cè)試機(jī)器并構(gòu)造壓測(cè)數(shù)據(jù)(2) 起壓線程，從10300，依次增加，遇到瓶頸后，尋找臨界屆值的點(diǎn)(3) 發(fā)送請(qǐng)求數(shù)：隨著線程的增加，請(qǐng)求數(shù)略有增加，保證壓測(cè)時(shí)間不低于200s6.2 性能測(cè)試 舉例性能測(cè)試結(jié)果分析：線程線程數(shù)數(shù)總請(qǐng)總請(qǐng)求數(shù)求數(shù)壓測(cè)時(shí)壓測(cè)時(shí)間間s入口平入口平均均Q

8、PS接口接口平均平均響應(yīng)響應(yīng)時(shí)間時(shí)間Min響應(yīng)響應(yīng)時(shí)間時(shí)間Max響應(yīng)響應(yīng)時(shí)間時(shí)間ErrCPU_IDLE平均值平均值CPU_IDLE最低值最低值（min）備注備注11010w427234.142354740.00%98.3959125010w92.41082.144356760.00%98.0094壓力時(shí)間太短，后續(xù)增加請(qǐng)求數(shù)。3100100w9571044.9943521060.00%98.12595QPS負(fù)增長(zhǎng)。壓測(cè)時(shí)間過(guò)長(zhǎng)，減少數(shù)據(jù)量。410050w4231181.3833511580.00%98.54895可以繼續(xù)開(kāi)大線程數(shù)嘗試。520050w1702934.9653512110.00%

9、94.83387QPS增長(zhǎng)明顯。但壓測(cè)時(shí)間偏短630090w2883127.4903530010.34%（3056）36.96629Cpu_idle降至28接口部分請(qǐng)求丟失。CPU_IDLE也低至30左右?？紤]需要調(diào)低線程數(shù)，減少發(fā)送頻率。7 725075w2443072.4763513750.00%(7)31.96029發(fā)送發(fā)送75w個(gè)請(qǐng)求，丟個(gè)請(qǐng)求，丟失失7個(gè)。錯(cuò)誤率接近個(gè)。錯(cuò)誤率接近0。接近臨界點(diǎn)。接近臨界點(diǎn)。構(gòu)造系統(tǒng)的異常場(chǎng)景，檢查系統(tǒng)的穩(wěn)定性、正確性 構(gòu)造輸入測(cè)試數(shù)據(jù)（異常數(shù)據(jù)）配置文件（異常配置）測(cè)試環(huán)境（異常環(huán)境：CPU、內(nèi)存、磁盤(pán)、網(wǎng)絡(luò)、依賴系統(tǒng)異常） 測(cè)試步驟構(gòu)造各種異常場(chǎng)景 檢查輸出數(shù)據(jù)：是否正常，是否與正常場(chǎng)景存在diff性能：性能是否有波動(dòng)日志：查看系統(tǒng)內(nèi)部是否走進(jìn)異常分支，異常處理是否正確功能：是否與預(yù)期一致6.3 異常測(cè)試6.3 異常測(cè)試 舉例Id1標(biāo)題請(qǐng)求字段異常步驟構(gòu)造請(qǐng)求字段缺失、為空的情況，查看接口返回。http:/xxx/api/getrealtimeinfobynopost參數(shù)“flightno”:”5J110”,”token”:” 12345”預(yù)期接口會(huì)有相應(yīng)的錯(cuò)誤提示執(zhí)行結(jié)果通過(guò)1. 當(dāng)flightno取值為空或fli