移動互聯(lián)網(wǎng)app測試流程及測試點版

1、移動互聯(lián)網(wǎng)APP測試流程及測試點（2014 版）1 APP測試基本流程1.1 流程圖接收版本不符App 測試版本符合送測規(guī)范UI 測試：核對仍然為測試環(huán)境rp/ 效果圖 進入正式環(huán)境FailPass1.2 測試周期功能測試：核對需求文檔測試周期可按項目的開發(fā)周期來確定測試時間，一般測試時間為兩三周（即 15 個工作日），根據(jù)項目情況以及版本質(zhì)量可適當縮短或延長測試時發(fā)送上線回兼容性測試、歸間。正式測試前先向主管確認項目排期。報告性能壓力測試測1.3 測試資源試測試任務(wù)開始前，檢查各項測試盡資快源申請。到正- 產(chǎn)品功能需求文檔；- 產(chǎn)品原型圖；- 產(chǎn)品效果圖；- 行為統(tǒng)計分析定義文檔；- 其他。

2、1.4 日報及產(chǎn)品上線報告式環(huán)境下測試后臺訂單統(tǒng)計測試用戶行為統(tǒng)計測試1）測試人員每天需對所測項目發(fā)送測試日報。2）測試日報所包含的內(nèi)容為：- 對當前測試版本質(zhì)量進行分級；- 對較嚴重的問題進行例舉，提示開發(fā)人員優(yōu)先修改；- 對版本的整體情況進行評估。3）產(chǎn)品上線前，測試人員發(fā)送產(chǎn)品上線報告。4）上線報告所包含的內(nèi)容為：- 對當前版本質(zhì)量進行分級；- 附上測試報告（功能測試報告、兼容性測試報告、性能測試報告以及app 可用性能標準結(jié)果）；- 總結(jié)上線版本的基本情況。若有遺留問題必須列出并記錄解決方案。2 App 測試點2.1 安全測試2.1.1 軟件權(quán)限1）扣費風險：包括發(fā)送短信、撥打電話、連

3、接網(wǎng)絡(luò)等2）隱私泄露風險：包括訪問手機信息、訪問聯(lián)系人信息等3）對 App 的輸入有效性校驗、認證、授權(quán)、敏感數(shù)據(jù)存儲、數(shù)據(jù)加密等方面進行檢測4）限制 / 允許使用手機功能接人互聯(lián)網(wǎng)5）限制 / 允許使用手機發(fā)送接受信息功能6）限制 / 允許應用程序來注冊自動啟動應用程序7）限制或使用本地連接8）限制 / 允許使用手機拍照或錄音9）限制 / 允許使用手機讀取用戶數(shù)據(jù)10) 限制 / 允許使用手機寫人用戶數(shù)據(jù)11) 檢測 App 的用戶授權(quán)級別、數(shù)據(jù)泄漏、非法授權(quán)訪問等2.1.2 安裝與卸載安全性1）應用程序應能正確安裝到設(shè)備驅(qū)動程序上2）能夠在安裝設(shè)備驅(qū)動程序上找到應用程序的相應圖標3）是否包

4、含數(shù)字簽名信息4）JAD文件和 JAR包中包含的所有托管屬性及其值必需是正確的5）JAD文件顯示的資料內(nèi)容與應用程序顯示的資料內(nèi)容應一致6）安裝路徑應能指定7）沒有用戶的允許 ,應用程序不能預先設(shè)定自動啟動8）卸載是否安全 ,其安裝進去的文件是否全部卸載9）卸載用戶使用過程中產(chǎn)生的文件是否有提示10）其修改的配置信息是否復原11）卸載是否影響其他軟件的功能12）卸載應該移除所有的文件2.1.3 數(shù)據(jù)安全性1）當將密碼或其他的敏感數(shù)據(jù)輸人到應用程序時 , 其不會被儲存在設(shè)備中, 同時密碼也不會被解碼2）輸人的密碼將不以明文形式進行顯示3）密碼 ,信用卡明細 ,或其他的敏感數(shù)據(jù)將不被儲存在它們預輸

5、人的位置上4）不同的應用程序的個人身份證或密碼長度必需至少在4 一8個數(shù)字長度之間5）當應用程序處理信用卡明細,或其他的敏感數(shù)據(jù)時,不以明文形式將數(shù)據(jù)寫到其它單獨的文件或者臨時文件中。以 6）防止應用程序異常終止而又沒有側(cè)除它的臨時文件 , 文件可能遭受人侵者的襲擊 , 然后讀取這些數(shù)據(jù)信息。7）當將敏感數(shù)據(jù)輸人到應用程序時,其不會被儲存在設(shè)備中8）備份應該加密 ,恢復數(shù)據(jù)應考慮恢復過程的異常?通訊中斷等 ,數(shù)據(jù)恢復后再使用前應該經(jīng)過校驗9）應用程序應考慮系統(tǒng)或者虛擬機器產(chǎn)生的用戶提示信息或安全替告10）應用程序不能忽略系統(tǒng)或者虛擬機器產(chǎn)生的用戶提示信息或安全警告 , 更不能在安全警告顯示前

6、, ，利用顯示誤導信息欺騙用戶，應用程序不應該模擬進行安全警告誤導用戶11）在數(shù)據(jù)刪除之前，應用程序應當通知用戶或者應用程序提供一個“取消”命令的操作12）“ 取消”命令操作能夠按照設(shè)計要求實現(xiàn)其功能13）應用程序應當能夠處理當不允許應用軟件連接到個人信息管理的情況14）當進行讀或?qū)懹脩粜畔⒉僮鲿r,應用程序?qū)蛴脩舭l(fā)送一個操作錯誤的提示信息15）在沒有用戶明確許可的前提下不損壞側(cè)除個人信息管理應用程序中的任何內(nèi)容16）應用程序讀和寫數(shù)據(jù)正確。17）應用程序應當有異常保護。18）如果數(shù)據(jù)庫中重要的數(shù)據(jù)正要被重寫,應及時告知用戶19）能合理地處理出現(xiàn)的錯誤20）意外情況下應提示用戶2.1.4 通

7、訊安全性1）在運行其軟件過程中 , 如果有來電、 SMS、EMS、MMS、藍牙、紅外等通訊或充電時 , 是否能暫停程序，優(yōu)先處理通信 , 并在處理完畢后能正?；謴蛙浖?, 繼續(xù)其原來的功能2）當創(chuàng)立連接時 ,應用程序能夠處理因為網(wǎng)絡(luò)連接中斷,進而告訴用戶連接中斷的情況3）應能處理通訊延時或中斷4）應用程序?qū)⒈３止ぷ鞯酵ㄓ嵆瑫r,進而發(fā)送給用戶一個錯誤信息指示有連接錯誤5）應能處理網(wǎng)絡(luò)異常和及時將異常情況通報用戶6）應用程序關(guān)閉或網(wǎng)絡(luò)連接不再使用時應及時關(guān)閉) 斷開7) HTTP、HTTPS覆蓋測試-App 和后臺服務(wù)一般都是通過 HTTP來交互的，驗證 HTTP環(huán)境下是否正常；- 公共免費網(wǎng)絡(luò)環(huán)

8、境中 （如：麥當勞、星巴克等）都要輸入用戶名和密碼，通過 SSL認證來訪問網(wǎng)絡(luò)，需要對使用 HTTP Client 的 library 異常作捕獲處理。2.1.5 人機接口安全性1）返回菜單總保持可用2）命令有優(yōu)先權(quán)順序3）聲音的設(shè)置不影響應用程序的功能4）應用程序必需利用目標設(shè)備適用的全屏尺寸來顯示上述內(nèi)容5）應用程序必需能夠處理不可預知的用戶操作 , 例如錯誤的操作和同時按下多個鍵2.2 安裝、卸載測試驗證 App 是否能正確安裝、運行、卸載資源的使用情況以及操作過程和操作前后對系統(tǒng)1）軟件在不同操作系統(tǒng) （Palm OS、Symbian、Linux 、Android 、iOS、Black

9、 Berry OS 6.0 、Windows Phone 7）下安裝是否正常。2）軟件安裝后的是否能夠正常運行，安裝后的文件夾及文件是否寫到了指定的目錄里。3）軟件安裝各個選項的組合是否符合概要設(shè)計說明4) ）軟件安裝向?qū)У?UI 測試5）軟件安裝過程是否可以取消，點擊取消后，寫入的文件是否如概要設(shè)計說明處理6）軟件安裝過程中意外情況的處理是否符合需求（如死機，重啟，斷電）7）安裝空間不足時是否有相應提示8）安裝后沒有生成多余的目錄結(jié)構(gòu)和文件9）對于需要通過網(wǎng)絡(luò)驗證之類的安裝，在斷網(wǎng)情況下嘗試一下10）還需要對安裝手冊進行測試，依照安裝手冊是否能順利安裝2.2.2 卸載1）直接刪除安裝文件夾卸

10、載是否有提示信息。2）測試系統(tǒng)直接卸載程序是否有提示信息。3）測試卸載后文件是否全部刪除所有的安裝文件夾。4）卸載過程中出現(xiàn)的意外情況的測試（如死機、斷電、重啟）。5）卸載是否支持取消功能，單擊取消后軟件卸載的情況。6）系統(tǒng)直接卸載UI 測試，是否有卸載狀態(tài)進度條提示。2.3 UI測試測試用戶界面 ( 如菜單、對話框、窗口和其它可規(guī)控件) 布局、風格是否滿足客戶要求、文字是否正確、頁面是否美觀、文字、圖片組合是否完美、操作是否友好等。UI 測試的目標是確保用戶界面會通過測試對象的功能來為用戶提供相應的訪問或瀏覓功能。確保用戶界面符合公司或行業(yè)的標準。包括用戶友好性、人性化、易操作性測試。1）按

11、鈕、對話框、列表和窗口等；或在不同的連接頁面之間需要導航2）是否易于導航，導航是否直觀3）是否需要搜索引擎4）導航幫助是否準確直觀5）導航與頁面結(jié)構(gòu)、菜單、連接頁面的風格是否一致2.3.2 圖形測試1）橫向比較。各控件操作方式統(tǒng)一2）自適應界面設(shè)計，內(nèi)容根據(jù)窗口大小自適應3）頁面標簽風格是否統(tǒng)一4）頁面是否美觀5）頁面的圖片應有其實際意義而要求整體有序美觀6）圖片質(zhì)量要高且圖片尺寸在設(shè)計符合要求的情況下應盡量小7）界面整體使用的顏色不宜過多2.3.3 內(nèi)容測試1）輸入框說明文字的內(nèi)容與系統(tǒng)功能是否一致2）文字長度是否加以限制3）文字內(nèi)容是否表意不明4）是否有錯別字5）信息是否為中文顯示6）是否

12、有敏感性詞匯、關(guān)鍵詞7）是否有敏感性圖片，如：涉及版權(quán)、專利、隱私等圖片2.4 功能測試根據(jù)軟件說明或用戶需求驗證 App的各個功能實現(xiàn)，采用如下方法實現(xiàn)并評估功能測試過程：1) 采用時間、地點、對象、行為和背景五元素或業(yè)務(wù)分析等方法分析、提煉 App 的用戶使用場景，對比說明或需求，整理出內(nèi)在、外在及非功能直接相關(guān)的需求，構(gòu)建測試點，并明確測試標準，若用戶需求中無明確標準遵循，則需要參考行業(yè)或相關(guān)國際標準或準則。2) 根據(jù)被測功能點的特性列丼出相應類型的測試用例對其進行覆蓋，如；涉及輸入的地方需要考慮等價、邊界、負面、異?；蚍欠?、場景回滾、關(guān)聯(lián)測試等測試類型對其進行覆蓋。3) 在測試實現(xiàn)的各

13、個階段跟蹤測試實現(xiàn)與需求輸入的覆蓋情況，及時修正業(yè)務(wù)或需求理解錯誤。1）App安裝完成后的試運行，可正常打開軟件。2）App打開測試，是否有加載狀態(tài)進度提示。3）App打開速度測試，速度是否可觀。4）App頁面間的切換是否流暢，邏輯是否正確5）注冊- 同表單編輯頁面- 用戶名密碼長度- 注冊后的提示頁面- 前臺注冊頁面和后臺的管理頁面數(shù)據(jù)是否一致- 注冊后，在后臺管理中頁面提示6）登錄- 使用合法的用戶登錄系統(tǒng)。- 系統(tǒng)是否允許多次非法的登陸，是否有次數(shù)限制。- 使用已經(jīng)登陸的賬號登陸系統(tǒng)是否正確處理。- 使用禁用的賬號登陸系統(tǒng)是否正確處理。- 用戶名、口令（密碼）錯誤或漏填時能否登陸。- 刪

14、除或修改后的用戶，原用戶登陸。- 不輸入用戶口令和用戶、重復點（確定或取消按鈕）是否允許登陸。- 登陸后，頁面中登陸信息。- 頁面中有注銷按鈕。- 登陸超時的處理。7）注銷- 注銷原模塊，新的模塊系統(tǒng)能否正確處理。- 終止注銷能否返回原模塊，原用戶。- 注銷原用戶，新用戶系統(tǒng)能否正確處理。- 使用錯誤的賬號、口令、無權(quán)限的被禁用的賬號進行注銷2.4.2 應用的前后臺切換1) APP 切換到后臺，再回到 app，檢查是否停留在上一次操作界面。2) APP切換到后臺，再回到 app，檢查功能及應用狀態(tài)是否正常， IOS4 和3) app 切換到后臺，再回到前臺時，注意程序是否崩潰，功能狀態(tài)是否正常

15、，尤其是對于從后臺切換回前臺數(shù)據(jù)有自動更新的時候。4) 手機鎖屏解屏后進入 app 注意是否會崩潰，功能狀態(tài)是否正常，尤其是對于從后臺切換回前臺數(shù)據(jù)有自動更新的時候。5) 當 App使用過程中有電話進來中斷后再切換到 app，功能狀態(tài)是否正常6) 當殺掉 app 進程后，再開啟 app，app 能否正常啟動。7) 出現(xiàn)必須處理的提示框后，切換到后臺，再切換回來，檢查提示框是否還存在，有時候會出現(xiàn)應用自動跳過提示框的缺陷。8) 對于有數(shù)據(jù)交換的頁面，每個頁面都必需要進行前后臺切換、鎖屏的測試，這種頁面最容易出現(xiàn)崩潰。2.4.3 免登錄很多應用提供免登錄功能，當應用開啟時自動以上一次登錄的用戶身份

16、來使用 app.1) app 有免登錄功能時，需要考慮 IOS版本差異。2) 考慮無網(wǎng)絡(luò)情況時能否正常進入免登錄狀態(tài)。3) 切換用戶登錄后，要校驗用戶登錄信息及數(shù)據(jù)內(nèi)容是否相應更新，確保原用戶退出。4) 根據(jù) MTOP的現(xiàn)有規(guī)則，一個帳戶只允許登錄一臺機器。所以，需要檢查一個帳戶登錄多臺手機的情況。原手機里的用戶需要被踢出，給出友好提示。5) app 切換到后臺，再切回前臺的校驗6) 切換到后臺，再切換回前臺的測試7) 密碼更換后，檢查有數(shù)據(jù)交換時是否進行了有效身份的校驗8) 支持自動登錄的應用在進行數(shù)據(jù)交換時，檢查系統(tǒng)是否能自動登錄成功并且數(shù)據(jù)操作無誤。9) 檢查用戶主動退出登錄后，下次啟動

17、 app，應停留在登錄界面2.4.4 數(shù)據(jù)更新根據(jù)應用的業(yè)務(wù)規(guī)則，以及數(shù)據(jù)更新量的情況，來確定最優(yōu)的數(shù)據(jù)更新方案。1) 需要確定哪些地方需要提供手動刷新，哪些地方需要自動刷新，哪些地方需要手動 +自動刷新。2) 確定哪些地方從后臺切換回前臺時需要進行數(shù)據(jù)更新。3) 根據(jù)業(yè)務(wù)、速度及流量的合理分配，確定哪些內(nèi)容需要實時更新，哪些需要定時更新。4) 確定數(shù)據(jù)展示部分的處理邏輯，是每次從服務(wù)端請求，還是有緩存到本地，這樣才能有針對性的進行相應測試。5) 檢查有數(shù)據(jù)交換的地方，均有相應的異常處理。2.4.5 離線瀏覽很多應用會支持離線瀏覽，即在本地客戶端會緩存一部分數(shù)據(jù)供用戶查看。1) 在無網(wǎng)絡(luò)情況可

18、以瀏覽本地數(shù)據(jù)2) 退出 app 再開啟 app 時能正常瀏覽3) 切換到后臺再切回前臺可以正常瀏覽4) 鎖屏后再解屏回到應用前臺可以正常瀏覽5) 在對服務(wù)端的數(shù)據(jù)有更新時會給予離線的相應提示2.4.6 App更新1) 當客戶端有新版本時，有更新提示。2) 當版本為非強制升級版時，用戶可以取消更新，老版本能正常使用。用戶在下次啟動 app 時，仍能出現(xiàn)更新提示。3) 當版本為強制升級版時，當給出強制更新后用戶沒有做更新時，退出客戶端。下次啟動 app 時，仍出現(xiàn)強制升級提示。4) 當客戶端有新版本時，在本地不刪除客戶端的情況下，直接更新檢查是否能正常更新。5) 當客戶端有新版本時，在本地不刪除

19、客戶端的情況下，檢查更新后的客戶端功能是否是新版本。6) 當客戶端有新版本時，在本地不刪除客戶端的情況下，檢查資源同名文件如圖片是否能正常更新成最新版本。如果以上無法更新成功的，也都屬于缺陷。2.4.7 定位、照相機服務(wù)1) App 有用到相機，定位服務(wù)時，需要注意系統(tǒng)版本差異2) 有用到定位服務(wù)、照相機服務(wù)的地方，需要進行前后臺的切換測試，檢查應用是否正常。3) 當定位服務(wù)沒有開啟時，使用定位服務(wù)，會友好性彈出是否允許設(shè)置定位提示。當確定允許開啟定位時，能自動跳轉(zhuǎn)到定位設(shè)置中開啟定位服務(wù)。4) 測試定位、照相機服務(wù)時，需要采用真機進行測試。2.4.8 時間測試客戶端可以自行設(shè)置手機的時區(qū)、時

20、間，因此需要校驗該設(shè)置對 app 的影響。- 中國為東 8 區(qū)，所以當手機設(shè)置的時間非東8 區(qū)時，查看需要顯示時間的地方，時間是否展示正確，應用功能是否正常。時間一般需要根據(jù)服務(wù)器時間再轉(zhuǎn)換成客戶端對應的時區(qū)來展示，這樣的用戶體驗比較好。比如發(fā)表一篇微博在服務(wù)端記錄的是 10：00，此時，華盛頓時間為 22：00，客戶端去瀏覽時， 如果設(shè)置的是華盛頓時間 , 則顯示的發(fā)表時間即為 22:00, 當時間設(shè)回東 8 區(qū)時間時，再查看則顯示為 10：00。2.4.9 PUSH 測試1) 檢查 push 消息是否按照指定的業(yè)務(wù)規(guī)則發(fā)送2) 檢查不接受推送消息時，檢查用戶不會再接收到 push.3) 如

21、果用戶設(shè)置了免打擾的時間段，檢查在免打擾時間段內(nèi)，用戶接收不到 PUSH。在非免打擾時間段，用戶能正常收到 push。4) 當 push 消息是針對登錄用戶的時候，需要檢查收到的push 與用戶身份是否相符，沒有錯誤地將其它人的消息推送過來。一般情況下，只對手機上最后一個登錄用戶進行消息推送。5) 測試 push 時，需要采用真機進行測試。2.5 性能測試評估 App 的時間和空間特性：1) 極限測試：在各種邊界壓力情況下，如電池、存儲、網(wǎng)速等，驗證 App 是否能正確響應。- 內(nèi)存滿時安裝 App- 運行 App 時手機斷電- 運行 App 時斷掉網(wǎng)絡(luò)2) 響應能力測試：測試 App 中的各

22、類操作是否滿足用戶響應時間要求。-App 安裝、卸載的響應時間-App 各類功能性操作的影響時間3) 壓力測試：反復 / 長期操作下、系統(tǒng)資源是否占用異常。-App 反復進行安裝卸載，查看系統(tǒng)資源是否正常- 其他功能反復進行操作，查看系統(tǒng)資源是否正常4) 性能評估：評估典型用戶應用場景下，系統(tǒng)資源的使用情況。5)Benchmark 測試（基線測試）：與競爭產(chǎn)品的 Benchmarking, 產(chǎn)品演變對比測試等。2.6 交叉事件測試針對智能終端應用的服務(wù)等級劃分方式及實時特性所提出的測試方法。交叉測試又叫事件或沖突測試，是指一個功能正在執(zhí)行過程中，同時另外一個事件或操作對該過程進行干擾的測試。如

23、；App在前 / 后臺運行狀態(tài)時與來電、文件下載、音樂收聽等關(guān)鍵運用的交互情況測試等。交叉事件測試非常重要，能發(fā)現(xiàn)很多應用中潛在的性能問題。1）多個 App同時運行是否影響正常功能2）App 運行時前 / 后臺切換是否影響正常功能3）App 運行時撥打 / 接聽電話4）App 運行時發(fā)送 / 接收信息5）App 運行時發(fā)送 / 收取郵件6）App 運行時切換網(wǎng)絡(luò)（ 2G、3G、wifi ）7）App 運行時瀏覽網(wǎng)絡(luò)8）App 運行時使用藍牙傳送 / 接收數(shù)據(jù)9）App 運行時使用相機、計算器等手機自帶設(shè)備2.7 兼容測試主要測試內(nèi)部和外部兼容性1）與本地及主流App 是否兼容2）基于開發(fā)環(huán)境和

24、生產(chǎn)環(huán)境的不同， 檢驗在各種網(wǎng)絡(luò)連接下 (WiFi 、GSM、GPRS、EDGE、WCDMA、CDMA1x、CDMA2000、HSPDA等) ，App 的數(shù)據(jù)和運用是否正確3）與各種設(shè)備是否兼容，若有跨系統(tǒng)支持則需要檢驗是否在各系統(tǒng)下，各種行為是否一致- 不同操作系統(tǒng)的兼容性，是否適配- 不同手機屏幕分辨率的兼容性- 不同手機品牌的兼容性2.8 回歸測試1）Bug修復后且在新版本發(fā)布后需要進行回歸測試。2）Bug修復后的回歸測試在交付前、要進行全量用例的回歸測試。2.9 升級、更新測試新版版發(fā)布后，配合不同網(wǎng)絡(luò)環(huán)境的自勱更新提示及下載、安裝、更新、啟勱、運行的驗證測試。1）測試升級后的功能是否

25、與需求說明一樣2）測試與升級模塊相關(guān)的模塊的功能是否與需求一致3）升級安裝意外情況的測試（如死機、斷電、重啟）4）升級界面的 UI 測試5）不同操作系統(tǒng)間的升級測試2.10 用戶體驗測試以主觀的普通消費者的角度去感知產(chǎn)品或服務(wù)的舒適、有用、易用、友好親切程度。 通過不同個體、獨立空間和非經(jīng)驗的統(tǒng)計復用方式去有效評價產(chǎn)品的體驗特性 提出修改意見提升產(chǎn)品的潛在客戶滿意度。1）是否有空數(shù)據(jù)界面設(shè)計，引導用戶去執(zhí)行操作。2）是否濫用用戶引導。3）是否有不可點擊的效果，如：你的按鈕此時處于不可用狀態(tài)，那么一定要灰掉，或者拿掉按鈕，否則會給用戶誤導4）菜單層次是否太深5）交互流程分支是否太多6）相關(guān)的選項是否離得很遠7）一次是否載入太多的數(shù)據(jù)8）界面中按鈕可點擊范圍是否適中9）標簽頁是否跟內(nèi)容沒有從屬關(guān)系，當切換標簽的時候，內(nèi)容跟著切換10）操作應該有主次從屬關(guān)系11）是否定義 Back 的邏輯。涉及軟硬件交互時，Back 鍵應具體定義12）是否有橫屏模式的設(shè)計，應用一般需要支持橫屏模式，即自適應設(shè)計2.11 硬件環(huán)境測試2.11.1 手勢操作測試1）手機開鎖屏對運行中的App 的影響2）切換網(wǎng)絡(luò)對運行中的App 的影響3）運行中的 App 前后臺切換的影響4）多個運行中的App 的切換5）App運行時關(guān)機6）App運行時重啟系統(tǒng)7）App運行時充電8）App運