非功能性測試的指南

1、非功能性測試指南非功能性測試指南初始版本1.02012/08/13文檔名稱：狀態(tài)：非功能性測試指南初始版本1.02012/08/13-文檔信息項目名稱起草人復(fù)審人上海銀行測試體系咨詢張紅輝文檔版本編號文檔版本日期復(fù)審日期1.02010/3/31-變更記錄項目名稱起草人復(fù)審人上海銀行測試體系咨詢張紅輝文檔版本編號文檔版本日期復(fù)審日期1.02010/3/31-變更記錄-評審記錄-審批人-評審記錄簽字姓名角色審批日批語 TOC o 1-5 h z 目的和范圍4術(shù)語和縮寫4參考資料4角色對應(yīng)關(guān)系5 HYPERLINK l bookmark2 o Current Document 非功能性測試類型及其測

2、試方法5安全性測試5安裝測試8配置和兼容性測試8易用性測試9數(shù)據(jù)和數(shù)據(jù)庫完整性測試11接口測試11文檔測試12失效恢復(fù)測試131目的和范圍本文檔闡述了常用的非功能性測試類型及其測試方法，供相關(guān)測試人員安排測試計劃、設(shè)計測試和執(zhí)行測試時參考。功能測試、回歸測試和性能測試不在本文檔討論范圍，另有專門文檔討論。本文檔適用于上海銀行信息技術(shù)部所有測試服務(wù)的非功能性測試工作。2術(shù)語和縮寫術(shù)語和縮寫解釋備注安全性測試測試應(yīng)用或系統(tǒng)的安全機制安裝測試測試被測軟件在各種需要的軟硬件配置卜.能止碗安裝配置/兼容性測試測試被測軟件在各種需要的軟硬件配置卜.能止確運行易用性測試考慮軟件使用時人的因素和感受數(shù)據(jù)和數(shù)據(jù)

3、庫完整性測試測試數(shù)據(jù)存取方法和過程等能正確運行，在整個數(shù)據(jù)操作過程中和結(jié)束后沒有數(shù)據(jù)被破壞接口測試測試內(nèi)部單元組合到T后能夠按照設(shè)計的意圖協(xié)作運行，接口的調(diào)用止確文檔測試驗證發(fā)布的軟件產(chǎn)品中的文檔的正確性，尤其對與用戶相關(guān)的文檔失效恢復(fù)測試測試被測軟件能成功地從硬件、軟件或網(wǎng)絡(luò)故障中失效恢復(fù)而不會有數(shù)據(jù)的丟失3參考資料參考文件備注TMMiFrameworkv2.0ProducedbytheTMMiFoundation上海銀行信息技術(shù)部ISO90012009.09版（發(fā)布版）4角色對應(yīng)關(guān)系角色對應(yīng)關(guān)系業(yè)務(wù)人員來自產(chǎn)品開發(fā)部/業(yè)務(wù)部門的業(yè)務(wù)需求發(fā)起者測試需求分析人員通常由信息技術(shù)部指派測試組長通常

4、由信息技術(shù)部指派測試設(shè)計人員通常由信息技術(shù)部指派測試執(zhí)行人員通常由信息技術(shù)部指派開發(fā)組長通常由信息技術(shù)部指派5非功能性測試類型及其測試方法5.1安全性測試軟件安全性輕則造成操作的不方便，重則造成數(shù)據(jù)的破壞或丟失甚至系統(tǒng)的崩潰和人身的安全，因此，軟件安全性是一個不容忽視的重要問題，我們可以簡單地把軟件的安全性作為一個或多個特定的功能來考慮，從而在軟件生命周期的早期就加以考慮。為了幫助設(shè)計一個安全的信息系統(tǒng)，在產(chǎn)品設(shè)計的最開始就必須注意安全的問題，比如需求中應(yīng)有安全性的相關(guān)項目、設(shè)計和代碼評審應(yīng)有專門針對安全性的內(nèi)容等等，然后才是測試。測試員僅僅能測試驗證軟件的安全性。當然，對于沒有在軟件需求書上

5、標明的可能影響系統(tǒng)運行安全的隱性需求測試人員也要努力的發(fā)現(xiàn)，這也是一個有經(jīng)驗的安全性測試人員的可貴之處。當然，理論上沒有任何一個信息系統(tǒng)是安全的，因為只要進行攻擊，任何系統(tǒng)都能被攻破，只不過付出的代價的大小。而我們一般說某個信息系統(tǒng)是安全的就是基于如果要攻破該系統(tǒng)所必須付出的代價要高于或遠遠高于攻破系統(tǒng)后獲得的利益。測試目標測試應(yīng)用或系統(tǒng)的安全機制，保證系統(tǒng)運行和使用的安全性測試策略米取靜態(tài)分析技術(shù)和功能測試兩種方式攔截系統(tǒng)開發(fā)時存在的漏洞軟件生命周期早期的代碼、設(shè)計評審（由開發(fā)人員完成）對軟件安全性的提高非常肩效和重要，可以人工評審和自動化工具結(jié)合的方法進行更詳細的測試策略描述請參看下文軟件

6、安全性測試詳細策略參考測試重點考慮相關(guān)信息安全法律法規(guī)的要求測試環(huán)境網(wǎng)絡(luò)安全日志評審文件完整性檢查系統(tǒng)軟件安全客戶端應(yīng)用安全客戶端到服務(wù)端應(yīng)用通訊安全服務(wù)端應(yīng)用安全測試通過準則應(yīng)用滿足和符合米用的安全機制，在應(yīng)用規(guī)定的程度上能保證系統(tǒng)正常運行和安全使用軟件安全性測試詳細策略參考：軟件安全性測試包括應(yīng)用軟件、網(wǎng)絡(luò)系統(tǒng)、數(shù)據(jù)庫和系統(tǒng)軟件安全性測試。根據(jù)系統(tǒng)安全指標不同測試策略也不同。用戶認證安全的測試要考慮問題：系統(tǒng)中是否有不同的用戶使用權(quán)限系統(tǒng)會不會因用戶的權(quán)限的改變造成混亂系統(tǒng)中會不會出現(xiàn)用戶沖突用戶登陸密碼是否可見、可復(fù)制是否可以通過絕對路徑登陸系統(tǒng)（拷貝用戶登陸后的鏈接直接進入系統(tǒng)）用戶退

7、出系統(tǒng)后是否刪除了所有鑒權(quán)標記，是否可以使用后退鍵而不通過輸入口令進入系統(tǒng)應(yīng)用方面安全的測試要考慮問題：緩沖區(qū)溢出無效的數(shù)據(jù)類型關(guān)鍵信息是否采用加密技術(shù)是否可以通過絕對路徑進入系統(tǒng)使用的端口號遠程進入服務(wù)（如有）文件完整性檢查日志評審模擬黑客攻擊系統(tǒng)網(wǎng)絡(luò)安全的測試要考慮問題物理連接上的安全，包括無線部分（如有）防火墻、防病毒軟件的安全測試采取的防護措施是否正確裝配好，有關(guān)系統(tǒng)的補丁是否打上模擬非授權(quán)攻擊，看防護系統(tǒng)是否堅固采用成熟的網(wǎng)絡(luò)漏洞檢查工具檢查系統(tǒng)相關(guān)漏洞入侵網(wǎng)絡(luò)監(jiān)察系統(tǒng)和防護系統(tǒng)采用各種木馬檢查工具檢查系統(tǒng)木馬情況采用各種防外掛工具檢查系統(tǒng)各組程序的外掛漏洞數(shù)據(jù)庫安全考慮問題：系統(tǒng)數(shù)

8、據(jù)是否機密系統(tǒng)數(shù)據(jù)的完整性系統(tǒng)數(shù)據(jù)可管理性系統(tǒng)數(shù)據(jù)的獨立性系統(tǒng)數(shù)據(jù)可備份和恢復(fù)能力（數(shù)據(jù)備份是否完整，可否恢復(fù)，恢復(fù)是否可以完整）系統(tǒng)級別軟件安全考慮問題：系統(tǒng)級別軟件（如操作系統(tǒng)、數(shù)據(jù)庫系統(tǒng)和中間件系統(tǒng)等）是否最新的，尤其如果使用開源軟件或免費軟件系統(tǒng)軟件是否有相應(yīng)的補丁，尤其是安全性方面的補丁包從安全性考慮，系統(tǒng)級別軟件是否是最可靠的（如使用Tomcat還是Weblogic）從安全性考慮，系統(tǒng)級別軟件是否匹配應(yīng)用設(shè)計技術(shù)安裝測試安裝測試有兩個目的。第一個目的是確保軟件能夠在不同的條件下進行安裝，例如，首次安裝、升級安裝、完整或自定義安裝；在正常和異常條件下的安裝。異常條件例如磁盤空間不足、

9、安裝用戶缺少目錄創(chuàng)建權(quán)限等。第二個目的是驗證軟件在安裝后能正確操作。這通常意味著要運行大量為功能測試開發(fā)的測試用例。建議對于安裝測試，其重點應(yīng)該放在第一個目的上，對于第二個目的可以根據(jù)需要和實際情況穿插在后續(xù)的測試，如冒煙測試、功能測試中體現(xiàn)。測試目標驗證被測軟件在各種需要的軟硬件配置卜正確安裝，包括卜列情況：新安裝。T的機器，先前從未安裝過該軟件更新。該機器先前安裝過該軟件同樣的版本更新。該機器先前安裝過該軟件的老版本測試策略手工或自動化不管是手工安裝還是自動化腳本安裝，都要嚴格按照用戶安裝手冊規(guī)定的操作步驟進行測試重點考慮有沒有安裝手冊對于第二個目的的安裝測試，怎樣選取預(yù)先規(guī)定的功能測試的

10、子集測試通過準則對于第一個目的：確保軟件能夠在不同的條件下進行安裝。成功的安裝應(yīng)該是在整個安裝過程中和安裝完成后沒有任何異常錯誤出現(xiàn)，能成功登錄該應(yīng)用對于第二個目的：驗證軟件在安裝后能正確操作。這個需要運行預(yù)先規(guī)定的一功能測試的子集配置和兼容性測試配置和兼容性測試驗證被測軟件在不同的軟硬件配置下的操作和表現(xiàn)。在大多數(shù)生產(chǎn)環(huán)境中，特定的硬件規(guī)格，如客戶端工作站、網(wǎng)絡(luò)情況、服務(wù)器配置甚至型號都會不同。另外，不同客戶端工作站上也許有不同的軟件負載，如不同的應(yīng)用軟件、不同的瀏覽器、瀏覽器的不同版本的插件、驅(qū)動程序等等；甚者不同的操作系統(tǒng)，如WindowsXP,WindowsVista等等；服務(wù)器軟件也

11、會不一致，如數(shù)據(jù)庫軟件，如Oracle,MicrosoftSQLServer、中間件軟件等等。該類測試對產(chǎn)品顯得尤其重要。對于項目來說也有巨大的指導作用，如項目經(jīng)理為了最優(yōu)化配置（從成本和實用的角度等），就需要進行不同軟硬件情況下的配置和兼容性測試。該類測試也往往和性能測試相結(jié)合以決定在不同軟硬件情況下的最優(yōu)化配置（如從成本和實用的角度等）。測試目標驗證被測軟件在各種需要的軟硬件配置卜能正確運行測試策略使用功能測試腳本首先，針對一特定硬件配置卜：打開和關(guān)閉許多和被測軟件無關(guān)的、但和被測軟件共同在同一機器上的其它許多軟件，如同機上的Microsoft應(yīng)用軟件，Excel或Word等等（如果有），

12、可以在測試過程中和測試前就打開在此基礎(chǔ)上執(zhí)行相應(yīng)的功能測試測試重點考慮硬件配置情況復(fù)雜多樣，使用哪些硬件配置呢？建議最好做些調(diào)研，如考慮目標用戶或最終用戶的使用習慣和經(jīng)濟承受能力？打開哪些和被測軟件無關(guān)的、但和被測軟件共同在同一機器上的其它許多軟件？建議最好做些調(diào)研，如考慮目標用戶或最終用戶會使用哪些其它的常用軟件？尤其在使用目標軟件時往往同時會打開或使用的軟件？測試通過準則在某一特定的硬件配飾下，在許多和被測軟件無關(guān)的、但和被測軟件共同在同一機器上的其它許多軟件運行或使用情況卜，相應(yīng)的功能測試沒有失敗易用性測試易用性是人類工程學的目標。軟件的易用性是一個比較有特點的問題，會隨著具體產(chǎn)品或項目

13、的特征和要求而有巨大差異，比如手機軟件和一般Windows平臺下的軟件易用性相差很大，又如一核反應(yīng)堆的關(guān)閉序列和一語音信箱的菜單系統(tǒng)的易用性有著天壤之別。即使對于同一個軟件，不同的用戶也會有不同的感受。當然，我們也不是說對軟件的易用性就毫無測試辦法和標準，對于同一類軟件還是有它的通用性可言的。因此下面嘗試從一些比較通用的方面討論之。易用性主要考慮軟件使用時人的因素和感受，因此我們先介紹兩個概念。用戶與程序相互交互的介質(zhì)稱為用戶接口(UserInterface-UI),用戶接口對不同軟件種類也會有巨大的差異，對于PC來說，我們現(xiàn)在有了精致的完善的圖形用戶接口(GraphicalUserInter

14、face-GUI)。很快我們可以對著我們的PC聽和說，那時又會有新的UIo另外，Accessibilitytesting也屬于易用性測試范疇。這種測試一般針對對軟件有特殊要求的群體，比如部分殘疾人。測試目標考慮軟件使用時人的因素和感受測試策略使用功能測試腳本對于一些比較通用的規(guī)則可以制成檢查表的形式測試重點考慮遵守通用的標準和指導方針。如Windows平臺下的軟件應(yīng)和Windows平臺的風格一致、而Mac平臺下的軟件顯然應(yīng)該和Mac平臺的風格一致直覺的。如用戶界面是干凈的、不多余的？用戶界面是經(jīng)過良好組織和布局的？一致性。如快捷鍵和菜單選項問；術(shù)語和命名；確認和取消按鈕的位置布局等靈活性。如用

15、戶希望能手工鍵入、粘貼、插入文件內(nèi)容等方式作為輸入方法舒服的。如較長時間的等待應(yīng)有進度條提示、一般情況下程序應(yīng)有較快的反應(yīng)，但也不是絕對的，舉個例子，高性能就一定好嗎？未必如此，例如當快速的連提示信息或出錯信息都不能看清時用戶反向會覺得很不舒服正確的。例如拼寫；圖標是否后同樣的大小和背景；還后是否所見即所得-WYSIWYG(whatyouseeiswhatyouget)有用的。沒有大量的過量功能，這個特征尤其在產(chǎn)品上表現(xiàn)突出，用戶往往要面對大量的無用的或者不需要的功能測試通過準則該類測試對于不同產(chǎn)品和項目有較大的差異性，因此尤其要加強對該類測試用例的評審，在業(yè)務(wù)人員、設(shè)計人員等T同意的基礎(chǔ)上進

16、行測試，測試人員也要關(guān)注軟件需求中應(yīng)有該方面的相關(guān)描述數(shù)據(jù)和數(shù)據(jù)庫完整性測試在整個系統(tǒng)測試過程中，數(shù)據(jù)庫和數(shù)據(jù)庫過程應(yīng)作為系統(tǒng)的子系統(tǒng)進行測試。這些測試不使用用戶界面作為數(shù)據(jù)進入界面進行測試。對不同的數(shù)據(jù)庫管理系統(tǒng)，可能存在不同的工具和技術(shù)，如Oracle和MicrosoftSQLServer。測試目標保證數(shù)據(jù)存取方法和過程正確運行，在整個數(shù)據(jù)操作過程中和結(jié)束后沒有數(shù)據(jù)破壞測試策略使用有效的和無效的數(shù)據(jù)或數(shù)據(jù)的請求調(diào)用各個數(shù)據(jù)庫存取方法和過程檢查數(shù)據(jù)庫保證數(shù)據(jù)正如預(yù)期地進入，所有的數(shù)據(jù)庫事件正確地發(fā)生，或者檢查數(shù)據(jù)保證對于正確的請求取得正確的數(shù)據(jù)測試重點考慮測試也許需要一個DBMS開發(fā)環(huán)境或驅(qū)

17、動程序以便在數(shù)據(jù)庫中直接進入或更改數(shù)據(jù)確定哪些數(shù)據(jù)存取方法和數(shù)據(jù)過程重點測試測試的先后順序測試通過準則所有的數(shù)據(jù)庫存取方法和過程正如設(shè)計要求一樣運行，沒有任何的數(shù)據(jù)破壞接口測試在集成測試過程中，接口測試顯得特別重要，首先要確認被測軟件是否集成了規(guī)定的單元或子系統(tǒng)、外部系統(tǒng)（如有）；其次，對相應(yīng)的接口要進行詳細的測試;最后也應(yīng)該對集成后的所有功能進行相應(yīng)的測試以確保集成后整個系統(tǒng)功能的正確性，當然這一步屬于功能測試的范疇，本文不予討論。測試目標確?！皽y試需求”中對應(yīng)的所有工作版本的內(nèi)部單元組合到T后能夠按照設(shè)計的意圖協(xié)作運行，接口的調(diào)用止確。測試策略使用功能測試腳本。按照設(shè)計規(guī)范，對所有接口設(shè)計

18、相應(yīng)的測試用例進行手工或自動化測試，包括系統(tǒng)內(nèi)部接口和外部接口，尤其注意和第三方的軟硬件接口（如有）。測試重點考測試的順序性慮數(shù)據(jù)是否能正確傳遞接口之間的調(diào)用狀態(tài)的變化是否止確（如有）接口之間的異常處理功能測試通過準則所有與接口有美的測試用例功能沒有失敗文檔測試文檔也是發(fā)布的軟件產(chǎn)品的重要組成部分，因此也應(yīng)該對文檔進行相應(yīng)的測試，尤其對安裝手冊（前面已有所述）、用戶使用手冊和在線幫助手冊要進行重點測試。正確的文檔能減少維護費用和提高軟件的可維護性、改善軟件易用性、減少責任等。測試目標保證發(fā)布的軟件產(chǎn)品中的文檔的正確性測試策略按照手冊描述，逐章節(jié)閱讀、檢查和驗證相應(yīng)的內(nèi)容，比如嚴格地按照用戶使用手冊上的描述去操作和使用程序測試重點考慮與用戶相關(guān)的文檔的測試（如安裝手冊、用戶使用手冊和在線幫助手冊）術(shù)語的正確性和一致性是否覆蓋J產(chǎn)品的所有方面功能描述的準確性圖形和屏幕截屏是否止確舉例是否止確拼寫和語法超文本鏈接測試通過準則文檔所有內(nèi)容描述準確和正確失效恢復(fù)測試失效恢復(fù)測試保證被測軟件能成功地從硬件、軟件或網(wǎng)絡(luò)故障中