性能測試執(zhí)行基準文檔

性能測試需求提交/搜集目前測試組內的所有性能測試需求都來自于開發(fā)或者產(chǎn)品的主動PUSH,性能測試人員一直處于一個被動接受的狀態(tài)，公司推行敏捷開發(fā)的多版本和項目本身就是短平快的特點導致了性能測試的有效測試時間短，測試過程無法提出系統(tǒng)性的優(yōu)化建議?？紤]從兩個方面對性能測試需求規(guī)范化、系統(tǒng)化：㈠從性能測試的分類來看：［需求提交類型］性能測試可分為“能力驗證”、“規(guī)劃能力”、“性能調優(yōu)”“發(fā)現(xiàn)缺陷”,現(xiàn)在項目組的所有性能需求都可歸結為這4類。測試目的是明確驗證系統(tǒng)在固定條件下的性能能力屬于能力驗證。如LightInTheBox推出的節(jié)日促銷活動等屬于這個范疇，這種活動都存在著版本放出后，在較短的時間內會有比較高的并發(fā)訪問和比較大的訪問量，因此均需要經(jīng)過性能測試。測試目的是為了了解系統(tǒng)性能能力的可擴展性和非特定環(huán)境下的性能能力屬于規(guī)劃能力。如項目新增加不同的角色服務器，應經(jīng)過性能測試，此類測試主要是為決策人員提供決策數(shù)據(jù)支持。比如會員的備忘錄的性能測試，serverBench的測試性能要遠好于原架構，但測試數(shù)據(jù)只為架構平移做參考數(shù)據(jù)。測試目的是通過測試——調優(yōu)——驗證的屬于性能調優(yōu)影響用戶體驗的相關功能的測試過程中屬于響應速度調優(yōu)的均應通過性能測試。測試目的是通過性能測試手段，發(fā)現(xiàn)應用缺陷的屬于發(fā)現(xiàn)缺陷。比如內網(wǎng)測試通過但發(fā)布到外網(wǎng)環(huán)境下有異常后修正/或無法定位問題的，應通過性能測試定位。分類性能測試目標關注點能力驗證驗證系統(tǒng)在給定環(huán)境下的性能能力響應時間、單位時間處理數(shù)，一般能力目標開發(fā)已經(jīng)給出規(guī)劃能力驗證系統(tǒng)的擴展能力系統(tǒng)的能力水平性能調優(yōu)驗證系統(tǒng)在能力指標上是否提咼關注性能調整后的提咼發(fā)現(xiàn)缺陷驗證BUG修復或定位無㈡從業(yè)務行為分析來看：［需求收集類型］性能測試團隊成員在了解業(yè)務模型的基礎上，從用戶角度對項目版本做出分析：比如？？？的發(fā)表日志業(yè)務，在每天的平均有？？？次的發(fā)生率，業(yè)務發(fā)生時間集中在下午???點到晚上???點，業(yè)務發(fā)生峰值???次/秒。在次數(shù)據(jù)上應該分析用戶行為在哪些操作上成為消耗系統(tǒng)資源的主要步驟，如日志拉取、日志發(fā)布等，通過分析提出性能測試需求

性能測試需求挖掘提交下表為性能測試執(zhí)行基準表，項目提交版本測試人員可以此表為基準對項目所提交版本是否需要實行性能測試提出意見和建議：用戶端性能：檢查項中如果有多項（＞2項）情況存在應建議或要〉艮開發(fā)提交性自呂測試需求主題類別說明產(chǎn)品新特性是否對數(shù)據(jù)產(chǎn)生了影響資源檢查是否增加了文件請求資源檢查是否需要動態(tài)拉取大量圖片資源資源檢查是否存在下載過程需要拉取其他資源資源檢查是否存在新增JSJS檢查是否存在新增CGI包含復雜請求CGI檢查是否存在新增CGI包含鏈表性質請求CGI檢查服務器端性能提交版本中特性描述如涉及大量網(wǎng)絡10或者文件10操作的應做此表檢查

主題細項參考值備注網(wǎng)絡IO最大處理比特數(shù)（Mbps）500以服務器如下配置為參考：32G數(shù)據(jù)量，2G內存，DELL2850標配機器，讀寫塊大小為1K,隨機讀寫測試數(shù)據(jù)最大處理包數(shù)（個/秒）35000文件IO磁盤讀（次/秒）應用層250磁盤寫次數(shù)（次/秒）應用層940磁盤讀+寫次數(shù)（次/秒）應用層250情況舉例：如涉及到大量網(wǎng)絡10和文件10的功能，項目分為接入端一一cache――數(shù)據(jù)源，無cache數(shù)據(jù)要去數(shù)據(jù)源拉取返回并cache該數(shù)據(jù)，測試中并發(fā)情況下發(fā)現(xiàn)拉取資源異常此類情況應對開發(fā)提出性能測試需求提交版本中新特性二增加了CGI可能影響到如下指標的應做此表檢查主題細項參考值備注角色服務器部署在apacheServer上進程數(shù)（個）靜態(tài)文件個數(shù)（個/秒）靜態(tài)文件流量（Mbps）動態(tài)CGI次數(shù)（次/秒）動態(tài)CGI流量（Mbps）自行實現(xiàn)的服務器并發(fā)連接個數(shù)靜態(tài)文件個數(shù)（個/秒）靜態(tài)文件流量（Mbps）動態(tài)CGI次數(shù)（次/秒）動態(tài)CGI流量（Mbps）情況舉例：如LightlnTheBox架構更新,若兩者CGI調用相差較多，較多很有可能影響到上述指標此類情況應對開發(fā)提出性能測試需求提交版本特性中如有類似優(yōu)惠促銷活動性質會導致高并發(fā)的應做此表檢查主題細項參考值備注TCPServer性臺匕冃匕并發(fā)連接數(shù)（個）處理請求能力（次/秒）UDPServer性臺匕冃匕處理請求能力（次/秒）情況舉例：LightlnTheBox的節(jié)假日優(yōu)惠促銷等活動都可能導致相關服務器并發(fā)數(shù)激增此類情況應對開發(fā)提出性能測試需求提交版本特性中如對性能指標有比較明顯標注但未提及性能測試的應做此表檢查主題特性需求中可能提及的關鍵字舉例

系統(tǒng)響應時間例：系統(tǒng)響應時間在……處理能力規(guī)定例：在…時間內處理…事務行為比較規(guī)定例：系統(tǒng)具有高于原系統(tǒng)…性能配置比