性能測試標準及準則

1、性能測試標準及準則明確目的描述本次性能測試的主要目的，例如：評估系統(tǒng)性能，為性能調(diào)優(yōu)提供依據(jù)和建議，或者做對比分析的性能測試等，或?qū)ο到y(tǒng)的未來容量等作出預(yù)測和規(guī)劃等性能測試目的：驗證改進性能效果，需要和以前的測試結(jié)果進行比對；新的業(yè)務(wù)上線，驗證新系統(tǒng)能夠滿足系統(tǒng)的上線指標。驗證系統(tǒng)穩(wěn)定性；驗證系統(tǒng)的架構(gòu)是否存在瓶頸。性能測試目標：1、系統(tǒng)新上線、測試明確的數(shù)字標準對比情況下，驗證系統(tǒng)是否可以上線。測試系統(tǒng)的極限，如：系統(tǒng)某些資源已經(jīng)耗盡，CPU、句柄、內(nèi)存、數(shù)據(jù)庫出現(xiàn)大量的slowquery、或者系統(tǒng)有些處理已經(jīng)變量）或者證明系統(tǒng)能否根據(jù)硬件水平擴展的。2、沒有可以比較的測試結(jié)果，但是產(chǎn)品已經(jīng)

2、上線一段時間（一般3個月以上），有一些運營數(shù)據(jù)，則分析運營數(shù)據(jù)來作為比對基準，只要測試系統(tǒng)達到3個月內(nèi)系統(tǒng)并發(fā)峰值的4倍就可以認為是可以接受的。（如果是接口為測試對象，則需要混合主要的接口來進行性能測試）3、有以往測試結(jié)果進行對比，只要證明類似的測試條件下，此次的結(jié)果比以往的測試結(jié)果更好即可（每秒處理個數(shù)更多、單次請求的處理速度更快等）4、開發(fā)人員提供經(jīng)驗值作為對比的基準，則被測對象只需要證明滿足開發(fā)人員提出的經(jīng)驗值。般出現(xiàn)瓶頸點：硬件上的性能瓶頸：般指的是CPU、內(nèi)存、磁盤I/O方面的問題，分為服務(wù)器硬件瓶頸、網(wǎng)絡(luò)瓶頸（對局域網(wǎng)可以不考慮）、服務(wù)器操作系統(tǒng)瓶頸（參數(shù)配置）、中間件瓶頸（參數(shù)配

3、置、數(shù)據(jù)庫、web服務(wù)器等）、應(yīng)用瓶頸（SQL語句、數(shù)據(jù)庫設(shè)計、業(yè)務(wù)邏輯、算法等）。應(yīng)用軟件上的性能瓶頸：般指的是應(yīng)用服務(wù)器、web服務(wù)器等應(yīng)用軟件，還包括數(shù)據(jù)庫系統(tǒng)。例如：中間件weblogic平臺上配置的JDBC連接池的參數(shù)設(shè)置不合理，造成的瓶頸。應(yīng)用程序上的性能瓶頸：般指的是開發(fā)人員新開發(fā)出來的應(yīng)用程序。例如，程序架構(gòu)規(guī)劃不合理，程序本身設(shè)計有問題（串行處理、請求的處理線程不夠），造成系統(tǒng)在大量用戶方位時性能低下而造成的瓶頸。操作系統(tǒng)上的性能瓶頸：般指的Linux等操作系統(tǒng)，我們用的是CentOS例如，在進行性能測試，出現(xiàn)物理內(nèi)存不足時，虛擬內(nèi)存設(shè)置也不合理，虛擬內(nèi)存的交換效率就會大大降

4、低，從而導(dǎo)致行為的響應(yīng)時間大大增加，這時認為操作系統(tǒng)上出現(xiàn)性能瓶頸。網(wǎng)絡(luò)設(shè)備上的性能瓶頸：般指的是防火墻、動態(tài)負載均衡器、交換機等設(shè)備。例如，在動態(tài)負載均衡器上設(shè)置了動態(tài)分發(fā)負載的機制，當(dāng)發(fā)現(xiàn)某個應(yīng)用服務(wù)器上的硬件資源已經(jīng)到達極限時，動態(tài)負載均衡器將后續(xù)的交易請求發(fā)送到其他負載較輕的應(yīng)用服務(wù)器上。在測試時發(fā)現(xiàn)，動態(tài)負載均衡器沒有起到相應(yīng)的作用，這時可以認為網(wǎng)絡(luò)瓶頸。一、運行環(huán)境要求（注：性能測試必須是單獨的干凈測試環(huán)境）描述性能測試對象的環(huán)境要求：1、硬件環(huán)境需求（描述數(shù)據(jù)庫服務(wù)器，應(yīng)用服務(wù)器，接口后臺服務(wù)器配置說明）（依據(jù)實際情況，有則寫，沒有則待定）；2、軟件環(huán)境需求（依據(jù)實際情況，有則寫

5、，沒有則待定）；a、操作系統(tǒng)要求（描述各個硬件服務(wù)器安裝的操作系統(tǒng)）；b、應(yīng)用軟件要求（描述各應(yīng)用軟件的名稱、安裝位置、版本信息）；c、客戶端要求（描述對客戶端IE、第三方軟件的版本信息）；3、運行模式（描述該系統(tǒng)的運行模式，如：B/S或者C/S或APP）4、其他環(huán)境需求（如有其他環(huán)境需求則描述清楚，否則寫無）二、初始化參數(shù)用戶量基礎(chǔ)數(shù)據(jù)測試時需要在用戶表增加多少用戶量，作為用戶基礎(chǔ)數(shù)據(jù)舉例：對平臺壓測，需要準備定數(shù)據(jù)的用戶、用戶詳情等相關(guān)數(shù)據(jù)業(yè)務(wù)數(shù)據(jù)課程基礎(chǔ)數(shù)據(jù)：在業(yè)務(wù)表導(dǎo)入多少數(shù)據(jù)量作為業(yè)務(wù)基礎(chǔ)數(shù)據(jù)，舉例：collegeesson等關(guān)聯(lián)表數(shù)據(jù)心理FM數(shù)據(jù)：在業(yè)務(wù)表導(dǎo)入多少數(shù)據(jù)量作為業(yè)務(wù)基礎(chǔ)

6、數(shù)據(jù)，舉例：fm_broadcast等關(guān)聯(lián)表數(shù)據(jù)。三、舉例1、架構(gòu)技術(shù)；舉例：Web服務(wù)-描述是否使用nginx應(yīng)用還是其他web應(yīng)用，是否有做靜態(tài)分類技術(shù)把常用的css、js等樣式、圖片文件部署在n上，目的是減輕tomcat應(yīng)用服務(wù)性能壓力。Nginx是否做了請求訪問軟負載均衡等等。2、測試環(huán)境硬件資源列出對應(yīng)的表格，按照真實實際的情況設(shè)計填寫；舉例表格：配制要求服務(wù)器類型CPU內(nèi)存服務(wù)器名IP用途備注3、測試目標如果是并發(fā)測試，這需要大致估算用戶量；舉例：根據(jù)XX項目需求說明書得知總用戶數(shù)1000，因為系統(tǒng)沒有真實上線使用，根據(jù)2/8原則進行推算，80%的時間里都是20%用戶在操作，（總用

7、戶數(shù)*20%）為在線用戶數(shù)（即200人），在線用戶數(shù)的20%定為并發(fā)用戶數(shù)（即40）。得出結(jié)論：在線用戶：12000人，并發(fā)量為：6002400。（注：此2/8原則只是我依照著之前公司的數(shù)據(jù)得出，不一定具備普遍性，故推算數(shù)據(jù)時，需要開發(fā)、運維等協(xié)助）基線用戶量（人）（估算）在線用戶數(shù)（估算）并發(fā)用戶數(shù)系統(tǒng)設(shè)計用戶量100020040系統(tǒng)上線用戶量未來三年用戶量4、測試場景列出系統(tǒng)需要測試的業(yè)務(wù)場景，作為性能測試腳本錄制依據(jù)；業(yè)務(wù)場景舉例主要業(yè)務(wù)操作并發(fā)量是否常用業(yè)務(wù)重要性系統(tǒng)登錄500是中參加課程1000是高點擊播放課程500是中課程留言查詢300是低5、響應(yīng)時間要求（用戶最直接感受標準）業(yè)務(wù)

8、操作盡可能詳細描寫，系統(tǒng)響應(yīng)時間需要項目負責(zé)人與客戶溝通確認；以下標準可以參考沒有明確響應(yīng)時間指標，則按3-5-8原則進行填寫普通業(yè)務(wù)操作響應(yīng)時間：5秒內(nèi)萬級數(shù)據(jù)量查詢業(yè)務(wù)響應(yīng)時間：8秒內(nèi)百萬級數(shù)據(jù)量業(yè)務(wù)查詢響應(yīng)時間：10秒內(nèi)千萬級別數(shù)據(jù)量業(yè)務(wù)查詢響應(yīng)時間：20秒內(nèi)最為正確的統(tǒng)計做法是用百分比分布統(tǒng)計。6、網(wǎng)絡(luò)帶寬及硬件（我們用的阿里云可以省略）網(wǎng)絡(luò)需要注意：描述性能測試環(huán)境各應(yīng)用服務(wù)器之間的局域網(wǎng)網(wǎng)絡(luò)帶寬多少？互聯(lián)網(wǎng)出口的網(wǎng)絡(luò)帶寬多少？測試客戶端所在的網(wǎng)段帶寬多少？7、通過準則1）通過準則由產(chǎn)品、開發(fā)、測試一起制定。2）針對不同測試目的確定測試通過準則。舉例：服務(wù)器可靠性，在保持高并發(fā)情況下長時間提供服務(wù)（XX并發(fā)XX時間不宕機），性能曲線是否下降。3）明確本次測試關(guān)注點；舉例：類別判斷準