性能測試規(guī)范

1、性能測試規(guī)范神州數(shù)碼系統(tǒng)集成服務(wù)有限公司2018年10月目錄112.6進程級別的資源占用 111概述1.1編寫目的1.2適用范圍 2性能測試指標2.1響應(yīng)時間2.1.1定義2.1.2測試方法2.1.3分析評估2.2 TPS (QPS)、并發(fā)用戶數(shù) 2.2.1定義2.2.2測試方法2.2.3分析評估2.3請求成功率2.3.1定義2.3.2測試方法2.3.3分析評估99102.4 CPU使用率、內(nèi)存使用率、10 WAIT2.4.1定義2.4.2測試方法112.4.3分析評估2.5 GC1概述1.1編寫目的本文檔在對性能指標的概念、測試及分析方法、評判標準以及工具的使用進行說明,旨在指導(dǎo)性能測試工程

2、師更好的理解各個性能指標,并對系統(tǒng)的性能質(zhì)量做出準確的評價和分析。1.2適用范圍本規(guī)范適用范圍：性能測試、性能調(diào)優(yōu)和性能驗收活動。性能測試指標2.1響應(yīng)時間2.1.1定義響應(yīng)時間通常是指客戶發(fā)出請求到得到響應(yīng)的整個過程所耗費的時間，通常被定義TTLB (Time to Laster Byte )，代表從發(fā)起一個請求開始，到客戶端收到響應(yīng)的最后一個字節(jié)所耗費的時間。響應(yīng)時間根據(jù)所耗費的時間段可以做細致的拆解,我們可以把它拆解為三部分，系統(tǒng)處呈現(xiàn)時間不止于瀏覽器有關(guān),和網(wǎng)絡(luò)的時延、帶寬有關(guān)系。理時間、數(shù)據(jù)傳輸時間、呈現(xiàn)時間(Web頁面特有，接口類請求無呈現(xiàn)時間)，每個部分的時間消耗影響的因素有所不

3、同。呈現(xiàn)時間：主要是瀏覽器對接收到的數(shù)據(jù)渲染展示的過程, 和操作系統(tǒng)、電腦的硬件配置也有關(guān)系。數(shù)據(jù)傳輸時間：請求、響應(yīng)數(shù)據(jù)在網(wǎng)絡(luò)中傳輸消耗的時間,系統(tǒng)處理時間：系統(tǒng)接收到請求后， 對請求處理，并將結(jié)果返回的時間，和系統(tǒng)服務(wù)器 的軟硬件配置有關(guān)系。2.1.2測試方法、測試前提1）前提一：性能測試中響應(yīng)時間的測試，需要保持一個穩(wěn)定的網(wǎng)絡(luò)環(huán)境。不建議在辦公網(wǎng)絡(luò)中搭建“施壓設(shè)備”，不穩(wěn)定的辦公網(wǎng)絡(luò)環(huán)境會影響對測試結(jié)果的評判。建議在以下兩種環(huán)境下測試:施壓設(shè)備與被測系統(tǒng)在同一局域網(wǎng)中，更能夠排除網(wǎng)絡(luò)情況對響應(yīng)時間的影響，能夠更準確的衡量“系統(tǒng)處理時間”。施壓設(shè)備和被測系統(tǒng)在不同的機房環(huán)境中通過公網(wǎng)測試,

4、這種場景更能準確的模擬并評估系統(tǒng)在生產(chǎn)環(huán)境中的表現(xiàn)。測試工程師可以根據(jù)測試的目的，選擇后兩種環(huán)境進行測試。2）前提二：確定一定的并發(fā)量來測試響應(yīng)時間最優(yōu)并發(fā)用戶場景、最高并發(fā)用戶場景兩種場景測試，響應(yīng)時間的表現(xiàn)是不同的， 最高并發(fā)場景的響應(yīng)時間將會比最優(yōu)并發(fā)的響應(yīng)時間大得多，測試前我們需要確定我們測試的場景是最優(yōu)并發(fā)還是最高并發(fā)。二、測試步驟1)找到最高的吞吐量（TPS）。測試前確定一個響應(yīng)時間的標準（如：小于100ms）,然后進行基準測試，通過虛擬并發(fā)用戶數(shù)為1的方式測試，記錄測試的TPS、響應(yīng)時間測試結(jié)果，將該響應(yīng)時間與標準比較，若大于標準響應(yīng)時間，那么則說明系統(tǒng)有問題無法滿足標準，若該

5、響應(yīng)時間小于標準時間，則繼續(xù)下面的測試。通過壓力測試找到最大的吞吐量：在基準測試響應(yīng)時間的限制下，找到系統(tǒng)最大的 吞吐量（TPS），該狀況下響應(yīng)時間滿足要求、吞吐量最大，可確定為“最佳并發(fā) 用戶數(shù)”。方法是按照一定的步長， 不斷增加虛擬并發(fā)用戶數(shù)，直至響應(yīng)時間超過70% )。限制、吞吐量不在增長、任意節(jié)點資源使用率超過要求（如:2)負載測試：保持最大吞吐量，執(zhí)行負載測試，持續(xù)30分鐘，記錄測試TPS、響應(yīng)時間測試結(jié)果。3)穩(wěn)定性測試：保持最大吞吐量，執(zhí)行穩(wěn)定性測試，持續(xù)3*24小時，記錄測試 TPS、響應(yīng)時間。三、測試對象的分類1） 接口接口類響應(yīng)時間只包含數(shù)據(jù)傳輸時間、系統(tǒng)處理時間，不包含呈

6、現(xiàn)時間，Ap ache Jmeter支持該類響應(yīng)時間的統(tǒng)計，共有min、max、avg三種統(tǒng)計結(jié)果，分別代表最小、最大、平均值，其他的性能測試工具均有對接口類響應(yīng)時間的精確統(tǒng)計。2) Web頁面有3種方法可以統(tǒng)計 Web頁面的響應(yīng)時間: 瀏覽器抓包工具統(tǒng)計頁面響應(yīng)時間 錄屏軟件抓取屏幕計算響應(yīng)時間 JS打點統(tǒng)計頁面響應(yīng)時間。注意：目前還無法通過大量并發(fā)訪問的采樣統(tǒng)計頁面的響應(yīng)時間，在通過瀏覽器測試Web頁面響應(yīng)時間時，要確保通過Jmeter對系統(tǒng)相對應(yīng)接口保持一定壓力的并發(fā)用戶訪問（通常在最優(yōu)并發(fā)下測試）。2.1.3分析評估一、Web頁面響應(yīng)時間分析遵循 258原則在互聯(lián)網(wǎng)上對于用戶響應(yīng)時間有

7、一個普遍的標準（2/5/8原則），一般認為響應(yīng)時間超過5s是系統(tǒng)是需要優(yōu)化，如果超過8s是不可接受的。2s之內(nèi)響應(yīng)被認為非常有吸引力的用戶體驗。5s之內(nèi)響應(yīng)被認為比較不錯的用戶體驗。8s之內(nèi)響應(yīng)被認為非常糟糕的用戶體驗。超過8s沒有響應(yīng)，用戶通常認為請求失敗。需要特殊說明的一點， 對于用戶來說，響應(yīng)時間是否被接受帶有一定的主觀色彩， 例如 一個系統(tǒng)報表的功能， 每個月才會有用戶使用一次， 那么每次花費1個小時，用戶是可以接 受的，但是一個常用的登錄按鈕提交 1分鐘后才返回登錄成功， 我們也難以接受。因此響應(yīng)時間的“長”和“短”并沒有絕對的定義，合理的響應(yīng)時間取決于用戶實際需求，而不能依 據(jù)測試

8、人員的設(shè)想或者標準的硬性規(guī)定。二、Web頁面響應(yīng)時間分析評估時需要考慮有無瀏覽器緩存的兩種情況Web頁面響應(yīng)時間測試，要分為瀏覽器有緩存和無緩存的兩種情況（無緩存的情況由于資源的下載響應(yīng)時間會稍長），一般通過有瀏覽器緩存的場景的結(jié)果表現(xiàn)來評估響應(yīng)時間 對用戶體驗的影響。三、接口類響應(yīng)時間，參考系統(tǒng)需求規(guī)格定義評估最優(yōu)并發(fā)情況下，性能測試結(jié)果平均響應(yīng)時間不得高于系統(tǒng)需求規(guī)格定義。建議：需求規(guī)格的定義，單接口響應(yīng)時間應(yīng)小于100ms。響應(yīng)時間的標準一般定義：99.9%響應(yīng)時間必須在 100ms以下（非平均值，99.9%取樣響應(yīng)時間均在100ms以下）或者平均響應(yīng)時間在100ms以下，目前工具只能統(tǒng)

9、計平均響應(yīng)時間指標。四、響應(yīng)時間與歷史版本比較當前系統(tǒng)實測響應(yīng)時間的指標不得高于歷史版本的實測結(jié)果。注意：兩者的測試結(jié)果的比較， 一定是在相同條件下測試的結(jié)果 （環(huán)境對性能的影響較大）五、參考同類系統(tǒng)功能的響應(yīng)時間對于新開發(fā)的系統(tǒng)，在沒有生產(chǎn)環(huán)境數(shù)據(jù)、歷史版本參考的情況下，可參考其他類似系 統(tǒng)的響應(yīng)時間的實測結(jié)果，對比本系統(tǒng)實測的結(jié)果，經(jīng)過產(chǎn)品經(jīng)理、開發(fā)、運營運維共同評 審確定該系統(tǒng)的性能需求標準，并按照達成一致的需求標準進行評估。2.2 TPS （ QPS）、并發(fā)用戶數(shù)2.2.1定義TPS:每秒事務(wù)數(shù)，指系統(tǒng)每秒能夠處理的事務(wù)數(shù)量 （一個事務(wù)可能是有多個請求組成）。request請求）數(shù)量。

10、QPS:每秒查詢率，只系統(tǒng)每秒能夠處理的查詢（通常指一個并發(fā)用戶數(shù)：在同一時刻（任一時刻）與服務(wù)器進行交互（服務(wù)器正在處理）的在線用戶的數(shù)量。對于并發(fā)用戶數(shù)避免兩種錯誤的理解，一種錯誤的理解是把并發(fā)用戶數(shù)理解為系 統(tǒng)注冊用戶數(shù)，還有一個錯誤的理解是把并發(fā)用戶數(shù)理解為系統(tǒng)在線用戶數(shù)。222測試方法1)找到穩(wěn)定運行的最高的吞吐量（TPS）。測試前確定一個響應(yīng)時間的標準（如：小于100ms）,然后進行基準測試，通過虛擬并發(fā)用戶數(shù)為1的方式測試，記錄測試的TPS、響應(yīng)時間測試結(jié)果，將該響應(yīng)時間與標準比較，若大于標準響應(yīng)時間，那么則說明系統(tǒng)有問題無法滿足標準，若該 響應(yīng)時間小于標準時間，則繼續(xù)下面的測試

11、。通過壓力測試找到最大的吞吐量：在基準測試響應(yīng)時間的限制下，找到系統(tǒng)最大的 吞吐量（TPS），該狀況下響應(yīng)時間滿足要求、吞吐量最大，可確定為“最佳并發(fā) 用戶數(shù)”。方法是按照一定的步長， 不斷增加虛擬并發(fā)用戶數(shù)，直至響應(yīng)時間超過70% )。限制、吞吐量不在增長、任意節(jié)點資源使用率超過要求（如:2)負載測試：保持最大吞吐量，執(zhí)行負載測試，持續(xù)30分鐘,記錄測試TPS、響應(yīng)時間測試結(jié)果。3)穩(wěn)定性測試：保持“最佳并發(fā)用戶數(shù)”，執(zhí)行穩(wěn)定性測試，持續(xù)3*24小時，記錄測試TPS、響應(yīng)時間。4)在成功率100%的限制下（不考慮響應(yīng)時間長短）找到系統(tǒng)的極限值。不斷增加并發(fā)用戶數(shù)，能夠持續(xù)運行 30分鐘不出錯

12、誤的并發(fā)量即為系統(tǒng)的極限值。223分析評估、最大吞吐量和系統(tǒng)資源使用的分析在明確響應(yīng)時間要求的限制下,壓力測試過程中，找到最大吞吐量的拐點時，分析系統(tǒng)資源（CPU、內(nèi)存）的使用率，若使用率過低，則繼續(xù)加大并發(fā)用戶量，若系統(tǒng)的所有節(jié)點 的任一資源均無法達到 70%使用率，說明系統(tǒng)存在系統(tǒng)類、軟件類問題和瓶頸，需要調(diào)優(yōu)。二、TPS與需求規(guī)格定義（生產(chǎn)環(huán)境負載）比較1）需求規(guī)格說明書中有明確的標準定義將吞吐量的實測結(jié)果和需求規(guī)格定義（生產(chǎn)環(huán)境負載）比較，若大于需求規(guī)格定義則為通過。一般最大吞吐量對應(yīng)生產(chǎn)環(huán)境的平均負載，系統(tǒng)極限值僅用來應(yīng)對生產(chǎn)環(huán)境的突發(fā)高 峰。2）需求規(guī)格說明書中無明確的標準定義若需

13、求規(guī)格說明書中沒有關(guān)于性能指標的明確定義，在性能測試方案設(shè)計階段性能測試 工程師應(yīng)推動測試、開發(fā)、產(chǎn)品經(jīng)理和運維運營一起，明確相關(guān)性能指標。性能指標可參考生產(chǎn)環(huán)境交易量統(tǒng)計數(shù)據(jù)來評估，評估結(jié)果一般應(yīng)略高于當前生產(chǎn)環(huán)境 的負載（預(yù)留半年到一年訪問量增長的余量）。若新開發(fā)產(chǎn)品，無生產(chǎn)環(huán)境度量數(shù)據(jù)， 可參考同類產(chǎn)品、 本產(chǎn)品運營推廣計劃來評估本 產(chǎn)品的性能指標，性能指標確認的結(jié)果可通過提單結(jié)論歸檔。TPS曲線、響應(yīng)時間曲三、負載測試、穩(wěn)定性測試采樣分析在負載測試、穩(wěn)定性測試過程中，保持最高吞吐量情況下壓測, 線應(yīng)該是趨于穩(wěn)定的，如出現(xiàn)大的波動（驟升或驟降），則視為異常的拐點（問題），需要 進行問題定

14、位。2.3請求成功率2.3.1定義顧名思義，請求成功率代表所有請求中， 成功接收到響應(yīng)的請求所占的比例。系統(tǒng)的吞 吐量和請求成功率是掛鉤的。2.3.2測試方法請求成功率是響應(yīng)時間、 TPS等指標的前提，在成功率滿足大于 99.9%的前提下，響應(yīng) 時間、TPS滿足預(yù)期。成功率的測試方法，可參考 2.1、2.2章節(jié)中關(guān)于響應(yīng)時間、TPS的測 試方法。2.3.3分析評估99.9%。標準要求：負載測試、穩(wěn)定性測試，請求成功率要求大于2.4 CPU使用率、內(nèi)存使用率、10 WAIT2.4.1定義一、CPU使用率:CPU時間的百分比，共分為以下幾個維度， 我們通常認為的 CPU使用率是US （用戶態(tài)）+s

15、y （系統(tǒng)態(tài)）使用的 CPU百分比之和。Us:用戶態(tài)使用的cpu時間百分比Sy：系統(tǒng)態(tài)使用的cpu時間百分比Ni :用做nice加權(quán)的進程分配的用戶態(tài)cpu時間百分比Id :空閑的cpu時間百分比Wa： cpu等待10完成時間百分比，指通常我們講的10 WAITHi :硬中斷消耗時間百分比Si :軟中斷消耗時間百分比二、內(nèi)存使用率內(nèi)存使用率通常是指已使用的內(nèi)存在總體內(nèi)存中所占的比例。Total :內(nèi)存總數(shù)Used:已使用內(nèi)存數(shù)Free：空閑的內(nèi)存數(shù)Shared：多個進程共享的內(nèi)存總額，查詢結(jié)果總是0Buffers : Buffer Cache磁盤緩存的大小Cached： cached Page

16、 Cache磁盤緩存的大小可用內(nèi)存=free+buffer+cached 所以計算內(nèi)存使用率公式為: 內(nèi)存使用率=(total-free-buffer-cached)/total * 100%2.4.2測試方法1、通過Nmon采集記錄（可以同時監(jiān)控CPU、內(nèi)存、10等各種豐富的性能資源指標），可以持續(xù)記錄測試過程每個時間點的資源使用情況,對于多核系統(tǒng)，也可以分別監(jiān)控每個 CPU的使用情況。可通過Nmon采集的資源使用曲線、結(jié)合系統(tǒng)的性能表現(xiàn)，初步完成系統(tǒng)的評估（判斷是否存在冋題）。2、通過Linux命令來進行系統(tǒng)問題的詳細分析（補充中）。top：查看進程活動狀態(tài)以及一些系統(tǒng)狀況，沒辦法記錄所有

17、時間點的資源使用情況，好處是可以查看到進程級別的資源使用。vmstat查詢，查詢整體的 CPUvmstat:查看系統(tǒng)狀態(tài)、硬件和系統(tǒng)信息等，通過使用情況，同時也可以查詢進程、內(nèi)存、交換頁面、I0的情況。iostat :查看CPU負載，硬盤狀況sar（同類的tsar阿里開源工具）：綜合類工具，比較全面的查看系統(tǒng)狀況的工具,如文件的讀寫情況、系統(tǒng)調(diào)用的使用情況、磁盤I/O、CPU效率、內(nèi)存使用狀況、進程活動及IPC有關(guān)的活動。mpstat:多核CPU的可以通過該命令查看某個cpu的情況netstat：查看網(wǎng)路情況tcpdumptcptrace :抓取網(wǎng)絡(luò)數(shù)據(jù)包和分析網(wǎng)絡(luò)數(shù)據(jù)包工具dstat：綜合工具，綜合了 vmstat, iostat, ifstat, netstat 等多個信息ps：進程查詢工具2.4.3分析評估1通過比較“最大吞吐量”和“系統(tǒng)資源使用率” 之間的關(guān)系進行分析， 系統(tǒng)必須在CPU、 內(nèi)存資