性能測(cè)試總結(jié)規(guī)范

'.性能測(cè)試規(guī)范神州數(shù)碼系統(tǒng)集成服務(wù)有限企業(yè)2018年10月;.'.目錄1概括31.1編寫目的31.2合用范圍32性能測(cè)試指標(biāo)32.1響應(yīng)時(shí)間3定義3測(cè)試方法4解析評(píng)估52.2TPS（QPS）、并發(fā)用戶數(shù)7定義7測(cè)試方法7解析評(píng)估82.3懇求成功率9定義9測(cè)試方法9解析評(píng)估92.4CPU使用率、內(nèi)存使用率、IOWAIT9定義9測(cè)試方法10解析評(píng)估112.5GC112.6進(jìn)度級(jí)其他資源占用11;.'.概括1.1編寫目的本文檔在對(duì)性能指標(biāo)的見解、測(cè)試及解析方法、評(píng)判標(biāo)準(zhǔn)以及工具的使用進(jìn)行說明，旨在指導(dǎo)性能測(cè)試工程師更好的理解各個(gè)性能指標(biāo)，并對(duì)系統(tǒng)的性能質(zhì)量做出正確的議論和解析。1.2合用范圍本規(guī)范合用范圍：性能測(cè)試、性能調(diào)優(yōu)和性能查收活動(dòng)。性能測(cè)試指標(biāo)2.1響應(yīng)時(shí)間定義響應(yīng)時(shí)間平時(shí)是指客戶發(fā)出懇求到獲取響應(yīng)的整個(gè)過程所耗資的時(shí)間，平時(shí)被定義TTLB（TimetoLasterByte），代表從倡導(dǎo)一個(gè)懇求開始，到客戶端收到響應(yīng)的最后一個(gè)字節(jié)所耗資的時(shí)間。響應(yīng)時(shí)間依據(jù)所耗資的時(shí)間段可以做仔細(xì)的拆解，我們可以把它拆解為三部分，系統(tǒng)辦理時(shí)間、數(shù)據(jù)傳輸時(shí)間、表現(xiàn)時(shí)間（Web頁面特有，接口類懇求無表現(xiàn)時(shí)間），每個(gè)部分的時(shí)間耗資影響的因素有所不相同。表現(xiàn)時(shí)間：主假如閱讀器對(duì)接收到的數(shù)據(jù)襯著展現(xiàn)的過程，表現(xiàn)時(shí)間不單于閱讀器有關(guān)，和操作系統(tǒng)、電腦的硬件配置也有關(guān)系。數(shù)據(jù)傳輸時(shí)間：懇求、響應(yīng)數(shù)據(jù)在網(wǎng)絡(luò)中傳輸耗資的時(shí)間，和網(wǎng)絡(luò)的時(shí)延、帶寬有關(guān)系。系統(tǒng)辦理時(shí)間：系統(tǒng)接收到懇求后，對(duì)懇求辦理，并將結(jié)果返回的時(shí)間，和系統(tǒng)服務(wù)器的軟硬件配置有關(guān)系。;.'.測(cè)試方法一、測(cè)試前提前提一：性能測(cè)試中響應(yīng)時(shí)間的測(cè)試，需要保持一個(gè)牢固的網(wǎng)絡(luò)環(huán)境。不建議在辦公網(wǎng)絡(luò)中搭建“施壓設(shè)施”，不牢固的辦公網(wǎng)絡(luò)環(huán)境會(huì)影響對(duì)測(cè)試結(jié)果的評(píng)判。建議在以下兩種環(huán)境下測(cè)試：①施壓設(shè)施與被測(cè)系統(tǒng)在同一局域網(wǎng)中，更可以除去網(wǎng)絡(luò)情況對(duì)響應(yīng)時(shí)間的影響，可以更正確的權(quán)衡“系統(tǒng)辦理時(shí)間”。②施壓設(shè)施和被測(cè)系統(tǒng)在不相同的機(jī)房環(huán)境中經(jīng)過公網(wǎng)測(cè)試，這種場(chǎng)景更能正確的模擬并評(píng)估系統(tǒng)在生產(chǎn)環(huán)境中的表現(xiàn)。測(cè)試工程師可以依據(jù)測(cè)試的目的，選擇后兩種環(huán)境進(jìn)行測(cè)試。2)前提二：確定必然的并發(fā)量來測(cè)試響應(yīng)時(shí)間最優(yōu)并發(fā)用戶場(chǎng)景、最高并發(fā)用戶場(chǎng)景兩種場(chǎng)景測(cè)試，響應(yīng)時(shí)間的表現(xiàn)是不相同的，最高并發(fā)場(chǎng)景的響應(yīng)時(shí)間將會(huì)比最優(yōu)并發(fā)的響應(yīng)時(shí)間大得多，測(cè)試前我們需要確定我們測(cè)試的場(chǎng)景是最優(yōu)并發(fā)仍是最高并發(fā)。二、測(cè)試步驟找到最高的吞吐量(TPS)。測(cè)試前確定一個(gè)響應(yīng)時(shí)間的標(biāo)準(zhǔn)（如：小于100ms），此后進(jìn)行基準(zhǔn)測(cè)試，經(jīng)過虛假并發(fā)用戶數(shù)為1的方式測(cè)試，記錄測(cè)試的TPS、響應(yīng)時(shí)間測(cè)試結(jié)果，將該響應(yīng)時(shí)間與標(biāo)準(zhǔn)比較，若大于標(biāo)準(zhǔn)響應(yīng)時(shí)間，那么則說明系統(tǒng)有問題無法知足標(biāo)準(zhǔn)，若該響應(yīng)時(shí)間小于標(biāo)準(zhǔn)時(shí)間，則連續(xù)下面的測(cè)試。經(jīng)過壓力測(cè)試找到最大的吞吐量：在基準(zhǔn)測(cè)試響應(yīng)時(shí)間的限制下，找到系統(tǒng)最大的吞吐量（TPS），該情況下響應(yīng)時(shí)間知足要求、吞吐量最大，可確定為“最正確并發(fā)用戶數(shù)”。方法是依據(jù)必然的步長，不斷增加虛假并發(fā)用戶數(shù)，直至響應(yīng)時(shí)間超出限制、吞吐量不在增加、隨意節(jié)點(diǎn)資源使用率超出要求（如：70%）。2)負(fù)載測(cè)試：保持最大吞吐量，履行負(fù)載測(cè)試，連續(xù)30分鐘，記錄測(cè)試TPS、響應(yīng)時(shí)間測(cè)試結(jié)果。3)牢固性測(cè)試：保持最大吞吐量，履行牢固性測(cè)試，連續(xù)3*24小時(shí)，記錄測(cè)試TPS、響;.'.應(yīng)時(shí)間。三、測(cè)試對(duì)象的分類1)接口接口類響應(yīng)時(shí)間只包含數(shù)據(jù)傳輸時(shí)間、系統(tǒng)辦理時(shí)間，不包含表現(xiàn)時(shí)間，ApacheJmeter支持該類響應(yīng)時(shí)間的統(tǒng)計(jì)，共有min、max、avg三種統(tǒng)計(jì)結(jié)果，分別代表最小、最大、平均值，其他的性能測(cè)試工具均有對(duì)接口類響應(yīng)時(shí)間的精準(zhǔn)統(tǒng)計(jì)。Web頁面有3種方法可以統(tǒng)計(jì)Web頁面的響應(yīng)時(shí)間：①閱讀器抓包工具統(tǒng)計(jì)頁面響應(yīng)時(shí)間②錄屏軟件抓取屏幕計(jì)算響應(yīng)時(shí)間③JS打點(diǎn)統(tǒng)計(jì)頁面響應(yīng)時(shí)間。注意：目前還無法經(jīng)過大量并發(fā)接見的采樣統(tǒng)計(jì)頁面的響應(yīng)時(shí)間，在經(jīng)過閱讀器測(cè)試Web頁面響應(yīng)時(shí)間時(shí)，要保證經(jīng)過Jmeter對(duì)系統(tǒng)相對(duì)應(yīng)接口保持必然壓力的并發(fā)用戶接見（平時(shí)在最優(yōu)并發(fā)下測(cè)試）。解析評(píng)估一、Web頁面響應(yīng)時(shí)間解析依據(jù)258原則在互聯(lián)網(wǎng)上對(duì)于用戶響應(yīng)時(shí)間有一個(gè)廣泛的標(biāo)準(zhǔn)（2/5/8原則），一般認(rèn)為響應(yīng)時(shí)間超過5s是系統(tǒng)是需要優(yōu)化，假如超出8s是不能接受的。2s之內(nèi)響應(yīng)被認(rèn)為特別有吸引力的用戶體驗(yàn)。5s之內(nèi)響應(yīng)被認(rèn)為比較不錯(cuò)的用戶體驗(yàn)。8s之內(nèi)響應(yīng)被認(rèn)為特別糟糕的用戶體驗(yàn)。超出8s沒有響應(yīng)，用戶平時(shí)認(rèn)為懇求失敗。需要特別說明的一點(diǎn)，對(duì)于用戶來說，響應(yīng)時(shí)間能否被接受帶有必然的主觀色彩，比方一個(gè)系統(tǒng)報(bào)表的功能，每個(gè)月才會(huì)合用戶使用一次，那么每次開銷1個(gè)小時(shí)，用戶是可以接受的，可是一個(gè)常用的登錄按鈕提交1分鐘后才返回登錄成功，我們也難以接受。因此響應(yīng);.'.時(shí)間的“長”和“短”并沒有絕對(duì)的定義，合理的響應(yīng)時(shí)間取決于用戶實(shí)質(zhì)需求，而不可以依據(jù)測(cè)試人員的設(shè)想或許標(biāo)準(zhǔn)的硬性規(guī)定。二、Web頁面響應(yīng)時(shí)間解析評(píng)估時(shí)需要考慮有無閱讀器緩存的兩種情況Web頁面響應(yīng)時(shí)間測(cè)試，要分為閱讀器有緩存和無緩存的兩種情況（無緩存的情況由于資源的下載響應(yīng)時(shí)間會(huì)稍長），一般經(jīng)過有閱讀器緩存的場(chǎng)景的結(jié)果表現(xiàn)來評(píng)估響應(yīng)時(shí)間對(duì)用戶體驗(yàn)的影響。三、接口類響應(yīng)時(shí)間，參照系統(tǒng)需求規(guī)格定義評(píng)估最優(yōu)并發(fā)情況下，性能測(cè)試結(jié)果平均響應(yīng)時(shí)間不得高于系統(tǒng)需求規(guī)格定義。建議：需求規(guī)格的定義，單接口響應(yīng)時(shí)間應(yīng)小于100ms。響應(yīng)時(shí)間的標(biāo)準(zhǔn)一般定義：99.9%響應(yīng)時(shí)間必然在100ms以下（非平均值，99.9%取樣響應(yīng)時(shí)間均在100ms以下）或許平均響應(yīng)時(shí)間在100ms以下，目前工具只能統(tǒng)計(jì)平均響應(yīng)時(shí)間指標(biāo)。四、響應(yīng)時(shí)間與歷史版本比較目前系統(tǒng)實(shí)測(cè)響應(yīng)時(shí)間的指標(biāo)不得高于歷史版本的實(shí)測(cè)結(jié)果。注意：兩者的測(cè)試結(jié)果的比較，必然是在相同條件下測(cè)試的結(jié)果（環(huán)境對(duì)性能的影響較大）。五、參照同類系統(tǒng)功能的響應(yīng)時(shí)間對(duì)于新開發(fā)的系統(tǒng)，在沒有生產(chǎn)環(huán)境數(shù)據(jù)、歷史版本參照的情況下，可參照其他近似系統(tǒng)的響應(yīng)時(shí)間的實(shí)測(cè)結(jié)果，比較本系統(tǒng)實(shí)測(cè)的結(jié)果，經(jīng)過產(chǎn)品經(jīng)理、開發(fā)、運(yùn)營運(yùn)維共同評(píng)審確定該系統(tǒng)的性能需求標(biāo)準(zhǔn)，并依據(jù)達(dá)成一致的需求標(biāo)準(zhǔn)進(jìn)行評(píng)估。;.'.2.2TPS（QPS）、并發(fā)用戶數(shù)定義TPS：每秒事務(wù)數(shù)，指系統(tǒng)每秒可以辦理的事務(wù)數(shù)量（一個(gè)事務(wù)可能是有多個(gè)懇求組成）。QPS：每秒查問率，只系統(tǒng)每秒可以辦理的查問（平時(shí)指一個(gè)request懇求）數(shù)量。并發(fā)用戶數(shù)：在同一時(shí)刻（任一時(shí)刻）與服務(wù)器進(jìn)行交互（服務(wù)器正在辦理）的在線用戶的數(shù)量。對(duì)于并發(fā)用戶數(shù)防備兩種錯(cuò)誤的理解，一種錯(cuò)誤的理解是把并發(fā)用戶數(shù)理解為系統(tǒng)注冊(cè)用戶數(shù)，還有一個(gè)錯(cuò)誤的理解是把并發(fā)用戶數(shù)理解為系統(tǒng)在線用戶數(shù)。測(cè)試方法找到牢固運(yùn)行的最高的吞吐量(TPS)。測(cè)試前確定一個(gè)響應(yīng)時(shí)間的標(biāo)準(zhǔn)（如：小于100ms），此后進(jìn)行基準(zhǔn)測(cè)試，經(jīng)過虛假并發(fā)用戶數(shù)為1的方式測(cè)試，記錄測(cè)試的TPS、響應(yīng)時(shí)間測(cè)試結(jié)果，將該響應(yīng)時(shí)間與標(biāo)準(zhǔn)比較，若大于標(biāo)準(zhǔn)響應(yīng)時(shí)間，那么則說明系統(tǒng)有問題無法知足標(biāo)準(zhǔn)，若該響應(yīng)時(shí)間小于標(biāo)準(zhǔn)時(shí)間，則連續(xù)下面的測(cè)試。經(jīng)過壓力測(cè)試找到最大的吞吐量：在基準(zhǔn)測(cè)試響應(yīng)時(shí)間的限制下，找到系統(tǒng)最大的吞吐量（TPS），該情況下響應(yīng)時(shí)間知足要求、吞吐量最大，可確定為“最正確并發(fā)用戶數(shù)”。方法是依據(jù)必然的步長，不斷增加虛假并發(fā)用戶數(shù)，直至響應(yīng)時(shí)間超出限制、吞吐量不在增加、隨意節(jié)點(diǎn)資源使用率超出要求（如：70%）。2)負(fù)載測(cè)試：保持最大吞吐量，履行負(fù)載測(cè)試，連續(xù)30分鐘，記錄測(cè)試TPS、響應(yīng)時(shí)間測(cè)試結(jié)果。3)牢固性測(cè)試：保持“最正確并發(fā)用戶數(shù)”，履行牢固性測(cè)試，連續(xù)3*24小時(shí)，記錄測(cè)試TPS、響應(yīng)時(shí)間。在成功率100%的限制下（不考慮響應(yīng)時(shí)間長短）找到系統(tǒng)的極限值。不斷增加并發(fā)用戶數(shù)，可以連續(xù)運(yùn)行30分鐘不犯錯(cuò)誤的并發(fā)量即為系統(tǒng)的極限值。;.'.解析評(píng)估一、最大吞吐量和系統(tǒng)資源使用的解析在明確響應(yīng)時(shí)間要求的限制下，壓力測(cè)試過程中，找到最大吞吐量的拐點(diǎn)時(shí)，解析系統(tǒng)資源（CPU、內(nèi)存）的使用率，若使用率過低，則連續(xù)加大并發(fā)用戶量，若系統(tǒng)的所有節(jié)點(diǎn)的任一資源均無法達(dá)到70%使用率，說明系統(tǒng)存在系統(tǒng)類、軟件類問題和瓶頸，需要調(diào)優(yōu)。二、TPS與需求規(guī)格定義（生產(chǎn)環(huán)境負(fù)載）比較需求規(guī)格說明書中有明確的標(biāo)準(zhǔn)定義將吞吐量的實(shí)測(cè)結(jié)果和需求規(guī)格定義（生產(chǎn)環(huán)境負(fù)載）比較，若大于需求規(guī)格定義則為經(jīng)過。一般最大吞吐量對(duì)應(yīng)生產(chǎn)環(huán)境的平均負(fù)載，系統(tǒng)極限值僅用來對(duì)付生產(chǎn)環(huán)境的突發(fā)高峰。需求規(guī)格說明書中無明確的標(biāo)準(zhǔn)定義若需求規(guī)格說明書中沒相對(duì)于性能指標(biāo)的明確定義，在性能測(cè)試方案設(shè)計(jì)階段性能測(cè)試工程師應(yīng)推動(dòng)測(cè)試、開發(fā)、產(chǎn)品經(jīng)理和運(yùn)維運(yùn)營一同，明確有關(guān)性能指標(biāo)。性能指標(biāo)可參照生產(chǎn)環(huán)境交易量統(tǒng)計(jì)數(shù)據(jù)來評(píng)估，評(píng)估結(jié)果一般應(yīng)略高于目前生產(chǎn)環(huán)境的負(fù)載（預(yù)留半年到一年接見量增加的余量）。若新開發(fā)產(chǎn)品，無生產(chǎn)環(huán)境胸懷數(shù)據(jù)，可參照同類產(chǎn)品、本產(chǎn)品運(yùn)營推行計(jì)劃來評(píng)估本產(chǎn)品的性能指標(biāo)，性能指標(biāo)確認(rèn)的結(jié)果可經(jīng)過提單結(jié)論歸檔。三、負(fù)載測(cè)試、牢固性測(cè)試采樣解析在負(fù)載測(cè)試、牢固性測(cè)試過程中，保持最高吞吐量情況下壓測(cè)，TPS曲線、響應(yīng)時(shí)間曲線應(yīng)當(dāng)是趨于牢固的，如出現(xiàn)大的顛簸（驟升或驟降），則視為異樣的拐點(diǎn)（問題），需要進(jìn)行問題定位。;.'.2.3懇求成功率定義顧名思義，懇求成功率代表所有懇求中，成功接收到響應(yīng)的懇求所占的比率。系統(tǒng)的吞吐量和懇求成功率是掛鉤的。測(cè)試方法懇求成功率是響應(yīng)時(shí)間、TPS等指標(biāo)的前提，在成功率知足大于99.9%的前提下，響應(yīng)時(shí)間、TPS知足預(yù)期。成功率的測(cè)試方法，可參照2.1、2.2章節(jié)中對(duì)于響應(yīng)時(shí)間、TPS的測(cè)試方法。解析評(píng)估標(biāo)準(zhǔn)要求：負(fù)載測(cè)試、牢固性測(cè)試，懇求成功率要求大于99.9%。2.4CPU使用率、內(nèi)存使用率、IOWAIT定義一、CPU使用率：CPU時(shí)間的百分比，共分為以下幾個(gè)維度，我們平時(shí)認(rèn)為的CPU使用率是us（用戶態(tài)）+sy（系統(tǒng)態(tài)）使用的CPU百分比之和。Us：用戶態(tài)使用的cpu時(shí)間百分比Sy：系統(tǒng)態(tài)使用的cpu時(shí)間百分比Ni：用做nice加權(quán)的進(jìn)度分派的用戶態(tài)cpu時(shí)間百分比Id：悠閑的cpu時(shí)間百分比Wa：cpu等待IO達(dá)成時(shí)間百分比，指平時(shí)我們講的IOWAITHi：硬中止耗資時(shí)間百分比Si：軟中止耗資時(shí)間百分比;.'.二、內(nèi)存使用率內(nèi)存使用率平時(shí)是指已使用的內(nèi)存在整體內(nèi)存中所占的比率。Total：內(nèi)存總數(shù)Used：已使用內(nèi)存數(shù)Free：悠閑的內(nèi)存數(shù)Shared：多個(gè)進(jìn)度共享的內(nèi)存總數(shù)，查問結(jié)果老是0Buffers：BufferCache磁盤緩存的大小Cached：cachedPageCache磁盤緩存的大小可用內(nèi)存=free+buffer+cached因此計(jì)算內(nèi)存使用率公式為：內(nèi)存使用率=（total-free-buffer-cached）/total*100%測(cè)試方法1、經(jīng)過Nmon采集記錄（可以同時(shí)監(jiān)控CPU、內(nèi)存、IO等各樣豐富的性能資源指標(biāo)），可以連續(xù)記錄測(cè)試過程每個(gè)時(shí)間點(diǎn)的資源使用情況，對(duì)于多核系統(tǒng)，也可以分別監(jiān)控每個(gè)CPU的使用情況?？山?jīng)過Nmon采集的資源使用曲線、聯(lián)合系統(tǒng)的性能表現(xiàn)，初步達(dá)成系統(tǒng)的評(píng)估（判斷能否存在問題）。2、經(jīng)過Linux命令來進(jìn)行系統(tǒng)問題的詳盡解析（補(bǔ)充中）。top：查察進(jìn)度活動(dòng)狀態(tài)以及一些系統(tǒng)情況，沒方法記錄所有時(shí)間點(diǎn)的資源使用情況，利處是可以查察到進(jìn)度級(jí)其他資源使用。vmstat：查察系統(tǒng)狀態(tài)、硬件和系統(tǒng)信息等，經(jīng)過vmstat查問，查問整體的CPU使用情況，同時(shí)也可以查問進(jìn)度、內(nèi)存、互換頁面、IO的情況。iostat：查察CPU負(fù)載，硬盤情況sar(同類的tsar阿里開源工具）：綜合類工具，比較全面的查察系統(tǒng)情況的工具，如文件的讀寫情況、系統(tǒng)調(diào)用的使用情況、磁盤I/O、CPU效率、內(nèi)存使用情況、進(jìn)度活動(dòng)及IPC有關(guān)的活動(dòng)。mpstat：多核CPU的可以經(jīng)過該命令查察某個(gè)cpu的情況netstat：查察網(wǎng)路情況;.'.tcpdump\tcptrace：抓取網(wǎng)絡(luò)數(shù)據(jù)包和解析網(wǎng)絡(luò)數(shù)據(jù)包工具dstat：綜合工具，綜合了vmstat,iostat,ifstat,netstat等多個(gè)信息ps：進(jìn)度查問工具解析評(píng)估1、經(jīng)過比較“最大吞吐量”和“系統(tǒng)資源使用率”之間的關(guān)系進(jìn)行解析，系統(tǒng)必然在CPU、內(nèi)存資源使用小于