移動(dòng)APP項(xiàng)目實(shí)施案例分析及調(diào)優(yōu)

1、1背景隨著客戶業(yè)務(wù)發(fā)展，目前系統(tǒng)架構(gòu)已不能滿足業(yè)務(wù)發(fā)展需要，因此急需將服務(wù)器托管到阿里云上，并進(jìn)行擴(kuò)容；遷移到阿里云上以后，系統(tǒng)資源消 耗是否比目前線上環(huán)境結(jié)果要好。因此在上線前需要進(jìn)行性能測試，測試是否滿足各項(xiàng)性能指標(biāo)。2測試目標(biāo)本次測試目標(biāo)如下：? 容量測試：核心業(yè)務(wù)（核心業(yè)務(wù)1 +核心業(yè)務(wù)2）+非核心業(yè)務(wù)基線（非核心業(yè)務(wù)1 +非核心業(yè)務(wù)2+非核心業(yè)務(wù)3+非核心業(yè)務(wù)4+非核心業(yè)務(wù)5+非核心業(yè)務(wù)6） 混合交易容量? 穩(wěn)定性測試：混合交易穩(wěn)定性? 突變測試：非核心業(yè)務(wù)突變3倍，對核心業(yè)務(wù)的影響? 對比測試：和線上同等壓力下，線上和線下資源消耗和響應(yīng)時(shí)間對比。? 恢復(fù)性測試：模擬網(wǎng)絡(luò)攻擊3架構(gòu)系

2、統(tǒng)架構(gòu)主要有如下服務(wù)器:HTTP服務(wù)器：核心業(yè)務(wù)1和核心業(yè)務(wù)2業(yè)務(wù)? TCP服務(wù)器：核心業(yè)務(wù)使用人員終端心跳業(yè)務(wù)? MongoDB服務(wù)器：非結(jié)構(gòu)化數(shù)據(jù)庫存儲(chǔ)? Redis服務(wù)器：信息推送? MySQL服務(wù)器：結(jié)構(gòu)化數(shù)據(jù)庫存儲(chǔ)4測試指標(biāo)? 容量測試：核心業(yè)務(wù)1 TPS=600筆/秒，核心業(yè)務(wù)2 TPS=1200筆/秒? 穩(wěn)定性測試： 至少在核心業(yè)務(wù) 1 TPS等于300筆/秒和核心業(yè)務(wù)2 TPS等于600筆/秒能穩(wěn)定運(yùn)行8小時(shí)? 突變測試：非核心業(yè)務(wù)突變3倍，基本對核心業(yè)務(wù)無影響? 線上線下資源消耗對比測試：在跟線上核心業(yè)務(wù)1 TPS等于150筆/秒和核心業(yè)務(wù)2 TPS等于120筆/秒同等壓力下

3、，測試環(huán)境的MonogoDB和Redis CPULoad小于0.5%,磁盤利用率小于 0.1%? 線上線下存儲(chǔ)訪問時(shí)間對比測試：在核心業(yè)務(wù)1 TPS等于200筆/秒和核心業(yè)務(wù)2 TPS等于400筆/秒的情況下，應(yīng)用觀察到的存儲(chǔ)訪問平均耗時(shí)不超過4ms ,最大耗時(shí)不超過 100ms。? 恢復(fù)性測試：系統(tǒng)能恢復(fù)，TPS無變化5業(yè)務(wù)模型5.1分析2業(yè)務(wù)量通過生產(chǎn)上高峰業(yè)務(wù)量分析得出，核心業(yè)務(wù)1和核心業(yè)務(wù)2除了雙12外，比例占比1: 1.5左右，通過系統(tǒng)整個(gè)趨勢觀察，發(fā)現(xiàn)核心業(yè)務(wù)有明顯增長趨勢，因此核心業(yè)務(wù)1和核心業(yè)務(wù)2的占比為1: 2。高峰時(shí)候核心業(yè)務(wù)總的TPS只有50200筆/秒。核心業(yè)務(wù)量：時(shí)間

4、點(diǎn)業(yè)務(wù)合計(jì)占比平均占比最大值占比最大值TPS2014/12/1217: 0018： 00核心業(yè)務(wù)135134:8蟲 60105s2浦58550. 60E04364030 GM513106. 7166fi7核心業(yè)務(wù)22331640. 3E90370130220. 39495741890. 39548759. 8166667合計(jì)584512967710592時(shí)間點(diǎn)業(yè)務(wù)合計(jì)占比平均占比最大值占比2015/01/0407： 0003 ： 00核心業(yè)務(wù)11433236 24520112523490. 24274134250.4:3036557, 0833333核心業(yè)務(wù)22450520. 41924203

5、440040, 4220324:5330. 5M615P 75.55合計(jì)38937564337958時(shí)間點(diǎn)業(yè)務(wù)合計(jì)占比平均占比最大值占比2015/01/0607：箕。8: 00核心業(yè)務(wù)11269怎g0. 21725644621160. 21866831230. 3&049952. 05核心業(yè)務(wù)22571280. 43990200442150. 4355695540CJ. 63950192. 3333333合計(jì)384117633.18663時(shí)間點(diǎn)業(yè)務(wù)合計(jì)占比平均占比最大值占比2014/11/1117： 00181 00核心業(yè)務(wù)1E17020. 139778U13&10.

6、 40029427. 2核心業(yè)務(wù)211112CI0.19010730313520. 1913822430. 5970640. 75合計(jì)19282232134077非核心業(yè)務(wù)量：非核心業(yè)務(wù)1 +非核心業(yè)務(wù)2+非核心業(yè)務(wù)3+非核心業(yè)務(wù)4+非核心業(yè)務(wù)5+非核心業(yè)務(wù)6編號業(yè)務(wù)TPS占比編R業(yè)務(wù)TPS占比1非核心業(yè)務(wù)140016.4%2非核心業(yè)務(wù)250020.5%3非核心業(yè)務(wù)383334.2%4非核心業(yè)務(wù)42108.6%56非核心業(yè)務(wù)530012.3%非核心業(yè)務(wù)61908%合計(jì)2433100%5.2模型5.2模型5.2.1模型1編號業(yè)務(wù)類型業(yè)莠占比備注1楂心業(yè)務(wù)核心業(yè)務(wù)133.3%采用梯度海壓測試測出容

7、量2核心業(yè)第266.7%3非核心業(yè)務(wù)非核心業(yè)務(wù)116.4%非核心基線，總的 TPS為”33筆機(jī) 按照占比進(jìn)行分配4非核心業(yè)務(wù)220.5%5非核心業(yè)務(wù)3342%6非核心也若47非核心業(yè)務(wù)512.3%8非核心業(yè)務(wù)6S%此模型用于容量測試、穩(wěn)定性測試和恢復(fù)性測試。5.2.2模型 5.2.2模型 翁號業(yè)務(wù)類型業(yè)務(wù)占比備注1核心業(yè)務(wù)梭心業(yè)務(wù)1333%按照測試出來的容 量的50%壓力運(yùn)行核心業(yè)務(wù)266.7%3非核心業(yè)務(wù)非核心業(yè)務(wù)116.4%非核心基線突變3 信，總的TPS為7299筆用心按照占 比進(jìn)行分配4非核心業(yè)務(wù)220.5%5非核心業(yè)務(wù)3342%6非核心業(yè)務(wù)4* 6%7非核心業(yè)務(wù)5123%8非核心世務(wù)

8、68%此模型用于突變測試。編號止若類型業(yè)務(wù)占比備注1核心業(yè)務(wù)核心業(yè)務(wù)1553%按照核心業(yè)務(wù)1150Tps和核心業(yè)務(wù)2 120Tps情況,資源消栽對比2核心業(yè)務(wù)244.5%3非植心業(yè)務(wù)非核心業(yè)務(wù)116.4%非垓心基線,總的IPS為2433第秒*按照占比進(jìn)行分配4非核心業(yè)務(wù)220.5%5非核心業(yè)務(wù)334.2%6非核心業(yè)交41非核心業(yè)務(wù)512.3%8非核心業(yè)務(wù)68%此模型用于線上線下資源消耗對比測試。編號業(yè)務(wù)類型業(yè)務(wù)占比蓄注1核心業(yè)務(wù)核心業(yè)務(wù)133.3%總的TPS為600第 物方法耗時(shí)Ab核心業(yè)務(wù)266.7%3非核心業(yè)務(wù)非核心業(yè)務(wù)116.4%非核心基線，總的TPS為2433筆席, 按照占比進(jìn)行分配4

9、非核心業(yè)務(wù)220.5%5非核心業(yè)務(wù)？34.2%6非核心業(yè)箝48.6%7非核心業(yè)務(wù)512.3%8非核心業(yè)箝68%此模型用于線上線下存儲(chǔ)訪問時(shí)間對比測試6腳本設(shè)計(jì)經(jīng)過調(diào)研，發(fā)送后臺(tái)的業(yè)務(wù)均是URL+自定義Body方式，因此在性能測試?yán)锩?，新增一個(gè)腳本，上傳參數(shù)化文件，定義事務(wù)，設(shè)置連接和Body就行了，注意盡可能多的進(jìn)行參數(shù)化。r 一丁丁腳本描述：珀入腳本描述.少于50療參數(shù)文件：上傳文件參數(shù)文件說明文件名ger.csvon.csv事務(wù)：添加事務(wù)各域名綁定:好使用。不使用是否登錄：。是修否URL編碼： UTF-8。GBK喉腳不時(shí)含義，口J為中文高級屬性Header Body Cookie實(shí)時(shí)監(jiān)控X

10、7測試結(jié)果容量測試測試場景按照模型1 ,設(shè)置用戶數(shù)比例和步調(diào)時(shí)間（保持業(yè)務(wù)占比，不偏模型），運(yùn)行20分鐘，進(jìn)行負(fù)載測試。測試結(jié)果及分析? 第一輪測試按照核心業(yè)務(wù)1 1000筆/秒和核心業(yè)務(wù)2 2000筆/秒目標(biāo)發(fā)起壓力，發(fā)現(xiàn)不能達(dá)到目標(biāo)，TPS曲線不穩(wěn)定，運(yùn)行到1分鐘的時(shí)候，下降非常厲害，抖動(dòng)也非常厲害，通過監(jiān)控，發(fā)現(xiàn) FULL GC非常頻繁，達(dá)到1秒1次，經(jīng)過與架構(gòu)師溝通，這是由于實(shí)現(xiàn)機(jī)制導(dǎo)致的，核心業(yè)務(wù)1的機(jī)制是將內(nèi)容放到隊(duì)列里面，隊(duì)列長度是 2147483647,后臺(tái)只有64個(gè)線程（不能修改）在消化，消費(fèi)者（消化）處理速度的比生產(chǎn)者（核心業(yè)務(wù)1）慢，導(dǎo)致隊(duì)列長度越來越大，內(nèi)存很快被消化完

11、了，導(dǎo)致 FULL GC頻繁，這屬于架構(gòu)問題，不能進(jìn)行修改。核心業(yè)務(wù)2:指標(biāo)ECS指標(biāo)RDS指標(biāo)10,自動(dòng)刷新TPStps并發(fā)數(shù)請求狀態(tài)1k(a成功2015 13. Feb 17:44:10.524185.10匆秒17:3217:3417:36173817:4017:4217:4417:4617:4817:50一）儂一.1I失?。┦聞?wù)/指標(biāo)計(jì)量單位最小值最大值平均值標(biāo)準(zhǔn)差波動(dòng)率最新值71.401697.90390.17337.5286.5171.400.000.000.000.000.000.00? 第二輪測試按照核心業(yè)務(wù)1 600筆/秒和核心業(yè)務(wù)2 1200筆/秒發(fā)起壓力，運(yùn)行 20分鐘，T

12、PS基本保持穩(wěn)定，通過監(jiān)控發(fā)現(xiàn)，order應(yīng)用連接MongoDB連接數(shù)報(bào)已滿的異常錯(cuò)誤、logserve門O 過高、MongoDB locked DB 值高于75%。按照核心業(yè)務(wù)1 800筆/秒和核心業(yè)務(wù) 2 1600筆/秒目標(biāo)發(fā)起壓力，不能達(dá)到此目標(biāo)，TPS曲線非常不穩(wěn)定。? 第三輪測試mongoDB只有表鎖沒有行鎖，導(dǎo)致 locked值非常高，這個(gè)是產(chǎn)品問題，沒辦法進(jìn)行調(diào)優(yōu)。將order應(yīng)用MongoDB連接數(shù)從250調(diào)到1000;logserver磁盤換成效率更高 SSD磁盤；重新按口核心業(yè)務(wù)1 800筆/秒和核心業(yè)務(wù) 2 1600筆/秒目標(biāo)發(fā)起壓力，運(yùn)行 20分鐘，TPS曲線基本穩(wěn)定。

13、核心業(yè)務(wù)1 :業(yè)務(wù)指標(biāo)TPS響應(yīng)時(shí)間開發(fā)數(shù)請求狀態(tài)ECS指標(biāo)LOW500RDS指標(biāo)TPS、 ，失敗2015 13. iFeb 14:50:24.642O.OOVs10s自動(dòng)刷新0 -14:4214:4414:4614:481450145214:5414:5614:5815:00 w一一佚敗事務(wù)/指標(biāo)計(jì)量單位最小值最大值平均值標(biāo)準(zhǔn)差波動(dòng)率最新值. 血次心441.60826.40820.9135.004.26824.70 1 失敗次/S0.000.000.00Q.000.000.00核心業(yè)務(wù)2:實(shí)時(shí)盥控X實(shí)時(shí)盥控X業(yè)若指標(biāo)ECS指標(biāo)RDS指標(biāo)10s自動(dòng)刷新TPSTPS響應(yīng)時(shí)間2k 并發(fā)數(shù)/71請求

14、狀態(tài)要 I二雙 -/ _ 失敗92015 13. Feb 14:52:24.7200.00 如 s0k 14:4214:4414:4614:4814:5014:5214:5414:5614:5815:00 CF初一,事務(wù)/指標(biāo)計(jì)量單位最小值最大值平均值標(biāo)準(zhǔn)差波動(dòng)率最新值c j ； 曲次/S801.901651.801634.12102.706.28801.90、一歸1.1失敗次/S0.000.000.000.000.000.007.1.3測試結(jié)論7.1.3測試結(jié)論系統(tǒng)的容量為核心業(yè)務(wù) 1 800筆/秒和核心業(yè)務(wù) 2 1600筆/秒，滿足核心業(yè)務(wù) 1 600筆/秒和核心業(yè)務(wù) 2 1200筆/秒目

15、標(biāo)要求。線上線下資源消耗對比測試測試場景按照模型3發(fā)起壓力，在核心業(yè)務(wù)1 150TPS和核心業(yè)務(wù)2 120TPS壓力情況下，運(yùn)行 20分鐘，資源消耗對比。測試結(jié)果及分析MongoDB 和Redis CPU Load 均小于0.5, CPU 利用率均小于10%,磁盤利用率均小于 0.1%,這些指標(biāo)結(jié)果比線上資源消耗結(jié)果略好。測試結(jié)論在跟線上同等壓力的情況下，阿里云環(huán)境各項(xiàng)指標(biāo)結(jié)果略好于目前線上環(huán)境資源消耗。線上線下存儲(chǔ)訪問時(shí)間對比測試測試場景按照模型4發(fā)起壓力，在核心業(yè)務(wù)1 200筆/秒和核心業(yè)務(wù)2 400筆/秒的壓力下，運(yùn)行 20分鐘，觀察存儲(chǔ)訪問的時(shí)間。測試結(jié)果及分析在xflush上面觀察到

16、的存儲(chǔ)耗時(shí)值小于3ms,最大值不超過100ms測試結(jié)論滿足目標(biāo)平均耗時(shí)不超過4ms,最大耗時(shí)不超過 100ms的需求。突變測試測試場景按照模型2,在核心業(yè)務(wù)1 TPS 400筆/秒和核心業(yè)務(wù)2 TPS 800筆/秒的情況下，平穩(wěn)運(yùn)行5分鐘后，將非核心業(yè)務(wù)按照基線的3倍進(jìn)行突變，運(yùn)行5分鐘，觀察核心業(yè)務(wù) TPS曲線的變化，然后將非核心業(yè)務(wù)恢復(fù)到基線，觀察核心業(yè)務(wù)TPS曲線的變化。實(shí)時(shí)監(jiān)控X測試結(jié)果及分析核心業(yè)務(wù)1 :10s自動(dòng)刷新業(yè)務(wù)指標(biāo)ECS指標(biāo)RDS指標(biāo)IPS響應(yīng)時(shí)間并發(fā)數(shù)請求狀態(tài)TPS6004002000非核業(yè)務(wù)突變3倍非核業(yè)務(wù)恢復(fù)到基線10:3810:4010:4210:4410:461

17、0:48一成功 ,失敗事務(wù)/指標(biāo)計(jì)量單位最小值最大值平均值標(biāo)準(zhǔn)差波動(dòng)率最新值爾S29.80397.50388.6342.9211.0429.80次0.000.000.000.000.000.00核心業(yè)務(wù)2:業(yè)務(wù)指標(biāo)TPS響應(yīng)可并發(fā)數(shù)請求狀態(tài)ECS指標(biāo)RDS指標(biāo)TPS1,000500非核心業(yè)務(wù)突變3倍10s自動(dòng)刷新-：非核心業(yè)務(wù)恢復(fù)基線10:3410:3610:3810:4010:4210:4410:4610:48】成功一 . 住事務(wù)/指標(biāo)計(jì)量單位最小值最大值平均值標(biāo)準(zhǔn)差波動(dòng)率最新值次JS59.10793.70775.3385.8711.0859.101失敗次Js0-000.000.000.00

18、0.000.00從圖中可以看出，當(dāng)非核心業(yè)務(wù)突變3倍以后，對核心業(yè)務(wù) 1和核心業(yè)務(wù)2有輕微的影響（核心業(yè)務(wù)1和核心業(yè)務(wù)2 TPS下降），但馬上能恢復(fù)，突變的整個(gè)過程對核心業(yè)務(wù)基本無影響。測試結(jié)論非核心業(yè)務(wù)突變3倍對核心業(yè)務(wù)基本無影響，滿足目標(biāo)要求?；謴?fù)性測試測試場景按照模型1,在核心業(yè)務(wù) 1 800筆/秒和核心業(yè)務(wù)2 1600筆/秒的壓力下，平穩(wěn)運(yùn)行5分鐘后，斷開所有 mysql服務(wù)網(wǎng)絡(luò)5秒，觀察核心業(yè)務(wù) TPS曲 線變化，然后恢復(fù)mysql網(wǎng)絡(luò)，觀察核心業(yè)務(wù)TPS曲線變化，接著斷開所有MongoDB服務(wù)網(wǎng)絡(luò)5秒，觀察核心業(yè)務(wù)TPS曲線變化，然后恢復(fù)所有 MongoDB 服務(wù)網(wǎng)絡(luò)，觀察核心業(yè)務(wù)

19、 TPS曲線變化。測試結(jié)果及分析核心業(yè)務(wù)1 :業(yè)務(wù)指標(biāo)TPS響應(yīng)時(shí)間并發(fā)數(shù)請求狀態(tài)ECS指標(biāo)RDS指標(biāo)TPS10s自動(dòng)刷新11:0411:0611:0811:1011:1211:1411:1611:1811:2011:22一曲- 事務(wù)/指標(biāo)計(jì)量單位最小值最大值平均值標(biāo)準(zhǔn)差波動(dòng)率最新值5、一砌次6380.20794.20781.3854.206.94380.20 /l . SfeRJlRs0.000.000.000.000.000.00核心業(yè)務(wù)2:TPS10s自動(dòng)刷新業(yè)務(wù)指標(biāo)ECS指標(biāo)RDS指標(biāo)TPS響應(yīng)時(shí)間并發(fā)數(shù)請求狀態(tài)UR111:0411:0611:0811:1011:1211:1411:1

20、611:1811:2011:22. ,期J事務(wù)/指標(biāo)計(jì)量單位最小值最大值平均值標(biāo)準(zhǔn)差波動(dòng)率最新值. i麗；X/s781.701584.801555.19104.786.74797.10次/$0.000.000.000.000.000.00從圖中可以看出，斷開 MySQL和MongoDB網(wǎng)絡(luò)5秒的瞬間，核心業(yè)務(wù) 1和核心業(yè)務(wù)2的TPS有輕微的下降，隨后能恢復(fù)到正常水平，因此對核 心業(yè)務(wù)基本沒有影響。測試結(jié)論模擬網(wǎng)絡(luò)攻擊，對核心業(yè)務(wù)基本沒有影響，滿足目標(biāo)要求。穩(wěn)定性測試測試場景按照模型1和最大容量的80%左右發(fā)起壓力（核心業(yè)務(wù)1:600筆/秒和核心業(yè)務(wù)2: 1200筆/秒），運(yùn)行8小時(shí)，觀察系統(tǒng)是

21、否能穩(wěn)定運(yùn)行。測試結(jié)果及分析核心業(yè)務(wù)1 :業(yè)務(wù)指標(biāo)TPS響應(yīng)時(shí)1 旬并發(fā)數(shù)清求狀態(tài)ECS指標(biāo)RDS指標(biāo)TPS10s自動(dòng)刷新13:4013:5014:0014:1014:2014:30一、溺事務(wù)/指標(biāo)計(jì)量單位最小值最大值平均值標(biāo)準(zhǔn)差波動(dòng)率最新值、血次收66.80596.10497.441493330.0266.80、颯次小0.000.000.000.000.000.00核心業(yè)務(wù)2:10s自動(dòng)刷新業(yè)務(wù)指標(biāo)ECS指標(biāo)RDS指標(biāo)TPSTPS響應(yīng)時(shí)間并發(fā)數(shù)清求狀態(tài)1,50013:4013:5014:0014:1014:2014:30廣 、曲-佚敗J事務(wù)/指標(biāo)計(jì)量單位最小值最大值平均值標(biāo)準(zhǔn)差波動(dòng)率最新值.

22、、成功次h135.401189.901012.79278.7427.52135.400-失敗次Js0.000.000.000.000.000-00運(yùn)行到35分鐘后，核心業(yè)務(wù)1和核心業(yè)務(wù)2 TPS開始有輕微大幅度波動(dòng)，運(yùn)行到 45分鐘后，核心業(yè)務(wù)1和核心業(yè)務(wù)2 TPS開始大幅度波動(dòng)，比較 頻繁，并且不能恢復(fù)到初始水平（過一段時(shí)間，TPS逐漸在下降），經(jīng)過分析發(fā)現(xiàn)是 FULL GC導(dǎo)致，詳見7.1.2測試結(jié)果及分析。因此將壓力降為一半（核心業(yè)務(wù) 1: 300筆/秒，核心業(yè)務(wù)2: 600筆/秒），重新運(yùn)行穩(wěn)定性測試。核心業(yè)務(wù)1 :業(yè)務(wù)指標(biāo)TPS響應(yīng)時(shí)間并發(fā)數(shù)請求狀態(tài)ECS指標(biāo)RDS指標(biāo)10s自動(dòng)刷新TPS400 事務(wù)/指標(biāo)計(jì)量單位最小值最大值平均值標(biāo)準(zhǔn)差波動(dòng)率最新值1 則次Js33.90308.80