電商全鏈路壓測平臺方案設(shè)計

1、 電商全鏈路壓測平臺方案設(shè)計高效運維 微信號 greatops功能介紹 高效運維公眾號由蕭田國及朋友們維護，經(jīng)常發(fā)布各種廣為傳播的優(yōu)秀原創(chuàng)技術(shù)文章，關(guān)注運維轉(zhuǎn)型，陪伴您的運維職業(yè)生涯，一起愉快滴發(fā)展。一、小紅書前世今生2013年小紅書成立之初，主要是讓大家分享自己所購買的商品或者是使用好的商品、好的體驗。在很短的時間內(nèi)迅速成長為全國最大的商品分享社區(qū)。很多妹子看到這口紅不錯、那個包包很好看；很多口紅是國外的，沒有地方買。由此在2014年構(gòu)建電商平臺開始上業(yè)務(wù)。目前小紅書已經(jīng)成為國內(nèi)最大的社區(qū)跨境電商之一。現(xiàn)在我們在上海、鄭州、寧波和深圳有多個保稅倉，為全國提供各類全球的好商品。二、快速成長的痛

2、記得在2015年的時候，阿里雙十一會場可能做了上千號的人來同時進行全鏈路壓測。小紅書因為成長的這三年非常迅速；和阿里、京東大廠曾經(jīng)遇到的穩(wěn)定性問題一樣需要去面對、解決。主要有三個方面：其一，隨著業(yè)務(wù)增長，人員、IT資源的擴張趕不上業(yè)務(wù)的快速發(fā)展。比如說，在負責(zé)穩(wěn)定性保障這塊，我們測試團隊在構(gòu)建全鏈路壓測過程中也就兩三位同學(xué)。相對于阿里、京東來說是數(shù)量級的差異。其二，以前基于單體python的系統(tǒng)架構(gòu)在大促時常常成為瓶頸；其三，缺乏有效的性能和線上穩(wěn)定性保障策略和實踐。三、全鏈路壓測系統(tǒng)架構(gòu)對于全鏈路壓測，阿里有PDS、京東有全鏈路壓測平臺。大廠這樣的壓測系統(tǒng)都是經(jīng)過較長的時間不斷迭代出來的。我

3、們怎么辦？我們沒有那么的人力和資源；最核心的就是要搞定問題。在電商高峰期場景下，它的流量可能是平時的10倍甚至是幾十倍。在這種情況下流量不是均勻地打到各個業(yè)務(wù)線的。例如，90%流量先進到主會場；再由主會場引流到各個分會場，然后是下單等等。整個過程是一個漏斗模型；這個可以用接口的水位對比來表示。為了保證模擬高峰期線上行為，我們需要基于水位對比對整個業(yè)務(wù)模型進行全鏈路壓測。據(jù)此，我們的全鏈路壓測系統(tǒng)架構(gòu)分為四大塊：各個鏈路壓測腳本配置管理；壓測調(diào)度；統(tǒng)一壓測數(shù)據(jù)管理；被測業(yè)務(wù)系統(tǒng)狀態(tài)監(jiān)控；對于壓測系統(tǒng)來說，最核心的就是壓測腳本；怎么能夠快速、方便的開發(fā)出來一大批鏈路的壓測腳本。四、構(gòu)建全鏈路壓測：

4、從0到14.1、從0開始6月6號大促是我們平常比較重要的三個大促之一。我們在5月接到需要保障今年大促的任務(wù)。當(dāng)時整個測試的同學(xué)只有兩人可以投入，運維同學(xué)只有一位可以支持。而開發(fā)的同學(xué)一直會致力于業(yè)務(wù)開發(fā)直到6月4號。同時測試系統(tǒng)方面基本上是白紙一張。4.2、壓測模型要進行全鏈路壓測則需要構(gòu)建壓測模型；就是要知道壓什么、怎么壓、壓到什么樣的水平。首先，我們需要做鏈路的梳理。我們和開發(fā)、運維協(xié)作通過運維監(jiān)控系統(tǒng)將線上接口所有列表獲取到。然后，通過調(diào)用監(jiān)控系統(tǒng)獲取各個鏈路之間的配比關(guān)系。同時根據(jù)去年和日常鏈路監(jiān)控的配比得知各個接口平時和去年大促在什么樣的水平。最后，依據(jù)前面兩個步驟去計算鏈路調(diào)用、壓

5、測腳本以及施壓機等情況。據(jù)此，我們?nèi)魏我粋€鏈路壓測腳本都一共有四個壓測的參數(shù)，分別為：輸出壓力qps；當(dāng)前水位；施壓周期；壓測鏈路；4.3、密切協(xié)作在這樣的情況下，對于我們測試的同學(xué)來說就簡單了許多；我們可以將這個工具達成一個包方便部署。這樣就可以和運維同學(xué)一起合作，一次性生成多臺施壓機器同時去壓一個系統(tǒng)。目前，我們大概可以在五分鐘之內(nèi)能夠創(chuàng)建出來400臺以上的 壓測容器也就是說快速輸出5G以上的壓力。為了區(qū)分壓測流量和真實線上流量，我們和開發(fā)同學(xué)全力協(xié)作對線上的每個測試數(shù)據(jù)進行打標(biāo)。這樣一來在出業(yè)務(wù)報告或數(shù)據(jù)報表的時候，我們有統(tǒng)一的框架將測試數(shù)據(jù)進行剝離；進而保證了測試數(shù)據(jù)不污染線上數(shù)據(jù)。全

6、鏈路壓測目標(biāo)就是模擬真實的大促情況下，我們的各個鏈路能夠承載多大流量以及各個業(yè)務(wù)系統(tǒng)的瓶頸點所在。五、壓測之外除了前述的全鏈路壓測之外，我們這里還包括容量預(yù)估、降級方案、應(yīng)急預(yù)案、大促演練以及值班計劃。我們會通過流量歷史監(jiān)控來做容量的預(yù)估；同時，為壓測基線和限流熔斷提供依據(jù)。當(dāng)線上業(yè)務(wù)流量水位超過我們設(shè)置的閾值的時候，為了保障線上運行穩(wěn)定我們會對相關(guān)的業(yè)務(wù)進行功能降級。另外當(dāng)線上水位超過我們原來預(yù)期的時候，我們會有相應(yīng)的應(yīng)急預(yù)案以降低容量不足帶來的影響。六、年中66大促全鏈路實踐從5月6日開始立項到8號開始第一條鏈路施壓，只用了兩天我們實現(xiàn)了從0到1的跨越。其實對于從0到80%的這個過程，大家是可以很快做到的。因為對于運維同學(xué)來說這些工具、方法基本上是每天都在做的事情。復(fù)制從0到1的構(gòu)建思路，我們在人員緊缺的