2020年GOPS全球運(yùn)維大會(huì)-容量管理體系建設(shè)實(shí)踐

容量管理體系建設(shè)思考及實(shí)踐1運(yùn)維疼點(diǎn)&解決之道2總結(jié)與展望3精細(xì)化運(yùn)營目錄CONTENTS4容量管理體系建設(shè)思路1運(yùn)維痛點(diǎn)&解決之道運(yùn)維痛點(diǎn)問題

–為什么需要容量管理痛點(diǎn)問題大促擴(kuò)容大促縮容流量調(diào)度成本管控大促都需要極大的容器資源來支撐活動(dòng)流量，哪些應(yīng)用該擴(kuò)，該擴(kuò)容多少？大促后縮容，縮減哪些應(yīng)用，縮減多少資源？機(jī)房集群切換，能不能切，能切多少？流量調(diào)度時(shí)有數(shù)據(jù)可以支撐面對(duì)IT資源成本高額賬單，該從哪里著手縮減？2容量管理體系建設(shè)思路容量管理

-

運(yùn)維立體化監(jiān)控容量監(jiān)控是運(yùn)維立體化監(jiān)控體系中一環(huán)，并且處于核心位置基礎(chǔ)監(jiān)控中間件監(jiān)控容量管理返回碼監(jiān)控?cái)?shù)據(jù)庫監(jiān)控客戶端監(jiān)控CDN圖片異常監(jiān)控核心業(yè)務(wù)監(jiān)控網(wǎng)絡(luò)監(jiān)控容量管理

–建設(shè)思路12345梳理資源對(duì)象明確度量指標(biāo)建立數(shù)據(jù)模型自動(dòng)化工具數(shù)據(jù)校對(duì)檢驗(yàn)梳理運(yùn)維資源，哪些資源需要納入容量管理體系針對(duì)不同類型資源，采集不同數(shù)據(jù)項(xiàng)，建立度量指標(biāo)針對(duì)不同類型資源，建立不同數(shù)據(jù)模型，基于實(shí)時(shí)數(shù)據(jù)和歷史數(shù)據(jù)建立模型及時(shí)響應(yīng)業(yè)務(wù)問題，積累場景，沉淀解決方案，提升工作效率通過全鏈路壓測(cè)及大促數(shù)據(jù)，驗(yàn)證數(shù)據(jù)模型預(yù)測(cè)準(zhǔn)確性，優(yōu)化模型，提升預(yù)測(cè)準(zhǔn)確率容量管理

-

資源對(duì)象和度量指標(biāo)應(yīng)用設(shè)備網(wǎng)絡(luò)帶寬數(shù)據(jù)庫中間件資源資源類型一、應(yīng)用設(shè)備：容器、物理機(jī)二、數(shù)據(jù)庫：MySQL三、中間件：Jimdb、Elasticsearch、Hbase、Hadoop四、網(wǎng)絡(luò)流量：域名流量、機(jī)房流量不同資源類型有不同的度量指標(biāo)容量管理

-

基于應(yīng)用的度量指標(biāo)IOCPU內(nèi)存網(wǎng)絡(luò)計(jì)算密集型業(yè)務(wù)進(jìn)行大量計(jì)算消耗CPU資源多線程IO密集型業(yè)務(wù)網(wǎng)絡(luò)、磁盤讀寫頻繁網(wǎng)絡(luò)傳輸密集型業(yè)務(wù)圖片、視頻傳輸，主要消耗網(wǎng)卡及網(wǎng)絡(luò)帶寬，典型如CDN圖片加載，直播等數(shù)據(jù)密集型業(yè)務(wù)通常這類業(yè)務(wù)非常占用內(nèi)存資源，典型如大數(shù)據(jù)應(yīng)用，搜索引擎，緩存等應(yīng)用度量指標(biāo)應(yīng)用特征分析數(shù)據(jù)模型容量管理

-

應(yīng)用CPU峰值利用率算法根據(jù)機(jī)器數(shù)加權(quán)平均 根據(jù)CPU核數(shù)加權(quán)平均 分鐘級(jí)CPU核數(shù)加權(quán)平均1、先平均，再峰值2、應(yīng)用容器規(guī)格不統(tǒng)一，不會(huì)影響數(shù)據(jù)準(zhǔn)確性3、排除預(yù)發(fā)布設(shè)備1、先平均，再峰值2、應(yīng)用容器規(guī)格不統(tǒng)一，會(huì)影響數(shù)據(jù)準(zhǔn)確性3、排除預(yù)發(fā)布設(shè)備4、采樣率問題1、先分鐘取峰值，再根據(jù)核數(shù)取平均，再全天取峰值2、峰值不一定是在同一秒在基于應(yīng)用的容量管理實(shí)踐中，我們通過引入應(yīng)用峰值利用率來實(shí)現(xiàn)應(yīng)用的負(fù)載度量。建立容量數(shù)據(jù)是容量管理中最為基礎(chǔ)、重要的一個(gè)環(huán)節(jié)基于準(zhǔn)確的容量數(shù)據(jù)有利于更有效的做容量預(yù)測(cè)和規(guī)劃容量管理

-

數(shù)據(jù)歷年大促數(shù)據(jù)運(yùn)營流量預(yù)估壓測(cè)數(shù)據(jù)日常數(shù)據(jù)每年618、雙11大促活動(dòng)的歷史數(shù)據(jù)和運(yùn)營團(tuán)隊(duì)時(shí)刻保持溝通，比如神券日，單品日，大型秒殺日的流量預(yù)估常態(tài)化壓測(cè)數(shù)據(jù)歷年大促全鏈路壓測(cè)數(shù)據(jù)日常均值日常峰值數(shù)據(jù)標(biāo)準(zhǔn)化數(shù)據(jù)統(tǒng)一化憑經(jīng)驗(yàn)預(yù)估容量基于歷史數(shù)據(jù)，做出預(yù)測(cè)按比例擴(kuò)充基于當(dāng)前值和目標(biāo)值的按比例換算壓測(cè)單機(jī)壓測(cè)全鏈路壓測(cè)容量管理

-

容量預(yù)測(cè)方法VS常規(guī)方式智能預(yù)測(cè)容量管理

-

智能預(yù)測(cè)模型數(shù)據(jù)驗(yàn)證1、歷史數(shù)據(jù)、以及壓測(cè)數(shù)據(jù)，驗(yàn)證預(yù)測(cè)2、不斷調(diào)整模型，使其預(yù)測(cè)更加精準(zhǔn)樣本回歸1、樣本數(shù)據(jù)回歸預(yù)測(cè)建立模型1、回歸分析：線性、非線性、一元回歸、多元回歸數(shù)據(jù)準(zhǔn)備1、數(shù)據(jù)準(zhǔn)備：QPS和CPU利用率2、數(shù)據(jù)時(shí)間周期統(tǒng)一3、數(shù)據(jù)清洗，去噪01020403容量管理

–概覽圖數(shù)據(jù)分析監(jiān)控形式監(jiān)控大屏日?qǐng)?bào)/周報(bào)監(jiān)控預(yù)警服務(wù)能力監(jiān)控視圖業(yè)務(wù)層級(jí)視圖

業(yè)務(wù)實(shí)時(shí)視圖CDN帶寬視圖 DB資源視圖Hbase資源視圖

單機(jī)曲線視圖工具應(yīng)用標(biāo)注 壓測(cè)實(shí)時(shí)負(fù)報(bào)表配置 載統(tǒng)計(jì)核心應(yīng)用視圖Jimdb資源視圖CPU占用率算法負(fù)載統(tǒng)計(jì)算法聚類

|

回歸分析業(yè)務(wù)數(shù)據(jù)報(bào)表整點(diǎn)高負(fù)載DB大促報(bào)表機(jī)房資源總覽物理機(jī)總覽統(tǒng)計(jì)報(bào)表所有應(yīng)用負(fù)載部門數(shù)據(jù)報(bào)表Jimdb大促報(bào)表整體概覽應(yīng)用信息總覽部門資源總覽異常應(yīng)用負(fù)載CDN帶寬報(bào)表歷史數(shù)據(jù)報(bào)表機(jī)器資源總覽數(shù)據(jù)說明基礎(chǔ)數(shù)據(jù)CMDB數(shù)據(jù)預(yù)處理數(shù)據(jù)模型數(shù)據(jù)存儲(chǔ)數(shù)據(jù)查詢數(shù)據(jù)聚合KafkaNSQJimdbClickhouseMySQLESBDP3精細(xì)化運(yùn)營容量管理核心

-

質(zhì)量和成本業(yè)務(wù)迅速發(fā)展，

帶來運(yùn)營成本飛速增加，

如何確保不陷入成本失控的困境，一直是困擾各方的難題應(yīng)用穩(wěn)定性壓倒一切，

各方需要確保服務(wù)穩(wěn)定性和高可用，

為業(yè)務(wù)迅速發(fā)展保駕護(hù)航質(zhì)量和效率容量管理體系為運(yùn)維同學(xué)跟進(jìn)應(yīng)用運(yùn)營提供數(shù)據(jù)支持

和決策依據(jù)，

提升應(yīng)用可用性的同時(shí)，提高工作效率。成本管控容量管理體系更進(jìn)一步的作用在于成本管控，如何在低成本運(yùn)營前提下，

確保服務(wù)穩(wěn)定性，

確保服務(wù)質(zhì)量不降低，是運(yùn)維同學(xué)面臨的一大難題。平衡容量管理

-

水位線機(jī)制合理利用率區(qū)間10%15%20%xx%xx%xx%應(yīng)用負(fù)載追求平衡顯而易見，提高使用率也不是越高越好。應(yīng)用的穩(wěn)定性和高可用性為前提風(fēng)險(xiǎn)線 低負(fù)載

高危線 安全線 水位線安全線風(fēng)險(xiǎn)線：緊急擴(kuò)容高危線：限流降級(jí)容量管理

–精細(xì)化運(yùn)營在確保應(yīng)用穩(wěn)定性的基礎(chǔ)上，縮減運(yùn)營成本，降本增效。積累場景，沉淀解決方案，通過工具化平臺(tái)，系統(tǒng)解決場景化問題，提升工作效率。確保應(yīng)用穩(wěn)定性，高可用性。高質(zhì)量低成本高效率精細(xì)化運(yùn)營4總結(jié)與展望總結(jié)

–主動(dòng)運(yùn)維AIOPS體系全景圖數(shù)據(jù)采集數(shù)據(jù)處理指標(biāo)配置數(shù)據(jù)存儲(chǔ)數(shù)據(jù)服務(wù)數(shù)據(jù)清洗統(tǒng)一化日志 數(shù)據(jù)聚合 標(biāo)準(zhǔn)化數(shù)據(jù)檢索可視化數(shù)據(jù)開放數(shù)據(jù)拆分 細(xì)粒度MQ 流式計(jì)算 京東BDP大數(shù)據(jù)平臺(tái) 離線計(jì)算 大數(shù)據(jù)存儲(chǔ)在線分類計(jì)算能力機(jī)器學(xué)習(xí)分析算法離線相似性質(zhì)量異常檢測(cè)故障預(yù)測(cè)根因分析成本