唯品會運維架構(gòu)和流程改造之路ppt課件

1、唯品會運維架構(gòu)和流程改造之路自我引見黎毅敏十多年一線運維閱歷長期關(guān)注高可用性、高可靠性、可擴(kuò)展性架構(gòu)和方案2021年4月參與唯品會，擔(dān)任網(wǎng)站系統(tǒng)運維微博：Yimin_Li分享主題根底架構(gòu)優(yōu)化案例運維流程優(yōu)化案例運維自動化現(xiàn)狀關(guān)于DEV和OPS圖片系統(tǒng)優(yōu)化案例大數(shù)據(jù)對運維的協(xié)助根底架構(gòu)優(yōu)化案例背景公司業(yè)務(wù)開展快技術(shù)團(tuán)隊年輕網(wǎng)絡(luò)根底架構(gòu)薄弱優(yōu)化前面臨的挑戰(zhàn)交換機之間的流量經(jīng)常跑滿無法接入更多的效力器和機柜內(nèi)網(wǎng)經(jīng)常丟包交換機之間網(wǎng)線經(jīng)常降速運維人員經(jīng)常踩坑非常多的單點缺點點對流量要求高的新業(yè)務(wù)無法上線原有IDC網(wǎng)絡(luò)架構(gòu)缺陷千兆骨干無冗余無擴(kuò)展性內(nèi)外網(wǎng)構(gòu)造，兩套網(wǎng)絡(luò)，本錢高對運維不友好平安性差效力器1

2、0.100.10.*10.100.11.*重新設(shè)計3個月2位網(wǎng)絡(luò)工程師新的IDC網(wǎng)絡(luò)構(gòu)造特點高性能10G骨干，中心交換機Tb級轉(zhuǎn)發(fā)才干)冗余性可擴(kuò)展性無生成樹模塊化合理收斂比內(nèi)外網(wǎng)交融，運維友好平安性加強效力器10.100.*.*Bonding遷移工程全部4個數(shù)據(jù)中心大數(shù)據(jù)平臺數(shù)據(jù)中心遷移繼續(xù)半年人力投入宏大新架構(gòu)效果消除了網(wǎng)絡(luò)單點缺點點運用性能提高效力器帶寬及可靠性提高可快速擴(kuò)展網(wǎng)絡(luò)整體容量提高10倍+好的架構(gòu)還可以防止運維流程優(yōu)化案例流程優(yōu)化基于ITIL監(jiān)控中心擔(dān)任體系化變卦管理事件管理問題管理目的是團(tuán)隊像而不是變卦管理減少變卦對消費系統(tǒng)的影響減少缺點定位和發(fā)現(xiàn)的時間有助于跨團(tuán)隊和大團(tuán)隊的

3、溝通確保對消費環(huán)境的變卦都經(jīng)過審查和審批防止過度審批蝴蝶效應(yīng)變卦流程變卦系統(tǒng)事件管理監(jiān)控中心擔(dān)任多個監(jiān)控系統(tǒng)Zabbix，Telescope一致告警平臺規(guī)范化缺點處置流程會議問題管理監(jiān)控中心驅(qū)動艱苦缺點反復(fù)發(fā)生的缺點定位緣由處理方案運維自動化現(xiàn)狀運維自動化進(jìn)展情況還處于初級階段效力器安裝Cobbler配置管理采用Puppet框架在QA、大數(shù)據(jù)、DBA、挪動運維團(tuán)隊曾經(jīng)用Puppet實現(xiàn)效力器快速部署和系統(tǒng)配置規(guī)范化對還沒有接入配置管理系統(tǒng)的效力器從流程上要求把配置和運維操作進(jìn)展了規(guī)范化和規(guī)范化關(guān)于DEV和OPS很多人以為開發(fā)和運維的關(guān)系但我們以為所以對外相互補位對內(nèi)各自發(fā)揚所長運維提需求，開發(fā)

4、設(shè)計和實現(xiàn))圖片系統(tǒng)優(yōu)化案例圖片系統(tǒng)優(yōu)化前情況1億+圖片不包含挪動圖片35T存儲空間3份拷貝優(yōu)化前頂峰時間平均呼應(yīng)時間幾十秒優(yōu)化前架構(gòu) LVS - NginxCache-MooseFSCDN廠商無法完全預(yù)熱挪動終端的一切URL圖片系統(tǒng)優(yōu)化手段LVS-Haproxy- NginxCache-MooseFSHaproxy URI 哈希負(fù)載平衡MFS master server擴(kuò)內(nèi)存MFS chunk server 擴(kuò)容并采用全裸盤雙重預(yù)熱機制試水Flashcache優(yōu)化后降到幾十ms到幾百ms之間圖片系統(tǒng)改造方向?qū)ο蟠鎯WIFT或自行開發(fā)？大數(shù)據(jù)對運維的協(xié)助日志平臺 Telescope/Logv

5、iew詳細(xì)架構(gòu)參見Qcon上海2021 姚仁捷-唯品會日志平臺建立監(jiān)控中心和運維最依賴的監(jiān)控工具之一各個系統(tǒng)的4XX,5XX及訪問量，平均呼應(yīng)時間迅速發(fā)現(xiàn)消費系統(tǒng)的隱蔽問題變卦和代碼發(fā)布后的校驗手段之一基于呼應(yīng)時間的優(yōu)化優(yōu)化前后呼應(yīng)時間改動情況呼應(yīng)時間和系統(tǒng)容量親密相關(guān)大促前的優(yōu)化方向大促期間的監(jiān)控手段大數(shù)據(jù)對運維的一些其他協(xié)助CDN效力質(zhì)量監(jiān)控挪動圖片各分辨率訪問比例統(tǒng)計預(yù)熱大數(shù)據(jù)對運維的一些其他協(xié)助CDN效力質(zhì)量監(jiān)控挪動圖片各分辨率訪問比例統(tǒng)計預(yù)熱總結(jié)設(shè)計良好的根底架構(gòu)可以有效提高網(wǎng)站容量、可靠性和可維護(hù)性程度運維流程可以有效提高網(wǎng)站可用性和提供團(tuán)隊效率運維和開發(fā)是互補、相互扶持的關(guān)系圖片系統(tǒng)的優(yōu)化閱歷大數(shù)據(jù)對提高運維程度有很大協(xié)助招聘中。高級/資深根底運維工程師高級/資深運用運維工程師高級/資深