夯實(shí)海量運(yùn)營質(zhì)量的三個運(yùn)維實(shí)踐經(jīng)驗(yàn)課件

1、夯實(shí)海量運(yùn)營質(zhì)量的三個運(yùn)維實(shí)踐經(jīng)驗(yàn)海量業(yè)務(wù)的特征體量敏捷高可用復(fù)雜大流量，高并發(fā)億級用戶、數(shù)據(jù)過萬服務(wù)器分布式高可用架構(gòu)容災(zāi)調(diào)度，異地多活彈性資源，柔性有損網(wǎng)絡(luò)、安全環(huán)境復(fù)雜架構(gòu)龐大，分布廣業(yè)務(wù)形態(tài)和功能分支多快速迭代，頻繁發(fā)布漸進(jìn)式發(fā)展海量運(yùn)維從深圳大會說起技術(shù)價值觀技術(shù)手段運(yùn)營意識有損服務(wù)動態(tài)運(yùn)營容災(zāi)過載保護(hù)負(fù)載均衡柔性可用分SET部署灰度發(fā)布立體監(jiān)控大系統(tǒng)小做先扛住再優(yōu)化干干凈凈邊重構(gòu)邊生活天津813大調(diào)度故事背景：海量用戶業(yè)務(wù)-天災(zāi)人禍-分SET部署-異地容災(zāi)-7000w用戶調(diào)度目錄 SET：化零為整1 效率：運(yùn)維提速2 質(zhì)量：計(jì)劃性事件3什么是SET？定義： 一組獨(dú)立實(shí)現(xiàn)特定業(yè)務(wù)功能

2、模塊的集合，這些模塊組成的運(yùn)維管理單元稱為SET。運(yùn)維對象的提煉單機(jī)模塊SET收益：放大管理單元減少運(yùn)維對象用戶就近接入容災(zāi)調(diào)度運(yùn)維效率提升依賴：邏輯解耦名字服務(wù)數(shù)據(jù)一致性為什么要SET？業(yè)務(wù)價值效率成本速度質(zhì)量異地分布，容災(zāi)能力提升就近接入，訪問延時降低移植性強(qiáng)、調(diào)度迅速減少穿越、成本降低SET架構(gòu)示意圖接入層邏輯層數(shù)據(jù)層PC專區(qū)接入層邏輯層數(shù)據(jù)層手機(jī)專區(qū)1接入層邏輯層數(shù)據(jù)層手機(jī)專區(qū)2接入層邏輯層數(shù)據(jù)層手機(jī)專區(qū)3接入層邏輯層數(shù)據(jù)層手機(jī)專區(qū)4接入層邏輯層數(shù)據(jù)層PC專區(qū)接入層邏輯層數(shù)據(jù)層手機(jī)專區(qū)1接入層邏輯層數(shù)據(jù)層手機(jī)專區(qū)2接入層邏輯層數(shù)據(jù)層手機(jī)專區(qū)3接入層邏輯層數(shù)據(jù)層手機(jī)專區(qū)4建成可靠的數(shù)據(jù)同

3、步機(jī)制，實(shí)現(xiàn)異地多活華北地區(qū)華東地區(qū)華南地區(qū)西部地區(qū)多讀單寫，用戶就近接入按業(yè)務(wù)量部署，異地互備，數(shù)據(jù)安全性高實(shí)現(xiàn)接入智能調(diào)度，容錯架構(gòu)SET運(yùn)維的5個角度調(diào)度精細(xì)度監(jiān)控顆粒度容量冗余度風(fēng)度與速度架構(gòu)復(fù)雜度化零為整：減少運(yùn)維對象模塊資產(chǎn)配置硬件配置軟件配置運(yùn)營配置分布信息資源配置權(quán)限配置流程配置測試用例變更記錄SET組成模塊統(tǒng)一命名地域分布核心指標(biāo)容量配比柔性工具調(diào)度策略應(yīng)急預(yù)案化零為整：條帶化.核心模塊流量在線用戶量實(shí)時交易量可度量化零為整：命名規(guī)范SETSET類型地域信息SET序號朋友：F直播：ZSNS：S相冊：P日志：B深圳 0上海 1天津 2南京 3杭州 4接入SET A數(shù)據(jù)SET D

4、基礎(chǔ)平臺 B信息中心 I第一個 1第二個 2第三個 3第四個 4For產(chǎn)品信息框架接入代理SET_W01Q接入cmdsvrSET_W01Q邏輯SPPwebappSET_W01Q邏輯SPPfeedsSET_W01Q邏輯SPP重要bitmapSET_W01Q存儲關(guān)系鏈oidbSET_W01QCMEM化零為整：一致性SET_W01組成模塊統(tǒng)一命名地域分布核心指標(biāo)容量配比柔性工具調(diào)度策略應(yīng)急預(yù)案SET_W02組成模塊統(tǒng)一命名地域分布核心指標(biāo)容量配比柔性工具調(diào)度策略應(yīng)急預(yù)案SET_W11組成模塊統(tǒng)一命名地域分布核心指標(biāo)容量配比柔性工具調(diào)度策略應(yīng)急預(yù)案目錄 SET：化零為整1 效率：運(yùn)維提速2 質(zhì)量：計(jì)劃

5、性事件3SET的運(yùn)維效率全自動是不現(xiàn)實(shí)的！SET模型化PC 用戶移動用戶PCSETWNS SET數(shù)據(jù)SET信息中心SET數(shù)據(jù)存儲同步中心同步中心寫svr業(yè)務(wù)寫請求落地存儲深圳IDC1深圳IDC2上海IDC1天津IDC1讀讀讀讀12345定義SET大小物理隔離服務(wù)獨(dú)立SET間同構(gòu)條帶化服務(wù)SET的復(fù)制無狀態(tài)模版復(fù)制，配置差異有狀態(tài)單寫多讀，異地同步，追齊流水一鍵部署SET的維護(hù)自動化流程化配置化標(biāo)準(zhǔn)化傳承標(biāo)準(zhǔn)協(xié)作掌控靈活成本智能織云ISP負(fù)載均衡接入服務(wù)B接入服務(wù)A邏輯服務(wù)A邏輯服務(wù)B數(shù)據(jù)服務(wù)客戶端路由服務(wù)接入層邏輯層數(shù)據(jù)層框架化組件化無狀態(tài)分布式SET的監(jiān)控用戶體驗(yàn)ISP負(fù)載均衡接入層接入層邏

6、輯層邏輯層數(shù)據(jù)層本地網(wǎng)絡(luò)運(yùn)營商網(wǎng)絡(luò)企業(yè)內(nèi)網(wǎng)用戶端客戶端基礎(chǔ)設(shè)施服務(wù)端OS/服務(wù)器數(shù)據(jù)層（redis/MySQL） 中間層（SPP/SF2）WEB層（Qzhttp/proxy）TGW/LVS自研服務(wù) WNSCKV/CDB/CMEMIDC自建CDNGSLB客戶端（用戶端）TEG服務(wù)監(jiān)控：N: 網(wǎng)絡(luò)質(zhì)量監(jiān)控C: CDN監(jiān)控D: 數(shù)據(jù)層監(jiān)控SNG服務(wù)監(jiān)控：Y: 業(yè)務(wù)染色監(jiān)控R: 返回碼監(jiān)控S: 測速系統(tǒng)A: 自動化測試M: 模塊間調(diào)用C: 組件監(jiān)控移動端監(jiān)控：T: 輿情監(jiān)控K: 卡慢監(jiān)控D: 多維監(jiān)控LFPMF基礎(chǔ)監(jiān)控：L: 容量管理P: 進(jìn)程監(jiān)控F: 特性監(jiān)控NCNDAMMMRASDCYCYCYCL

7、FFKT目錄 SET：化零為整1 效率：運(yùn)維提速2 質(zhì)量：計(jì)劃性事件3救火快防火強(qiáng)vsSET日常巡檢核心指標(biāo)可度量模塊自動化能力資源一致性監(jiān)控容量水位管理容災(zāi)調(diào)度預(yù)案柔性策略SET的容量管理優(yōu)化點(diǎn)容災(zāi)調(diào)度天災(zāi)人禍，核心服務(wù)必須異地容災(zāi)！2015.8.12天津爆炸天津IDC斷電2008年圣誕晚會深圳IDC核心鏈路光纖被挖斷調(diào)不調(diào)？調(diào)哪個？怎么調(diào)？調(diào)多少？誰來調(diào)？制定調(diào)度方案W01I01W02I02W11I11W12I12W21I21W22I22深圳上海天津XX同城調(diào)度簡單粗暴異地調(diào)度簡單粗暴深圳50%深圳50%中國功夫的領(lǐng)悟社交業(yè)務(wù)的高峰520零點(diǎn)零分5201314春節(jié)跨年第一秒3倍峰值！堆設(shè)備扛住1分鐘？柔性削峰預(yù)拉取（5%）20秒重復(fù)刷（8%）刷新但無新內(nèi)容（20%）Push引入（7%）首頁打開18w關(guān)鍵路徑 （關(guān)閉非關(guān)鍵拉?。┱{(diào)小請求等待超時（避免請求掛?。p小消息隊(duì)列大?。ǚ姥┍溃┘t點(diǎn)、計(jì)數(shù)引入（50%）首頁打開9w技術(shù)層面體驗(yàn)層面體驗(yàn)有損： 10s的好友動態(tài)變更無感知 Feeds變更不實(shí)時 PUSH、計(jì)數(shù)推送不及時柔性策略柔性類別柔性等級目標(biāo)效果具體策略作用域用戶體驗(yàn)FEEDS系統(tǒng)效果基礎(chǔ)數(shù)據(jù)效果對其它子系統(tǒng)效果讀柔性一級柔性30%關(guān)預(yù)拉取好友動態(tài)/個人檔無預(yù)拉，翻頁稍不順暢下降5%下降5%無304.二級柔性60%.三級柔性90%.寫柔性.相冊柔性.WNS柔性.