新浪微博穩(wěn)定性經(jīng)驗(yàn)談

新浪微博穩(wěn)定性經(jīng)驗(yàn)談洪小軍

@XiaoJunHong邀請(qǐng)嘉賓：唐福林@唐福林新浪微博@微博平臺(tái)架構(gòu)新浪微博穩(wěn)定性經(jīng)驗(yàn)談什么是穩(wěn)定的系統(tǒng)？少出問(wèn)題快速解決清楚系統(tǒng)健康狀況趨勢(shì)新浪微博穩(wěn)定性經(jīng)驗(yàn)談?dòng)绊懛€(wěn)定性的因素依賴的資源、服務(wù)異常網(wǎng)絡(luò)、硬件故障流量突增代碼bug各種“坑”…….新浪微博穩(wěn)定性經(jīng)驗(yàn)談存在不可避免的影響穩(wěn)定性的因素，但是又需要保證系統(tǒng)的穩(wěn)定性，怎么做到？新浪微博穩(wěn)定性經(jīng)驗(yàn)談構(gòu)建穩(wěn)定的系統(tǒng)？少出問(wèn)題：DesignForFailure快速解決清楚系統(tǒng)健康狀況趨勢(shì)新浪微博穩(wěn)定性經(jīng)驗(yàn)談DesignForFailure分層隔離（分離核心和非核心接口、服務(wù)化等）SLA保證（資源、服務(wù)等各層面保證）保證代碼質(zhì)量（最佳設(shè)計(jì)模式、測(cè)試、CodeReview）容災(zāi)設(shè)計(jì)（多IDC、多點(diǎn)部署）容量規(guī)劃（保持一定富余）完善的監(jiān)控報(bào)警機(jī)制（異常監(jiān)測(cè)及其流量增長(zhǎng)預(yù)警等）灰度發(fā)布……新浪微博穩(wěn)定性經(jīng)驗(yàn)談分層隔離–分層模型waDNS七層（Nginx、Varnish…）應(yīng)用層（Tomcat、Jetty…）服務(wù)層中間件資源層（Cache、Storage…）新浪微博穩(wěn)定性經(jīng)驗(yàn)談分層隔離–隔離目標(biāo)和原則保證異常出現(xiàn)時(shí)影響范圍可控按主要接入方隔離按業(yè)務(wù)隔離按功能核心程度隔離新浪微博穩(wěn)定性經(jīng)驗(yàn)談分層隔離–隔離方式物理隔離|邏輯隔離讀寫(xiě)隔離DNS七層應(yīng)用層服務(wù)層|中間件資源層隔離成本低中中中高新浪微博穩(wěn)定性經(jīng)驗(yàn)談SLA保證服務(wù)提供方：服務(wù)對(duì)外的SLA承諾服務(wù)消費(fèi)方：對(duì)依賴資源或服務(wù)的SLA要求新浪微博穩(wěn)定性經(jīng)驗(yàn)談SLA保證–超時(shí)控制依賴的資源或服務(wù)超時(shí)控制異步調(diào)用超時(shí)控制新浪微博穩(wěn)定性經(jīng)驗(yàn)談SLA保證–謹(jǐn)慎重試異常場(chǎng)景下重試可能導(dǎo)致系統(tǒng)持續(xù)惡化對(duì)于寫(xiě)入場(chǎng)景存在數(shù)據(jù)重入風(fēng)險(xiǎn)新浪微博穩(wěn)定性經(jīng)驗(yàn)談SLA保證–容量規(guī)劃每季度至少一次例行性評(píng)估重大活動(dòng)前容量評(píng)估監(jiān)控系統(tǒng)黃色預(yù)警日常30%以上冗余資源或系統(tǒng)架構(gòu)調(diào)整時(shí)需要重點(diǎn)關(guān)注新浪微博穩(wěn)定性經(jīng)驗(yàn)談SLA保證–

Failover策略服務(wù)降級(jí)：保核心功能快速失?。罕ＷC不卡死流量限制：保正常請(qǐng)求新浪微博穩(wěn)定性經(jīng)驗(yàn)談SLA保證超時(shí)控制謹(jǐn)慎重試容量規(guī)劃Failover策略新浪微博穩(wěn)定性經(jīng)驗(yàn)談不能保證系統(tǒng)方方面面都能自動(dòng)Failover，但是又需要保證系統(tǒng)的穩(wěn)定性，怎么做到？新浪微博穩(wěn)定性經(jīng)驗(yàn)談構(gòu)建穩(wěn)定的系統(tǒng)？少出問(wèn)題：DesignForFailure快速解決：容災(zāi)預(yù)案清楚系統(tǒng)健康狀況趨勢(shì)新浪微博穩(wěn)定性經(jīng)驗(yàn)談容災(zāi)預(yù)案IDC容災(zāi)（切換到其它IDC）限流（拒絕超出或異常的請(qǐng)求）降級(jí)（降級(jí)有問(wèn)題資源、保核心功能）緊急快速擴(kuò)容……新浪微博穩(wěn)定性經(jīng)驗(yàn)談所做這些都是有效的嗎？是否有遺漏？在測(cè)試環(huán)境下已經(jīng)做了充分測(cè)試！線上呢？等待異常出現(xiàn)時(shí)來(lái)驗(yàn)證系統(tǒng)是否經(jīng)得起考驗(yàn)？OR新浪微博穩(wěn)定性經(jīng)驗(yàn)談在線容災(zāi)演練–Touchstone系統(tǒng)確認(rèn)碰撞時(shí)安全氣囊是否開(kāi)啟（DesignForFailure）事后有應(yīng)對(duì)措施（容災(zāi)預(yù)案）保證影響在預(yù)期可控的范圍之內(nèi)！新浪微博穩(wěn)定性經(jīng)驗(yàn)談構(gòu)建穩(wěn)定的系統(tǒng)？少出問(wèn)題：DesignForFailure快速解決：容災(zāi)預(yù)案清楚系統(tǒng)健康狀況趨勢(shì)：在線容災(zāi)演練新浪微博穩(wěn)定性經(jīng)驗(yàn)談Touchstone系統(tǒng)介紹引流線上真實(shí)流量異常場(chǎng)景搭建和模擬容災(zāi)預(yù)案預(yù)演驗(yàn)證系統(tǒng)運(yùn)行穩(wěn)定性狀況ResourceServerClient新浪微博穩(wěn)定性經(jīng)驗(yàn)談引流線上真實(shí)流量通過(guò)tcpcopy引流線上真實(shí)流量到演練服務(wù)器圖片來(lái)源：tcpcopy官方文檔新浪微博穩(wěn)定性經(jīng)驗(yàn)談異常場(chǎng)景搭建和模擬資源提供方搭建真實(shí)異常場(chǎng)景使用linuxtc模擬依賴資源和服務(wù)異常場(chǎng)景接口字節(jié)碼形式注入sleep代碼模擬接口慢的場(chǎng)景ResourceServerClient123新浪微博穩(wěn)定性經(jīng)驗(yàn)談容災(zāi)預(yù)案預(yù)演模擬異常的場(chǎng)景運(yùn)維人員做相應(yīng)預(yù)案操作驗(yàn)證系統(tǒng)運(yùn)行穩(wěn)定性狀況新浪微博穩(wěn)定性經(jīng)驗(yàn)談怎么判斷系統(tǒng)是穩(wěn)定的？接口層面分析返回碼中4xx、5xx等比例響應(yīng)時(shí)間是否在正常范圍內(nèi)是否滿足SLA要求返回包大小（輔助手段）日志分析（輔助手段）……最終用戶層面前端頁(yè)面展示新浪微博穩(wěn)定性經(jīng)驗(yàn)談Touchstone系統(tǒng)–實(shí)時(shí)數(shù)據(jù)展示新浪微博穩(wěn)定性經(jīng)驗(yàn)談Touchstone系統(tǒng)–報(bào)表輸出新浪微博穩(wěn)定性經(jīng)驗(yàn)談通過(guò)輸出的異常數(shù)據(jù)，怎么分析系統(tǒng)問(wèn)題點(diǎn)？新浪微博穩(wěn)定性經(jīng)驗(yàn)談異常影響程度疊加放大描述：某組資源延遲400ms，但是接口整體持續(xù)延遲2s串行化操作？新浪微博穩(wěn)定性經(jīng)驗(yàn)談功能相關(guān)的接口同時(shí)受到影響描述：某資源異常，依賴此資源的功能都受較大影響依賴性的影響！思考：分層隔離中被隔離開(kāi)的功能是否受到影響？是否存在非核心資源影響核心功能的情況？期望的SLA保證是否都生效？新浪微博穩(wěn)定性經(jīng)驗(yàn)談大范圍大量接口受到影響描述：某資源異常時(shí)，tomcat中大量接口出現(xiàn)503系統(tǒng)過(guò)載？容器保護(hù)策略失效？新浪微博穩(wěn)定性經(jīng)驗(yàn)談某個(gè)接口的所有請(qǐng)求都受到影響描述：某個(gè)存儲(chǔ)節(jié)點(diǎn)異常，依賴此存儲(chǔ)的接口全部受到影響資源單點(diǎn)部署？只有一套slave？新浪微博穩(wěn)定性經(jīng)驗(yàn)談穩(wěn)定性演練系統(tǒng)輸出系統(tǒng)穩(wěn)定性狀況系統(tǒng)優(yōu)化改進(jìn)建議切實(shí)有效的處理預(yù)案新浪微博穩(wěn)定性經(jīng)驗(yàn)談保證系統(tǒng)一直處于穩(wěn)定狀態(tài)新系