美團命名服務(wù)的演進與業(yè)務(wù)賦能

1、美團命名服務(wù)的演進與業(yè)務(wù)賦能目錄CONTENTS二美團命名服務(wù)遇到的挑戰(zhàn)三美團命名服務(wù)的演進四美團命名服務(wù)對業(yè)務(wù)的賦能一美團命名服務(wù)簡介五美團服務(wù)治理未來展望服務(wù)治理的基石：命名服務(wù)基 于 客 戶 端基 于 服 務(wù) 端Server Based優(yōu)勢侵入小集中管控Client Based劣勢網(wǎng)關(guān)單點成本高例子NginxMaglev優(yōu)勢無單點自然伸縮劣勢侵入大難集中管控例子Eureka架構(gòu)特性:1.代理方式，降低侵入性2.策略下沉，提升框架穩(wěn)定性3.多級緩存，提高可用性4.邊緣計算，均攤算力MNS美團命名服務(wù)演進前的架構(gòu)SGAgentSGAgentRPC-TransportRPC- Transpor

2、tProvider NodeServiceRPChttpOceanushttpScannerMCC數(shù)據(jù)中心MSGPheartbeatMNSCMNS-ZKServiceConsumer Node接入99%+的在線應(yīng)用數(shù)十萬服務(wù)節(jié)點 三年+無重大事故日均萬億級調(diào)用覆蓋公司所有業(yè)務(wù)線 已開源美團命名服務(wù)演進前規(guī)模目錄CONTENTS二美團命名服務(wù)遇到的挑戰(zhàn)三美團命名服務(wù)的架構(gòu)演進四美團命名服務(wù)對業(yè)務(wù)的賦能一美團命名服務(wù)簡介五美團服務(wù)治理未來展望美團業(yè)務(wù)迅速增長652001003102016年2017年2018年2019年酒店單日間夜數(shù)單位：萬單192227275一季度二季度三季度營業(yè)收入單位：億元1

3、000500200030002016年2017年2018年2019年外賣單日成交量一季度二季度三季度交易用戶數(shù)單位：億人單位：萬單可用性挑戰(zhàn)強一致組件操作有單點問題，選舉失敗，整個集群中斷服務(wù)跨地域部署網(wǎng)絡(luò)分區(qū)，區(qū)域性節(jié)點不可用數(shù)據(jù)多、連接量大，RTO小時級別性能挑戰(zhàn)性能瓶頸擴展性挑戰(zhàn)C10KC10M快照持續(xù)增長，造成IO壓力及延長恢復(fù)時間集群寫入不可擴展，參與寫入節(jié)點越多性能越差集群限制數(shù)量上限200+，內(nèi)部同步開銷增加CP系統(tǒng)平行擴展能力不足命名服務(wù)應(yīng)該是CP系統(tǒng)還是AP系統(tǒng)Partition toleranceAvailabilityConsistencyCP系統(tǒng)網(wǎng)絡(luò)分

4、區(qū)是一 種客觀事實網(wǎng)絡(luò)分區(qū)后保證強一致性AP系統(tǒng)網(wǎng)絡(luò)分區(qū)后，繼續(xù)提供服務(wù)不可同時兼顧CAP主要是為了說明A與C不可兼顧部分異常時 提供服務(wù)的 能力命名服務(wù)應(yīng)該是AP系統(tǒng)網(wǎng)絡(luò)分區(qū)優(yōu)先保證數(shù)據(jù) 一致性，可能中斷服務(wù)云原生底層設(shè)施融合進一步降低業(yè)務(wù)接入感知，語言親和鏈路接管，sdk合并基于服務(wù)節(jié)點的流量接入Cloud Native目錄CONTENTS二美團命名服務(wù)遇到的挑戰(zhàn)三美團命名服務(wù)的架構(gòu)演進四美團命名服務(wù)對業(yè)務(wù)的賦能一美團命名服務(wù)簡介五美團服務(wù)治理未來展望演進目標整體架構(gòu)高性能的控制服務(wù)數(shù)據(jù)拆分方案、實現(xiàn)存儲遷移高可用產(chǎn)品控制服務(wù)自研訂閱系統(tǒng)灰度遷移SOP數(shù)據(jù)倉庫業(yè)務(wù)系統(tǒng)層PigeonWhal

5、eOceanusMtthrift代理接入層ServiceMeshSgAgentMNS-API控制服務(wù)層網(wǎng)關(guān)管控模塊數(shù)據(jù)分發(fā)模塊變更捕獲模塊健康檢查系統(tǒng)數(shù)據(jù)遷移系統(tǒng)SLA監(jiān)控系統(tǒng)營運展示系統(tǒng)數(shù)據(jù)存儲層ZookeeperCellarMafkaMySQLPigeon-WebMSGPPass-Service外部營運設(shè)施主 要 工 作 內(nèi) 容典型場景1-流量洪峰突 發(fā) 事 件流 量 倍 增連 鎖 效 應(yīng)服 務(wù) 雪 崩平行擴展控制層輕狀態(tài)甚至無狀態(tài)平行擴展，實現(xiàn)分鐘級新IDC部 署，應(yīng)對突發(fā)流量打破非循環(huán)依賴，自動均衡新節(jié)點的流量，保證負載可控多地域部署，命名服務(wù)整體分鐘級RTO控制服務(wù)層+代理層，構(gòu)成層

6、級“堤壩”保護存儲1/5數(shù)據(jù)量直接讀存儲；VS穩(wěn)定承載全量數(shù)據(jù)；遷移過程中一次異常直連存儲的流量洪峰記錄典型場景2-推送風(fēng)暴短期大量服務(wù)發(fā)布專線網(wǎng)絡(luò)抖動、斷開設(shè)備故障， 宿主機宕機雪崩效應(yīng)，無法自愈關(guān)注 放大消息 放大注冊中心的通知存在級聯(lián)效應(yīng)，推送量會顯著 放大，類比社交網(wǎng)絡(luò)中扇出（fanout）操作推送規(guī)模=服務(wù)變化次放次放=網(wǎng)絡(luò)帶寬告急業(yè)務(wù)服務(wù)節(jié)點，狀態(tài)頻繁變更數(shù)據(jù)拆分推送MemTableMemTableMemTableDataDataData數(shù)據(jù)存儲控制服務(wù)代理組件ProcessWatcherDataset回調(diào)更新整塊數(shù)據(jù)InfoStatusDataDataData數(shù)據(jù)存儲控制服務(wù)Pr

7、ocessWatcherDataset數(shù)據(jù) 變更數(shù)據(jù) MemTable變更節(jié)省內(nèi)存 減緩 GC提高分發(fā)效率 降低帶寬占用避免重復(fù)計算 減少CPU開銷2/8原則：狀態(tài)調(diào)整占服務(wù)注冊信息寫操作的80%+，分離讀、寫、推送數(shù)據(jù)推送代理組件回調(diào)infoDataset回調(diào)statusinfo推送status推送融入Service MeshMNS2.0：美團新一代命名發(fā)現(xiàn)入口層灰度遷移遷移服務(wù)存儲層New DB注冊發(fā)現(xiàn)規(guī)則數(shù)據(jù)采樣同步數(shù)據(jù)巡檢報警客 戶 端 系 統(tǒng)接入代理層agent-new-3agent-new-4agent-new-5agent-new-2服 務(wù) 端 系 統(tǒng)agent-new-1未遷移

8、標志新、舊雙寫標志僅新注冊流程標志接入代理層agent-old-2agent-new-2agent-new-3agent-new-1agent-old-1遷移標志位服務(wù)注冊服務(wù)發(fā)現(xiàn)數(shù)據(jù)遷移服務(wù)不中斷快速回滾能力數(shù)據(jù)不丟失Old DB演進成果跨地域多團隊協(xié)作，數(shù)個核心組 件改造研發(fā)核心控制服務(wù)單機日均億級調(diào)用 量, TP99910ms服務(wù)發(fā)現(xiàn)時間平均2s， TP999=5s遷移過程0事故RTO分鐘級，RPO為0就近讀/寫，網(wǎng)絡(luò)分區(qū)可用，雙向數(shù) 據(jù)同步目錄CONTENTS二美團命名服務(wù)遇到的挑戰(zhàn)三美團命名服務(wù)的架構(gòu)演進美團命名服務(wù)對業(yè)務(wù)的賦能一美團命名服務(wù)簡介五美團服務(wù)治理未來展望四業(yè)務(wù)賦能服務(wù)治

9、理DevOps容器化數(shù)據(jù)挖掘服務(wù)治理-單元化解決異地容災(zāi)、異地擴展的方案按核心數(shù)據(jù)維度，對業(yè)務(wù)系統(tǒng)的部署架構(gòu)和流量進行隔離支持全鏈路單元化，也支持業(yè)務(wù)層面定制單元化覆蓋的具體環(huán)節(jié)服務(wù)治理-單元化單 元 擴 展故 障 隔 離命 名 發(fā) 現(xiàn)流 量 軟 隔 離DevOps-泳道自動化測試流 量 隔 離并 發(fā) 測 試應(yīng) 用 編 排搭 建 環(huán) 境DevOps-泳道自動化測試自動編排調(diào)用關(guān)系存在泳道節(jié)點時，測試流量進入泳道不存在泳道節(jié)點時，根據(jù)設(shè)置測試流量能夠回流DevOps-平滑發(fā)布命 名 服 務(wù) 控 制 發(fā) 布 節(jié) 點 的 流 量 自 動 摘 除 與 恢 復(fù)對標項平滑發(fā)布傳統(tǒng)發(fā)布方式流量丟失率概率小概

10、率較大發(fā)布自動化發(fā)布流程全自動化非自動化，業(yè)務(wù)需要手動檢查單臺發(fā)布時間需要等待流量摘除時間，偏長暴力重啟服務(wù)，發(fā)布時間約等于服務(wù)啟動時間流量摘除方式自動摘抄業(yè)務(wù)手動操作美團服務(wù)覆蓋率生產(chǎn)環(huán)境默認方式測試環(huán)境，對流量丟失不明感場景DevOps-平滑發(fā)布容器化-彈性伸縮控制服務(wù)層代理接入層數(shù)據(jù)存儲層ZookeeperSgAgentOceanusMnsApigatewaydeliveryMonitoringSOAtrackingmeta-discover版本效驗查詢索引MSGPMySQLPass-Service健康 檢查SLA計算數(shù)據(jù)緩存數(shù)據(jù)營運ServiceMeshcdc數(shù)據(jù)關(guān)系化變動感知Cellar數(shù)據(jù) 遷移cache missMNS-Control數(shù)據(jù)挖掘&業(yè)務(wù)營運OldNewOLAP數(shù)據(jù)挖掘&業(yè)務(wù)營運單進程多端口端口資源浪費下游感知部署細節(jié)大服務(wù)列表底