云原生時(shí)代消息中間件的技術(shù)演進(jìn)

1、云原生時(shí)代消息中間件的技術(shù)演進(jìn)技術(shù)創(chuàng)新，變革未來SLADistributionConfigurationResistancyElasticityDeliveryPerformanceAutomationDiagnosabilitySecurity云原生 消息服務(wù)云原生 通信基礎(chǔ)設(shè)施云原生消息服務(wù)定位應(yīng)用定義/開發(fā)層云原生其它層次云原生消息服務(wù)定義云原生消息 服務(wù)標(biāo)準(zhǔn)化多樣性低成本易用性高SLA標(biāo)準(zhǔn)化高SLA低成本易用性多樣性快速部署 RocketMQ集群 至 Kubernetes 環(huán)境利用 K8S 的能力低成本運(yùn) 維 RocketMQ 集群使用云原生Prometheus觀 測(cè)集群指標(biāo)邏輯資源按

2、需擴(kuò)縮容MQ 集 群Broker1PV1根據(jù)Load等Metrics 做出擴(kuò)容決策M(jìn)Q 集 群Broker2PV2Broker3Broker4PV3PV4根據(jù)Load等Metrics 做出縮容決策Broker1PV1Broker2PV2PV3PV4Broker3Broker4PV3PV4PV漂移MQ 集 群MQ 集 群物理資源按需擴(kuò)縮容2W TPS10W TPS實(shí)例規(guī)格根據(jù)業(yè)務(wù)流量 自動(dòng)升降配.根據(jù)消費(fèi)者數(shù)量 自動(dòng)升降配隊(duì)列數(shù)量Kubernetes集群MQ實(shí)例C on tain erM Q SD KS id ecar P ro xyS id ecar P ro xyC on tain erR

3、pcS id ecar P ro xyS tateless P ub /S ubData PlaneControl PlaneC itad elM ixerP ilo tG aleyIn jecto rS id ecar P ro xyN am eS erverR ou te In foM CP ServerxD S C on gP ubSubC on tain erM Q B roker-AP ubSubC on tain erM Q B roker-BP ubSubR eg istration阿里云消息隊(duì)列 RocketMQ 是國(guó)內(nèi)第二個(gè) 成功進(jìn)入 Service Mesh 官 方社區(qū)的中

4、間件產(chǎn)品推動(dòng) Envoy 社區(qū)加速on- demand CDS的支持創(chuàng)新性地使用Pop消費(fèi)模式適 配Mesh的無狀態(tài)網(wǎng)絡(luò)模型類Frame的協(xié)議設(shè)計(jì)降低解 碼成本消息隊(duì)列 RocketMQ阿里巴巴自主研發(fā)及雙 11 交易核心鏈路 消息產(chǎn)品，阿里云主打品牌，主要面向業(yè)務(wù)消息處理，打造金融級(jí)高可靠消息服務(wù)；消息隊(duì)列 Kafka聚焦大數(shù)據(jù)生態(tài)鏈，100% 融合 Kafka 開源 社區(qū)，大數(shù)據(jù)應(yīng)用領(lǐng)域中不可或缺的消息產(chǎn) 品；消息服務(wù) MNS聚焦云產(chǎn)品生態(tài)集成 & 消息通知服務(wù)（HTTP Endpoint、 Function Compute、事件通 知、移動(dòng)推送等）；微消息隊(duì)列 MQTT基于 MQTT 標(biāo)

5、準(zhǔn)協(xié)議自研，拓展消息產(chǎn)品的領(lǐng)域與邊界，延伸到移動(dòng)互聯(lián)網(wǎng)以及物 聯(lián)網(wǎng)，實(shí)現(xiàn)端與云的連接；消息隊(duì)列 AMQP100% 兼容 AMQP 事實(shí)標(biāo)準(zhǔn)協(xié)議， 全面融合 RabbitMQ 開源社區(qū)生態(tài)；互聯(lián)網(wǎng)大數(shù)據(jù)移動(dòng)互聯(lián)網(wǎng) & 物聯(lián)網(wǎng)擁抱開源消息通知服務(wù)事件總線 EventBridge原生支持 CloudEvents 標(biāo)準(zhǔn)，提供中心化 事件服務(wù)能力，加速云原生生態(tài)集成，EDA 首選；下一代消息產(chǎn)品形態(tài)云原生技術(shù)棧集團(tuán)場(chǎng)景存儲(chǔ)AI數(shù)據(jù)庫(kù)計(jì)算平臺(tái)IoTServerless視頻云FCIoT PaaSMPSDataphinCSGVCSOSSBlinkMax ComputeESHBaseADB城市大腦政務(wù)釘HBRI

6、oT邊緣智能云通信短信DM移動(dòng) 推送電商生態(tài)菜鳥PaaS聚石塔RTCDTS餓了么安全云盾工業(yè)大腦阿 里 云 消 息 商 業(yè) 化 生 態(tài)阿 里 云 消 息 開 源 生 態(tài)數(shù)據(jù)分析大數(shù)據(jù)應(yīng)用框架Kafka API&協(xié)議JMS APICloudEvents 規(guī)范MULTI DOMAINS社區(qū)“標(biāo)準(zhǔn)”PLATFORM INDEPENDENTSTREAMINGSTANDARD BENCHMARKWIRE LEVEL PLUGGABLECLOUD ORIENTEDOpenMessaging接入&遷移多協(xié)議多API多語(yǔ)言多終端多生態(tài)多租戶命名空間普通消息事務(wù)消息定時(shí)消息順序消息訪問控制實(shí)例限流資源隔離標(biāo)準(zhǔn)版

7、鉑金版消息類型消費(fèi)&治理消息軌跡全球消息路由重試消息死信消息消息查詢消息回放Tag過濾SQL過濾Pub/Sub廣播/集群服務(wù)能力海量堆積高可用高性能低延遲交易鏈路12年，雙十一10年可用性99.95%，可靠性8個(gè)9雙 11 消息收發(fā) TPS 峰值過億， 日消息收發(fā)總量3萬億；全球最大的業(yè)務(wù)消息集群之一雙 11 萬億級(jí)數(shù)據(jù)洪峰下，消息發(fā)送99.996%在毫秒級(jí)響應(yīng)；消息發(fā)布平均響應(yīng)時(shí)間不超過 3 毫秒，最大不超過 20 毫秒；消息隊(duì)列RocketMQ消息隊(duì)列 Kafka微消息隊(duì)列 MQTT消息隊(duì)列 AMQP消息服務(wù) MNS事件總線 EventBridgeRocketMQ 內(nèi)核富客戶端輕量級(jí)Pus

8、hPullPop重試/熔斷注冊(cè)中心簡(jiǎn)單可靠無狀態(tài)最終一致計(jì)算節(jié)點(diǎn)存儲(chǔ)引擎高性能傳輸層可擴(kuò)展RPC框架云產(chǎn)品簇日志與索引分離低延遲讀寫互斥一致性多副本多模存儲(chǔ)多級(jí)存儲(chǔ)CommitLog百萬 隊(duì)列 索引統(tǒng)一存儲(chǔ)接口Deep Storage本地塊設(shè)備云存儲(chǔ)盤古原生存儲(chǔ)OSSMaster-SlaveDLedger秒級(jí)RTO協(xié)議PageCache事定查讀寫互斥務(wù)索時(shí)索詢索引引引架構(gòu)開發(fā)變更管理面向失敗設(shè)計(jì)開發(fā)測(cè)試Code Review單元測(cè)試集成測(cè)試性能測(cè)試容災(zāi)測(cè)試可灰度可監(jiān)控可回滾可降級(jí)穩(wěn)定性防護(hù)限流、降級(jí)容量評(píng)估應(yīng)急方案大促保障故障演練體系化巡檢故障應(yīng)急監(jiān)控報(bào)警故障發(fā)生快速止血排查根因故障復(fù)盤黑盒巡

9、檢用戶視角全功能掃描50+檢測(cè)項(xiàng)白盒巡檢JVM運(yùn)行時(shí)指標(biāo)內(nèi)核系統(tǒng)指標(biāo)集群統(tǒng)計(jì)指標(biāo)預(yù)案演練定期風(fēng)險(xiǎn)梳理Svc.Svc.遠(yuǎn)程調(diào)用異步化Svc.Message BrokerSvc.消息是比事件更通用的抽象（Raw Data）消息常用于微服務(wù)調(diào)用之間的異步解耦消息的內(nèi)容往往綁定了較強(qiáng)的業(yè)務(wù)屬性消息的發(fā)送方對(duì)消息處理邏輯有明確的預(yù)期Event Broker事件是具像化的，代表事情的發(fā)生、條件和狀態(tài)的變化事件源可能來自不同的環(huán)境與組織事件源對(duì)事件將被如何響應(yīng)沒有任何預(yù)期采用事件的應(yīng)用架構(gòu)是更徹底的解耦采用事件的應(yīng)用架構(gòu)將更加具備可擴(kuò)展性和靈活性Event SourcesEvent ConsumersInternetofThing sEventBridgeEvent SourcingCQ RSLegacy M essagingD istributed AppsEventBridgeAPI G atew ayM icroservice Event D riven AppsEventStream ingE