互聯(lián)網(wǎng)實(shí)時(shí)流系統(tǒng)架構(gòu)實(shí)踐

1、互聯(lián)網(wǎng)實(shí)時(shí)流系統(tǒng)架構(gòu)實(shí)踐技術(shù)創(chuàng)新 變革未來目錄我們的實(shí)時(shí)數(shù)據(jù)平臺(tái)-Prism1從這里開始2架構(gòu)演進(jìn)3Esaas - Elasticsearch as a Service4監(jiān)控5規(guī)模6Prism是什么宗旨以數(shù)據(jù)可視化為出發(fā)點(diǎn)以降低數(shù)據(jù)和數(shù)據(jù)分析軟件獲取成本為己任的實(shí)時(shí)數(shù)據(jù)平臺(tái)提供哪些服務(wù)日志實(shí)時(shí)監(jiān)控 - ELK2.3.數(shù)據(jù)總線 - Kafka數(shù)據(jù)實(shí)時(shí)分析 - Spark Streaming/Storm/Flink數(shù)據(jù)存儲(chǔ) - Elasticsearch as a ServiceOLAP/試驗(yàn)平臺(tái) - Zeppelin+Spark/FlinkPrism數(shù)據(jù)流圖目錄我們的實(shí)時(shí)數(shù)據(jù)平臺(tái)-Prism1從

2、這里開始2架構(gòu)演進(jìn)3Esaas - Elasticsearch as a Service4監(jiān)控5規(guī)模6Dev成了問題定位瓶頸ELKELK大受歡迎部署方式和問題部署方式申請(qǐng)?zhí)摂M機(jī)/添加賬號(hào)使用salt部署2.面臨的問題快速構(gòu)建業(yè)務(wù)流快速增減容量目錄我們的實(shí)時(shí)數(shù)據(jù)平臺(tái)-Prism1從這里開始2架構(gòu)演進(jìn)3Esaas - Elasticsearch as a Service4監(jiān)控5規(guī)模6發(fā)現(xiàn)新大陸解決了問題快速增減容量新工具快速支持提高硬件資源利用率降低數(shù)據(jù)軟件的使用成本角色Mesos管理的資源Mesos架構(gòu)Marathon和Spark的位置在Mesos上運(yùn)行無狀態(tài)服務(wù)節(jié)點(diǎn)快照如何找到Kibana服務(wù)

3、網(wǎng)絡(luò)方案-net=hostCalicoCNI (Mesos version = 1.0)請(qǐng)求路由/服務(wù)發(fā)現(xiàn)（HTTP）多機(jī)房日志流匯聚Logstash Debugger規(guī)模1.接入模塊：300模塊2.單Kafka最大帶寬11G+ 3.每日116億消息，18T+新的需求-更復(fù)雜的日志分析實(shí)時(shí)推薦多數(shù)據(jù)源實(shí)時(shí)JOINSpark on MesosSoftware on Mesos規(guī)模1.Spark Streaming任務(wù)：50個(gè)Storm集群：5個(gè)Flink集群：2個(gè)QuotaCluster BootstrapAll in Docker目錄我們的實(shí)時(shí)數(shù)據(jù)平臺(tái)-Prism1從這里開始2架構(gòu)演進(jìn)3Esa

4、as - Elasticsearch as a Service4監(jiān)控5規(guī)模6有狀態(tài)服務(wù)本地存儲(chǔ)數(shù)據(jù)：Elasticsearch服務(wù)發(fā)現(xiàn)：Flink，HAProxy帶狀態(tài)服務(wù)運(yùn)行于Mesos要解決的問題本地存儲(chǔ)數(shù)據(jù)：Elasticsearch服務(wù)發(fā)現(xiàn)：Flink，HAProxyMesos版本要求持久化卷動(dòng)態(tài)預(yù)留 Mesos 0.23Marathon 1.0Esaas結(jié)構(gòu)服務(wù)發(fā)現(xiàn)-TCPDashBoard目錄我們的實(shí)時(shí)數(shù)據(jù)平臺(tái)-Prism1從這里開始2架構(gòu)演進(jìn)3Esaas - Elasticsearch as a Service4監(jiān)控5規(guī)模6監(jiān)控1.數(shù)據(jù)處理模塊拓?fù)浔O(jiān)控業(yè)務(wù)監(jiān)控隊(duì)列堆積：Kafka

5、 Topic Lag流量：Search Count/Message Count錯(cuò)誤：Reject/Exception基礎(chǔ)監(jiān)控/容量監(jiān)控IO使用率CPU使用率內(nèi)存使用率JVM/GC等計(jì)算資源使用量監(jiān)控?cái)?shù)據(jù)處理模塊拓?fù)浔O(jiān)控實(shí)時(shí)流監(jiān)控Esaas某ES集群監(jiān)控基礎(chǔ)監(jiān)控pyadvisor/QunarOPS/pyadvisor目錄我們的實(shí)時(shí)數(shù)據(jù)平臺(tái)-Prism1從這里開始2架構(gòu)演進(jìn)3Esaas - Elasticsearch as a Service4監(jiān)控5規(guī)模6規(guī)模1.計(jì)算集群120+； 2600+ 容器Esaas 50+;47 ES集群； 600+ 容器Cpu Usage: Openstack 14%; Mesos 28%總結(jié)1