基于AnalyticDB for MySQL構(gòu)建實(shí)時(shí)數(shù)據(jù)倉庫

1、基于AnalyticDB for MySQL構(gòu)建實(shí)時(shí)數(shù)據(jù)倉庫技術(shù)創(chuàng)新，變革未來01總述DTS實(shí)時(shí)同步SLS準(zhǔn)實(shí)時(shí)投遞DMS企業(yè)版準(zhǔn)實(shí)時(shí)同步總結(jié)內(nèi) 容 大 綱01 總述AnalyticDB for MySQL生產(chǎn)業(yè)務(wù)數(shù)據(jù)庫數(shù)據(jù)傳輸 實(shí)時(shí)同步MQ流計(jì)算日志數(shù)據(jù)OracleDB2MS SQL ServerMySQLPolarDBRDSDRDS寫入實(shí)時(shí)構(gòu)建大圖DMS/Dataworks實(shí)時(shí)化分析減少OLTP-OLAP數(shù)據(jù)延時(shí) 例如報(bào)表延時(shí)1分鐘內(nèi)查詢速度快解決業(yè)務(wù)庫上大查詢慢查詢，10X加速OLTP與OLAP隔離簡(jiǎn)單易用快速構(gòu)建數(shù)據(jù)倉庫，全面兼容MySQL協(xié)議和BI工具實(shí)時(shí)構(gòu)建ADB數(shù)倉優(yōu)點(diǎn)02 DT

2、S實(shí)時(shí)同步DTS數(shù)據(jù)傳輸（Data Transmission）DTS的數(shù)據(jù)同步功能旨在幫助用戶實(shí)現(xiàn)兩個(gè)數(shù)據(jù)源之間的數(shù)據(jù)實(shí)時(shí)同步。DTS通過解析 數(shù)據(jù)源的增量日志，如binlog，將增量實(shí)時(shí)同步到ADB中。01 多數(shù)據(jù)源支持MySQLDRDSPolarDB庫：整庫表：選擇特定表列：表中的某幾列數(shù)據(jù)DML過濾DDL過濾02 多粒度庫映射表映射列名映射多表歸并03 靈活映射同步任務(wù)設(shè)置目標(biāo)表建立靈活定制04 白屏化操作DTS 功 能 介 紹 參 見 ： /document_detail/26595.html?spm=5176.55326.208404.7.6c9386fb9W8y61DTS同步設(shè)置流

3、程1.創(chuàng)建DTS同步2.配置任務(wù)3.同步對(duì)象設(shè)置4.對(duì)象映射5.目標(biāo)表設(shè)置6.預(yù)檢查并啟動(dòng)源庫類型目標(biāo)庫ADB同步鏈路規(guī)格源庫實(shí)例目標(biāo)實(shí)例授權(quán)白名單全量數(shù)據(jù)增量數(shù)據(jù)DDL過濾DML設(shè)置源庫對(duì)象目標(biāo)對(duì)象多表歸并字段映射分區(qū)鍵主鍵鍵檢查出錯(cuò)重新修改啟動(dòng)暫停表個(gè)數(shù)限制T8：500T16和T32：1500T52：2500DTS RDS 同 步 到 ADB： /document_detail/49082.html?spm=a2c4g.11186623.6.700.1072612epv6gED03 SLS準(zhǔn)實(shí)時(shí)投遞SLS準(zhǔn)實(shí)時(shí)投遞ECSECSOSS自動(dòng)投遞SLS數(shù)據(jù)清洗， 分析結(jié)果結(jié)果寫入結(jié)果回流海量日志

4、ADBDLASLS：日志投送服務(wù) OSS：對(duì)象存儲(chǔ)服務(wù) DLA ： 數(shù)據(jù)湖分析工具通過阿里云日志服務(wù)廣泛的日志采集能力，加上DLA 內(nèi)建的靈活可定制的ETL 能力，進(jìn)行數(shù)據(jù)湖投遞、處理、分析同時(shí)將所需要的數(shù)據(jù)投遞到ADB中，以游戲數(shù)據(jù)運(yùn)營(yíng)融合分析為例：OSS直接投遞游戲數(shù)據(jù)運(yùn)營(yíng)最佳實(shí)踐參考：（后續(xù)官網(wǎng)上線）SLS準(zhǔn)實(shí)時(shí)投遞流程1. SLS日志服務(wù)2.數(shù)據(jù)投遞OSS3. DLA處理4. ADB項(xiàng)目Project日志庫Logstore配置數(shù)據(jù)接入（日志源）OSS投遞選項(xiàng)分區(qū)格式壓縮方式RAM角色投遞時(shí)間直接投遞到ADB配置OSS接入DSL（處理數(shù)據(jù)）投遞到ADB數(shù)據(jù)分析04 DMS準(zhǔn)實(shí)時(shí)同步DMS

5、準(zhǔn)實(shí)時(shí)同步數(shù)據(jù)管理（Data Management）DMS的數(shù)倉開發(fā)旨在為用戶提供數(shù)據(jù)集成、加工、可視化和價(jià)值挖掘的一站式開發(fā)平臺(tái)。提供任務(wù)編排、數(shù)據(jù)倉庫兩種開發(fā)模式，均可以實(shí)現(xiàn)周期調(diào)度，滿足用戶不同應(yīng)用場(chǎng)景的數(shù)倉開發(fā)需求。01 多數(shù)據(jù)源支持MySQLDRDSPolarDBADBDLAPostgreSQLSQL ServerORACLE月周日小時(shí)分鐘02 多周期DMS 官 網(wǎng) ： /product/dms03 兩種方式增量數(shù)據(jù)遷移跨庫SQLDMS數(shù)倉開發(fā)-數(shù)據(jù)遷移實(shí)現(xiàn)增量流程1.創(chuàng)建任務(wù)流2.創(chuàng)建數(shù)據(jù)遷移節(jié)點(diǎn)3.編排任務(wù)4.配置調(diào)度5.運(yùn)維中心設(shè)置源數(shù)據(jù)設(shè)置目標(biāo)為ADB通過數(shù)據(jù)遷移實(shí)現(xiàn)DAG任

6、務(wù)節(jié)點(diǎn)順序前置依賴試運(yùn)行指定時(shí)間運(yùn)行調(diào)度類型調(diào)度周期月周日小時(shí)分鐘（e.g 3mins）調(diào)度時(shí)間執(zhí)行日志查看終止重跑暫?；謴?fù)置成功DMS 數(shù)據(jù)遷移實(shí)現(xiàn)增量：/document_detail/147250.html?設(shè)置任務(wù)基本信息DMS數(shù)倉開發(fā)-跨庫SQL增量流程1.創(chuàng)建任務(wù)流2.創(chuàng)建跨庫SQL任務(wù)3.編排任務(wù)4.配置調(diào)度5.運(yùn)維中心通過DBlink獲取數(shù) 據(jù)源數(shù)據(jù)抽取SQL，設(shè)置增量變量（e.g. updated_at）變量格式定義DAG任務(wù)節(jié)點(diǎn)順序前置依賴試運(yùn)行指定時(shí)間運(yùn)行調(diào)度類型調(diào)度周期月周日小時(shí)分鐘（e.g 3mins）調(diào)度時(shí)間運(yùn)行時(shí)帶入變量的當(dāng)前 值執(zhí)行日志查看終止重跑暫?；謴?fù)置成功

7、DMS 跨庫SQL實(shí)現(xiàn)增量參考：/document_detail/139316.html?設(shè)置任務(wù)基本信息05 總結(jié)DTS實(shí)時(shí)同步DMS準(zhǔn)實(shí)時(shí)同步1、白屏化操作2、實(shí)時(shí)同步3、依賴DTS同步 日志解析能力OSS準(zhǔn)實(shí)時(shí)投遞1、承接海量日志 數(shù)據(jù)，通過DLA打 通結(jié)構(gòu)化和非結(jié)構(gòu) 化分析，使得非結(jié) 構(gòu)化數(shù)據(jù)準(zhǔn)實(shí)時(shí)同 步2、更低成本， DLA融合冷數(shù)據(jù)分 析+ADB溫?zé)釘?shù)據(jù) 分析3、準(zhǔn)實(shí)時(shí)1、更多數(shù)據(jù)源支 持2、更靈活的處理 流程3、準(zhǔn)實(shí)時(shí)AnalyticDB for MySQL 基礎(chǔ)版技術(shù)解密AnalyticDB for MySQL 基礎(chǔ)版輕量云原生架構(gòu)單節(jié)點(diǎn)服務(wù) 降低使用門檻高性能同等配置下寫入查

8、詢性能約為MySQL 10倍規(guī)格豐富4種規(guī)格可根據(jù)業(yè)務(wù)需求自由升降配簡(jiǎn)單易用、超高性價(jià)比的分布式實(shí)時(shí)數(shù)據(jù)倉庫，提供PB數(shù)據(jù)量的高并發(fā)、毫秒級(jí)分析服務(wù)全托管服務(wù)0運(yùn)維超低成本構(gòu)建實(shí)時(shí)數(shù)倉AnalyticDB for MySQL 基礎(chǔ)版 技術(shù)特點(diǎn)輕量容器部署分布式引擎支持復(fù)雜查詢讀寫強(qiáng)一致多種優(yōu)化技術(shù)數(shù)據(jù)高可靠AnalyticDB for MySQL 基礎(chǔ)版 整體架構(gòu)協(xié)議/鏈路Controller元數(shù)據(jù)優(yōu)化器ParserCoordinator寫入Worker (存儲(chǔ)）增量全量Storage EngineSSD 云盤OSS數(shù)據(jù)備份控制臺(tái)元數(shù)據(jù)庫監(jiān)控ZKMPP Executor (計(jì)算）Analyti

9、cDB for MySQL 優(yōu)化器計(jì)劃評(píng)估RBO+ CBO PBO下推優(yōu)化Predicate Pushdown Dynamic Filter下推 Cast下推Join ReorderCost Calculation實(shí)時(shí)采樣Index-Based Join解關(guān)聯(lián)優(yōu)化關(guān)系代數(shù)轉(zhuǎn)換 避免數(shù)據(jù)膨脹 聚合處理聚合優(yōu)化AGG優(yōu)化 MultiDistinct TopN優(yōu)化智能化Auto Analyze HBOAnalyticDB for MySQL 優(yōu)化器 Join Optimization感知數(shù)據(jù)分布的 Join Reorder復(fù)合join優(yōu)化技術(shù)Rule-Based Optimizer +Cost-Ba

10、sed OptimizerPattern-Based Optimizer自適應(yīng)調(diào)優(yōu)技術(shù)Auto AnalyzeHistory-Based OptimizerAnalyticDB for MySQL 計(jì)算引擎Pipeline執(zhí)行分布式 高并發(fā) 低延遲計(jì)算加速Column Oriented向量執(zhí)行RunTime CodeGen執(zhí)行優(yōu)化In Memory Multi-StageAnalyticDB for MySQL 存儲(chǔ)引擎近存儲(chǔ)計(jì)算部分算子下推 過濾下推內(nèi)存優(yōu)化內(nèi)存Bytes化 實(shí)時(shí)尾塊IO優(yōu)化磁盤空間統(tǒng)計(jì) 文件數(shù)目?jī)?yōu)化checkpoint優(yōu)化ADB 存儲(chǔ)引擎 -行列混存和智能索引AnalyticDB for MySQL 基礎(chǔ)版 - 極致性能TPC-H Benchmark由TPC委員會(huì)制定發(fā)布，用于評(píng)測(cè)數(shù)據(jù)庫的分析型查詢能力8張數(shù)據(jù)表、22條復(fù)雜的SQL查詢，大多數(shù)查詢包含多表 Join、子查詢和Group by聚合測(cè)試配置ADB 基礎(chǔ)版 T52規(guī)格MySQL 52 CPUADB基礎(chǔ)版對(duì)比MySQL實(shí)現(xiàn)數(shù)量級(jí)的性能提升表名記錄數(shù)customer1500wlineitem6億nation