基于AnalyticDB-for-MySQL構(gòu)建課件

基于AnalyticDBforMySQL構(gòu)建實時數(shù)據(jù)倉庫技術(shù)創(chuàng)新，變革未來基于AnalyticDBforMySQL構(gòu)建實時數(shù)據(jù)倉庫01 總述DTS實時同步SLS準(zhǔn)實時投遞DMS企業(yè)版準(zhǔn)實時同步總結(jié)內(nèi)容大綱01 總述DTS實時同步201

總述01總述3AnalyticDBfor

MySQL生產(chǎn)業(yè)務(wù)數(shù)據(jù)庫數(shù)據(jù)傳輸實時同步MQ流計算日志數(shù)據(jù)OracleDB2MSSQL

ServerMySQLPolarDBRDSDRDS寫入實時構(gòu)建大圖DMS/DataworksAnalyticDBforMySQL生產(chǎn)業(yè)務(wù)數(shù)據(jù)庫數(shù)據(jù)傳4實時化分析減少OLTP->OLAP數(shù)據(jù)延時例如報表延時1分鐘內(nèi)查詢速度快解決業(yè)務(wù)庫上大查詢慢查詢，10X加速OLTP與OLAP隔離簡單易用快速構(gòu)建數(shù)據(jù)倉庫，全面兼容MySQL協(xié)議和BI工具實時構(gòu)建ADB數(shù)倉優(yōu)點實時化分析查詢速度快簡單易用實時構(gòu)建ADB數(shù)倉優(yōu)點502

DTS實時同步02DTS實時同步6DTS數(shù)據(jù)傳輸（Data

Transmission）DTS的數(shù)據(jù)同步功能旨在幫助用戶實現(xiàn)兩個數(shù)據(jù)源之間的數(shù)據(jù)實時同步。DTS通過解析數(shù)據(jù)源的增量日志，如binlog，將增量實時同步到ADB中。01

多數(shù)據(jù)源支持MySQLDRDSPolarDB庫：整庫表：選擇特定表列：表中的某幾列數(shù)據(jù)DML過濾DDL過濾02

多粒度庫映射表映射列名映射多表歸并03

靈活映射同步任務(wù)設(shè)置目標(biāo)表建立靈活定制04

白屏化操作DTS功能介紹參見：/document_detail/26595.html?spm=5176.55326.208404.7.6c9386fb9W8y61DTS01多數(shù)據(jù)源支持庫：整庫02多粒度庫映射03靈活7DTS同步設(shè)置流程1.創(chuàng)建DTS同步2.配置任務(wù)3.同步對象設(shè)置4.對象映射5.目標(biāo)表設(shè)置6.預(yù)檢查并啟動源庫類型目標(biāo)庫ADB同步鏈路規(guī)格源庫實例目標(biāo)實例授權(quán)白名單全量數(shù)據(jù)增量數(shù)據(jù)DDL過濾DML設(shè)置源庫對象目標(biāo)對象多表歸并字段映射分區(qū)鍵主鍵鍵檢查出錯重新修改啟動暫停表個數(shù)限制T8：500T16和T32：1500T52：2500DTSRDS同步到ADB：/document_detail/49082.html?spm=a2c4g.11186623.6.700.1072612epv6gEDDTS同步設(shè)置流程1.創(chuàng)建DTS同步2.配置任務(wù)3.同步對象803

SLS準(zhǔn)實時投遞03SLS準(zhǔn)實時投遞9SLS準(zhǔn)實時投遞ECSECSOSS自動投遞SLS數(shù)據(jù)清洗，分析結(jié)果結(jié)果寫入結(jié)果回流海量日志ADBDLASLS：日志投送服務(wù)OSS：對象存儲服務(wù)DLA

：

數(shù)據(jù)湖分析工具通過阿里云日志服務(wù)廣泛的日志采集能力，加上DLA

內(nèi)建的靈活可定制的ETL

能力，進(jìn)行數(shù)據(jù)湖投遞、處理、分析同時將所需要的數(shù)據(jù)投遞到ADB中，以游戲數(shù)據(jù)運營融合分析為例：OSS直接投遞游戲數(shù)據(jù)運營最佳實踐參考：（后續(xù)官網(wǎng)上線）SLS準(zhǔn)實時投遞ECSECSOSS自動投遞SLS數(shù)據(jù)清洗，10SLS準(zhǔn)實時投遞流程1.

SLS日志服務(wù)2.數(shù)據(jù)投遞OSS3.

DLA處理4.

ADB項目Project日志庫Logstore配置數(shù)據(jù)接入（日志源）OSS投遞選項分區(qū)格式壓縮方式RAM角色投遞時間直接投遞到ADB配置OSS接入DSL（處理數(shù)據(jù)）投遞到ADB數(shù)據(jù)分析SLS準(zhǔn)實時投遞流程1.SLS日志服務(wù)2.數(shù)據(jù)投遞OSS31104

DMS準(zhǔn)實時同步04DMS準(zhǔn)實時同步12DMS準(zhǔn)實時同步數(shù)據(jù)管理（Data

Management）DMS的數(shù)倉開發(fā)旨在為用戶提供數(shù)據(jù)集成、加工、可視化和價值挖掘的一站式開發(fā)平臺。提供任務(wù)編排、數(shù)據(jù)倉庫兩種開發(fā)模式，均可以實現(xiàn)周期調(diào)度，滿足用戶不同應(yīng)用場景的數(shù)倉開發(fā)需求。01

多數(shù)據(jù)源支持MySQLDRDSPolarDBADBDLAPostgreSQLSQL

ServerORACLE月周日小時分鐘02

多周期DMS官網(wǎng)：/product/dms03

兩種方式增量數(shù)據(jù)遷移跨庫SQLDMS準(zhǔn)實時同步數(shù)據(jù)管理（DataManagement）D13DMS數(shù)倉開發(fā)-數(shù)據(jù)遷移實現(xiàn)增量流程1.創(chuàng)建任務(wù)流2.創(chuàng)建數(shù)據(jù)遷移節(jié)點3.編排任務(wù)4.配置調(diào)度5.運維中心設(shè)置源數(shù)據(jù)設(shè)置目標(biāo)為ADB通過數(shù)據(jù)遷移實現(xiàn)DAG任務(wù)節(jié)點順序前置依賴試運行指定時間運行調(diào)度類型調(diào)度周期月周日小時分鐘（e.g

3mins）調(diào)度時間執(zhí)行日志查看終止重跑暫?；謴?fù)置成功DMS數(shù)據(jù)遷移實現(xiàn)增量：/document_detail/147250.html?設(shè)置任務(wù)基本信息DMS數(shù)倉開發(fā)-數(shù)據(jù)遷移實現(xiàn)增量流程1.創(chuàng)建任務(wù)流2.創(chuàng)建數(shù)14DMS數(shù)倉開發(fā)-跨庫SQL增量流程1.創(chuàng)建任務(wù)流2.創(chuàng)建跨庫SQL任務(wù)3.編排任務(wù)4.配置調(diào)度5.運維中心通過DBlink獲取數(shù)據(jù)源數(shù)據(jù)抽取SQL，設(shè)置增量變量（e.g.updated_at）變量格式定義DAG任務(wù)節(jié)點順序前置依賴試運行指定時間運行調(diào)度類型調(diào)度周期月周日小時分鐘（e.g

3mins）調(diào)度時間運行時帶入變量的當(dāng)前值執(zhí)行日志查看終止重跑暫?；謴?fù)置成功DMS跨庫SQL實現(xiàn)增量參考：/document_detail/139316.html?設(shè)置任務(wù)基本信息DMS數(shù)倉開發(fā)-跨庫SQL增量流程1.創(chuàng)建任務(wù)流2.創(chuàng)建跨庫1505

總結(jié)05總結(jié)16DTS實時同步DMS準(zhǔn)實時同步1、白屏化操作2、實時同步3、依賴DTS同步日志解析能力OSS準(zhǔn)實時投遞1、承接海量日志數(shù)據(jù)，通過DLA打通結(jié)構(gòu)化和非結(jié)構(gòu)化分析，使得非結(jié)構(gòu)化數(shù)據(jù)準(zhǔn)實時同步2、更低成本，DLA融合冷數(shù)據(jù)分析+ADB溫?zé)釘?shù)據(jù)分析3、準(zhǔn)實時1、更多數(shù)據(jù)源支持2、更靈活的處理流程3、準(zhǔn)實時DTS實時同步DMS準(zhǔn)實時同步1、白屏化操作OSS準(zhǔn)實時投遞17AnalyticDB

for

MySQL

基礎(chǔ)版技術(shù)解密AnalyticDBforMySQL基礎(chǔ)版技術(shù)解密18AnalyticDB

for

MySQL

基礎(chǔ)版輕量云原生架構(gòu)單節(jié)點服務(wù)降低使用門檻高性能同等配置下寫入查詢性能約為MySQL

10倍規(guī)格豐富4種規(guī)格可根據(jù)業(yè)務(wù)需求自由升降配簡單易用、超高性價比的分布式實時數(shù)據(jù)倉庫，提供PB數(shù)據(jù)量的高并發(fā)、毫秒級分析服務(wù)全托管服務(wù)0運維超低成本構(gòu)建實時數(shù)倉AnalyticDBforMySQL基礎(chǔ)版輕量云原生架19AnalyticDBfor

MySQL

基礎(chǔ)版

–

技術(shù)特點輕量容器部署分布式引擎支持復(fù)雜查詢讀寫強一致多種優(yōu)化技術(shù)數(shù)據(jù)高可靠AnalyticDBforMySQL基礎(chǔ)版–技術(shù)特20AnalyticDBfor

MySQL

基礎(chǔ)版

–

整體架構(gòu)協(xié)議/鏈路Controller元數(shù)據(jù)優(yōu)化器ParserCoordinator寫入Worker

(存儲）增量全量Storage

EngineSSD

云盤OSS數(shù)據(jù)備份控制臺元數(shù)據(jù)庫監(jiān)控ZKMPPExecutor

(計算）AnalyticDBforMySQL基礎(chǔ)版–整體架21AnalyticDB

for

MySQL

優(yōu)化器計劃評估RBO+CBOPBO下推優(yōu)化Predicate

PushdownDynamic

Filter下推Cast下推Join

ReorderCost

Calculation實時采樣Index-Based

Join解關(guān)聯(lián)優(yōu)化關(guān)系代數(shù)轉(zhuǎn)換避免數(shù)據(jù)膨脹聚合處理聚合優(yōu)化AGG優(yōu)化MultiDistinctTopN優(yōu)化智能化Auto

AnalyzeHBOAnalyticDBforMySQL優(yōu)化器計劃評估下推22AnalyticDB

for

MySQL

優(yōu)化器

–

Join

Optimization感知數(shù)據(jù)分布的

Join

Reorder復(fù)合join優(yōu)化技術(shù)Rule-BasedOptimizer

+Cost-Based

OptimizerPattern-Based

Optimizer自適應(yīng)調(diào)優(yōu)技術(shù)Auto

AnalyzeHistory-Based

OptimizerAnalyticDBforMySQL優(yōu)化器–Joi23AnalyticDB

for

MySQL

計算引擎Pipeline執(zhí)行分布式高并發(fā)低延遲計算加速Column

Oriented向量執(zhí)行RunTime

CodeGen執(zhí)行優(yōu)化InMemoryMulti-StageAnalyticDBforMySQL計算引擎Pipel24AnalyticDB

for

MySQL

存儲引擎近存儲計算部分算子下推過濾下推內(nèi)存優(yōu)化內(nèi)存Bytes化實時尾塊IO優(yōu)化磁盤空間統(tǒng)計文件數(shù)目優(yōu)化checkpoint優(yōu)化AnalyticDBforMySQL存儲引擎近存儲計算25ADB

存儲引擎

-行列混存和智能索引ADB存儲引擎-行列混存和智能索引26AnalyticDBfor

MySQL

基礎(chǔ)版

-

極致性能TPC-H

Benchmark由TPC委員會制定發(fā)布，用于評測數(shù)據(jù)庫的分析型查詢能力8張數(shù)據(jù)表、22條復(fù)雜的SQL查詢，大多數(shù)查詢包含多表Join、子查詢和Group

by聚合測試配置ADB基礎(chǔ)版T52規(guī)格MySQL52CPUADB基礎(chǔ)版對比MySQL實現(xiàn)數(shù)量級的性能提升表名記錄數(shù)customer1500wlineitem6億nation25orders1.5億