湖倉(cāng)一體大數(shù)據(jù)平臺(tái)解決方案相關(guān)兩份資料

湖倉(cāng)一體大數(shù)據(jù)平臺(tái)解決方案湖倉(cāng)一體大數(shù)據(jù)平臺(tái)概述湖倉(cāng)一體大數(shù)據(jù)平臺(tái)，承擔(dān)了企業(yè)數(shù)據(jù)治理、開發(fā)、管理等職責(zé)，往下集成數(shù)據(jù)，往上搭載應(yīng)用。通過數(shù)據(jù)同步、研發(fā)、運(yùn)維、服務(wù)及治理等過程，對(duì)企業(yè)大數(shù)據(jù)進(jìn)行智能管理，形成企業(yè)的數(shù)據(jù)資產(chǎn)。湖倉(cāng)一體大數(shù)據(jù)平臺(tái)架構(gòu)基礎(chǔ)設(shè)施阿里云本地IDC…H為云電信云騰訊云AzureAWS京東云引擎層S-EMR阿里云-EMRAWS-EMRH為云-MRS星環(huán)-TDH數(shù)據(jù)集成數(shù)據(jù)研發(fā)數(shù)據(jù)運(yùn)維數(shù)據(jù)服務(wù)數(shù)據(jù)治理數(shù)據(jù)工廠規(guī)范建模指標(biāo)管理參數(shù)配置API工廠腳本/向?qū)Ｊ阶远x函數(shù)導(dǎo)入在線測(cè)試數(shù)據(jù)查詢標(biāo)簽工廠實(shí)體管理標(biāo)簽管理任務(wù)管理算法工廠算法開發(fā)資源管理指標(biāo)運(yùn)維指標(biāo)任務(wù)監(jiān)控指標(biāo)查詢常規(guī)運(yùn)維數(shù)據(jù)生產(chǎn)運(yùn)維數(shù)據(jù)質(zhì)量運(yùn)維API中心

API授權(quán)API調(diào)用數(shù)據(jù)訂閱標(biāo)簽中心量級(jí)、覆蓋率標(biāo)簽值分布控制臺(tái)項(xiàng)目管理子賬號(hào)管理角色權(quán)限管理工作空間管理AccessKey管理平臺(tái)安全設(shè)置數(shù)據(jù)地圖數(shù)據(jù)管理類目管理常規(guī)開發(fā)離線開發(fā)實(shí)時(shí)開發(fā)數(shù)據(jù)安全數(shù)據(jù)脫敏數(shù)據(jù)加密數(shù)據(jù)規(guī)劃資產(chǎn)盤點(diǎn)資產(chǎn)盤點(diǎn)報(bào)告元數(shù)據(jù)管理生命周期治理項(xiàng)管理治理效果分析全鏈血緣元數(shù)據(jù)檢索元數(shù)據(jù)分析數(shù)據(jù)探查探查報(bào)告探查任務(wù)配置探查實(shí)例管理數(shù)據(jù)源管理數(shù)據(jù)源數(shù)據(jù)文件規(guī)范建表可視化建表DDL建表數(shù)據(jù)同步離線同步實(shí)時(shí)同步API運(yùn)維配置、告警安全組配置標(biāo)簽運(yùn)維標(biāo)簽任務(wù)監(jiān)控標(biāo)簽查詢算法運(yùn)維算法任務(wù)監(jiān)控配置及告警數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)標(biāo)準(zhǔn)管理標(biāo)準(zhǔn)覆蓋率評(píng)估2.湖倉(cāng)一體數(shù)倉(cāng)建設(shè)思路傳統(tǒng)數(shù)倉(cāng)的問題技術(shù)架構(gòu)實(shí)時(shí)指標(biāo)煙囪式開發(fā)效率低門檻高平臺(tái)管理開發(fā)效率實(shí)時(shí)離線架構(gòu)不統(tǒng)一依賴離線T+1導(dǎo)出報(bào)表缺少實(shí)時(shí)元數(shù)據(jù)管理未打通實(shí)時(shí)離線數(shù)據(jù)的聯(lián)系寬表建設(shè)平臺(tái)治理批流統(tǒng)一湖倉(cāng)一體數(shù)倉(cāng)建設(shè)思路統(tǒng)一數(shù)倉(cāng)標(biāo)準(zhǔn)與元數(shù)據(jù)基于SQL統(tǒng)一開發(fā)流程引入Hudi加速寬表產(chǎn)出基于FlinkSQL構(gòu)建實(shí)時(shí)數(shù)倉(cāng)數(shù)倉(cāng)平臺(tái)化建設(shè)數(shù)據(jù)統(tǒng)一接入開發(fā)元數(shù)據(jù)管理統(tǒng)一規(guī)范體系(1/3)設(shè)計(jì)規(guī)范命名規(guī)范模型規(guī)范數(shù)倉(cāng)規(guī)范開發(fā)規(guī)范存儲(chǔ)規(guī)范流程規(guī)范業(yè)務(wù)板塊規(guī)范定義模型設(shè)計(jì)數(shù)據(jù)應(yīng)用業(yè)務(wù)系統(tǒng)業(yè)務(wù)板塊2業(yè)務(wù)板塊1業(yè)務(wù)源數(shù)據(jù)1業(yè)務(wù)源數(shù)據(jù)2業(yè)務(wù)源數(shù)據(jù)3……數(shù)據(jù)域/主題域統(tǒng)計(jì)粒度(維度組合)一致性維度修飾詞派生指標(biāo)原子指標(biāo)（業(yè)務(wù)過程+度量）維表（DIM）把邏輯維度物理化的寬表統(tǒng)計(jì)周期(時(shí)間維)匯總事實(shí)表（DWS）把明細(xì)事實(shí)聚合的事實(shí)表數(shù)據(jù)應(yīng)用層（ADS）業(yè)務(wù)過程事務(wù)事實(shí)表(DWD)最原始粒度的明細(xì)數(shù)據(jù)維度屬性統(tǒng)一規(guī)范，OneData建模方法論(2/3)統(tǒng)一規(guī)范，可視化建模工具(3/3)統(tǒng)一元數(shù)據(jù)價(jià)值主張：理清數(shù)據(jù)字典，了解數(shù)據(jù)來龍去脈特點(diǎn)：豐富的采集適配器、智能識(shí)別關(guān)系、豐富的元數(shù)據(jù)分析和檢核元數(shù)據(jù)采集元數(shù)據(jù)分析元數(shù)據(jù)變更數(shù)據(jù)地圖適配器管理采集源采集任務(wù)配置采集日志入庫(kù)審核影響分析依賴分析血緣分析全鏈分析關(guān)聯(lián)度分析屬性差異分析表關(guān)聯(lián)關(guān)系字段關(guān)系變更查詢變更訂閱元數(shù)據(jù)核檢一致性核檢組合關(guān)系數(shù)據(jù)處理關(guān)系屬性填充率名稱重復(fù)率基于SQL統(tǒng)一開發(fā)流程afhaTableSQL離線批處理實(shí)時(shí)流處理即席查詢Lambda架構(gòu)Lambda架構(gòu)的主要思想：將大數(shù)據(jù)系統(tǒng)架構(gòu)分為三層:批處理層（BatchLayer）、實(shí)時(shí)計(jì)算層（SpeedLayer）、服務(wù)層（ServingLayer）優(yōu)點(diǎn)：（1）數(shù)據(jù)的不可變性（2）強(qiáng)調(diào)了數(shù)據(jù)的重新計(jì)算問題缺點(diǎn)：雙重計(jì)算+雙重服務(wù)，且要求查詢得到的是兩個(gè)系統(tǒng)結(jié)果的合并，增加了運(yùn)維成本輸入數(shù)據(jù)流批處理數(shù)據(jù)流實(shí)時(shí)計(jì)算數(shù)據(jù)流預(yù)處理結(jié)果增量處理結(jié)果批處理流處理批處理層即席查詢API服務(wù)自助取數(shù)批處理視圖增量處理視圖服務(wù)層實(shí)時(shí)計(jì)算層Lambda架構(gòu)-數(shù)倉(cāng)分層結(jié)構(gòu)DIMRedisHBaseESMySQLADSKafkaESHBaseHiveHiveHiveDWSKafkaDWDKafkaETLPrestoOLAPClichHouseDorisDBSourceMessae

QueueRDS/

binlogSQLSQLSQLSQLSQLCDCSQLETLKafkaHiveODS大數(shù)據(jù)平臺(tái)技術(shù)棧實(shí)時(shí)計(jì)算總體技術(shù)架構(gòu)：實(shí)時(shí)同步業(yè)務(wù)系統(tǒng)數(shù)據(jù)、IoT等數(shù)據(jù)到Flink，實(shí)時(shí)計(jì)算指標(biāo)和標(biāo)簽大數(shù)據(jù)平臺(tái)Kafka數(shù)據(jù)源Flink數(shù)據(jù)處理Data

APIPrestoimpala數(shù)據(jù)服務(wù)報(bào)表應(yīng)用數(shù)據(jù)消費(fèi)預(yù)警數(shù)據(jù)存儲(chǔ)OGGPG數(shù)據(jù)源MySQL解析層分布式消息隊(duì)列流計(jì)算平臺(tái)結(jié)果數(shù)據(jù)層數(shù)據(jù)接口層應(yīng)用層Oracle數(shù)據(jù)源MySQL數(shù)據(jù)源層clickhouseIoTMQTTkuduStarRocks原DorisDBKappa架構(gòu)針對(duì)Lambda架構(gòu)的缺點(diǎn)，LinkedIn的JayKreps提出了Kappa架構(gòu)：統(tǒng)一的計(jì)算引擎代替多個(gè)引擎優(yōu)點(diǎn)：（1）架構(gòu)簡(jiǎn)單，生產(chǎn)統(tǒng)一（2）一套邏輯，維護(hù)簡(jiǎn)單缺點(diǎn)：（1）適用場(chǎng)景的通用性不高（2）大數(shù)據(jù)量回溯成本高，生產(chǎn)壓力大（3）流式計(jì)算結(jié)果不準(zhǔn)確，和實(shí)時(shí)計(jì)算結(jié)果逐漸形成差異，最終需要對(duì)賬輸入數(shù)據(jù)流FlinkODSDWDDWSKafkaKafkaKafka流處理服務(wù)DB應(yīng)用Kappa架構(gòu)-數(shù)倉(cāng)分層結(jié)構(gòu)DIMRedisHBaseESMySQLADSKafkaESHBaseHiveDWS

DWD

ETLPrestoOLAPClichHouseDorisDBSourceMessae

QueueRDS/

binlogSQLSQLSQLSQLSQLCDCSQLKafkaODSKafkaKafka方案對(duì)比與實(shí)際需求引入數(shù)據(jù)湖Hudi加速寬表構(gòu)建KafkaOff-lineETLFull

Dataincrementdata

databasesKafkaDorisDBkuduclickhouseHudi架構(gòu)圖增量實(shí)時(shí)更新時(shí)間漫游Hudi數(shù)據(jù)湖典型PipelineHudi數(shù)據(jù)湖關(guān)鍵特性引入數(shù)據(jù)湖Hudi-湖倉(cāng)一體架構(gòu)

MySQLOracleSQLServerPostgreSQLRedis結(jié)構(gòu)化數(shù)據(jù)MongoDBJSONXMLCSVKafkaORC半結(jié)構(gòu)化數(shù)據(jù)Parquet音頻視頻文檔電子郵件非結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)源DataX（批量同步）API接口（Restful）數(shù)據(jù)集成文件直傳Flink-CDC（流式寫入）Flink計(jì)算/分析引擎計(jì)算引擎SparkHive機(jī)器學(xué)習(xí)訓(xùn)練Presto分析引擎Impala元數(shù)據(jù)管理ApacheHudi數(shù)據(jù)湖-存儲(chǔ)存儲(chǔ)對(duì)象S3OSSCOSHDFSAPI服務(wù)機(jī)器學(xué)習(xí)推理數(shù)據(jù)服務(wù)消息訂閱數(shù)據(jù)應(yīng)用大數(shù)據(jù)平臺(tái)湖倉(cāng)一體平臺(tái)智能推薦BI報(bào)表即席查詢?nèi)四樧R(shí)別數(shù)據(jù)大屏引入數(shù)據(jù)湖Hudi-湖倉(cāng)一體數(shù)倉(cāng)分層結(jié)構(gòu)DIMRedisHBaseESMySQLADSKafkaESHBaseHiveHiveHiveDWSKafkaDWDKafkaETLPrestoOLAPClichHouseDorisDBSourceMessae

QueueRDS/

binlogSQLSQLSQLSQLSQLCDCSQLETLHudi

on

FlinkHudi

on

FlinkHudi

on

FlinkKafkaHive引入數(shù)據(jù)湖Hudi-湖倉(cāng)一體產(chǎn)品核心功能批量集成適用于需要進(jìn)行復(fù)雜數(shù)據(jù)清理和轉(zhuǎn)換、數(shù)據(jù)量較大的場(chǎng)景實(shí)時(shí)集成適用于需要高可用性和對(duì)數(shù)據(jù)源影響小的場(chǎng)景。使用基于日志的CDC捕獲數(shù)據(jù)變更，實(shí)時(shí)獲取數(shù)據(jù)消息集成通常通過API捕獲或提取數(shù)據(jù)，適用于處理不同數(shù)據(jù)結(jié)構(gòu)以及需要高可靠性和復(fù)雜轉(zhuǎn)換的場(chǎng)景數(shù)據(jù)集成：結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)的發(fā)現(xiàn)與更新，在數(shù)據(jù)湖創(chuàng)建數(shù)據(jù)庫(kù)、表及分區(qū)半結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)半結(jié)構(gòu)化數(shù)據(jù)發(fā)現(xiàn)，在數(shù)據(jù)湖中存儲(chǔ)非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)非結(jié)構(gòu)化數(shù)據(jù)發(fā)現(xiàn)，在數(shù)據(jù)湖中存儲(chǔ)數(shù)據(jù)湖管理：數(shù)據(jù)智能加工通過機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等智能算法對(duì)半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行學(xué)習(xí)，訓(xùn)練加工成結(jié)構(gòu)化數(shù)據(jù)，供數(shù)據(jù)研發(fā)和分析使用離線計(jì)算大規(guī)模數(shù)據(jù)周期性批量計(jì)算數(shù)據(jù)研發(fā)：實(shí)時(shí)計(jì)算根據(jù)業(yè)務(wù)需求進(jìn)行數(shù)據(jù)實(shí)時(shí)研發(fā)與分析湖倉(cāng)一體-HudiOnFlink的實(shí)現(xiàn)KafkaKafkaSourceGeneratorBinlogRecordInstantTimeFileIndexerWriteProcessOperatorFileIndexerWriteProcessOperator

CommitSinkMetadataPartitionerFileIndexerWriteProcessOperatorcheckpoint湖倉(cāng)一體平臺(tái)建設(shè)Table&SQL數(shù)據(jù)開發(fā)數(shù)據(jù)接入元數(shù)據(jù)管理實(shí)時(shí)數(shù)倉(cāng)3.湖倉(cāng)一體大數(shù)據(jù)平臺(tái)產(chǎn)品湖倉(cāng)一體大數(shù)據(jù)平臺(tái)核心功能-①實(shí)時(shí)數(shù)據(jù)接入獲取Schema

選擇數(shù)據(jù)源自動(dòng)接入接入配置湖倉(cāng)一體大數(shù)據(jù)平臺(tái)產(chǎn)品核心功能·實(shí)時(shí)同步+實(shí)時(shí)開發(fā)+實(shí)時(shí)運(yùn)維配置來源表信息實(shí)時(shí)同步配置目標(biāo)表Kafka信息通道控制設(shè)置實(shí)時(shí)開發(fā)源表中配置Kafka信息結(jié)果表中配置Kafka寫入的目標(biāo)庫(kù)信息維表信息實(shí)時(shí)運(yùn)維發(fā)布至運(yùn)維設(shè)置啟停與告警設(shè)置告警規(guī)則設(shè)置監(jiān)控范圍湖倉(cāng)一體大數(shù)據(jù)平臺(tái)產(chǎn)品核心功能-⑤元數(shù)據(jù)實(shí)時(shí)更新CDCSourceDatabaseSchemaTransformDDLDML

BinlogKafka

SinkAVROKafka

BinlogKafka

SourceHudiSinkCheckpointMetadataReportFetch湖倉(cāng)一體大數(shù)據(jù)平臺(tái)產(chǎn)品核心功能-⑥數(shù)據(jù)資產(chǎn)管理體系湖倉(cāng)一體大數(shù)據(jù)平臺(tái)產(chǎn)品核心功能-⑦性能壓測(cè)壓測(cè)場(chǎng)景：Oracle數(shù)據(jù)源數(shù)據(jù)實(shí)時(shí)計(jì)算寫到MySQL目標(biāo)數(shù)據(jù)庫(kù)，內(nèi)含Oracle數(shù)據(jù)源到Kafka、Kafka消費(fèi)、寫入MySQL目標(biāo)數(shù)據(jù)庫(kù)數(shù)據(jù)準(zhǔn)備：?jiǎn)螚l數(shù)據(jù)20個(gè)字段，228個(gè)字節(jié)，Oracle源數(shù)據(jù)庫(kù)200w條壓測(cè)結(jié)果：壓測(cè)場(chǎng)景單條數(shù)據(jù)量壓測(cè)數(shù)據(jù)量壓測(cè)鏈路壓測(cè)結(jié)果Kafka生產(chǎn)與消費(fèi)20個(gè)字段，228個(gè)字節(jié)40WMySQL數(shù)據(jù)源到Kafka耗時(shí)46s（qps：8700）Kafka消費(fèi)耗時(shí)4.6s（qps：8.7W）實(shí)時(shí)計(jì)算Oracle-MySQL20個(gè)字段，228個(gè)字節(jié)40WOracle數(shù)據(jù)源數(shù)據(jù)新增到新增數(shù)據(jù)寫到目標(biāo)數(shù)據(jù)庫(kù)MySQL（3進(jìn)程，分配內(nèi)存3G）qps：377840W*5qps：3715實(shí)時(shí)計(jì)算MySQL-Kudu20個(gè)字段，228個(gè)字節(jié)40WMySQL數(shù)據(jù)新增，經(jīng)過Flink實(shí)時(shí)計(jì)算寫到Kudu表中qps：5250結(jié)論：實(shí)時(shí)計(jì)算支持主流數(shù)據(jù)庫(kù)1500萬/小時(shí)的數(shù)據(jù)處理能力，且資源占用較低湖倉(cāng)一體大數(shù)據(jù)平臺(tái)產(chǎn)品未來支持功能-①增強(qiáng)SQL能力更多語(yǔ)法與特性支持更多數(shù)據(jù)源支持任務(wù)自動(dòng)調(diào)優(yōu)湖倉(cāng)一體大數(shù)據(jù)平臺(tái)產(chǎn)品未來支持功能-②精細(xì)化資源管理自動(dòng)擴(kuò)容縮容細(xì)粒度資源調(diào)度FlinkonK8s4、Hudi數(shù)據(jù)湖典型應(yīng)用場(chǎng)景問題不支持事務(wù)由于傳統(tǒng)大數(shù)據(jù)方案不支持事務(wù)，有可能會(huì)讀到未寫完成的數(shù)據(jù)，造成數(shù)據(jù)統(tǒng)計(jì)錯(cuò)誤。數(shù)據(jù)更新效率低業(yè)務(wù)系統(tǒng)庫(kù)的數(shù)據(jù)，除流水表類的數(shù)據(jù)都是新增數(shù)據(jù)外，還有很多狀態(tài)類數(shù)據(jù)表需要更新操作（例如：賬戶余額表，客戶狀態(tài)表，設(shè)備狀態(tài)表等），而傳統(tǒng)大數(shù)據(jù)方案無法滿足增量更新，常采用拉鏈方式，先進(jìn)行join操作再進(jìn)行insertoverwrite操作，通過覆蓋寫的方式完成更新操作，該操作往往需要T+1的批處理模式，從而導(dǎo)致端到端數(shù)據(jù)時(shí)延T+1，存在效率低、成本高等問題。無法及時(shí)應(yīng)對(duì)業(yè)務(wù)表變化上游業(yè)務(wù)系統(tǒng)對(duì)數(shù)據(jù)schema發(fā)生變更后，會(huì)導(dǎo)致數(shù)據(jù)無法入倉(cāng)，需要數(shù)據(jù)倉(cāng)庫(kù)的表schema進(jìn)行同步調(diào)整。從技術(shù)實(shí)現(xiàn)上采用數(shù)據(jù)表重建的方式來滿足該場(chǎng)景，導(dǎo)致數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)表的管理與維護(hù)方案復(fù)雜，實(shí)現(xiàn)成本高。歷史快照表數(shù)據(jù)冗余傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)方案需要對(duì)歷史的快照表進(jìn)行存儲(chǔ)，采用全量歷史存儲(chǔ)的方式實(shí)現(xiàn)，例如：天級(jí)歷史快照表，每天都會(huì)全量存儲(chǔ)全表數(shù)據(jù)。這樣就造成了大量的數(shù)據(jù)存儲(chǔ)冗余，占用大量的存儲(chǔ)資源。小批量增量數(shù)據(jù)處理成本高傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)為了實(shí)現(xiàn)增量ETL，通常將增量數(shù)據(jù)按照分區(qū)的方式進(jìn)行存儲(chǔ)，若為了實(shí)現(xiàn)T+0的數(shù)據(jù)處理，增量數(shù)據(jù)需要按照小時(shí)級(jí)或者分鐘級(jí)的分區(qū)粒度。該種實(shí)現(xiàn)形式會(huì)導(dǎo)致小文件問題，大量分區(qū)也會(huì)導(dǎo)致元數(shù)據(jù)服務(wù)壓力增大。傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)解決方案中，常用Hive來構(gòu)建T+1級(jí)別的數(shù)據(jù)倉(cāng)庫(kù)，通過HDFS存儲(chǔ)實(shí)現(xiàn)海量數(shù)據(jù)的存儲(chǔ)與水平擴(kuò)容，通過Hive實(shí)現(xiàn)元數(shù)據(jù)的管理以及數(shù)據(jù)操作的SQL化。雖然能夠在海量批處理場(chǎng)景中取得不錯(cuò)的效果，但依然存在如下現(xiàn)狀問題：傳統(tǒng)數(shù)倉(cāng)面臨的問題與挑戰(zhàn)

MySQLOracleSQLServerPostgreSQLRedisMongoDBKafka01場(chǎng)景說明無需直接對(duì)接數(shù)據(jù)庫(kù)，數(shù)據(jù)由已有采集工具發(fā)送到Kafka或者由業(yè)務(wù)系統(tǒng)直接發(fā)送到Kafka。不需要實(shí)時(shí)同步DDL操作事件。02方案介紹支持了對(duì)Hudi中COW表以及MOR表的讀寫操作。作業(yè)開發(fā)與作業(yè)維護(hù)可視化操作。03方案收益入湖代碼開發(fā)簡(jiǎn)單,通過FlinkSQL實(shí)現(xiàn)入湖的語(yǔ)句如下:Insertintotable_hudiselect*fromtable_kafkaCDHHudi數(shù)據(jù)湖flinksqlHudi數(shù)據(jù)湖典型應(yīng)用場(chǎng)景①:傳統(tǒng)CDC基于Flink-SQL入湖(1/2)Hudi數(shù)據(jù)湖典型應(yīng)用場(chǎng)景①:傳統(tǒng)CDC基于Flink-SQL入湖(2/2)

MySQLOracleSQLServerPostgreSQLRedisMongoDBFlink-CDC（流式寫入）01場(chǎng)景說明可以從業(yè)務(wù)數(shù)據(jù)庫(kù)中直接抽取數(shù)據(jù)數(shù)據(jù)入湖支持高實(shí)時(shí)性，秒級(jí)延遲數(shù)據(jù)表變更需要與數(shù)據(jù)湖表結(jié)構(gòu)實(shí)時(shí)同步02方案介紹該方案基于Flink-CDC組件構(gòu)建，由Flink-CDC組件實(shí)現(xiàn)業(yè)務(wù)庫(kù)的操作事件捕獲并寫入的基于Hudi數(shù)據(jù)湖存儲(chǔ)03方案收益入湖操作簡(jiǎn)單，全程零代碼開發(fā)。入湖時(shí)效快，從業(yè)務(wù)系統(tǒng)數(shù)據(jù)調(diào)整到入湖，可在分鐘內(nèi)完成。Hudi數(shù)據(jù)湖典型應(yīng)用場(chǎng)景②:基于Flink-CDC入湖(1/2)CDHHudi數(shù)據(jù)湖Hudi數(shù)據(jù)湖典型應(yīng)用場(chǎng)景②:基于Flink-CDC入湖(2/2)開源CDC對(duì)比

MySQLOracleSQLServerPostgreSQLRedisMongoDB貼源層ODS01場(chǎng)景說明湖內(nèi)數(shù)據(jù)通常會(huì)采用數(shù)倉(cāng)分層存儲(chǔ)，例如：貼源層（ODS）、匯總層（DWS）、集市層（ADS）。02方案介紹增量ETL作業(yè)與傳統(tǒng)ETL作業(yè)業(yè)務(wù)邏輯完全一樣，涉及到的增量表讀取采用commit_time來獲取增量數(shù)據(jù)。Hudi支持ACID特性、Upsert特性和增量數(shù)據(jù)查詢特性，可以實(shí)現(xiàn)增量的ETL，在不同層之間快速的流轉(zhuǎn)。03方案收益單個(gè)ETL作業(yè)處理時(shí)延降低，端到端時(shí)間縮短。消耗資源下降，單位ETL作業(yè)所處理數(shù)據(jù)量大幅下降，所需計(jì)算資源也會(huì)相應(yīng)下降。原有湖內(nèi)存儲(chǔ)的模型無需調(diào)整。匯總層DWSflinksqlHudi數(shù)據(jù)湖典型應(yīng)用場(chǎng)景③:湖內(nèi)數(shù)據(jù)快速ETL集市層ADS增量ETLflinksql增量ETL

MySQLOracleSQLServerPostgreSQLRedisMongoDB貼源層ODS01場(chǎng)景說明數(shù)據(jù)湖存儲(chǔ)的數(shù)據(jù)具有數(shù)據(jù)種類全、維度多、歷史周期長(zhǎng)的特點(diǎn)，直接交互式分析引擎直接對(duì)接數(shù)據(jù)湖可以滿足業(yè)務(wù)各類需求數(shù)據(jù)需求。在數(shù)據(jù)探索、BI分析、報(bào)表展示等業(yè)務(wù)場(chǎng)景需要具備針對(duì)海量數(shù)據(jù)查詢秒級(jí)返回的能力，同時(shí)要求分析接口簡(jiǎn)單SQL化。02方案介紹Presto/Trino是分布式高性能的交互式分析引擎，主要用于數(shù)據(jù)的快速實(shí)時(shí)查詢場(chǎng)景。03方案收益結(jié)合flink-cdc數(shù)據(jù)入湖，業(yè)務(wù)系統(tǒng)庫(kù)數(shù)據(jù)變更可在分鐘內(nèi)實(shí)現(xiàn)在數(shù)據(jù)湖內(nèi)可見。對(duì)TB級(jí)到PB的數(shù)據(jù)量的交互式查詢可達(dá)到秒級(jí)結(jié)果返回。可對(duì)湖內(nèi)各層數(shù)據(jù)進(jìn)行分析。Hudi數(shù)據(jù)湖典型應(yīng)用場(chǎng)景④:交互式分析場(chǎng)景Presto/Trino引擎匯總層DWS集市層ADS快照查詢?cè)隽坎樵冏x優(yōu)化查詢交互式分析

MySQLOracleSQLServerPostgreSQLRedisMongoDB貼源層ODS01場(chǎng)景說明傳統(tǒng)處理架構(gòu)中采用Lambda或者Kappa架構(gòu)。Lambda使用比較靈活，也可以解決業(yè)務(wù)場(chǎng)景，但是在該架構(gòu)中需要兩套系統(tǒng)來存儲(chǔ)數(shù)據(jù)(hive存儲(chǔ)離線數(shù)據(jù)/kafka存儲(chǔ)實(shí)時(shí)數(shù)據(jù))，維護(hù)比較復(fù)雜。數(shù)據(jù)分流以后也很難再關(guān)聯(lián)應(yīng)用。02方案介紹在實(shí)時(shí)場(chǎng)景中，對(duì)時(shí)延要求可以是分鐘級(jí)的，這樣可以通過CDH-Hudi數(shù)據(jù)湖和實(shí)時(shí)計(jì)算引擎Flink進(jìn)行增量計(jì)算實(shí)現(xiàn)數(shù)據(jù)的快速處理，端到端實(shí)現(xiàn)分鐘級(jí)延遲。CDH-Hudi數(shù)據(jù)湖本身就是湖存儲(chǔ)，可以存儲(chǔ)海量數(shù)據(jù)，支持批量計(jì)算，常用的批處理引擎可以采用Hive和Spark。03方案收益數(shù)據(jù)統(tǒng)一存儲(chǔ)，實(shí)時(shí)數(shù)據(jù)與批量數(shù)據(jù)共用相同的存儲(chǔ)。同時(shí)支持實(shí)時(shí)計(jì)算與批量計(jì)算。相同業(yè)務(wù)邏輯的處理結(jié)果復(fù)用。滿足分鐘級(jí)延時(shí)的實(shí)時(shí)處理能力和海量的批量處理。Hudi數(shù)據(jù)湖典型應(yīng)用場(chǎng)景⑤:Hudi構(gòu)建批流一體第三方數(shù)據(jù)集市結(jié)果庫(kù)匯總層DWS集市層ADS快照查詢?cè)隽坎樵冏x優(yōu)化查詢流任務(wù)批任務(wù)API服務(wù)自助取數(shù)Hudi數(shù)據(jù)湖典型應(yīng)用場(chǎng)景⑥:數(shù)據(jù)庫(kù)實(shí)時(shí)化(實(shí)時(shí)捕獲/更新schema)SQLServerCDCSourceBinlogKafka

Sink元數(shù)據(jù)表信息元數(shù)據(jù)信息FilterTableUpdateMetadataDDLDMLFlinkStream庫(kù)粒度表粒度Hudi數(shù)據(jù)湖典型應(yīng)用場(chǎng)景⑦：數(shù)倉(cāng)實(shí)時(shí)化DBConnectHudi

Sinkwrite初始化:Flink

BatchHudiSQLServer

增量更新:FlinkStreamKafkaSourceHudi

Sinkupdate初始化：增量更新：ODS(hive)DWD(hive)DWS(hive)SQLServer離線抽數(shù)

ODS(kafka)DWD(kafka)DWS(kafka)Hudion

FlinkFlink

SQL1.維表UDF2.外鍵主鍵映射3.主鍵索引4.增量更新HudiHudion

Flink實(shí)時(shí)BinLog

Hudi數(shù)據(jù)湖典型應(yīng)用場(chǎng)景⑧：寬表構(gòu)建實(shí)時(shí)化?檔數(shù)據(jù)集市HudiOn

Flink在線交互式查詢消息DataLake入湖建倉(cāng)初始數(shù)據(jù)集DataLake增全量ETL高并發(fā)多維查詢?戶上傳分析師報(bào)表時(shí)空科學(xué)預(yù)測(cè)機(jī)器學(xué)習(xí)

&

算法原始云服務(wù)和上傳數(shù)據(jù)數(shù)據(jù)清洗、沉淀、聚合數(shù)據(jù)計(jì)算與分析數(shù)據(jù)應(yīng)用操作型數(shù)據(jù)

文件型數(shù)據(jù)KV數(shù)據(jù)業(yè)務(wù)數(shù)據(jù)庫(kù) 視頻數(shù)據(jù)?志數(shù)據(jù)聚合數(shù)據(jù)集實(shí)時(shí)倉(cāng)庫(kù)云服務(wù)ODS/CDM層CDM/ADS層DataLakeETL統(tǒng)一調(diào)度統(tǒng)一元信息Hudi數(shù)據(jù)湖典型應(yīng)用場(chǎng)景小結(jié)5、湖倉(cāng)一體應(yīng)用案例業(yè)務(wù)數(shù)據(jù)沒有時(shí)間戳，每天都是需要按全量的方式進(jìn)行數(shù)據(jù)更新，通過實(shí)時(shí)同步的方式為每一筆業(yè)務(wù)打上標(biāo)記，增量更新。業(yè)務(wù)數(shù)據(jù)呈倍數(shù)增長(zhǎng)，傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)不能再滿足日常數(shù)據(jù)的存儲(chǔ)與運(yùn)算，經(jīng)常無法按時(shí)出數(shù)。需要替換為分布式、可擴(kuò)展的大數(shù)據(jù)平臺(tái)架構(gòu)。海外業(yè)務(wù)分布在不同國(guó)家/地域，需要“跨云多域”的能力滿足一套平臺(tái)管理多套數(shù)據(jù)平臺(tái)。歷史數(shù)據(jù)更新頻繁，通過湖倉(cāng)一體數(shù)據(jù)接入方式實(shí)現(xiàn)數(shù)據(jù)更新實(shí)時(shí)變化。某保險(xiǎn)公司|湖倉(cāng)一體打造企業(yè)級(jí)大數(shù)據(jù)能力支撐架構(gòu)(1/2)01020304UpdateUpdateUpdateR

a

w

tableETL

TableAETL

TableB增量查詢?cè)隽坎樵兒Ａ侩x線數(shù)據(jù)+實(shí)時(shí)數(shù)據(jù)「更新、合并」需求，通過湖倉(cāng)一體架構(gòu)解決。05數(shù)據(jù)源離線數(shù)據(jù)+實(shí)時(shí)數(shù)據(jù)寫失敗，數(shù)據(jù)「回滾」需求，通過湖倉(cāng)一體架構(gòu)解決。06新文件原始文件更新后的文件

新增加的Delta

Files某保險(xiǎn)公司|湖倉(cāng)一體打造企業(yè)級(jí)大數(shù)據(jù)能力支撐架構(gòu)(2/2)THANKS基于人工智能及大數(shù)據(jù)的綜合智能交通管理平臺(tái)功能簡(jiǎn)介02建設(shè)預(yù)期成效03互聯(lián)網(wǎng)技術(shù)及手段04建設(shè)背景01目錄CONTENTS建設(shè)背景新基建背景下智慧停車的發(fā)展現(xiàn)狀及未來趨勢(shì)近年來，國(guó)家陸續(xù)出臺(tái)了多項(xiàng)停車行業(yè)相關(guān)政策文件，各級(jí)政府工作報(bào)告和“十四五”規(guī)劃也將“增加停車場(chǎng)”和“智慧停車場(chǎng)數(shù)字化應(yīng)用”列為改善民生、擴(kuò)大需求、打造數(shù)字生態(tài)的重要任務(wù)之一。2020年4月，國(guó)家發(fā)改委首次明確了“新基礎(chǔ)設(shè)施”的范圍，在信息基礎(chǔ)設(shè)施建設(shè)上，5G、物聯(lián)網(wǎng)、數(shù)據(jù)中心、智能計(jì)算中心與智慧停車密切相關(guān)。在新基建大力推進(jìn)智慧交通背景下，智慧停車的普及應(yīng)用成為城市交通管理的新趨勢(shì)。2015年，《城市停車設(shè)施規(guī)劃導(dǎo)則》，建設(shè)城市停車信息綜合管理服務(wù)平臺(tái)，建立統(tǒng)一的數(shù)據(jù)接口和交換機(jī)制2017年，《智慧交通讓出行更便捷行動(dòng)方案(2017-2020)》，鼓勵(lì)規(guī)范城市停車新模式發(fā)展2019年，《數(shù)字交通發(fā)展規(guī)劃綱要》，推動(dòng)“互聯(lián)網(wǎng)+”使擊交通發(fā)展，鼓E和規(guī)范發(fā)展定制公交、智能亭車、智能公交、汽車準(zhǔn)修、網(wǎng)含舜批租車、互聯(lián)對(duì)租賃自行車、小微趣客車分時(shí)租賃等城書出行服務(wù)新態(tài)2021年，《關(guān)于推動(dòng)城市停車設(shè)施發(fā)展的意見》，到2025年，全國(guó)大中小城市基本建成配建停車設(shè)施為主、路外公共停車設(shè)施為輔、路內(nèi)停車為補(bǔ)充的城市停車系統(tǒng)，社會(huì)資本廣泛參與，信息技術(shù)與停車產(chǎn)業(yè)深度融合2022年1月，《“十四五”現(xiàn)代綜合交通運(yùn)輸體系發(fā)展規(guī)劃》，提出要堅(jiān)持創(chuàng)新驅(qū)動(dòng)發(fā)展，推動(dòng)新技術(shù)與交通行業(yè)深度融合。著重強(qiáng)調(diào)要穩(wěn)妥發(fā)展自動(dòng)駕駛和車路協(xié)同等出行服務(wù)，鼓勵(lì)自動(dòng)駕駛在港口.物流園區(qū)等限定區(qū)域測(cè)試應(yīng)用。推動(dòng)發(fā)展智能公交、智慧停車、智慧安檢等隨著城市經(jīng)濟(jì)快速發(fā)展，居民生活條件改善，汽車保有量的不斷增長(zhǎng)，車多、位少、車難停的矛盾日益突出，解決停車問題也是各地一項(xiàng)重要的惠民工程。截至2022年4月，我國(guó)機(jī)動(dòng)車保有量已達(dá)4.02億輛，其中汽車3.07億輛。目前，全國(guó)停車位缺口保守估計(jì)超過5000萬個(gè)泊位。據(jù)報(bào)道，北京、上海、廣州、深圳、南京等城市的停車位缺口已達(dá)690～150萬個(gè)城市停車現(xiàn)狀及問題城市停車項(xiàng)目建設(shè)初期未明確平臺(tái)定位，平臺(tái)開放能力不足，建設(shè)后滿足不了管理方的需求，讓停車資源整合接入舉步維艱，與其他監(jiān)管平臺(tái)和運(yùn)營(yíng)平臺(tái)的對(duì)接困難。01城市中心區(qū)域停車位嚴(yán)重不足、占道停車、停車混亂,區(qū)域的冷熱不均、資源錯(cuò)配導(dǎo)致的部分區(qū)域車位“相對(duì)過剩”;缺乏引導(dǎo)機(jī)制，車主找車位困難，因盲目尋找停車位造成道路無效交通流現(xiàn)象突出，同時(shí)增加了尾氣排放。0203面對(duì)日益增多的機(jī)動(dòng)車亂停、非機(jī)動(dòng)車占道等不文明現(xiàn)象，缺乏監(jiān)管，加劇道路擁堵;同時(shí)依法應(yīng)當(dāng)采取行政強(qiáng)制措施扣留或拖移車輛的具體行政行為也在不斷增多，缺乏信息化處理手段。04缺乏頂層設(shè)計(jì)車位緊缺，引導(dǎo)不足管理手段落后違法停車屢禁不止停車場(chǎng)管理無信息化支撐，停車收費(fèi)不規(guī)范，效率低下;聘請(qǐng)人員多，大大增加運(yùn)營(yíng)管理成本。功能簡(jiǎn)介綜合智能交通管理平臺(tái)業(yè)務(wù)場(chǎng)景無人值守停車場(chǎng)大型商業(yè)綜合體停車場(chǎng)新能源車位路外停車管理雙模地磁檢測(cè)高位視頻檢測(cè)路內(nèi)停車管理交通引導(dǎo)信息發(fā)布交通引導(dǎo)違法停車檢測(cè)執(zhí)法扣車處理違法停車管理業(yè)務(wù)場(chǎng)景:路外停車管理-無人值守停車場(chǎng)通過高清車輛識(shí)別技術(shù)結(jié)合智能道閘及自助繳費(fèi)，適用于移動(dòng)便捷支付，車輛進(jìn)出自動(dòng)檢索，掃描二維碼繳費(fèi)出入，減輕車輛進(jìn)出擁擠，提升車主感受度。智能車牌識(shí)別可以識(shí)別多種類型的車輛，讓車輛高效率的進(jìn)出，減少車輛進(jìn)出場(chǎng)的時(shí)間成本，提高停車場(chǎng)的運(yùn)營(yíng)效率。多種便捷支付多種支付方式、移動(dòng)支付、自助機(jī)支付支付、APP支付、無感支付等多樣化支付方式。云平臺(tái)管理功能云平臺(tái)管理功能，支持車輛授權(quán)管理、電子優(yōu)惠券折扣、遠(yuǎn)程報(bào)表、智能運(yùn)維數(shù)據(jù)分析、實(shí)時(shí)遠(yuǎn)程監(jiān)管等功能。業(yè)務(wù)場(chǎng)景:路外停車管理–大型商業(yè)綜合體停車場(chǎng)采用智能車牌識(shí)別技術(shù)和快速道閘技術(shù)，以車輛快速通行管理、自助繳費(fèi)、車位誘導(dǎo)、便捷尋車等系統(tǒng)等為核心功能，實(shí)現(xiàn)商業(yè)消費(fèi)、人員、車位信息共享，提高資源利用率。車牌/ETC智能識(shí)別，支持提前支付停車費(fèi)用通過車位誘導(dǎo)屏發(fā)布停車位信息,方便車主尋找車位，實(shí)現(xiàn)便捷快速泊車視頻檢測(cè)器探測(cè)車位占用情況，停車車輛圖像被獲取并立即轉(zhuǎn)換成數(shù)據(jù)傳輸?shù)胶笈_(tái)數(shù)據(jù)中心，相應(yīng)車位隨之變成被占用狀態(tài)可利用查詢機(jī)輸入車牌號(hào)碼查詢到指定車輛的停放位置，查詢機(jī)生成相應(yīng)的地圖路徑指引用戶找到車輛高效通行車位誘導(dǎo)車位監(jiān)測(cè)尋車導(dǎo)航業(yè)務(wù)場(chǎng)景:路外停車管理–新能源車位通過對(duì)駛?cè)胲囄坏能囕v號(hào)牌精準(zhǔn)識(shí)別后與地鎖聯(lián)動(dòng)進(jìn)行區(qū)分管理。當(dāng)識(shí)別到新能源車或有權(quán)限車輛的情況下，控制地面車位鎖自動(dòng)解鎖降下，讓車輛正常靠泊充電，并將車牌號(hào)上傳平臺(tái)。等車輛駛離車位時(shí)，相機(jī)識(shí)別車輛離開車位，記錄停車時(shí)間車位鎖自動(dòng)升起。而當(dāng)識(shí)別到燃油車，車位鎖將拒絕解鎖，燃油車無法駛?cè)胲囄唬瑥亩柚管囄槐徽?。業(yè)務(wù)場(chǎng)景:路內(nèi)停車管理–雙模地磁檢測(cè)檢測(cè)準(zhǔn)確率高采用微波雷達(dá)和地磁雙模檢測(cè)技術(shù)，車位檢測(cè)準(zhǔn)確率高達(dá)99.5%以上;易安裝，維護(hù)簡(jiǎn)便無線通信，內(nèi)置電池，無需布線，安裝簡(jiǎn)單;地磁功耗極低，可持續(xù)工作超過5年，不需經(jīng)常維護(hù)與升級(jí);支持藍(lán)牙天線升級(jí)和校準(zhǔn);可拆卸結(jié)構(gòu)設(shè)計(jì)，支持部件更換;成本低，收益高系統(tǒng)成本低:接入運(yùn)營(yíng)商網(wǎng)絡(luò)。無需自組網(wǎng);漏收費(fèi)率低:實(shí)時(shí)監(jiān)測(cè)，停車時(shí)間自動(dòng)統(tǒng)計(jì)，降低跑冒漏流現(xiàn)象。業(yè)務(wù)場(chǎng)景:路內(nèi)停車管理–高位視頻檢測(cè)當(dāng)車輛行駛到車位檢測(cè)區(qū)域時(shí)，高位智能識(shí)別相機(jī)判定該車輛具有較高的停車傾向，進(jìn)行車牌抓拍，若車輛駛出車位檢測(cè)區(qū)而未停車，則丟棄數(shù)據(jù);若該車輛停入車位，則將該車輛的停入時(shí)間、車牌號(hào)以及占用車位號(hào)等信息上傳至平臺(tái)進(jìn)行計(jì)時(shí)計(jì)費(fèi)。應(yīng)用場(chǎng)景部署方式方式一:有路燈桿分布的路段，高位視頻相機(jī)借桿安裝單槍管理3-5車位，雙槍管理8車位方式二：無路燈桿分布的路段，高位視頻相機(jī)立桿安裝單槍管理8車位系統(tǒng)架構(gòu)系統(tǒng)優(yōu)勢(shì)停車計(jì)費(fèi)過程無需人工參與，大大降低運(yùn)營(yíng)成本。業(yè)務(wù)場(chǎng)景:交通引導(dǎo)多方式快速引導(dǎo)停車，有效盤活公共停車資源，提高車位利用率，縮短車主找車位的時(shí)間，緩解交通擁堵，提升停車體驗(yàn)。手機(jī)引導(dǎo)(小程序/微信公眾號(hào)/百度高德地圖)室外電子標(biāo)牌/大屏引導(dǎo)業(yè)務(wù)場(chǎng)景:違法停車治理–違法停車檢測(cè)基于視頻流的智能圖像識(shí)別，利用最新的深度學(xué)習(xí)與大數(shù)據(jù)技術(shù)，代替人眼，自動(dòng)分析交通狀況。系統(tǒng)可在視頻畫面劃定檢測(cè)范圍，檢測(cè)車輛模型，進(jìn)行運(yùn)動(dòng)軌跡分析，判斷車輛是否停車，不受其他類型車輛如自行車、電動(dòng)車干擾，同時(shí)還可支持設(shè)定停車時(shí)間、停車區(qū)域。業(yè)務(wù)場(chǎng)景:違法停車治理–執(zhí)法扣車處理通過利用移動(dòng)互聯(lián)網(wǎng)技術(shù)，將違法停車車輛的日常管理工作納入信息化、流程化、規(guī)范化的軌道。從前端執(zhí)法民警執(zhí)法扣車、車輛轉(zhuǎn)移保管入庫(kù)、車輛出場(chǎng)等均采用信息化手段進(jìn)行過程流程管理，并實(shí)時(shí)更新違法車輛信息報(bào)表，使基層公安交通管理部門能夠更好的管理違法車輛。平臺(tái)架構(gòu)應(yīng)用系統(tǒng):智慧停車管理系統(tǒng)–電腦端平臺(tái)支持多端靈活部署及應(yīng)用，易于擴(kuò)展和維護(hù)、穩(wěn)定性好、業(yè)務(wù)吞吐能力強(qiáng)、支持高并發(fā)、訪問性能優(yōu)、用戶體驗(yàn)良好。應(yīng)用系統(tǒng):智慧停車管理系統(tǒng)–收費(fèi)員PDA端主要針對(duì)路內(nèi)停車位，在車輛入場(chǎng)后，收費(fèi)員將車位與車牌號(hào)綁定后，系統(tǒng)開始計(jì)費(fèi)，并打印小票供用戶支付使用。停車場(chǎng)概覽信息錄入記錄查詢異常訂單處理應(yīng)用系統(tǒng):智慧停車管理系統(tǒng)–管理端面向停車業(yè)務(wù)主體的管理層使用，便于管理員隨時(shí)隨地掌握平臺(tái)各項(xiàng)重要數(shù)據(jù)，針對(duì)停車收入、收費(fèi)員工作考核、停車訂單、車流量等數(shù)據(jù)統(tǒng)計(jì)分析。停車場(chǎng)概覽信息錄入記錄查詢異常訂單處理應(yīng)用系統(tǒng):智慧停車管理系統(tǒng)–車主端車主在小程序里搜索車牌號(hào)即可查詢?cè)撥囕v的所有停車訂單，并通過線上支付完成訂單費(fèi)用支付。同時(shí)還支持車位導(dǎo)航、廣告查看、電子發(fā)票等功能。首頁(yè)車輛管理訂單支付車場(chǎng)導(dǎo)航應(yīng)用系統(tǒng):違法停車治理系統(tǒng)–現(xiàn)場(chǎng)執(zhí)法端執(zhí)法扣車外