FFA224分論壇-數(shù)據(jù)集成 合輯

FlinkCDC是基于數(shù)據(jù)庫(kù)的日志CDC（ChangeDataCapture）技術(shù)，流式數(shù)據(jù)集成框架，配合Flink優(yōu)秀的管道能力和豐富的上下游生態(tài)，F(xiàn)linkCDC可以高效實(shí)現(xiàn)海量數(shù)據(jù)的實(shí)時(shí)集成。全量數(shù)據(jù)實(shí)時(shí),一致性Paimon增量數(shù)據(jù)Paimon增量數(shù)據(jù)…Iceberg FlinkSQLAPIFlinkDataStreamAPIaggregatejoinJOIN鏈路組件多數(shù)據(jù)新鮮度數(shù)據(jù)一致性研發(fā)技術(shù)棧鏈路組件多數(shù)據(jù)新鮮度數(shù)據(jù)一致性研發(fā)技術(shù)?！说蕉俗鳂I(yè)不丟不重亞秒級(jí)延遲端到端作業(yè)不丟不重亞秒級(jí)延遲…Iceberg FlinkSQLAPIFlinkDataStreamAPIaggregatejoinJOIN全增量一體化2020/072021/082022/112023/102024/012024/09tabletable一Task2Task3Task1FlinkCDC3.x：端到端實(shí)時(shí)數(shù)據(jù)集成框架Analytics/BIDatabaseDataLakeDataWarehouse息StarRocksStarRocksPaimon$>flink-cdc$>flink-cdc.shmysql-to-starrocks.yaml mysql-to-starrocks.yamlDebeziumDebeziumInsertAfterCreateTableEventInsertAfterDataChangeEventInsertAfterCreateTableEventInsertAfterDataChangeEventAddColumnEventTruncateTableEvent…SchemaChangeEventAddColumnEventTruncateTableEvent…SchemaChangeEventStreamRecordStreamRecord1U13311U1331U133DataChangeEventSchemaChangeEventSchemaChangeEventBinaryData+SchemalessIDLEWAITINGIDLEWAITINGFINISHEDAPPLYINGFINISHEDAPPLYINGSchemaregistryappliesschemachangeSchemaChangeEventDataChangeEventSchemaChangeEventDataChangeEventFlushEventSchemaregistryacceptsschemachange,andrejectsfollowingrequestsFlushEventSchemaregistryacceptsschemachange,andrejectsfollowingrequestsSchemaoperatorregistersschemachangethenwaitforresponse(holdupstream).BlocksifSchemaRegistryisbusySinknoti?es?ushcompleteSchemaregistrycon?rmsschemaevolutioncompletes,readyfornextrequestSchemaoperatorbroadcastsFlushEvent,requestsregistryagaintowaitfor?ushcompleteSchemaoperatorreceivesSchemaChangeEventSchemaoperatorreleasesupstreamtherschemaoperatormustwaituntilotherschemachangesare SchemaOperatorDataSource SchemaOperatorDataSource PostPartitionerDataSinkPaimonPaimonStarRocks………l… 業(yè)務(wù)場(chǎng)景：?RAG(檢索增強(qiáng)生成)00 0 0 支持AIModel（已有PR）支持Batchpipeline對(duì)接更多上下游，如：Iceberg，ClickHouse支持更多類(lèi)型，包括schemachange類(lèi)型和eventchange類(lèi)型擁有獨(dú)立的文檔網(wǎng)站:/?ink/?ink-cdc-docs-stableTHANKYOU全行擁有273家分支機(jī)構(gòu)網(wǎng)點(diǎn)覆蓋長(zhǎng)三角、珠三角環(huán)渤海灣等發(fā)達(dá)經(jīng)濟(jì)圈省內(nèi)地市實(shí)現(xiàn)網(wǎng)點(diǎn)全覆蓋杭州銀行成立于1996年9月，是一家典型的城市商業(yè)銀行，堅(jiān)持服務(wù)區(qū)域經(jīng)濟(jì)、中小企業(yè)和城鄉(xiāng)居民的市場(chǎng)定位，致力于為客戶(hù)提供專(zhuān)業(yè)、便捷、親和、全面的金融服務(wù)2016年10月27日，在上海證券交易所成功掛牌上市，截至2023年底，總資產(chǎn)18413.42億元，2023年?duì)I業(yè)收入350.16億元，利潤(rùn)收入162.82億元。l在英國(guó)《銀行家》雜志2023年公布的全球銀行1000l2023年《財(cái)富》中國(guó)500強(qiáng)企業(yè)位列第380位l連續(xù)蟬聯(lián)“十佳城商行”l最具競(jìng)爭(zhēng)力中小銀行l(wèi)最佳普惠金融成效獎(jiǎng)l浙江省融資暢通工程“突出貢獻(xiàn)獎(jiǎng)”l最佳科技金融服務(wù)城商行l(wèi)支持浙江省經(jīng)濟(jì)社會(huì)發(fā)展優(yōu)秀單位一等獎(jiǎng)40l獲評(píng)“杭州市模范集體”DBlink初探FlinkCDC20242023201720072024202320172007DataX增強(qiáng)FlinkCDC需要更快的同步數(shù)據(jù)，提高數(shù)….…..….…..理 高可用高可用yarnyarn….拿批流拿Case1:基于watermark自動(dòng)生成Tag….拿批流拿….….度，流場(chǎng)景直接?ink消費(fèi)paimon的changelog；↓↓Catalog/Database/TableCatalogBaseCatalog/Database/TableCatalogBase否數(shù)據(jù)開(kāi)發(fā)方否是采集平臺(tái)方否數(shù)據(jù)開(kāi)發(fā)方否是采集平臺(tái)方源系統(tǒng)方_」_」!!JavaClientJavaClient!!!THANKYOU 完全自主研發(fā)的數(shù)據(jù)庫(kù)，才能做到核心替代的真正落地完全自主研發(fā)的數(shù)據(jù)庫(kù)，才能做到核心替代的真正落地—原生多租戶(hù)架構(gòu)—自研一體化架構(gòu)兼容經(jīng)典模式，實(shí)現(xiàn)單機(jī)和分布式、TP和AP的融合—原生多租戶(hù)架構(gòu)—自研一體化架構(gòu)兼容經(jīng)典模式，實(shí)現(xiàn)單機(jī)和分布式、TP和AP的融合—集中式/分布式一體化架構(gòu)——集中式/分布式一體化架構(gòu)——基于Paxos+數(shù)據(jù)同步的靈活的容災(zāi)架構(gòu)——基于Paxos+數(shù)據(jù)同步的靈活的容災(zāi)架構(gòu)—★低成本—靈活的部署模式——靈活的部署模式—★多租戶(hù)用純列存表行列冗余表純列存表createtablet2(c1createtablet2(c1varchar(1),c2varchar(1))withcolumngroup(eachcolumn);c1varchar(1),c2varchar(1))withcolumngroup(allcolumns,eachcolumn);語(yǔ)法說(shuō)明語(yǔ)法說(shuō)明l基于資源組的資源隔離方案l基于資源組的資源隔離方案lAP業(yè)務(wù):多個(gè)AP業(yè)務(wù)的處理優(yōu)先級(jí)不同基于資源組的資源隔離方案基于資源組的資源隔離方案…..…..…..…..…..…..??快速執(zhí)行路徑?優(yōu)化寫(xiě)入放大問(wèn)題?表鎖阻塞寫(xiě)入insert/*+appendenable_parallel_dmlparallel(3)*/intot1select……;loaddata/*+direct(true,1024)parallel(16)*/in?le……;Tablet’04xlarge(16c32G)圖圖…….★不僅僅是KV★不僅僅是KV★通用的使用場(chǎng)景★易用的分布式存儲(chǔ)★易用的分布式存儲(chǔ)基礎(chǔ)類(lèi)型HBase基礎(chǔ)類(lèi)型HBase融合查詢(xún)并行執(zhí)行融合查詢(xún)并行執(zhí)行多值索引全文索引多值索引全文索引多分區(qū)水平擴(kuò)展高效存儲(chǔ)讀寫(xiě)分離多分區(qū)水平擴(kuò)展高效存儲(chǔ)讀寫(xiě)分離?提供?提供SQL客戶(hù)端和PythonSDK兩種使??式建表語(yǔ)句，向量作為一個(gè)單獨(dú)的列createtablet1(c1vector(3),c2int,c3?oat,primarykey(c2));數(shù)據(jù)導(dǎo)入，使用標(biāo)準(zhǔn)SQL語(yǔ)法導(dǎo)入insertintot1values('[7576.42,467.23,2913.762]',3,54.6);使用DDL進(jìn)行SQL語(yǔ)法，可以指定索引類(lèi)型和距離算法CREATEINDEXvidx_c1_t1ont1(c1l2)usinghnsw;帶有向量計(jì)算的SQL，優(yōu)化器會(huì)自動(dòng)使用向量索引OceanBase顯著增強(qiáng)了服務(wù)的穩(wěn)定性。OceanBase的分區(qū)表特性和旁路導(dǎo)入特性的分區(qū)表特性和旁路導(dǎo)入特性?對(duì)于分區(qū)表，按分區(qū)寫(xiě)入數(shù)據(jù)，減少分布式事務(wù)，提高寫(xiě)入效率?經(jīng)過(guò)內(nèi)部測(cè)試和社區(qū)用戶(hù)使用驗(yàn)證，優(yōu)化后的寫(xiě)入性能是普通SQL批量寫(xiě)入的3倍以上數(shù)據(jù)數(shù)據(jù)bu?er根據(jù)分區(qū)攢批計(jì)算RowData分區(qū)并發(fā)寫(xiě)入單分區(qū)數(shù)據(jù)OceanBaseOceanBasedirectLoader.begin!bashbashbin/?ink-cdc.shmysql-to-starrocks.yamlSchemaChangeEventOceanBasePipelineSink?管控功能齊全?適配數(shù)據(jù)源類(lèi)型比較少數(shù)據(jù)源需要從頭開(kāi)發(fā)OceanBase?管控功能齊全?適配數(shù)據(jù)源類(lèi)型比較少數(shù)據(jù)源需要從頭開(kāi)發(fā)OceanBase目前OceanBase正在基于自維護(hù)的Flink寫(xiě)連接器開(kāi)發(fā)命令行工具，期望實(shí)現(xiàn)對(duì)FlinkCDC和FlinkJDBC連接器的數(shù)據(jù)源接入。后續(xù)該工具也將集成到OMS當(dāng)中，供社區(qū)用戶(hù)使用。OceanBase數(shù)據(jù)庫(kù)基于列存引擎、并行執(zhí)行引擎、向量化引擎，以及全新的優(yōu)化器，具備擔(dān)任輕型數(shù)倉(cāng)的能力，數(shù)倉(cāng)場(chǎng)景可以全部使用OceanBase數(shù)據(jù)庫(kù)來(lái)簡(jiǎn)化ETL。OceanBase列存表OceanBase列存表/blog/12393391987 完善Flink命令行工具，實(shí)現(xiàn) OceanBase多模API OceanBase向量數(shù)據(jù)庫(kù)能力THANKYOUApacheAmoroPPMC&社區(qū)運(yùn)營(yíng)ApacheFlinkContrubitor&社區(qū)志愿者用配衡長(zhǎng)低中高 ............化機(jī)制，為用戶(hù)提供了解決三方悖論的方案。與傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)不同,Lakehouse表格被廣泛應(yīng)用于分析師和管理員至關(guān)重要，Amoro通過(guò)在流計(jì)算中采用水印概念來(lái)解決這一挑戰(zhàn)，從而評(píng)估表格新鮮度。?數(shù)據(jù)Schemachange題?....fragmentfragment/segminsert,eq-delete,pos-deleteinsert,pos-deletefragment,segmentsegmentinsert,eq-delete,pos-deleteinsert,pos-deletefragment,segmentsegmentinsert,eq-delete,pos-deleteinsertIceberg有主鍵表,既支持了ODS層,繼續(xù)構(gòu)建下游的表；尤其是還可以數(shù)據(jù)寫(xiě)入Kafka，給下游提供毫秒級(jí)延遲的數(shù)據(jù)，避免數(shù)據(jù)流經(jīng)多個(gè)層級(jí)后延遲不斷疊加0430 ODSODSKafkaKafkaKa-aTBase(Ka-aTBase(PG)23445TopicKafkaSourceTopicKafkaSource地市1Topic多個(gè)分析數(shù)據(jù)庫(kù)地市1Topic多個(gè)分析數(shù)據(jù)庫(kù)Paimon地市2地市nTHANKYOU?增量計(jì)算(UPSERT+DELETE)典型場(chǎng)景：網(wǎng)絡(luò)安全、電信運(yùn)營(yíng)商FlinkPipeline特點(diǎn)?并發(fā)高，Transform需要高并發(fā)滿(mǎn)足CPU消耗，同時(shí)Transform和Sinkchain到一起避免Shu?e開(kāi)銷(xiāo)?一個(gè)Pipeline有多個(gè)表并且數(shù)量動(dòng)態(tài)變化，無(wú)法對(duì)單表進(jìn)行并發(fā)?秒級(jí)實(shí)時(shí)，導(dǎo)入頻率高，從上游消費(fèi)到StarRocks數(shù)據(jù)可見(jiàn)保證秒級(jí)技術(shù)挑戰(zhàn)存算一體(Shared-nothing)存算分離(Shared-data)?sink.buffer-flush.max-bytes控制內(nèi)存使用?erval-ms控制導(dǎo)入延遲!!∞∞at-least-once/exactly-once即?按照merge_commit_interval_ms切分時(shí)間窗口，每個(gè)窗口內(nèi)的導(dǎo)入請(qǐng)求合并到一個(gè)事務(wù)?每個(gè)窗口部署一個(gè)分布式Plan，可以并行處理多個(gè)?時(shí)間窗口到達(dá)后Plan自動(dòng)結(jié)束，提交當(dāng)前事務(wù)，下個(gè)時(shí)間窗?每個(gè)表通過(guò)merge_commit_?數(shù)據(jù)傳輸特點(diǎn)?數(shù)據(jù)傳輸特點(diǎn)?峰值并發(fā)導(dǎo)入請(qǐng)求高，約為表數(shù)*并發(fā)數(shù)，比如checkpoint觸發(fā)所有數(shù)據(jù)同時(shí)?ush，300表*300?高頻高并發(fā)下每個(gè)導(dǎo)入請(qǐng)求數(shù)據(jù)量少，導(dǎo)入請(qǐng)求可?為了避免請(qǐng)求之間相互阻塞，每個(gè)請(qǐng)求使用單獨(dú)TCP連接?TCP并發(fā)連接數(shù)過(guò)多帶來(lái)一些開(kāi)銷(xiāo)和問(wèn)題，比如TCPListenQueueOver?owTHANKYOU分析服務(wù)一體化（HybridServing/AnalyticsProcessing，HSAP）實(shí)時(shí)數(shù)倉(cāng)實(shí)時(shí)數(shù)倉(cāng)?百萬(wàn)RPS實(shí)時(shí)寫(xiě)入，寫(xiě)入即可查?高性能實(shí)時(shí)整行更新和局部更新?高QPS、低延遲OLAP簡(jiǎn)單查詢(xún)?復(fù)雜查詢(xún)：TPC-H30TB世界性能第一數(shù)據(jù)服務(wù)數(shù)據(jù)服務(wù)?百萬(wàn)QPSKV點(diǎn)查，高可用?達(dá)摩院Proxima向量檢索?全SQL表達(dá)?行存、行列共存?OLAP分析和數(shù)據(jù)服務(wù)強(qiáng)隔離湖倉(cāng)數(shù)據(jù)湖倉(cāng)數(shù)據(jù)交互式分析?對(duì)離線數(shù)倉(cāng)MaxCompute、數(shù)據(jù)湖進(jìn)行秒級(jí)交互式查詢(xún)?無(wú)需數(shù)據(jù)搬遷、元數(shù)據(jù)自動(dòng)發(fā)現(xiàn)?百萬(wàn)行每秒極速數(shù)據(jù)同步?內(nèi)外表聯(lián)邦分析hash(pk)pklsnXXpklsnXXXXpklsn12pklsnpklsndataXXXXXXpklsndata12pklsndata1pklsndata12pklsn12pklsn12pklsn12filebitmap?le1?le1pklsndata12pklsndata1pklsndata1pklsndata12pklsn12pklsndata12pklsn12filebitmapfilebitmap?le1?le1pklsndata1pklsndata1lsnpklsnpkdatatype11INSERTINTOtable_nameVALUES(?,?,?),(?,?,?)ONCONFLICT(pk)DOUPDATE...aggressiveaggressive.enabled:truefrontendfrontendconngatewayconngateway?xed?xedfrontendjdbc:postgresql://HOST:PORT/DB?options=type=?xedsdkModesdkMode:jdbc_fixed?le1?le1INSERTINTOtable_nameVALUES(?,?,?),(?,?,?)ONCONFLICT(pk)DOUPDATE...WHEREexcluded.update_time>table_name.update_time;pklsnupdate_time12pklsndataupdate_time12INSERTINTOtable_nameVALUES(?,?,?),(?,?,?)ONCONFLICT(pk)DOUPDATE...clientserversqlsqlclientserversdkModesdkMode:jdbc_copyCOPYtable_nameFROMSTDINWITH(STREAM_MODEtrue,ON_CONFLICT'update');clientserverSourcerepartitionsinkSourcerepartitionsinkreshufflereshuffle-by-holo-distribution-key.enabled:truereshreshu?e-by-holo-distribution-key.enabled:truesdkMode:jdbc_fixedsdkMode:jdbc_fixedsdkMode:jdbc_copyarrowarrowarrowarrowarrow(serverless) 阿里云上客戶(hù)案例 阿里云上客戶(hù)案例阿里巴巴集團(tuán)案例輕松籌飛書(shū)深諾THANKYOU光大銀行基于實(shí)時(shí)數(shù)據(jù)與開(kāi)放表格式的高效入湖方案現(xiàn)狀與問(wèn)題解決方案效果與未來(lái)計(jì)劃現(xiàn)狀與問(wèn)題Presto行為數(shù)據(jù)OracleAPIEverDB數(shù)據(jù)采集數(shù)據(jù)存儲(chǔ)Presto行為數(shù)據(jù)OracleAPIEverDBBatchLayer平面文件SparkSparkCDCCDC工具KafkaKafkaHBaseHBaseSpeedLayer缺少元數(shù)據(jù)一致性的保障機(jī)制Hive對(duì)update等增量操作不友好需要更靈活表模式控制機(jī)制，同時(shí)支缺少元數(shù)據(jù)一致性的保障機(jī)制Hive對(duì)update等增量操作不友好需要更靈活表模式控制機(jī)制，同時(shí)支持模式強(qiáng)制與演進(jìn)。大量上游系統(tǒng)的程序變更，必然存在的一定錯(cuò)誤率，在數(shù)據(jù)湖累積。1.上游系統(tǒng)表結(jié)構(gòu)變更，帶給數(shù)據(jù)湖大量被動(dòng)工作，同時(shí)依賴(lài)線下溝通，容易出現(xiàn)偏差。2.上游系統(tǒng)的數(shù)據(jù)因?yàn)闃I(yè)務(wù)變更進(jìn)行調(diào)整，需要進(jìn)行業(yè)務(wù)邏輯翻譯（Hive限制），放大了程序錯(cuò)誤風(fēng)險(xiǎn)。3.Hive對(duì)于異常數(shù)據(jù)處理，缺乏強(qiáng)校驗(yàn)機(jī)制，例如默認(rèn)截?cái)嗵幚恚瑢?dǎo)致數(shù)據(jù)質(zhì)量問(wèn)題。4.上游系統(tǒng)導(dǎo)出的數(shù)據(jù)文件，因?yàn)槌绦蛟虺霈F(xiàn)問(wèn)題，對(duì)數(shù)據(jù)湖及下游系統(tǒng)造成的連鎖影響。解決方案Presto行為數(shù)據(jù)OracleAPIEverDB數(shù)據(jù)采集數(shù)據(jù)存儲(chǔ)Presto行為數(shù)據(jù)OracleAPIEverDB一APPSchema一APP SpeedLayerHBaseHBase?在分布式文件系統(tǒng)上按目錄結(jié)構(gòu)存儲(chǔ)在基目錄下(basepath)?表可按分區(qū)組織，在每個(gè)分區(qū)內(nèi)，每一個(gè)數(shù)據(jù)文件屬于一個(gè)filegroup，用唯一的fileid標(biāo)識(shí)?每一個(gè)filegroup包含多個(gè)fileslices(版本)?每一個(gè)fileslice包含由commit或compaction產(chǎn)生的一個(gè)basefile(.parquet),和一組由inserts/updates產(chǎn)生的logfiles(.log).CopyOnWriteMergOnReadCompaction動(dòng)作影響數(shù)據(jù)的可見(jiàn)性，也是Hudi時(shí)效性在10分鐘通過(guò)CDC方式替換到批量數(shù)據(jù)采集模式，從而打通表模式變更通路，采用Hudi格式增量處理PrestoAPI數(shù)據(jù)源數(shù)據(jù)采集數(shù)據(jù)存儲(chǔ)數(shù)據(jù)加工數(shù)據(jù)落地PrestoAPI數(shù)據(jù)源數(shù)據(jù)采集數(shù)據(jù)存儲(chǔ)數(shù)據(jù)加工數(shù)據(jù)落地BatchBatchLayerSparkSpark行為數(shù)據(jù)Schema Oracle行為數(shù)據(jù)Schema Oracle EverDBRegistry CDC工具----Registry CDC工具----FlinkKafkaSpeedLayerHBase通過(guò)SchemaRegistry統(tǒng)一收集上游數(shù)據(jù)通過(guò)SchemaRegistry統(tǒng)一收集上游數(shù)據(jù)庫(kù)的變更情況，無(wú)人工介入Hudi對(duì)update等增量操作友好，簡(jiǎn)化翻寫(xiě)邏輯Hudi提供模式強(qiáng)制與演進(jìn)，為提升數(shù)據(jù)質(zhì)量提供更多幫助。上游數(shù)據(jù)通過(guò)CDC自動(dòng)對(duì)接，避免了程序錯(cuò)誤，也節(jié)省了人工。1.上游系統(tǒng)表結(jié)構(gòu)變更，帶給數(shù)據(jù)湖大量被動(dòng)工作，同時(shí)依賴(lài)線下溝通，容易出現(xiàn)偏差。2.上游系統(tǒng)的數(shù)據(jù)因?yàn)闃I(yè)務(wù)變更進(jìn)行調(diào)整，需要進(jìn)行業(yè)務(wù)邏輯翻譯（Hive限制），放大了程序錯(cuò)誤風(fēng)險(xiǎn)。3.Hive對(duì)于異常數(shù)據(jù)處理，缺乏強(qiáng)校驗(yàn)機(jī)制，例如默認(rèn)截?cái)嗵幚恚瑢?dǎo)致數(shù)據(jù)質(zhì)量問(wèn)題。4.上游系統(tǒng)導(dǎo)出的數(shù)據(jù)文件，因?yàn)槌绦蛟虺霈F(xiàn)問(wèn)題，對(duì)數(shù)據(jù)湖及下游系統(tǒng)造成的連鎖影響。當(dāng)期主要針對(duì)數(shù)據(jù)分析場(chǎng)景且新增入湖表，進(jìn)行CDC對(duì)批量文件的替換，規(guī)避了存量數(shù)據(jù)導(dǎo)入工作，尚未在下游ETL任務(wù)的場(chǎng)景中推廣。通過(guò)系統(tǒng)對(duì)接自動(dòng)同步表模式等信息，大量降低了與上游系統(tǒng)的溝通工作量，僅需要確認(rèn)主鍵等少量信息，入湖效率提升2個(gè)數(shù)量級(jí)。1.實(shí)時(shí)數(shù)據(jù)鏈路的數(shù)據(jù)丟失風(fēng)險(xiǎn)依然存在，需要額外補(bǔ)充校驗(yàn)手段。2.實(shí)時(shí)數(shù)據(jù)是持續(xù)不斷的數(shù)據(jù)流，沒(méi)有業(yè)務(wù)日期概念，需要通過(guò)增加業(yè)務(wù)邏輯對(duì)齊業(yè)務(wù)日期。當(dāng)前所使用的CDC工具，只能處理增量數(shù)據(jù)，存量數(shù)據(jù)的初始導(dǎo)入仍有較大工作量。調(diào)研FlinkCDC/Seatunnel等CDC工具，降低上線期初的數(shù)據(jù)準(zhǔn)備工作。目前schema信息的粒度相對(duì)較粗，對(duì)于數(shù)據(jù)類(lèi)型的精確度還不足，考慮通過(guò)對(duì)CDC工具進(jìn)行定制開(kāi)發(fā)，實(shí)現(xiàn)數(shù)據(jù)類(lèi)型的推送?？疾旖y(tǒng)一計(jì)算引擎的可行性，根據(jù)需求靈活調(diào)整實(shí)時(shí)鏈路和批量鏈路，而不需要在兩種計(jì)算引擎上開(kāi)發(fā)同樣的業(yè)務(wù)邏輯THANKYOU謝謝觀看TheexplorationprocessofDinkyandFlinkCDCinreal-timefulldatabasesynchronization發(fā)生異常1111table1table1