GOTC2023從ESB,Kafka,到DaaS實時數(shù)據(jù)集成的技術(shù)變遷

「基礎(chǔ)設(shè)施與軟件架構(gòu)」專場從ESB,Kafka,到DaaS唐建法2023年05月28日關(guān)于講師TJ/唐建法數(shù)據(jù)集成的技術(shù)變遷企業(yè)的現(xiàn)狀：30年的信息化形成的數(shù)據(jù)孤島3030年企業(yè)信息化463463套大型企業(yè)擁有的系統(tǒng)數(shù)量Q:如何高效支持：最自然的數(shù)據(jù)集成架構(gòu):Point-to-PointPoint-to-PointEAI/ESB:中央化的集成架構(gòu)EAI/ESBESB:最主流的EAI架構(gòu)實現(xiàn)特點和優(yōu)勢可擴展性–增加新的系統(tǒng)對接ESB:正在被遺忘ESB方案的缺點結(jié)果：昂貴的開發(fā)實施和維護成本APICentric的方案基于RESTful/JSON類似ESB一樣有中間件，可以解耦架構(gòu)–兩端不直接相連異步處理–提升性能如何解耦：使用標準的Message格式下游從C到B或者C到DKafka：最主流的MOM實現(xiàn)之一優(yōu)勢Kafka作為數(shù)據(jù)集成方案的局限性能否直接復(fù)用數(shù)據(jù)模型,而非消息？一個一致的邏輯模型接服務(wù)下游DataasaService數(shù)據(jù)集成架構(gòu)的優(yōu)劣勢ESB企業(yè)總線消息隊列ESB企業(yè)總線消息隊列數(shù)據(jù)即服務(wù)數(shù)據(jù)集成的代表產(chǎn)品點到點集成ESB企業(yè)總線消息隊列數(shù)據(jù)即服務(wù)TIBCOTapdata在實時DaaS數(shù)據(jù)架構(gòu)上的一些實踐Tapdata：首個基于DaaS架構(gòu)打造的開源實時數(shù)據(jù)服務(wù)平臺2019.09成立于深圳2022.072019.09成立于深圳2022.07Tapdata1.0GA2019.10千萬人民幣天使輪2021.092019.10千萬人民幣天使輪2021.09數(shù)千萬美元preA輪融資10，000+企業(yè)和云版客戶DataasaService或推送服務(wù)標準化處理或建模DataasaService或推送服務(wù)標準化處理或建模一鍵復(fù)制源庫數(shù)據(jù)ERPERPCRMCRMBPMBPMFinanceFinanceCMSCMS現(xiàn)有業(yè)務(wù)現(xiàn)有業(yè)務(wù)看板BI客戶統(tǒng)一視圖新CRM全文檢索新業(yè)務(wù)PLUGINFrameworkTapdataLiveDataPlatform:第一個實現(xiàn)DaaS架構(gòu)的實時數(shù)據(jù)平臺PLUGINFrameworkTapdataLiveDataPlatformCDCCaptureStreamProcessStorageServiceOLTPDBSWebPRODUCTMicroservicesMobileMicroservicesMobileCRUDAPIERPORDER3rdPartyAPIsINVENTORYStructureddataReverseETLLogsReverseETLCUSTOMERFileCUSTOMERObjectSTorageEventsParserParserConnectorFrameworkParserParserConnectorFrameworkProcessorChainCRMERPERP基于內(nèi)存的計算和處理事件轉(zhuǎn)化為目標模型采集事件基于內(nèi)存的計算和處理事件轉(zhuǎn)化為目標模型標準化事件多工況支持●OLTP–多工況支持●OLTP–即時更新●OLAP：聚合運算橫向擴展能力●TB–PB數(shù)據(jù)量支持●跨中心跨云部署能力………Shard1SecondarySecondarySecondarySecondaryShard2SecondarySecondarySecondarySecondary…ShardNSecondarySecondarySecondarySecondaryomongoDB支持多種數(shù)據(jù)模型●模型變動靈活，易融合●結(jié)構(gòu)化，半結(jié)構(gòu)化戶360通據(jù)模型/FDM下游任務(wù),不受不相關(guān)的DDL影響源庫新加字段，未通知下游下游任務(wù),不受不相關(guān)的DDL影響源庫新加字段，未通知下游無需事先建表，數(shù)據(jù)直接插入新增字段可以直接入庫，新增字段可以直接入庫，無需修改如何應(yīng)用DaaSTapdataRealTimeDaaS一鍵創(chuàng)建實時鏈路：TapdataRealTimeDaaS一鍵創(chuàng)建實時鏈路：一鍵創(chuàng)建實時鏈路：一鍵創(chuàng)建實時鏈路：入到Redis/ES做緩存加速一鍵創(chuàng)建實時鏈路：入到RDS做跨云應(yīng)用APIRealTimeDaaS業(yè)務(wù)場景二：搭建客戶、商品、庫存360視圖API發(fā)布一個庫存的RESTfulAPI庫存管理應(yīng)用通過API獲取最新的商品庫存RealTimeDaaS業(yè)務(wù)場景三：快速搭建BI看板RealTimeDaaS業(yè)務(wù)