FFA2024分論壇-生產(chǎn)實(shí)踐 合輯-部分2

實(shí)時(shí)性全鏈路實(shí)時(shí)可查穩(wěn)定性全鏈路指標(biāo)可觀測(cè)為下游應(yīng)用提供快速查詢支持背景：背景：中移云盤業(yè)務(wù)，統(tǒng)計(jì)HBase業(yè)務(wù)表中近一周數(shù)據(jù)的變化情況。當(dāng)前方案：每周定期通過Pheonix查詢，需要查詢約4小時(shí)。問題：1、查詢時(shí)效性差，隨著數(shù)據(jù)量的不斷增加，速度越來越慢。2、影響在線任務(wù)，查詢執(zhí)行期間，5億統(tǒng)計(jì)分析150億+5億統(tǒng)計(jì)分析150億+2億●數(shù)據(jù)量：150億+●部分列更新：HBase的WAL解析得到的是主鍵+部分列endpoint,●分組列：分組列包含非主鍵列cel1[row=key,column=columm1,timestamp=1708718595741,tcell[row=key,column=column4,timestamp=1708718595741,type=P根據(jù)更新字段進(jìn)行數(shù)據(jù)分析CollapsingMergeTree:折疊除Sign列外其他列都相等的行ReplacingMergeTree:刪除主鍵相同的重復(fù)項(xiàng)SummingMergeTree:將主鍵相同的行的數(shù)值類型的列匯總為一行均不支持部分列更新AfterAfterUnique模型2a1b1ab1b更新模式是部分列更新Unique模型的導(dǎo)入更新模型模型CREATETABLEIFCREATETABLEIF'KEY_HASH`VARCHAR(65533)NOT0BJECT_KEY`VARCHAR(65533'BUCKET_NAME`VARCHAR(65533)NOTNULENDPOINT`VARCHAR(65533)NOTNULL,'RESULT_CODE'INTR'RESULT_MSG`VARCHAR(65533)REPLACE_IF_NOT_NULLCREATE_AT`DATETIMEREPLACE_IF_NOT_NULLDEFAULT"2024'UPDATE_AT`DATETIMEREPLACE_IF_NOT_NULLAGGREGATEKEY('KEY_HASH,0BJECT_KEY,BUCK…;●對(duì)于主鍵相同的數(shù)據(jù)，通過聚合函數(shù)空值更新●主鍵不完全包含分組鍵，需上再進(jìn)行分組聚合模型模型缺點(diǎn)：Aggregate模型分區(qū)字段必須是●UPDATE_AT不斷變化，無法作為Key列導(dǎo)致使用Aggregate模型建表，根據(jù)UPDATE_AT進(jìn)行統(tǒng)計(jì)分析，造成全表掃描，查詢耗時(shí)分鐘級(jí)output:partial_count(*)[#18],partial_sun(size[#15TABLE:db.t2(t2),PREAGGREGATION:0FF,Reason:Groupingexpression[resultcodPREDICATES:(UPDATEAT[#12]<'2024-10-1800:0:00)AND(UPDATEAT[#12]='2024-10-1800:00:00tablets=50/50,tabletList=844956,844960,844964cardinality=140000000,avgROWSize=0.0,nufinalprojections:RESULT_CODE[*4],ENDPOTNT[#3],tfinalprojectoutputfinalprojectoutpu●根據(jù)●根據(jù)UPDATE_AT分區(qū)后，避免了全表掃描，但數(shù)據(jù)量增加●計(jì)算復(fù)雜度增加，需要先用窗口函數(shù)計(jì)算出分組鍵相同的最新數(shù)據(jù)，再進(jìn)行聚合統(tǒng)計(jì)內(nèi)存消耗大，查詢耗時(shí)分鐘級(jí)l…;更新語(yǔ)義不符合計(jì)算簡(jiǎn)單，數(shù)據(jù)不重復(fù)全表掃描避免全表掃描計(jì)算復(fù)雜，計(jì)算復(fù)雜，數(shù)據(jù)量大1、主鍵表支持Deduplicate、spark2、spark2、與Flink具有最好集成的3、高效讀寫、更低的寫入資源●Flink查詢按量計(jì)費(fèi)，降低用戶成本以不是主鍵●創(chuàng)建Paimon分區(qū)表，測(cè)試億級(jí)數(shù)據(jù)，未分區(qū)表的查詢耗時(shí)約是分區(qū)表的3倍`BUCKET_NAME`VARCHA'UPDATE_DATE`VARCHAR(2PRIMARYKEYCKEY_HASH,`OBJECT_KEY'fields.CREATEAT.aggregate-function'='last_no'fields.RESULTCODE.aggregate-function'='lastno'fields.RESULTCODE.aggregate-function'='lastno'fields.SIZE.aggregate-function'='last_non_'fields.UPDATE_AT.aggregate-function'='last_non_null_value'2新數(shù)據(jù)寫入舊分區(qū)2KEY_HASH org.apache.hadoop.fs.s3a.S3AInpuorg.apache.hadoop.fs.s3a.S3AInpukey123obj12350從4小時(shí)縮短到分鐘級(jí)不影響在線任務(wù)寫HBase實(shí)踐案例-移動(dòng)云云電腦設(shè)備ADS匯總粒度事個(gè)事務(wù)事實(shí)表個(gè)事務(wù)事實(shí)表資源DIM訂單DIM公共維度層周期快照事實(shí)表周期快照事實(shí)表明細(xì)粒度事累積快照事實(shí)表拉鏈?zhǔn)聦?shí)表個(gè)數(shù)據(jù)集成數(shù)據(jù)源MySQLKafkaRocketMQrl:d*st·實(shí)時(shí)計(jì)算+GenAI實(shí)時(shí)計(jì)算+GenAI持續(xù)完善平臺(tái)建設(shè)，提升易用性oMergedJingsongLimBecausetheFileutils#1istversionedFilestatusmethodwillsendtest_table98Timetaken:68.043secondTimetaken:2.298second業(yè)務(wù)&挑戰(zhàn)總結(jié)&展望業(yè)務(wù)&挑戰(zhàn)用戶流量歸因消費(fèi)者抖音電商抖音電商主播分析看板商家效率效率>橫向擴(kuò)展：增量業(yè)務(wù)快捷搭建質(zhì)量&成本>人力成本：每季度15+需求直播間x商品x分鐘短視頻x商品x小時(shí)直播間x商品x分鐘搜索業(yè)務(wù)主題到家業(yè)務(wù)主題主題層維表內(nèi)容互動(dòng)域搜索域頁(yè)面域商品交易域公共層維表內(nèi)容互動(dòng)域搜索域頁(yè)面域商品交易域任務(wù)拆分：直播擴(kuò)維(拆分處理)直播擴(kuò)維(拆分處理)直播商品直播商品業(yè)務(wù)拆分：>數(shù)據(jù)解耦，獨(dú)立保障穩(wěn)定性業(yè)務(wù)訴求業(yè)務(wù)訴求>集群負(fù)載均衡>異?？焖倩貜?fù)>容災(zāi)能力強(qiáng)解決方案>任務(wù)模板，影子任務(wù)一鍵同步>單機(jī)房異常一鍵遷移收益機(jī)房B公灰度公ZFlink2024模型統(tǒng)一，資產(chǎn)獨(dú)立，分級(jí)保障業(yè)務(wù)訴求技術(shù)訴求PO資產(chǎn)AP1資產(chǎn)B>應(yīng)用場(chǎng)景區(qū)分>識(shí)別重點(diǎn)，分級(jí)保障PO資產(chǎn)AP1資產(chǎn)B模型模型業(yè)務(wù)A業(yè)務(wù)B>業(yè)務(wù)標(biāo)簽，識(shí)別核心資產(chǎn)>任務(wù)解耦，穩(wěn)定性獨(dú)立保障>獨(dú)立研發(fā)，提升迭代效率業(yè)務(wù)A業(yè)務(wù)B收益流批一體建設(shè)方向分析物理存儲(chǔ)一體存儲(chǔ)←邏輯存儲(chǔ)一體物理計(jì)算一體邏輯計(jì)算一體計(jì)算計(jì)算一體>計(jì)算引擎統(tǒng)一存儲(chǔ)一體>數(shù)據(jù)模型統(tǒng)一>存儲(chǔ)引擎統(tǒng)一重點(diǎn)建設(shè)試點(diǎn)探索技術(shù)難點(diǎn)>存儲(chǔ)引擎無法滿足核心場(chǎng)景訴求(吞吐/容災(zāi))邏輯邏輯存儲(chǔ)一體邏輯計(jì)算一體物理計(jì)算一體實(shí)時(shí)分發(fā)離線流量分發(fā)流量基建流批一體任務(wù)架構(gòu)實(shí)時(shí)維表(計(jì)算一體+邏輯存儲(chǔ)一體)(計(jì)算一體+邏輯存儲(chǔ)一體)實(shí)時(shí)電商流量實(shí)時(shí)參數(shù)解析層FlnkStreaming實(shí)時(shí)電商流量實(shí)時(shí)參數(shù)解析層FlinkSQL同步容災(zāi)鏈路_離線公共流量離線公共流量離線維表技術(shù)難點(diǎn)：>穩(wěn)定性：缺乏容災(zāi)能力，Dump數(shù)據(jù)可能漂移、>效率：流批一體如何界定職責(zé)邊界，提升需求效率解決方案>離線負(fù)責(zé)業(yè)務(wù)迭代，實(shí)時(shí)穩(wěn)定性保障收益>計(jì)算成本>開發(fā)人力存儲(chǔ)異構(gòu)存儲(chǔ)異構(gòu)計(jì)算一體個(gè)質(zhì)量驗(yàn)收業(yè)務(wù)難點(diǎn)實(shí)時(shí)離線維表天然不統(tǒng)一，物理計(jì)算無法一體化解決方案>公用代碼以統(tǒng)一實(shí)時(shí)離線UDF計(jì)算邏輯>SQL、代碼以及平臺(tái)托管多模式維護(hù)公用邏輯收益結(jié)果結(jié)果個(gè)個(gè)熱更新熱更新口徑制定數(shù)據(jù)研發(fā)口徑制定數(shù)據(jù)研發(fā)任務(wù)特點(diǎn)：高QPS、消費(fèi)側(cè)消費(fèi)側(cè)計(jì)算復(fù)雜、多擴(kuò)維、無聚合生產(chǎn)側(cè)反序列化性能問題反序列化性能問題序號(hào)1234567大流量反序列化性能問題算子邏輯過于復(fù)雜任務(wù)網(wǎng)絡(luò)開銷大數(shù)據(jù)傾斜嚴(yán)重內(nèi)存不足引起性能下降維表訪問壓力大適用場(chǎng)景無效數(shù)據(jù)占比>30%大方法CPU使用占比>10%解決方案調(diào)大buffer-timeout參數(shù)，攢批訪問使用高版本G1垃圾回收器+Join條件謂詞下推適用場(chǎng)景：大流量消費(fèi)、無效數(shù)據(jù)占比高索引A謂詞下推>如何自適應(yīng)識(shí)別無效數(shù)據(jù)>如何避免反序列化無效數(shù)據(jù)解決方案>謂詞下推識(shí)別無效數(shù)據(jù)收益>任務(wù)CPU使用率>如何提升緩存命中率>如何降低無效數(shù)據(jù)訪問量解決方案收益適用場(chǎng)景：維表熱點(diǎn)Key引起的數(shù)據(jù)傾斜△□□△分發(fā)策略△分發(fā)策略>大并發(fā)單個(gè)I0數(shù)據(jù)量少，攢批效>高吞吐數(shù)據(jù)，單批BufferSize小，Kafka寫入頻率高低網(wǎng)絡(luò)I0頻率收益收益>CPU使用量調(diào)優(yōu)調(diào)優(yōu)占比高適用場(chǎng)景：占比高適用場(chǎng)景：GC頻率高、單方法CPU占用占用損耗大損耗大解決方案>>>>收益收益總結(jié)&展望人效提升人效提升消費(fèi)成本節(jié)約任務(wù)處理性能提升自動(dòng)化變更、發(fā)布、盯盤等規(guī)范自動(dòng)化配置化可視化探索資產(chǎn)、邏輯可視化效率效率治理-降分配治理資源浪費(fèi)任務(wù)存儲(chǔ)流批一體演講人|阮航阿里云高級(jí)開發(fā)工程師/ApacheFlinkCommitter核心功能·作業(yè)生命周期管理 ·豐富的監(jiān)控指標(biāo)cdc-yaml-mysal-to-hologresXUntite目元數(shù)據(jù)管理Ycdc-yaml-mysql-toUntitled-fink-cdcfirUntitled-fink-cdc-20256789/zh/flink/user-quide/develop-a-yamldraft?spm=a2c4g.11186623.help-menu-45029.d223.5cf92046K7da4U計(jì)算列&元數(shù)據(jù)列支持額外添加列支持額外添加列細(xì)粒度的映射關(guān)系內(nèi)置函數(shù)&UDF豐富的函數(shù)支持指定主鍵&分區(qū)鍵支持重新指定目標(biāo)端結(jié)構(gòu)過濾數(shù)據(jù)支持過濾無用數(shù)據(jù)過濾數(shù)據(jù)支持過濾無用數(shù)據(jù)是否處于全量階段是否處于增量階段全量階段未處理分片數(shù)量全量階段已處理分片數(shù)量全量階段未處理表數(shù)量全量階段已處理表數(shù)量讀取到數(shù)據(jù)到發(fā)出的延遲讀取到消息數(shù)量讀取到消息數(shù)量每個(gè)表讀取到消息數(shù)量細(xì)粒度細(xì)粒度Schema變更策略Schema自動(dòng)識(shí)別人工定義Schema細(xì)粒度Schema變更不支持Schema變更原始Changelog格式支持破壞原有格式支持讀寫多表讀寫單表CDCYAML額外功能 目元數(shù)據(jù)管理口數(shù)據(jù)開發(fā)hostname:${secret_values.mysql-hospassword:${secret_values.mysql-pas15perties.warehouse:16per17perties.fs.oss.accessKeymysql2paimon_0田運(yùn)維中心四文件管理口安全服務(wù)223234231123231423整庫(kù)同步+Transform田新建搜索名稱….Q目元數(shù)據(jù)管理日數(shù)據(jù)開發(fā)hostname:${secret_values.mysql-hospassword:${secret_values.mysql-pas13projection:\*,UPPER('name')ASu田運(yùn)維中心口安全服務(wù)4242323232342323整庫(kù)同步+寬容模式阿里云實(shí)時(shí)計(jì)算新建O另存為保存畫格式化三更多目元數(shù)據(jù)管理口數(shù)據(jù)開發(fā)田運(yùn)維中心口安全服務(wù)數(shù)據(jù)攝入草稿223456789hostname:${secret_values.mysql-hospassword:${secret_values.mysql-pastables:cdcyaml_e2e_t列名ALTERTABLE`holo_test`MODIFYCOLCOLUMN`varchar_col`varch列名-D(....)ALTERTABLE`holo_test`MODIFYCOLU阿里云實(shí)時(shí)計(jì)算阿里云實(shí)時(shí)計(jì)算新建新建口另存為圓保存畫格式化三更多田新建田新建目元數(shù)據(jù)管理囚數(shù)據(jù)開發(fā)目元數(shù)據(jù)管理囚數(shù)據(jù)開發(fā)數(shù)據(jù)攝入Eoa數(shù)據(jù)攝入Eoa數(shù)據(jù)查詢田運(yùn)維中心連接器四文件管理口安全服務(wù)數(shù)據(jù)查詢田運(yùn)維中心連接器四文件管理口安全服務(wù)訪問安全productsproducts2323田新建目元數(shù)據(jù)管理因數(shù)據(jù)開發(fā)數(shù)據(jù)查詢田運(yùn)維中心田新建目元數(shù)據(jù)管理因數(shù)據(jù)開發(fā)數(shù)據(jù)查詢田運(yùn)維中心四文件管理口安全服務(wù),5678956789,,10metadata-colum.i216properti247235689阿里云實(shí)時(shí)計(jì)算阿里云實(shí)時(shí)計(jì)算目元數(shù)據(jù)管理口數(shù)據(jù)開發(fā)數(shù)據(jù)攝入草稿 a446hostname:${secret_values.mysql-hospassword:${secret_values.mysql-pas-source-table:app_db.customn456數(shù)據(jù)查詢運(yùn)維中心口安全服務(wù)79新增操作修改操作O容錯(cuò)刪除操作清空操作v1和v2麻煩幫忙也同步該怎么新增已經(jīng)存在的表，并同步歷史數(shù)據(jù)呢?作業(yè)1:app_db.customers_vo789作業(yè)1:app_db.customers\.*789123456789指定位點(diǎn)+全量重刷指定位點(diǎn)+全量重刷實(shí)時(shí)計(jì)算數(shù)據(jù)攝入三實(shí)時(shí)計(jì)算數(shù)據(jù)攝入改進(jìn)Debezium的相關(guān)參數(shù)提升解析速度解析Binlog時(shí)，只解析能匹配到的表的數(shù)據(jù)優(yōu)化為并行序列化并保序DMS數(shù)據(jù)管理服務(wù)首頁(yè)數(shù)據(jù)資產(chǎn)DMS數(shù)據(jù)管理服務(wù)首頁(yè)數(shù)據(jù)資產(chǎn)數(shù)據(jù)庫(kù)導(dǎo)出數(shù)據(jù)導(dǎo)入SQL窗口權(quán)限工單我的權(quán)限>免登錄實(shí)例(6)>已登錄實(shí)例(0)>未登錄實(shí)例(161)命首>免登錄實(shí)例(6)>已登錄實(shí)例(0)>未登錄實(shí)例(161)××表|可編程對(duì)象SQLConsole表：customers×表：products×表：shipments×+支持%模糊匹配表名稱C三導(dǎo)出文件v單行詳情開啟編輯==22×三C◎執(zhí)行成功，當(dāng)前返回[3]行，總耗時(shí)[185ms],單次查詢最多返回3000條O目數(shù)據(jù)管理P數(shù)據(jù)血緣囚數(shù)據(jù)開發(fā)田運(yùn)維中心連接器文件管理日安全服務(wù)cdc-test-in-vvp-d..甲部署C甲部署C②②畫格式化日更多配置日更多配置password:${secret_value■■■■properties.bootstrap.servers:${secret_valuesproperties.enable.idempotence:fa圖國(guó)圖國(guó)口配國(guó)口配國(guó)三◎解析未來規(guī)劃數(shù)據(jù)限流數(shù)據(jù)限流首夏)實(shí)時(shí)計(jì)算Fink版》操作指南》作業(yè)開發(fā)》數(shù)據(jù)播人AML作業(yè)開發(fā)(公測(cè)中)數(shù)據(jù)攝入YAML作業(yè)開發(fā)(公測(cè)中)性。測(cè)中)YAML優(yōu)勢(shì)數(shù)據(jù)捱入YAML作業(yè)和SOL作業(yè)在數(shù)據(jù)傳遞過程中使用不/zh/flink/useryaml-draft?spm=a2c4g.11186623.hel45029.d223.53b92058TtBz1e&scm=20140722.H2846225.https://nightlies.apache.orq/flink/flink-梁寶彬|京東物流數(shù)據(jù)開發(fā)工程師ApacheFlinkContributor實(shí)時(shí)湖倉(cāng)應(yīng)用未來展望無人倉(cāng)國(guó)家和地區(qū)220+科技研發(fā)國(guó)內(nèi)覆蓋全球互通科技研發(fā)國(guó)內(nèi)覆蓋全球互通分揀中心210+航空貨運(yùn)條線1000+設(shè)備數(shù)量航空貨運(yùn)條線1000+設(shè)備數(shù)量合作路線350+高鐵普鐵330+噸自動(dòng)化設(shè)備700+龍門架760+承運(yùn)商3800+全國(guó)場(chǎng)地全國(guó)場(chǎng)地?cái)?shù)量一線員工數(shù)量處理能力處理能力峰值2100+萬/日接貨倉(cāng)279+日派單量1800萬+覆蓋城市400+日派單量1800萬+覆蓋城市400+國(guó)內(nèi)覆蓋處理能力國(guó)內(nèi)覆蓋處理能力攬派站點(diǎn)7200+攬派站點(diǎn)7200+萬+BG端服務(wù)內(nèi)部服務(wù)BG端服務(wù)內(nèi)部服務(wù)分揀攬派數(shù)據(jù)模型數(shù)據(jù)采集報(bào)表數(shù)據(jù)分析算法數(shù)據(jù)分析作業(yè)總數(shù)資源量業(yè)務(wù)邏輯復(fù)雜業(yè)務(wù)場(chǎng)景多多種OLAP服務(wù)和查詢找數(shù)難數(shù)據(jù)復(fù)用數(shù)據(jù)復(fù)用O多種服務(wù)形式實(shí)時(shí)數(shù)據(jù)API接口批量數(shù)據(jù)分析協(xié)同難存儲(chǔ)周期長(zhǎng)歷史數(shù)據(jù)回算性能要求高用數(shù)難技術(shù)需要O端到端時(shí)延技術(shù)需要O分鐘級(jí)延遲總體<=1min實(shí)時(shí)需求爆發(fā)增長(zhǎng)研發(fā)資源投入大快速迭代實(shí)時(shí)湖倉(cāng)方案探索1實(shí)時(shí)湖倉(cāng)方案探索18ADSADSAPP流批一體存儲(chǔ)計(jì)算流批一體存儲(chǔ)計(jì)算易擴(kuò)展的合并引擎核心優(yōu)勢(shì)當(dāng)前問題成較好復(fù)雜數(shù)據(jù)棧架構(gòu)數(shù)場(chǎng)景多實(shí)時(shí)湖倉(cāng)方案探索2物化視圖存算分離向量化MPP并行計(jì)算架構(gòu)向量化MPP并行計(jì)算架構(gòu)實(shí)時(shí)入湖8kafka聯(lián)邦查詢FE數(shù)據(jù)服務(wù)FE數(shù)據(jù)服務(wù)數(shù)據(jù)讀取數(shù)據(jù)寫入白白白66數(shù)據(jù)湖方案數(shù)據(jù)湖方案復(fù)雜邏輯寬表加工維度加工存儲(chǔ)周期長(zhǎng)StarRocks云存儲(chǔ)Flink低代碼平臺(tái)物化視圖業(yè)務(wù)報(bào)表數(shù)據(jù)分析自助查詢業(yè)務(wù)報(bào)表數(shù)據(jù)分析自助查詢外表物化視圖利用多種方式結(jié)合(流批一體),進(jìn)行數(shù)據(jù)聚合分層聚合分層外表物化基于StarRocksCatalog構(gòu)建物化視圖業(yè)務(wù)大屏服務(wù)數(shù)據(jù)分析數(shù)據(jù)分析業(yè)務(wù)場(chǎng)景的模型分層建設(shè)冷鏈運(yùn)營(yíng)分析冷鏈運(yùn)營(yíng)分析銷售快快快快主題域配運(yùn)域主題域?qū)崟r(shí)湖倉(cāng)應(yīng)用商家云配數(shù)據(jù)監(jiān)控業(yè)務(wù)寬表加工成本較高天數(shù)據(jù)近實(shí)時(shí)99(3茵外部存儲(chǔ)商家云配數(shù)據(jù)監(jiān)控業(yè)務(wù)回回R困寬表加工寬表加工剔除外部存儲(chǔ)成本大幅降低剔除外部存儲(chǔ)成本大幅降低開發(fā)鏈路減短快速響應(yīng)需求商家云配數(shù)據(jù)監(jiān)控業(yè)務(wù)MENCLBSLEItranatejttie,")="cLESCEleletpaettie,"0LEiElalhtMENCLBSLEItranatejttie,")="cLESCEleletpaettie,"0LEiElalhtMBNCLESCEleletack'fss3a.block.size'='128M'CREATETEMPORARYTABLEjdq_source_third_part_delivery_prod調(diào)整PaimonSink的并發(fā)數(shù)增大Flink檢查點(diǎn)間隔將小文件合并完全異步化之后，F(xiàn)link做檢查點(diǎn)時(shí)無需等待小文件調(diào)整PaimonSink的并發(fā)數(shù)增大Flink檢查點(diǎn)間隔將小文件合并完全異步化之后，F(xiàn)link做檢查點(diǎn)時(shí)無需等待小文件'write-buffer-size'='1024m'partial-update.ignore-'snapshot.time-reta,數(shù)據(jù)請(qǐng)求業(yè)務(wù)數(shù)據(jù)1QQ8D明細(xì)數(shù)據(jù)18D明細(xì)數(shù)據(jù)1明細(xì)數(shù)據(jù)1困接口服務(wù)困接口服務(wù)原始生產(chǎn)數(shù)據(jù)搭建分鐘級(jí)分層架構(gòu)一CREATETABLEsourcertout_ordeCREATETABLEsink_ob_orderCREATETABLEsinkrtout_一一 ;--source_rt_out_orders●分鐘級(jí)聚合數(shù)據(jù)服務(wù)LOCATIONS=("s3://jdl-dp-"aws.s3.enable_partitioned_prefix"="true",--開啟分區(qū)前綴"aMs.s3.num_partitioned_prefix"="25CREATETABLE`dms_smart_report`.'cross_operatesitecode`bigint(20)NpTNULLCONMENT"操作單位編碼",'date'dateNOTNULLCOMMENT"分區(qū)時(shí)間",存時(shí)間一般為7~15天，能夠滿求●有相當(dāng)一部分用戶需要頻繁地PRIMARYKEY('operate_site_code','package_barcode','date')PARTITIONBYRANGE('date')(START("2024-86-01")END("2024-07-31")EVERY(INTERVAL1DISTRIBUTEDBYHASHCoperate_site_code')BUCK數(shù)據(jù)對(duì)比持久化主鍵索引本地緩存盤存儲(chǔ)主鍵索引指定存儲(chǔ)卷●●6●分鐘級(jí)長(zhǎng)周期實(shí)時(shí)表的更新量很指定-系統(tǒng)限制#內(nèi)表Blockcache#外表Datacachedatacache_disk_size=100G--全局變量●慢查詢快速失敗●防止0OM●磁盤空間預(yù)留version,減少meta數(shù)量lake_autovacuum_gracompact_threadsmax_cumulative_compaction_nulake_pk_compaction_max_input_rowsets=Flink在度小滿應(yīng)用現(xiàn)狀版本 任務(wù)&資源 ·總?cè)蝿?wù)數(shù)900+··集群總核數(shù)5000+應(yīng)用落地初探流計(jì)算落地與推廣初步探索-由傳統(tǒng)批計(jì)算向流計(jì)算轉(zhuǎn)變數(shù)據(jù)時(shí)效性高數(shù)據(jù)變更實(shí)時(shí)同步數(shù)據(jù)時(shí)效性高數(shù)據(jù)變更實(shí)時(shí)同步提升數(shù)據(jù)時(shí)效性最快僅支持分鐘級(jí)高頻調(diào)度實(shí)時(shí)同步實(shí)時(shí)同步資源削峰填谷資源需求跟隨業(yè)務(wù)波動(dòng)削峰填谷，分散資源壓力O凌晨0-4點(diǎn)資源壓力大，集群擁堵白天集群空閑，資源使用率低O基于查詢的數(shù)據(jù)同步基于查詢的數(shù)據(jù)同步任務(wù)異常重試成本高容錯(cuò)成本大幅降低 ·目前任務(wù)數(shù)已達(dá)400+ ·日同步數(shù)據(jù)量130億+使用方使用方實(shí)時(shí)計(jì)算平臺(tái)引擎層層監(jiān)控報(bào)監(jiān)控報(bào)警權(quán)限管理狀態(tài)管理任務(wù)儀表任務(wù)儀表盤指標(biāo)可視化運(yùn)維管理開發(fā)模式元數(shù)據(jù)管理Hadoop3.2.3兼容SQL引擎版本管理文件管理配置依賴Hive對(duì)接穩(wěn)定性訴求-FlinkMetrics采集與應(yīng)用系統(tǒng)可用性保障系統(tǒng)可用性保障系統(tǒng)可用性=采集延遲降低提供判定基礎(chǔ)故障故障預(yù)防廣度提升降低故障頻次故障故障故障耗時(shí)降低降低單次故障時(shí)長(zhǎng)故障故障處置任務(wù)提交即采集Metrics要求采集方案不依賴固定Host&Port要求采集方案具備一定擴(kuò)容能力OnYarn場(chǎng)景端口由Yarn分配要求采集方案不依賴固定Host&Port要求采集方案具備一定擴(kuò)容能力PrometheusReporter設(shè)計(jì)配置轉(zhuǎn)換模塊6設(shè)計(jì)配置轉(zhuǎn)換模塊的采集方案Metrics采集——基于PushGateway的采集方案解析組裝配置轉(zhuǎn)換查詢最低負(fù)載BB基于SeriesNum的負(fù)載均衡方案日日健康分多維度多維度規(guī)則故障預(yù)防故障發(fā)現(xiàn)異常故障預(yù)防——健康分測(cè)算健康狀態(tài)更新健康分健康狀態(tài)更新健康分運(yùn)行態(tài)校驗(yàn)任務(wù)健康運(yùn)行態(tài)校驗(yàn)任務(wù)健康狀態(tài)更新健康分扣減計(jì)算調(diào)研隊(duì)列生產(chǎn)隊(duì)列健康分滿足健康分滿足重啟進(jìn)入生產(chǎn)隊(duì)列健康分打破報(bào)警提示+人工管控健康分打破報(bào)警提示+人工管控6指標(biāo)采集故障預(yù)防故障發(fā)現(xiàn)故障通報(bào)故障處置集群運(yùn)行指標(biāo)集群運(yùn)行指標(biāo)采集&可視化采集&可視化指標(biāo)采集自動(dòng)化健康巡檢運(yùn)行時(shí)健康分測(cè)算調(diào)研&生產(chǎn)任務(wù)隔離生產(chǎn)任務(wù)準(zhǔn)入檢測(cè)節(jié)點(diǎn)異常節(jié)點(diǎn)異常自動(dòng)歸因指標(biāo)采集裁剪高優(yōu)指標(biāo)大盤維度異常作業(yè)分級(jí)標(biāo)記雙集群建設(shè)一鍵式一鍵式數(shù)據(jù)集成基礎(chǔ)設(shè)施建設(shè)開源Flink提供了強(qiáng)依賴Keytab文件的長(zhǎng)周期任務(wù)運(yùn)行方案，版本HiveMetaStore訪問依賴Kerberos,平臺(tái)當(dāng)前FlinkHiveDelegationToken建版本文件實(shí)時(shí)計(jì)算平臺(tái)場(chǎng)景需支持眾多權(quán)限主體，大量Keytab維護(hù)困難，且使得平臺(tái)存在權(quán)限風(fēng)險(xiǎn)。文件r6基于kinit的短周期任務(wù)權(quán)限認(rèn)證方案kinit....r完成用戶身份認(rèn)證?完成用戶身份認(rèn)證?身份認(rèn)證容器內(nèi)如何完成身份認(rèn)證?虛擬身份認(rèn)證權(quán)限服務(wù)+原始身份轉(zhuǎn)換6身份認(rèn)證+授權(quán)身份序列+虛擬身份信息r改造環(huán)境變量&Flink組件啟動(dòng)邏輯改造ClusterEntrypoint從TGT讀取身份信息改造JM/TM啟動(dòng)參數(shù)&啟動(dòng)邏輯轉(zhuǎn)換后獲取用戶TGT,完成Kerberos身份驗(yàn)證數(shù)據(jù)申請(qǐng)?jiān)獢?shù)據(jù)信息權(quán)限變更66rr權(quán)限存儲(chǔ)創(chuàng)建組全表讀權(quán)限從Catalog權(quán)限校驗(yàn)從權(quán)限校驗(yàn)從Projection獲取轉(zhuǎn)換完成未來規(guī)劃·建設(shè)智能化故障預(yù)防框架未來規(guī)劃數(shù)據(jù)集成拓展 ·優(yōu)化元數(shù)據(jù)管理框架未來展望業(yè)務(wù)背景未來展望匯聚庫(kù)業(yè)務(wù)背景介紹備份庫(kù)業(yè)務(wù)背景介紹 實(shí)時(shí)入湖實(shí)時(shí)入湖分片1分片1—→實(shí)時(shí)入湖3SchemaRegistry確認(rèn)2確認(rèn)flush成功并通知確認(rèn)flush成功并通知→—HH—→—4I—分庫(kù)分表支持分庫(kù)分表支持—4I→[1]master端去重社區(qū)已支持—H→保證保證flush順利流往sink保證數(shù)據(jù)流順暢保證sink能獲取到schemaSourceSchemaOperatorDataSinkWriterOperatorSchemaEvolution在部分情況下會(huì)導(dǎo)致不必要的failover(FLINK-36701)時(shí)間字段的同步··有時(shí)區(qū)->有時(shí)區(qū)·無時(shí)區(qū)->有時(shí)區(qū)·有時(shí)區(qū)->無時(shí)區(qū)·所有鏈路都能正常傳輸·Z·寫入下游有時(shí)區(qū)字段正常寫入下游無時(shí)區(qū)字段可能異?！と鄙傩枰膠one信息·時(shí)間字段均有zone信息·Z寫入下游無時(shí)區(qū)字段正常Z寫入下游無時(shí)區(qū)字段正常所有鏈路都同步正?！o時(shí)區(qū)->有時(shí)區(qū)·有時(shí)區(qū)->無時(shí)區(qū)·有時(shí)區(qū)->有時(shí)區(qū)用戶配置簡(jiǎn)單--FlinkConfFlinkConf通用性配置·優(yōu)先級(jí)從低到高藝?茴藝?茴?人O其他功能(RestCatalog)快照信息/分區(qū)信息/索影響表的更新影響文件的讀寫_id,20000000)rAAAAAA·==+delete使用唯一鍵/position匹配數(shù)據(jù)e分區(qū)數(shù)分區(qū)數(shù)—寫入線程數(shù)與耗時(shí)的關(guān)系·單分區(qū)，總共1000W(基準(zhǔn))—更新頻率固定更新頻率與耗時(shí)的關(guān)系------86420 ·eq-delete被“合并”,導(dǎo)致“丟失”優(yōu)化2優(yōu)化1優(yōu)化2·內(nèi)存壓力·減少數(shù)據(jù)讀取耗時(shí)·降低內(nèi)存壓力44區(qū)23這增加耗時(shí)增加耗時(shí)·易用性優(yōu)化 ·同步限速 ·索引優(yōu)化r-2023年加入京東，數(shù)據(jù)架構(gòu)師，負(fù)責(zé)物流實(shí)時(shí)數(shù)據(jù)和實(shí)時(shí)業(yè)務(wù)場(chǎng)景背景介紹業(yè)務(wù)場(chǎng)景京東京東鏈解決方案，66數(shù)字化數(shù)字化化綜合綜合京東物流平京東物流平生較經(jīng)JDL實(shí)時(shí)數(shù)據(jù)概覽預(yù)測(cè)/預(yù)報(bào)大屏/報(bào)表推薦/仿真預(yù)測(cè)/預(yù)報(bào)大屏/報(bào)表推薦/仿真實(shí)時(shí)數(shù)據(jù)治理一線操作數(shù)據(jù)一線操作數(shù)據(jù)業(yè)務(wù)數(shù)據(jù)日志數(shù)據(jù)用戶行為數(shù)據(jù)外部數(shù)據(jù)場(chǎng)景復(fù)雜歷史包袱重看數(shù)群大表多(10億+/天)重聚合多數(shù)據(jù)源空間分散重聚合多數(shù)據(jù)源一致性強(qiáng)一致性強(qiáng)總核數(shù)最大狀態(tài)A人均100+個(gè)r低代碼實(shí)時(shí)數(shù)據(jù)開發(fā)平臺(tái)ULink1.復(fù)雜拓?fù)?、?fù)雜業(yè)務(wù)邏輯易用性強(qiáng)2.狀態(tài)可控開發(fā)門檻低平臺(tái)建設(shè)初衷2.降低入手難度3.降低維護(hù)成本低代碼開發(fā)平臺(tái)ULink單表加工畫布模式(拖拉拽)API無代碼開發(fā)加工任務(wù)低代碼開發(fā)平臺(tái)ULinkUdataDolphinScheduler大屏/報(bào)表任務(wù)管理血緣查詢血緣查詢畫布模式通用算子UDF畫布模式通用算子UDF算子(API/SQL)數(shù)據(jù)查詢數(shù)據(jù)源MQ數(shù)據(jù)源MQ類維表類數(shù)倉(cāng)維護(hù)(自動(dòng)化建表)JSF接口JSF接口低代碼開發(fā)平臺(tái)ULink1.方案實(shí)現(xiàn)思路過濾算子維表算子低代碼開發(fā)平臺(tái)ULink推薦調(diào)優(yōu)·任務(wù)狀態(tài)【Sink端信息】低代碼開發(fā)平臺(tái)ULink低代碼開發(fā)平臺(tái)ULinka.a.1.實(shí)現(xiàn)思路1.配置數(shù)據(jù)源1.實(shí)現(xiàn)思路1.配置數(shù)據(jù)源注釋主鍵MySQL/CK/ES/Doris/StarRocks/..MySQL/CK/ES/Doris/StarRocks/..代碼合并=>完整SQL代碼合并=>完整SQL1.數(shù)據(jù)源創(chuàng)建TIMESTAMP(0)COMMENTTIMESTAMP(0)COMMENT'創(chuàng)建時(shí)間',,`create_time`TIMESTAMP(0)COMMENT'創(chuàng)建時(shí)間''table-name'='internatia.數(shù)據(jù)源管理b.Source/Sink元數(shù)據(jù)管理c.Flink集群參數(shù)獲取d.Flink運(yùn)行時(shí)信息獲取異常信息等)2.任務(wù)間血緣a.圖譜構(gòu)建Q輸入關(guān)鍵詞，或直接提問輸入關(guān)鍵詞，或直接提問/irc/task/deta【Source/irc/task/deta【Source端信息】任務(wù)信息ee推薦調(diào)優(yōu)66-下游應(yīng)用(UData2.推薦調(diào)優(yōu)-豐富調(diào)優(yōu)策略-自動(dòng)調(diào)優(yōu)(VPA/HPA)CelebornFlink集成最新進(jìn)展馮明瀟ApacheCelebornPMC成員Celeborn架構(gòu)和技術(shù)細(xì)節(jié)Celeborn:使用最廣泛的知乎小紅書小紅書現(xiàn)狀optimizeditforPintere3.Task失敗數(shù)大幅降低提速90分鐘0Mapperl-SortPartition3 joinjoinwithinputs數(shù)據(jù)需要重新分布高連接，隨機(jī)10,單副本，本地盤依賴·存算分離 2021年開源2022年10月進(jìn)入Apache孵化器2024年4月23日成為TLPApacheHaoopMapPecducelsasofwareframewokforeaslywrtngaplcatoswhichproossvastamountsodate(muti-terabytedata-snodes)ofcommodityhardwspokHeartbeatShuffleReader/Writer__IMaoprer3smocne[ Reader數(shù)據(jù)去重復(fù)(Mapld,只讀成功Attempt數(shù)據(jù)多層存儲(chǔ) 多租戶 celeborn.quota.tenant.diskFilceleborn.client.push.buffer.initial.size.user.only:512k故障自愈和無感升級(jí)r 高可用 集群規(guī)模：2000+ 集群規(guī)模：2000+Worker 反壓WorkerWorkerWorkerTask1TasIO調(diào)度和預(yù)讀IO調(diào)度和預(yù)讀順序讀取&預(yù)先讀取_ 未來規(guī)劃 rCeleborn在B站的生產(chǎn)實(shí)踐 Worker1Worker...(WorkerClusterSparkAppplication(LoWorkerClusterWorker...Worker...1.Celeborn集群獨(dú)立部署，HDFS和YARN混部SLB方式對(duì)外 SLB方式對(duì)外提供服務(wù)(引擎?zhèn)扰渲肧ervice/SLB地址) 2.Celeborn集群分布·常熟集群： ·嘉定集群：Spark(低優(yōu)) 1.增加Replica數(shù)量r·擴(kuò)縮容能力規(guī)劃1.支持彈性擴(kuò)縮容ZFlink2024作業(yè)數(shù)量作業(yè)數(shù)量 圣日◎畫畫 首24118m4102412411824724142414mmm·Celeborn失敗作業(yè)明細(xì)·Celeborn集群Metrics·Celeborn應(yīng)用Metrics·業(yè)務(wù)側(cè)指標(biāo)2.metrics_WorkerCount_Value2.metric3.metrics_NettyMemory_value3.metrics_ShuffleFallbac4.metrics_DiskBuffer_value4.metrics_OpenStreamTime5.metrics_ReadBufferDispatcherRequestsLength_v5.metrics_FetchChunkTime2.OutOfDirectMemoryError8.metrics_Commi·Celeborn提示集群存在壓力，需要擴(kuò)容2.celeborn.metrics.extraLabels:<label1_kevalue>[,<label2_key>:<label2 m8布情勢(shì)時(shí)卡頓平均耗applicationr=localShufle卡頓1829.0050.59%=pushBase卡頓1508.0041.72%各類Shufle卡頓率變化趨勢(shì)0Last30da0006/0506/0806/1106/1406/1706/2006/2306/2606/2907/02 1.Celeborn缺乏觀測(cè)運(yùn)行狀態(tài)集群資源使用情況，同時(shí)缺乏作業(yè)細(xì)粒如何基于集群合理分配作業(yè)資源以及診斷治理作業(yè)是建設(shè)Celeborn為了提高Celeborn集群分配作業(yè)資源的掌控，收集運(yùn)行狀態(tài)監(jiān)控?fù)?jù)服務(wù)提供數(shù)據(jù)實(shí)時(shí)/歷史查詢數(shù)據(jù)應(yīng)用 接口提供Master接口提供MasterAPI收集監(jiān)控指標(biāo)數(shù)據(jù)匯報(bào)到指定KafkaAPI收集監(jiān)控指標(biāo)3.Kafka消息通過Flink流作業(yè)導(dǎo)入nk 寫入磁盤數(shù)據(jù)量寫入磁盤數(shù)據(jù)量92024-07-030550:2-2024-07-04重置高級(jí)搜索^application_1718700501490_846198_1application_1718700501490_846198_1application_1718700501490_846198_1application_1718700501490_846198_1application_1718700501490_846198_1application_171870050149application_1718700501490_846198_1application_1718700501490_846198_1application_1718700501490_846198_1applcation_1718700501490_846198_1共5214134條10條/頁(yè)v<123456…521414) 和2個(gè)Worker節(jié)點(diǎn)可用，并且每個(gè)Worker盤 ·Celeborn資源保障策略群利用率(約70%)4.DetermineTolerateNodeTaint·FlinkShuffle回退策略[CELEBORN-1700]Flinksupportsfallbacktovanilla況 可觀測(cè)性 ·集成大數(shù)據(jù)管理平臺(tái)BMR故障自愈 卡頓耦王龍強(qiáng)|用友暢捷通數(shù)據(jù)架構(gòu)師成立于2010年3月，是用友旗下成員企業(yè)，是中國(guó)領(lǐng)先的小微企業(yè)財(cái)稅及業(yè)務(wù)云服務(wù)提供商。暢捷通致力于用技術(shù)和創(chuàng)想，推動(dòng)小微企業(yè)經(jīng)營(yíng)管理進(jìn)步!云服務(wù)：數(shù)智財(cái)稅和數(shù)智商業(yè)數(shù)智商業(yè)板塊突破，推出好生意，數(shù)智財(cái)稅板塊突破，推出好會(huì)計(jì)，易代賬形成暢捷通云服務(wù)平臺(tái)，數(shù)智商業(yè)板塊突破，推出好生意，數(shù)智財(cái)稅板塊突破，推出好會(huì)計(jì)，易代賬部署和投入研發(fā)、轉(zhuǎn)部署和投入研發(fā)、轉(zhuǎn)型SaaS服務(wù)轉(zhuǎn)型企業(yè)轉(zhuǎn)型企業(yè)3務(wù)商■OLTP業(yè)務(wù)庫(kù)新增了一些■OLTP業(yè)務(wù)庫(kù)新增了一些慢查詢，降低業(yè)務(wù)庫(kù)的整體性能；部分報(bào)表查詢耗時(shí)長(zhǎng)，分庫(kù)、索引等手段也無法明顯提升查詢效率；來越少；多種多樣的實(shí)時(shí)數(shù)據(jù)訴求，不僅局限于mysql、polardb,還包括pg、■數(shù)據(jù)延遲挑戰(zhàn)；■業(yè)務(wù)的頻繁上線，ddl變化頻繁，鏈路穩(wěn)定性需要進(jìn)一步提升；■源端、目標(biāo)端兩端數(shù)據(jù)結(jié)缺少監(jiān)控手段，問題定位時(shí)間長(zhǎng)；時(shí)間長(zhǎng)；6000+6000+多數(shù)據(jù)源5大產(chǎn)品線任務(wù)數(shù)數(shù)據(jù)量多數(shù)據(jù)源5大產(chǎn)品線任務(wù)數(shù)實(shí)時(shí)數(shù)據(jù)流發(fā)展歷程2.Lambda架構(gòu)；3.實(shí)時(shí)ETL操作，支持ETL工作(寬表多流join)5.手動(dòng)映射表字段繁瑣易6.多表操作，數(shù)據(jù)庫(kù)源端壓力大2.2.4.不能實(shí)時(shí)4.不能實(shí)時(shí)ETL,目前只FlinkCDC3.0數(shù)據(jù)攝入1.維護(hù)簡(jiǎn)單，同步簡(jiǎn)單；作(比如過濾、字段映明細(xì)數(shù)據(jù)加工實(shí)時(shí)實(shí)時(shí)鏈路監(jiān)控結(jié)構(gòu)一致數(shù)據(jù)延遲匯總數(shù)據(jù)加工應(yīng)用數(shù)據(jù)加工實(shí)時(shí)數(shù)倉(cāng)實(shí)時(shí)數(shù)倉(cāng)數(shù)據(jù)一致智能補(bǔ)貨會(huì)員分群智能補(bǔ)貨會(huì)員分群熱銷商品客戶運(yùn)營(yíng)貨位管理數(shù)據(jù)應(yīng)用指標(biāo)特征標(biāo)簽數(shù)據(jù)應(yīng)用異常報(bào)警有數(shù)據(jù)、數(shù)據(jù)準(zhǔn)、數(shù)據(jù)全、數(shù)據(jù)可視化、業(yè)務(wù)可監(jiān)控、可報(bào)警1.如何快速的發(fā)現(xiàn)數(shù)據(jù)延遲?2.如何解決數(shù)據(jù)延遲?1.鏈路恢復(fù)后，涉及的問題表數(shù)據(jù)差異性校驗(yàn)；1.如何快速發(fā)現(xiàn)鏈路出問題，重啟?2.常見的鏈路問題，以及對(duì)應(yīng)的解決方案?1.當(dāng)前添加表流程稍微復(fù)雜，需要簡(jiǎn)化添加表同步流程；2.腳本上線無法自動(dòng)化，導(dǎo)致上線腳本執(zhí)行不完整；致兩端結(jié)構(gòu)不一致；1.可視化展現(xiàn)界面，獲取鏈路整體同步情況；2.不同鏈路，不同項(xiàng)目同步的表不一致，如何避免同步表丟失?數(shù)據(jù)延遲+鏈路重啟如何及時(shí)的發(fā)現(xiàn)數(shù)據(jù)延遲+鏈路重啟?云監(jiān)控/報(bào)警規(guī)則定時(shí)探活，延遲、重啟告警；定時(shí)探活，延遲、重啟告警；sync-1008部署作業(yè)最大延遲>600,當(dāng)前值自建報(bào)警規(guī)則自建報(bào)警規(guī)則云監(jiān)控告警配置；告警名稱/wrkspaces/null/namespaces/hdefault/operations/stream/9c0e1802478f-9fc1-6e41293fe31d/charts詳情鏈接屏蔽此類告警包含1條事件12天前hsy-inte-datawarehouse-延遲a0分鐘運(yùn)行中[默認(rèn)]hsy-prad-路rehouse-后-缸知共2條<上一頁(yè)下一頁(yè)>試試(報(bào)警回調(diào)●認(rèn)領(lǐng)告警關(guān)閉告警屏蔽告警編輯卡片樣式報(bào)警信息不夠精準(zhǔn)報(bào)警信息過多重要報(bào)警信息過少，無法及時(shí)反應(yīng)任務(wù)的運(yùn)行狀況，導(dǎo)致數(shù)據(jù)同步出現(xiàn)問題；重要報(bào)警信息過少，無法及時(shí)反應(yīng)任務(wù)的運(yùn)行狀況，導(dǎo)致數(shù)據(jù)同步出現(xiàn)問題；·經(jīng)過一年多的聯(lián)調(diào)測(cè)試，報(bào)警信息不夠精準(zhǔn)·面對(duì)“狼來了”的報(bào)警過多場(chǎng)景，結(jié)合公司現(xiàn)有告警服務(wù)，形成了獨(dú)有的一套響應(yīng)后回調(diào)更改事件狀態(tài)開始出現(xiàn)告警事件否是查詢未響應(yīng)告警事件查詢響應(yīng)/未解決告警事件1.電話進(jìn)行通知；3.主管通知；4.緊急聯(lián)系人通知結(jié)束 JZa24數(shù)據(jù)延遲+鏈路重啟調(diào)整sql語(yǔ)句或者調(diào)整作業(yè)參數(shù)，比如SQL優(yōu)化技巧、開啟minibatch等；保留現(xiàn)場(chǎng)；快速止損；快速止損；重建鏈路；另起一條同步鏈路從最新位點(diǎn)進(jìn)行同重建鏈路；錯(cuò)誤日志源端數(shù)據(jù)庫(kù)讀取問題；錯(cuò)誤日志源端數(shù)據(jù)庫(kù)讀取問題；手動(dòng)增加資源目標(biāo)端數(shù)據(jù)庫(kù)寫入問題；自動(dòng)調(diào)優(yōu)定時(shí)調(diào)優(yōu)模式+智能調(diào)優(yōu)模式原因1 原因2 polardb->starrocks,多對(duì)一同步); ·1.獲取同步信息，通過flinkapi拉取所有job原因1 解決方案·具體業(yè)務(wù)場(chǎng)景的數(shù)據(jù)差異恢復(fù)(加盟連鎖、智能補(bǔ)貨);原因2 解決方案1.全量數(shù)據(jù)同步(數(shù)據(jù)量差距大);2.差異數(shù)據(jù)恢復(fù)(數(shù)據(jù)量差距小、盡量縮小到某一范圍);差異數(shù)據(jù)恢復(fù)流程圖文件輸出線程初始化數(shù)據(jù)條數(shù)閾值 方式；Foirward流程自動(dòng)化開始開始數(shù)據(jù)表選擇(源、目標(biāo))作業(yè)啟動(dòng)作業(yè)啟動(dòng)結(jié)束資產(chǎn)盤點(diǎn)的必要性： 成功e.epo項(xiàng)目的表與同步鏈路的表對(duì)比oharotwerodiemedtcrg-oharotwerodiemedtcrg-.物化視圖刷新結(jié)果⊙tspod_wdmgLecom■punupred_wdmprofc錯(cuò)誤gg同步鏈路表結(jié)構(gòu)對(duì)比未來展望-鏈路穩(wěn)定性建設(shè)·由于一些業(yè)務(wù)與歷史原因mc為主的離線數(shù)倉(cāng)還會(huì)在我們公司存在一段時(shí)間，所以這塊后續(xù)也要對(duì)其穩(wěn)定性建設(shè)進(jìn)行進(jìn)一步的完善與規(guī)劃； ·比如支持?jǐn)?shù)據(jù)攝入任務(wù)的流程自動(dòng)化，以及進(jìn)一步的簡(jiǎn)化flnksql、flinkcdas的同步操作；·如不同鏈路的重復(fù)表同步問題、數(shù)據(jù)量的變化趨勢(shì)、任務(wù)告警大盤分析圖等；實(shí)時(shí)大屏人人xx貨位管理貨位管理商品搜索湖倉(cāng)一體o數(shù)據(jù)驅(qū)動(dòng)，智能運(yùn)營(yíng)搜配云搜配云搜配云以“讓汽配交易更精準(zhǔn)”為使命，專注于汽車后市場(chǎng)，為汽配商提供全方位智能化服務(wù)。通過打造龐大的配件數(shù)據(jù)庫(kù)和高效的信息化系統(tǒng)能力，用全新的數(shù)據(jù)智能算法系統(tǒng)幫助傳統(tǒng)氣配產(chǎn)業(yè)進(jìn)行互聯(lián)網(wǎng)化升級(jí)，致力于推動(dòng)中國(guó)汽車后市場(chǎng)的標(biāo)準(zhǔn)化、在線化、數(shù)字化、智能化發(fā)Flink實(shí)時(shí)任務(wù)500+Flink實(shí)時(shí)任務(wù)500+數(shù)倉(cāng)應(yīng)用數(shù)倉(cāng)應(yīng)用埋點(diǎn)資源消耗較高資源消耗較高層面架構(gòu)層面架構(gòu)層面要熟悉多種技術(shù)才能駕馭占用過多存儲(chǔ)資源應(yīng)用原始數(shù)據(jù)系統(tǒng)ODS貼源層DWS聚合層應(yīng)用原始數(shù)據(jù)系統(tǒng)ODS貼源層DWS聚合層靜態(tài)數(shù)據(jù)造成資源緊張狀況數(shù)據(jù)計(jì)算邏輯統(tǒng)一，路徑統(tǒng)一，減少因批流計(jì)算路徑不統(tǒng)一導(dǎo)致額外添加數(shù)據(jù)驗(yàn)證工作為問題排查帶來極大方便DorisDDorisDtrace_id了526b0049-fbce-4312-badd-f9df36f2be-50e5-4a41-a166-acDLog_time了DLog_date了2024-04-0214:04:37.2912024-04-0214:04:37.75932024-04-0214:04:37.572024-04-0214:04:37.773Dinky是一個(gè)開箱即用的一站式實(shí)時(shí)計(jì)算平臺(tái)，以ApacheFlink為基礎(chǔ)，連接數(shù)據(jù)湖倉(cāng)等眾多框架，致力于流批一體和湖倉(cāng)一體的建設(shè)與實(shí)踐。為一句SQL,變革了3.萬物皆3.萬物皆SQL,Flink,資源調(diào)度生態(tài)應(yīng)用任務(wù)運(yùn)維數(shù)據(jù)開發(fā)權(quán)限功能多租戶用戶角色SQL生成checpelntrtantonTATLLcDinky提供一個(gè)輕量級(jí)的IDE式開發(fā)環(huán)境，提供一站式開發(fā)能力，從語(yǔ)句編寫、調(diào)試、提交到監(jiān)控、發(fā)布、絲滑流暢，解決sql作業(yè)文件多，管理困難，編寫困難等問題，還支持智能代碼提示，Env參O開間時(shí)418340214毫炒·分庫(kù)分表業(yè)務(wù)存在不規(guī)范，規(guī)則不統(tǒng)一情況·數(shù)據(jù)變化，表新增與刪除，下游需要同步更新·業(yè)務(wù)改變，表結(jié)構(gòu)改變·數(shù)據(jù)更新囚數(shù)據(jù)開發(fā)團(tuán)運(yùn)維中心部注冊(cè)中心回認(rèn)證中心配置中心看板18set's3.path.styl-ADDCUSTOMJAR'rs:/lib/flink-cdc-dist-3.221tables:'v2_sPp_c_date.t_std_tree_c_date_[022v2_sp_part_category.\2