FFA2023平臺(tái)建設(shè)專場資料匯總

?100+核心能力?10+Flink生態(tài)項(xiàng)目?100+核心能力?10+Flink生態(tài)項(xiàng)目??????????????????????????30+FlinkCommitters搜索推薦數(shù)據(jù)中臺(tái)流批一體數(shù)倉任務(wù)規(guī)模搜索推薦數(shù)據(jù)中臺(tái)流批一體數(shù)倉任務(wù)規(guī)模計(jì)算資源在線機(jī)器學(xué)習(xí)計(jì)算能力峰值69億記錄/秒 業(yè)務(wù)實(shí)時(shí)化變革的根本基礎(chǔ)數(shù)據(jù)處理連續(xù)性盡可能讓業(yè)務(wù)長時(shí)業(yè)務(wù)實(shí)時(shí)化變革的根本基礎(chǔ)數(shù)據(jù)處理連續(xù)性盡可能讓業(yè)務(wù)長時(shí)間實(shí)時(shí)在線，將實(shí)時(shí)數(shù)據(jù)處理帶入更廣闊空間將離線數(shù)據(jù)處理和實(shí)時(shí)數(shù)據(jù)處理有機(jī)數(shù)據(jù)無障礙流動(dòng)打破數(shù)據(jù)孤島，上下游全面實(shí)時(shí)化，化簡流動(dòng)中的架構(gòu)考慮和業(yè)務(wù)變化處理了解數(shù)據(jù)含義與相互之間的關(guān)系，了解業(yè)務(wù)處理進(jìn)度，獲得洞察技術(shù)民主化讓每個(gè)人都可以參與實(shí)技術(shù)民主化讓每個(gè)人都可以參與實(shí)時(shí)數(shù)據(jù)分析與處理 率/nexmark/nexmark?Kafka?Starrocks?ApachePaimon?IapacheIceberg?支持通過Catalog來實(shí)現(xiàn)元數(shù)據(jù)的自動(dòng)發(fā)現(xiàn)和管理，?配合CTAS語法，實(shí)現(xiàn)數(shù)據(jù)的同步和表結(jié)構(gòu)變更自動(dòng)同步。?支持讀取數(shù)據(jù)變更和表結(jié)構(gòu)變更并同步到下游，數(shù)據(jù)和表結(jié)構(gòu)變更都可以保證順序。ASTABLEmysql.`user_db[0-9]+`.`user[0-9]+`;ee.0業(yè)0 無斷流降低開銷阿里云Flink基于單點(diǎn)重啟機(jī)制的快速恢復(fù)能力：32代碼開發(fā)完全一套代碼，核心作業(yè)配置132代碼開發(fā)完全一套代碼，核心作業(yè)配置13作業(yè)調(diào)度4作業(yè)運(yùn)行視化編輯器完善的錯(cuò)誤提示03支持SQL數(shù)據(jù)探理和文件夾組織支持Catalog管理表信息版，快速上手項(xiàng)分析），(作業(yè)吞吐低，延遲高過低配置資源利用率低)(啟動(dòng)速度慢(作業(yè)吞吐低，延遲高過低配置資源利用率低)(啟動(dòng)速度慢過高配置進(jìn)行scaledownscaleup內(nèi)存的調(diào)優(yōu)策略主要是根據(jù)作業(yè)內(nèi)存實(shí)際利用率，以及GC的metric來動(dòng)態(tài)調(diào)整tm的內(nèi)存?09：00~19：00是業(yè)務(wù)高峰，期間使用30并發(fā)度。?19：00到次日09：00是業(yè)務(wù)低谷，期間使用10并發(fā)度。狀態(tài)兼容性檢查基于狀態(tài)遷移的兼容性提升狀態(tài)集列表的展示與監(jiān)控作業(yè)啟動(dòng)的狀態(tài)恢復(fù)、開源Flink遷移上云的狀態(tài)復(fù)用，作業(yè)間的狀態(tài)復(fù)用、本地狀態(tài)的快速恢復(fù)（未來）狀態(tài)中間數(shù)據(jù)查詢與修改、基于狀態(tài)的作業(yè)分析狀態(tài)定時(shí)或手動(dòng)生成與清理ACBDACBD作業(yè)告警-Flink控制臺(tái)作業(yè)的數(shù)據(jù)曲線大盤BatchBatchStreamStream88Databaseprestopresto88left_streamright_streamleft_streamright_streamstateOperatorstateLogicalPlanPhysicalPlanExecPlanTransformationleft_streamright_streamleft_streamright_streamstateOperatorstateLogicalPlanPhysicalPlanExecPlanTransformation右流有長周期state保存需求（18d）loadloadSource(1/3)->Calc(1/3)->DimJoin(1/3)Source(2/3)->Calc(2/3)->DimJoin(2/3)Source(3/3)->Calc(3/3)->DimJoin(3/3)CacheCache(1/3)CacheCache(2/3)CacheCache(3/3)TableCache(1/3)TableCache(1/3)TableSource(1/3)->Calc(1/3)Source(2/3)->Calc(2/3)Source(3/3)->Calc(3/3)111144222333CacheCache(2/3) Cache(3/3)TableTableSource(1/3)->Calc(1/3)Source(2/3)->Calc(2/3)Source(3/3)->Calc(3/3)數(shù)據(jù)熱點(diǎn)111111142223CacheCache(1/3)CacheCache(2/3)CacheCache(3/3)Source(1/3)->Calc(1/3)Source(2/3)->Calc(2/3)Source(3/3)->Calc(3/3)111412321112CacheCache(1/3)CacheCache(2/3)CacheCache(3/3)TableAABB+I[a0,a1,b0,b1]-U[a0,a1,b0,b1]-U[b0,b1]+I[a0,a1,null,null]-D[a0,a1,null,null]+I[a0,a1,null,null]-D[a0,a1,null,null]table.exec.stream.join.mini-batch-enabledtable.exec.mini-batch.allow-latencytable.exec.stream.join.mini-batch-enabledtable.exec.mini-batch.allow-latencyAABB-U[b0,b1]-U[b0,b1]消息折疊-U[b0,b1]+I[a0,a1,b0,b1]-U[a0,a1,b0,b1]CACBACACBABSink(table=[default_catalog.default_database.report],fields=[EXPR$0,+-TableSourceScan(table=[[default_catalog,default_database,advice[1]:[ADVICE]Theexpression`CONCAT(_UTF-16LE'2023_WINTER:',voucher_code)`computedoninputupsertkey`voucher_code`lostuniqueness.Pleaserefertothedocumentationformoredetails. 構(gòu)建流批一體開發(fā)運(yùn)行范式和用戶體驗(yàn)統(tǒng)一數(shù)據(jù)流批場景存儲(chǔ)構(gòu)建流式湖倉數(shù)據(jù)治理體系A(chǔ)I輔助FlinkSQL開發(fā)基于大語言模型提升智能診斷構(gòu)建流批一體開發(fā)運(yùn)行范式和用戶體驗(yàn)統(tǒng)一數(shù)據(jù)流批場景存儲(chǔ)構(gòu)建流式湖倉數(shù)據(jù)治理體系A(chǔ)I輔助FlinkSQL開發(fā)基于大語言模型提升智能診斷探索實(shí)時(shí)情感分析、輿情研判等場景王柳焮|阿里云智能集團(tuán)瓴羊技術(shù)專家 ……………數(shù)倉建模金融風(fēng)控特征計(jì)算湖倉一體數(shù)倉建模金融風(fēng)控特征計(jì)算湖倉一體實(shí)時(shí)任務(wù)數(shù)流批一體任務(wù)數(shù)實(shí)時(shí)任務(wù)數(shù)流批一體任務(wù)數(shù)流批一體流批一體ApacheFlinkYarn全托管ApacheFlinkYarn全托管私有云…………CatalogCatalog……PhysicaltablePhysicaltableAliyunAliyunFlinkKubernetesKubernetes公共云公共云管采管采用……新增列修改列類型重命名列121212varchar刪除表新增表重命名表12新增列修改列類型重命名列121212varchar刪除表新增表重命名表1212 刪除列刪除列12清空表清空表正常處理：Flink會(huì)將此DDL消息將會(huì)繼續(xù)下發(fā)給目標(biāo)數(shù)據(jù)源，由目標(biāo)數(shù)據(jù)源來識(shí)別處理?支持寫入目標(biāo)庫已有表或自動(dòng)建表。?支持配置表名轉(zhuǎn)換規(guī)則以及目標(biāo)表名前后綴。?通過完成、告警、失敗等不同的映射狀態(tài)，可關(guān)注并處理每一張來源表到目標(biāo)表到映射狀態(tài)。?自動(dòng)在目標(biāo)表添加變更記錄的描述字段，包括變更發(fā)生時(shí)間、操作類型等，以便業(yè)務(wù)識(shí)別與使用。?支持手動(dòng)添加全局字段。StreamconnectorBatchconnectorComputeSourceCatalogStreamconnectorBatchconnectorComputeSourceCatalog>離線物理表是否可以直接引用，并與實(shí)時(shí)PhysicaltablePhysicaltable CatalogDataSource……pay_amttotal_feestat_date…………pay_amttotal_feestat_date……Sourcestream_metastatstat_datetotaltotal_fee………………?打通Stream&Batch一體，開發(fā)人員只需維護(hù)同一套代碼?打通Stream&Batch一體，開發(fā)人員只需維護(hù)同一套代碼，即可同時(shí)處理流計(jì)算與?解決業(yè)務(wù)口徑不對齊帶來的數(shù)據(jù)質(zhì)量風(fēng)險(xiǎn)，省去繁雜的需求和接口對焦等人力&時(shí)間成本存儲(chǔ)業(yè)務(wù)層面業(yè)務(wù)層面?開發(fā)人員在Flink流和批任務(wù)兩個(gè)作業(yè)間來回切換，開發(fā)體驗(yàn)割裂，容易出現(xiàn)變更遺漏?數(shù)據(jù)一致性和質(zhì)量難以保障?流批存儲(chǔ)系統(tǒng)隔離（面向不同寫入場景），提供的數(shù)據(jù)服務(wù)不一致，維護(hù)成本高Flink-1.15Flink-1.14Flink-1.13……AliyunFlinkFlink-1.15Flink-1.14Flink-1.13……AliyunFlinkVvr-8.0.1-flink-1.17 Vvr-6.0.7-flink-1.15 ……Vvr-4.0.18-flink-1.13全托管全托管KubernetesKubernetestaskmanager、jobfailove文件存儲(chǔ) …………計(jì)算任務(wù)只負(fù)責(zé)導(dǎo)入明細(xì)數(shù)據(jù)到視圖中，聚合邏輯全部放在服務(wù)任務(wù)中實(shí)時(shí)事件表實(shí)時(shí)事件表Hbase表針對熱點(diǎn)數(shù)據(jù)的特征加工，基礎(chǔ)特征的明細(xì)方案無法滿足大數(shù)分維度/mi//分維度天流批事件表Hbase表Hbase表實(shí)時(shí)事件表可支撐數(shù)據(jù)量可支撐數(shù)據(jù)量特征開發(fā)的靈活性特征快上的能力運(yùn)維成本計(jì)算/資源成本預(yù)計(jì)算方案大中快大中全計(jì)算方案大大中大大出。每5s觸發(fā)過去24小時(shí)的滑動(dòng)窗口計(jì)算任一賣家累計(jì)銷售金額。通過回拉3天點(diǎn)位進(jìn)行高性能測試。出。每5s觸發(fā)過去24小時(shí)的滑動(dòng)窗口計(jì)算任一賣家累計(jì)銷售金額。通過回拉3天點(diǎn)位進(jìn)行高性能測試。?自定義狀態(tài)算子相較于官方窗口?更快的數(shù)據(jù)回追能力?更優(yōu)的作業(yè)穩(wěn)定性?更好的checkpoint成功率3天數(shù)據(jù)回追時(shí)長……T-1T-1TTT………T-1T-1TTT…數(shù)據(jù)源…………數(shù)據(jù)同步湖倉體系數(shù)據(jù)應(yīng)用AdAd-hoc資產(chǎn)中心（統(tǒng)一元數(shù)據(jù)）資產(chǎn)中心（統(tǒng)一元數(shù)據(jù)）跨源支持?jǐn)?shù)據(jù)在湖與倉之間流通，可以輕松匯集和保存海量業(yè)務(wù)數(shù)據(jù)基于Flink與DataX架構(gòu)的數(shù)據(jù)流通體系再方便的入湖工具，歷史數(shù)據(jù)都有遷移成本！增量數(shù)據(jù)入湖，歷史數(shù)據(jù)不遷移，提供統(tǒng)一引擎服務(wù)智能識(shí)別分區(qū)湖倉一體場景深化落地全鏈路SQL調(diào)試智能診斷湖倉一體場景深化落地全鏈路SQL調(diào)試智能診斷全域元數(shù)據(jù)中心前往官網(wǎng)了解更多前往官網(wǎng)了解更多ApacheFlinkContributor 能不能幫我導(dǎo)一份一樣的到測試環(huán)境？很簡單的！我要提這個(gè)數(shù)，做個(gè)統(tǒng)計(jì)，幫我寫一個(gè)作業(yè)數(shù)據(jù)遷移實(shí)時(shí)風(fēng)控會(huì)話串聯(lián)分析數(shù)據(jù)按維度做聚合動(dòng)態(tài)復(fù)雜規(guī)則ETL數(shù)據(jù)探索專用領(lǐng)域內(nèi)特殊優(yōu)化的流數(shù)據(jù)遷移實(shí)時(shí)風(fēng)控會(huì)話串聯(lián)分析數(shù)據(jù)按維度做聚合動(dòng)態(tài)復(fù)雜規(guī)則ETL數(shù)據(jù)探索專用領(lǐng)域內(nèi)特殊優(yōu)化的流此處的“專業(yè)”與“非專業(yè)”，實(shí)際上指的是一個(gè)平臺(tái)用戶在遇到數(shù)據(jù)需求時(shí)，是否需要關(guān)注和學(xué)習(xí)Flink開發(fā)知識(shí)?！澳芘艿木托?。”“你幫我看一下?！比缓髮?dǎo)到那個(gè)地方”…………始終保持主要業(yè)務(wù)運(yùn)行在新的正式版本上……JobTemplateparserTransformnEngine(Fink)DAGAssembler JobTemplateJobTemplateparser Engine(Fink)DAG Engine(Fink)DAGAssembler JobTemplateparser Engine(Fink)DAGAssembler flink-connectorflink-connector-elasticsearch7flink-connector-elasticsearch8.asJsonString()轉(zhuǎn)化為JSON字符串.asMap()2.asJsonString()轉(zhuǎn)化為JSON字符串.asMap()2轉(zhuǎn)化為Map<String,Object>對象436.getMetadata()獲取數(shù)據(jù)所攜帶的元數(shù)據(jù)信息.getTimestamp()11.toRow().isFinalEvent()是否為數(shù)據(jù)流中的最后一筆轉(zhuǎn)化為Flink.toRow().isFinalEvent()是否為數(shù)據(jù)流中的最后一筆支持聯(lián)動(dòng)到FlinkSQL55獲取業(yè)務(wù)時(shí)間大部分的成熟業(yè)務(wù)的Flink作業(yè)，其實(shí)都是配置+半固定拓?fù)涠鴇escriptor+全靈活拓?fù)鋭t可以支撐專業(yè)使用，并為非專業(yè)使用做好基底但在專業(yè)用戶角度上，處理大量非結(jié)構(gòu)化、異構(gòu)數(shù)據(jù)時(shí)，用SQL往往難以表達(dá)。從ES集群A讀數(shù)據(jù)過濾出測試環(huán)境從ES集群A讀數(shù)據(jù)從ES集群A讀數(shù)據(jù)過濾出測試環(huán)境從ES集群A讀數(shù)據(jù)過濾出正式環(huán)境從從ES集群B讀數(shù)據(jù)過濾出測試環(huán)境從從ES集群A讀數(shù)據(jù)輸出到日志觀察容易實(shí)現(xiàn)向?qū)阶鳂I(yè)構(gòu)造2018上2018下2019上2019下2020上2020下2021上2021下2022上2022下2023上2018上2018下2019上2019下2020上2020下2021上2021下2022上2022下2023上2018上2018下2019上2019下2020上2020下2021上2021下2022上2022下2023上2018上2018下2019上2019下2020上2020下2021上2021下2022上2022下2023上讓每一個(gè)實(shí)時(shí)作業(yè)都基于相同的配置語義人力/代碼讓每一個(gè)實(shí)時(shí)作業(yè)都基于相同的配置語義人力/代碼相同語義地理解計(jì)算任務(wù)0SDK通?UDF數(shù)SDK通?連接器數(shù)0-作業(yè)數(shù)2018上2018下2019上2019下2020上2020下2021上2021下2022上2022下2023上2018上2018下2019上2019下2020上2020下2021上2021下2022上2022下2023上2018上2018下2019上2019下2020上2020下2021上2021下2022上2022下2023上2018上2018下2019上2019下2020上2020下2021上2021下2022上2022下2023上86420))0-作業(yè)數(shù)K8sBenthosBootstrapKubernetesZooKeeperKubernetesZooKeeperJarRepositoryBusiness JarsJFlink-SDKBootstrapBootstrapNamespaces借由K8S進(jìn)行資源調(diào)配借由K8S進(jìn)行資源調(diào)配基于Prometheus的標(biāo)準(zhǔn)采集每個(gè)作業(yè)獨(dú)立命名空間借助K8S標(biāo)簽劃分機(jī)器通過伴生Filebeat采集同步官方Flink鏡像發(fā)版 “都有什么數(shù)據(jù)”……權(quán)限異構(gòu)數(shù)據(jù)源的客戶端差異遲滯的結(jié)構(gòu)變化信息口口相傳才能知道從何處提取數(shù)據(jù)，經(jīng)驗(yàn)局限……dynamicrule……dynamicrule……cataliasesregisterschemaschema元數(shù)據(jù)自動(dòng)發(fā)現(xiàn)Flink流loc:myhost:myport/dw/dwm_login_return_payschema:… 可自動(dòng)生成 翻譯為Flinkoperatortype:ElasticSearchloc:myhost:myport/jflink-alias/jflink-operator-schema:… 可自動(dòng)生成 翻譯為FlinkoperatorwebsocketwebsocketFlinkTail流websocketwebsocketFlinkTail流字段建?？捎糜谏蒄link流中流轉(zhuǎn)對象的Schema，按IO和處理邏輯過濾出參考典范可視化編排此典范，調(diào)整并派生為自己想要的新作業(yè)支持高頻度反復(fù)調(diào)試支持高頻度反復(fù)調(diào)試----------------->----------------->追加一個(gè)追加一個(gè)LocalSink捕獲輸出并回顯調(diào)度本地啟動(dòng)jarAliothAliothWebAliothT-SERVER(backend)StateMachineAutomatorWatchDogBootstrapManagerAliothAliothWebAliothT-SERVER(backend)StateMachineAutomatorWatchDogBootstrapManagerAliothAliothWebAliothT-SERVER(backend)StateMachineAutomatorWatchDogBootstrapManagerAliothAliothWebAliothT-SERVER(backend)StateMachineAutomatorWatchDogBootstrapManager列出候選資產(chǎn)拆解任務(wù)藍(lán)圖列出候選資產(chǎn)拆解任務(wù)藍(lán)圖分配數(shù)分人力確認(rèn)交付方式計(jì)算任務(wù)1 (Flink)計(jì)算任務(wù)1 (Flink) 資產(chǎn)發(fā)現(xiàn)流計(jì)算任務(wù)2計(jì)算任務(wù)2 (Flink)…………作業(yè)典范作業(yè)典范作業(yè)典范-……-……-……012:0015:0018:0021:0024:0003:0006:0009:000__________________________________________________________________________________12:0015:0018:0021:0024:0003:0006:0009:00?修改可縮容算子并行度?修改可縮容算子并行度?用新作業(yè)帶保存點(diǎn)啟動(dòng)?修改可擴(kuò)展算子并行度調(diào)整作業(yè)?用新作業(yè)帶保存點(diǎn)啟動(dòng)快速重啟快速重啟調(diào)整作業(yè)調(diào)整作業(yè)實(shí)現(xiàn)對各資源池適配的統(tǒng)一自適應(yīng)02100210432100拉起FlinkJAR拉起FlinkJAR----------------->調(diào)度提數(shù)任務(wù)----------------->苛刻的資源條件FaaSFaaS-……-……FaaSFaaS-……借助實(shí)時(shí)計(jì)算的事實(shí)標(biāo)準(zhǔn)Flink和它的生態(tài)我們在2023年完成了全量互娛計(jì)費(fèi)數(shù)據(jù)計(jì)算業(yè)務(wù)的Flink化大一統(tǒng)目標(biāo)實(shí)時(shí)支付風(fēng)控實(shí)時(shí)支付風(fēng)控用戶畫像服務(wù)全鏈路監(jiān)控用戶畫像Alioth平臺(tái)自身的全部數(shù)據(jù)需求TP-AP數(shù)據(jù)同步……支持可視化編排Tailanything屏蔽差異實(shí)時(shí)支持可視化編排Tailanything屏蔽差異實(shí)時(shí)Flink試跑數(shù)據(jù)探索監(jiān)控告警異常分析作業(yè)托管擴(kuò)縮容極限縮容需求與資產(chǎn)導(dǎo)向形成數(shù)據(jù)閉環(huán)支持各種資源場景K8S獨(dú)立Flink集群一站式作業(yè)一站式作業(yè)生命周期管理平臺(tái)陳子豪|小米軟件研發(fā)工程師ApacheFlinkContributor 數(shù)據(jù)源數(shù)據(jù)源終端設(shè)備服務(wù)端（容器/日志/Metric）物聯(lián)網(wǎng)（工廠/車輛/智能設(shè)備）數(shù)據(jù)庫數(shù)據(jù)采集數(shù)據(jù)采集終端采集服務(wù)端采集物聯(lián)網(wǎng)采集數(shù)據(jù)庫變更采集數(shù)據(jù)通道數(shù)據(jù)通道數(shù)據(jù)湖（Iceberg）離線計(jì)算（Spark）（Talos）資源調(diào)度（Yarn）計(jì)算引擎數(shù)據(jù)查詢數(shù)據(jù)查詢查詢引擎查詢加速數(shù)據(jù)搜索（ElasticSearch）監(jiān)控大屏失敗自動(dòng)重啟失敗積壓報(bào)警異常日志收集監(jiān)控大屏失敗自動(dòng)重啟失敗積壓報(bào)警異常日志收集異常智能分析QueueQueue……Cluster集群管理集群管理標(biāo)簽管理任務(wù)管理行為審計(jì)平臺(tái)語法檢測在線調(diào)試QueueQueueQueue……Cluster多數(shù)據(jù)源配置繁多多數(shù)據(jù)源配置繁多調(diào)試功能場景有限用戶隊(duì)列資源冗余用戶作業(yè)資源浪費(fèi)缺乏故障逃生能力缺乏高優(yōu)保障機(jī)制開發(fā)提效運(yùn)維提效開發(fā)提效運(yùn)維提效資源動(dòng)態(tài)調(diào)整優(yōu)化推薦異常自愈智能化運(yùn)維統(tǒng)一元數(shù)據(jù)智能診斷智能運(yùn)維統(tǒng)一權(quán)限數(shù)據(jù)血緣統(tǒng)一計(jì)算資源統(tǒng)一元數(shù)據(jù)智能診斷智能運(yùn)維統(tǒng)一權(quán)限數(shù)據(jù)血緣統(tǒng)一計(jì)算資源項(xiàng)目管理項(xiàng)目管理資源管理版本管理行為審計(jì)平臺(tái)數(shù)據(jù)集成數(shù)據(jù)集成異常感知與自愈異常感知與自愈TalosQTalosQ統(tǒng)一坐標(biāo)及服務(wù)「catalog.database.table」統(tǒng)一table視角，不同引擎視角下均是一張表屏蔽賬號(hào)密碼信息—Flink:簡單的流式入湖作業(yè)`iceberg_xxxx`.`tmp`.`table_mi``id`,`name`,`age``talos_xxxx`.`default`.`topic_mi`;—Presto:簡單的數(shù)據(jù)查詢SELECT*FROM`iceberg_xxxx`.`tmp`.`table_mi`; FlinkSpark IcebergIceberg(project,table)(select,insert)PhysicalPlanPhysicalPlanIcebergTableAPIRangerTalosTableAPIRangerTable鏈路節(jié)點(diǎn)異常，受影響節(jié)點(diǎn)會(huì)收到報(bào)警作業(yè)積壓數(shù)據(jù)產(chǎn)出受影響下游受影響節(jié)點(diǎn)鏈路節(jié)點(diǎn)異常，受影響節(jié)點(diǎn)會(huì)收到報(bào)警作業(yè)積壓數(shù)據(jù)產(chǎn)出受影響下游受影響節(jié)點(diǎn)空間作業(yè)空間作業(yè)空間作業(yè)空間作業(yè)空間作業(yè)空間作業(yè)空間作業(yè)空間作業(yè)空間作業(yè)空間作業(yè)空間作業(yè)空間作業(yè)空間作業(yè)空間作業(yè)空間作業(yè)空間作業(yè)stream_jobqueue?buffer資源可靈活使用?缺點(diǎn)：資源管理不可控，容易擴(kuò)容失敗空間作業(yè)空間作業(yè)空間作業(yè)空間作業(yè)空間作業(yè)空間作業(yè)空間作業(yè)可優(yōu)化空間作業(yè)空間作業(yè)空間作業(yè)空間作業(yè)可優(yōu)化集團(tuán)層面推進(jìn)降本增效降本進(jìn)入深水區(qū)，治理需要新的突破點(diǎn)業(yè)務(wù)邏輯開發(fā)優(yōu)化流量波動(dòng)資源浪費(fèi)資源優(yōu)化……用戶無法快速定位并解決問題高優(yōu)任務(wù)質(zhì)量要求高字段類型不匹配熱點(diǎn)機(jī)器依賴組件異常未申請權(quán)限業(yè)務(wù)問題集群問題……智能診斷智能診斷異常感知與自愈鏈路預(yù)警動(dòng)態(tài)資源，彈性伸縮數(shù)據(jù)驅(qū)動(dòng)技術(shù)支撐價(jià)值量化治理閉環(huán)價(jià)值量化智能優(yōu)化治理指標(biāo)核心指標(biāo)穩(wěn)定性指標(biāo)Yarn 畫像數(shù)據(jù)特性推廣特性推廣分級灰度優(yōu)化建議資源預(yù)估難，調(diào)優(yōu)門檻高無法匹配動(dòng)態(tài)流量，資源冗余浪費(fèi)彈性趨于穩(wěn)態(tài)，推薦調(diào)優(yōu)內(nèi)存、并發(fā)動(dòng)態(tài)調(diào)整，按需分配主動(dòng)式應(yīng)對負(fù)載突增，觸發(fā)擴(kuò)容資源預(yù)估難，調(diào)優(yōu)門檻高無法匹配動(dòng)態(tài)流量，資源冗余浪費(fèi)彈性趨于穩(wěn)態(tài)，推薦調(diào)優(yōu)內(nèi)存、并發(fā)動(dòng)態(tài)調(diào)整，按需分配主動(dòng)式應(yīng)對負(fù)載突增，觸發(fā)擴(kuò)容負(fù)載突增，需人工介入負(fù)載突增，需人工介入ResourceManager擴(kuò)/縮ContainerTaskManagerDynamicSchedulerManager……主動(dòng)探測指標(biāo)上報(bào)ResourceManager擴(kuò)/縮ContainerTaskManagerDynamicSchedulerManager……主動(dòng)探測指標(biāo)上報(bào)申請/釋放申請/釋放SlotTaskManagerTaskManager判定結(jié)果判定結(jié)果ContainerContainerX單機(jī)資源不足Container ResourceManager ContainerContainerX單機(jī)資源不足Container ResourceManager Container擴(kuò)容切換節(jié)點(diǎn) ContainerContainer主動(dòng)探測 穩(wěn)定性問題解決方案周期性觸發(fā)無法應(yīng)對負(fù)載突增，積壓情況壓情況短時(shí)間內(nèi)觸發(fā)多次彈性導(dǎo)致頻繁重啟，甚至觸發(fā)失敗策略.增加彈性冷凍間隔.攢批編排Container擴(kuò)/縮容.優(yōu)化重啟策略部分節(jié)點(diǎn)單機(jī)資源不足解決重復(fù)、簡單運(yùn)維問題，提高效率診斷結(jié)果指標(biāo)數(shù)據(jù)數(shù)據(jù)存儲(chǔ)沉淀了幾十種診斷規(guī)則線上異常診斷覆蓋率達(dá)80%數(shù)據(jù)開發(fā)全鏈路介入解決重復(fù)、簡單運(yùn)維問題，提高效率