DataWorks企業(yè)級核心場景解決方案

1、DataWorks企業(yè)級核心場景解決方案技術(shù)創(chuàng)新，變革未來目錄場景 & 痛點DataWorks任務調(diào)度原理獨享資源帶來的價值購買方案注意事項DEMO對于數(shù)據(jù)產(chǎn)出的企業(yè)級要求準時高效低成本場景與痛點任務無法準時調(diào)起、任務無法按時完成！DataWorks 任務調(diào)度機制DataWorks以兩層計算資源，按照用戶預期（依賴關(guān)系、定時時間）運行任務。2月13日 02:00DataWorks調(diào)度管控GateWay_1GateWay_3GateWay_4下發(fā)節(jié)點：下發(fā)業(yè)務代碼（SQL/MR/SHELL/Di腳本）MaxComputeEMR引擎：執(zhí)行代碼計算類任務同步節(jié)點：啟動同步線程，同步數(shù)據(jù)GateWay

2、_1GateWay_2GateWay_4同步類任務計算類任務 同步類任務消耗資源對象消耗資源對象GateWay_2正確的時間 正確的代碼正確的引擎默認資源組所帶來的問題共享資源無法支撐用戶要求的并發(fā)量。2月13日 02:00DataWorks調(diào)度管控GateWay_4下發(fā)節(jié)點：下發(fā)業(yè)務代碼（SQL/MR/SHELL/Di腳本）GateWay_1GateWay_2GateWay_3MaxComputeEMR引擎：執(zhí)行代碼計算類任務同步節(jié)點：啟動同步線程，同步數(shù)據(jù)GateWay_1GateWay_2GateWay_4計算類任務 同步類任務消耗資源對象消耗資源對象共享資源池同步類任務共享資源池無法消

3、化代碼（排隊，等待GateWay）無法支撐大量同步任務（排隊，同步速度為0）獨享資源組所帶來的價值滿足企業(yè)級高并發(fā)場景要求。2月13日 02:00DataWorks調(diào)度管控GateWay_4下發(fā)節(jié)點：下發(fā)業(yè)務代碼（SQL/MR/SHELL/Di腳本）GateWay_1GateWay_2GateWay_3MaxComputeEMR引擎：執(zhí)行代碼計算類任務同步節(jié)點：啟動同步線程，同步數(shù)據(jù)GateWay_1GateWay_2GateWay_4同步類任務計算類任務 同步類任務共享資源池共享資源池GateWay_4下發(fā)節(jié)點：下發(fā)業(yè)務代碼（SQL/MR/SHELL/Di腳本）GateWay_1GateWa

4、y_2GateWay_3獨享資源同步節(jié)點：啟動同步線程，同步數(shù)據(jù)GateWay_1GateWay_2GateWay_4獨享資源池消耗資源對象用戶獨享，支持擴容消耗資源對象用戶獨享，支持擴容同時運行的DataWorks實例數(shù)同時運行的 同步線程數(shù)獨享資源組所帶來的價值降低成本。不確定（通常情況較低）可同時支撐運 行的任務數(shù)029.718004500810018000費用（元/月）公共調(diào)度資源組（共享資源池）獨享調(diào)度資源組（獨享資源）9851477.5197029553940費用（元/月）492.5可同時支撐運 行的任務數(shù)1632128966448購買建議在每日調(diào)度實例500時，多數(shù)情況下獨享資源

5、比共享資源池更省錢，建議根據(jù)價格計算器按實際情況購買獨享調(diào)度資源。購買建議某些情況下，使用獨享資源組“巨劃算”，可考慮購買特定少量獨享調(diào)度資源替換公共資源組。產(chǎn)出時間越寬裕越?。蝗蝿掌骄\行時間越短越??；并發(fā)要求越底越省； PS.與任務總量無直接關(guān)系?？上荣徺I較少數(shù)量的資源，先承載上游核心調(diào)度任務，后期不夠可擴容。注意事項VPCRDS獨享資源組VswitchVswitch打通路由VPCVswitch選擇正確的Region。建議購買2臺及其以上資源組，以便實現(xiàn)高可用。測試后再上線任務。獨享數(shù)據(jù)集成資源組相關(guān)注意事項。需與數(shù)據(jù)源綁定在同一個VPC交換機（vswitch）下，綁定后也僅支持訪問該交換機下的數(shù)據(jù)源。暫不支持經(jīng)典網(wǎng)絡數(shù)據(jù)同步。如數(shù)據(jù)源跨vswitch，則需提交工單打通路由。如數(shù)據(jù)源跨VPC，則用戶先自行打通高