2023學(xué)年完整公開(kāi)課版azkaban簡(jiǎn)介

Azkaban簡(jiǎn)介2知識(shí)目標(biāo)Azkaban簡(jiǎn)介Azkaban適用場(chǎng)景介紹Azkaban核心調(diào)度概述01能力目標(biāo)了解Azkaban的適用場(chǎng)景了解Azkaban的核心調(diào)度02學(xué)習(xí)目標(biāo)1目錄01Azkaban簡(jiǎn)介02Azkaban適用場(chǎng)景03Azkaban集群架構(gòu)04Azkaban核心調(diào)度概述Azkaban簡(jiǎn)介2Azkaban是由Linkedin公司推出的一個(gè)批量工作流任務(wù)調(diào)度器，主要用于在一個(gè)工作流內(nèi)以一個(gè)特定的順序運(yùn)行一組工作和流程，它的配置是通過(guò)簡(jiǎn)單的key:value對(duì)的方式，通過(guò)配置中的dependencies來(lái)設(shè)置依賴關(guān)系，這個(gè)依賴關(guān)系必須是無(wú)環(huán)的，否則會(huì)被視為無(wú)效的工作流。Azkaban使用job配置文件建立任務(wù)之間的依賴關(guān)系，并提供一個(gè)易于使用的web用戶界面維護(hù)和跟蹤你的工作流。在介紹Azkaban之前，我們先來(lái)看一下現(xiàn)有的兩個(gè)工作流任務(wù)調(diào)度系統(tǒng)。知名度比較高的應(yīng)該是ApacheOozie，但是其配置工作流的過(guò)程是編寫(xiě)大量的XML配置，而且代碼復(fù)雜度比較高，不易于二次開(kāi)發(fā)。另外一個(gè)應(yīng)用也比較廣泛的調(diào)度系統(tǒng)是Airflow，但是其開(kāi)發(fā)語(yǔ)言是Python。由于我們團(tuán)隊(duì)內(nèi)部使用Java作為主流開(kāi)發(fā)語(yǔ)言，所以選型的時(shí)候就被淘汰掉了。我們選擇Azkaban的原因基于以下幾點(diǎn)：提供功能清晰，簡(jiǎn)單易用的WebUI界面提供job配置文件快速建立任務(wù)和任務(wù)之間的依賴關(guān)系提供模塊化和可插拔的插件機(jī)制，原生支持command、Java、Hive、Pig、Hadoop基于Java開(kāi)發(fā)，代碼結(jié)構(gòu)清晰，易于二次開(kāi)發(fā)適用場(chǎng)景3實(shí)際項(xiàng)目中經(jīng)常有這些場(chǎng)景：每天有一個(gè)大任務(wù)，這個(gè)大任務(wù)可以分成A，B，C，D四個(gè)小任務(wù)，A，B任務(wù)之間沒(méi)有依賴關(guān)系，C任務(wù)依賴A，B任務(wù)的結(jié)果，D任務(wù)依賴C任務(wù)的結(jié)果。一般的做法是，開(kāi)兩個(gè)終端同時(shí)執(zhí)行A,B，兩個(gè)都執(zhí)行完了再執(zhí)行C，最后再執(zhí)行D。這樣的話，整個(gè)的執(zhí)行過(guò)程都需要人工參加，并且得盯著各任務(wù)的進(jìn)度。但是我們的很多任務(wù)都是在深更半夜執(zhí)行的，通過(guò)寫(xiě)腳本設(shè)置crontab執(zhí)行。其實(shí)，整個(gè)過(guò)程類似于一個(gè)有向無(wú)環(huán)圖（DAG）。每個(gè)子任務(wù)相當(dāng)于大任務(wù)中的一個(gè)流，任務(wù)的起點(diǎn)可以從沒(méi)有度的節(jié)點(diǎn)開(kāi)始執(zhí)行，任何沒(méi)有通路的節(jié)點(diǎn)之間可以同時(shí)執(zhí)行，比如上述的A，B。總結(jié)起來(lái)的話，我們需要的就是一個(gè)工作流的調(diào)度器，而Azkaban就是能解決上述問(wèn)題的一個(gè)調(diào)度器。4集群架構(gòu)從圖可見(jiàn)，Azkaban集群部署模式，主要有3個(gè)核心的組件：AzkabanWebServerAzkabanWebServer，是整個(gè)調(diào)度集群的核心，負(fù)責(zé)所有作業(yè)的管理和調(diào)度。AzkabanExecutorServerAzkabanExecutorServer，整個(gè)調(diào)度集群中實(shí)際運(yùn)行作業(yè)的節(jié)點(diǎn)，該類節(jié)點(diǎn)可能是作為一個(gè)作業(yè)提交的客戶端，比如SparkonYARN部署模式下，cluster運(yùn)行模式時(shí)只作為客戶端使用，client運(yùn)行模式時(shí)會(huì)有部分計(jì)算邏輯；比如普通的Java程序需要處理量級(jí)較小的數(shù)據(jù)作業(yè)，這時(shí)ExecutorServer節(jié)點(diǎn)可能有較大的工作負(fù)載，占用較多節(jié)點(diǎn)資源（內(nèi)存、CPU）。DBDB，是集群中所有節(jié)點(diǎn)運(yùn)行共用的數(shù)據(jù)存儲(chǔ)，包含作業(yè)信息、各種調(diào)度元數(shù)據(jù)等等。集群架構(gòu)5核心調(diào)度概述6AzkabanWebServer需要根據(jù)ExecutorServer的運(yùn)行狀態(tài)信息，選擇一個(gè)合適的ExecutorServer來(lái)運(yùn)行WorkFlow，然后會(huì)將提交到隊(duì)列中的WorkFlow調(diào)度到選定的ExecutorServer上運(yùn)行。我們整