簡單之美OozieCoordinator使用及詳解

1、簡單之美 Oozie Coordinator 使用及詳解Oozie 所支持工作流，工作流定義通過將多個 Hadoop Job 的定義按照一定的順序組織起來，然后作為一個整體按 照既定的路徑運行。一個工作流已經定義了，通過啟動該工 作流 Job ，就會執(zhí)行該工作流中包含的多個 Hadoop Job ， 直到完成，這就是工作流 Job 的生命周期。 那么，現在我們有一個工作流 Job ，希望每天半夜 00:00 啟 動運行，我們能夠想到的就是通過寫一個定時腳本來調度程 序運行。如果我們有多個工作流 Job ，使用 crontab 的方式 調用可能需要編寫大量的腳本，還要通過腳本來控制好各個 工作流

2、 Job 的執(zhí)行時序問題，不但腳本不好維護，而且監(jiān)控 也不方便。基于這樣的背景， Oozie 提出了 Coordinator 的 概念，他們能夠將每個工作流 Job 作為一個動作（ Action ） 來運行，相當于工作流定義中的一個執(zhí)行節(jié)點（我們可以理 解為工作流的工作流） ，這樣就能夠將多個工作流 Job 組織 起來，稱為 Coordinator Job ，并指定觸發(fā)時間和頻率， 還可 以配置數據集、并發(fā)數等。一個 Coordinator Job 包含了在 Job 外部設置執(zhí)行周期和頻率的語義，類似于在工作流外部 增加了一個協調器來管理這些工作流的工作流 Job 的運行。 運行 Coordi

3、nator Job我們先看一下官方發(fā)行包自帶的一個簡單的例子oozie-3.3.2examplessrcmainappscron ，它能夠實現定時 調度一個工作流 Job 運行， 這個例子中給出的一個空的工作 流 Job ，也是為了演示能夠使用 Coordinator 系統給調度起 來。這個例子有 3 個配置文件，我們不修改 workflow.xml 配置內容。修改后分別如下所示：perties 配置nameNode=hdfs:/m1:9000 jobTracker=m1:19830 queueName=default examplesRoot=examplesoozie.coo

4、rd.application.path=$nameNode/user/$user.na me/$examplesRoot/apps/cronstart=2014-03-04T19:00Z end=2014-03-06T01:00Z workflowAppUri=$nameNode/user/$/$exam plesRoot/apps/cron修改了 Hadoop 集群的配置，以及調度起止時間范圍workflow.xml 配置是一個空 Job ，沒做任何修改coordinator.xml 配置$workflowAppUrijobTracker $jobTrackernameNo

5、de$nameNodequeueName$queueName修改上述 coordinator.xml 配置文件， 將定時調度頻率改為 2 分鐘，然后需要將他們上傳到 HDFS 上：hadoop fs -rm /user/shirdrn/examples/apps/cron/coordinator.xmlhadoop fs -put /home/shirdrn/cloud/programs/oozie-3.3.2/examples/target /oozie-examples-3.3.2-examples/examples/apps/cron/coor dinator.xml /user/shi

6、rdrn/examples/apps/cron/因為我之前已經上傳過一次，所以修改了 coordinator.xml 文件配置內容后， 一定要上傳到 HDFS 中，而 perties 配置可以通過指定 config 選項來執(zhí)行。 啟動一個 Coordinator Job 和啟動一個 Oozie 工作流 Job 類似，執(zhí)行如下命令即可： bin/oozie job -oozie http:/oozie-server:11000/oozie -config /home/shirdrn/cloud/programs/oozie-3.3.2/examples/target /oozie-

7、examples-3.3.2-examples/examples/apps/cron/job. properties -run運行上面命令， 在控制臺上會返回這個 Job 的 ID ，我們也可 以通過 Oozie 的 Web 控制臺來查看：Coordinator Job 狀態(tài) Coordinator Job 詳情如果想要殺掉一 個 Job ，需要指定 Oozie 的 Job ID ，可以執(zhí)行如下命令： bin/oozie job -oozie http:/oozie-server:11000/oozie -kill 0000065-140302210847342-oozie-shir-CCoo

8、rdinator 應用（ Coordinator Application ）Coordinator 應用是指當滿足一定條件時，會觸發(fā) Oozie 工 作流 Job （在 Coordinator 中將工作流 Job 定義為一個動作 （Action ）。其中，觸發(fā)條件可以是一個時間頻率、一個 dataset 實例是否可用，或者可能是外部的其他事件。Coordinator Job 是一個 Coordinator 應用的運行實例，這個 Coordinator Job 是在 Oozie 提供的 Coordinator 引擎上運行 的，并且這個實例從指定的時間開始，直到運行結束。一個 Coordinato

9、r Job 具有以上幾個狀態(tài)：PREPRUNNINGRUNNINGWITHERRORPREPSUSPENDEDSUSPENDEDSUSPENDEDWITHERRORPREPPAUSEDPAUSEDPAUSEDWITHERRORSUCCEEDEDDONEWITHERRORKILLEDFAILED從狀態(tài)字符串的含義，我們大概就能知道它的含義，這里不 做過多解釋，可以查閱官方文檔。現在，我們關注一下這些 狀態(tài)之間是怎樣轉移的，從一個狀態(tài)變成哪些狀態(tài)是合法的，如下表所示：轉移前狀態(tài)轉以后狀態(tài)集合 PREPPREPSUSPENDED | PREPPAUSED | RUNNING |KILLEDRUNNINGRUNNINGWITHERROR | SUSPENDED | PAUSED | SUCCEEDED | KILLEDRUNNINGWITHERRORRUNNING | SUSPENDEDWITHERROR |PAUSEDWITHERROR | DONEWITHERROR | KILLED | FAILEDPREPSUSPENDEDPREP | KILLEDSUSPENDEDRUNNING | KILLEDSUSPEN