Azkaban開源任務(wù)調(diào)度程序(使用篇)

登錄https://localhost:8443注意是https，采用的是jettyssl鏈接。輸入賬號(hào)密碼azkaban/azkanban（如果你之前沒有更改的話）鳥Azkaban鳥AzkabanBesttonePrq|?ctiSchedulingExecutingHistory首頁首頁有四個(gè)菜單projects:最重要的部分，創(chuàng)建一個(gè)工程，所有flows將在工程中運(yùn)行。scheduling:顯示定時(shí)任務(wù)executing:顯示當(dāng)前運(yùn)行的任務(wù)history:顯示歷史運(yùn)行任務(wù)主要介紹projects部分首先創(chuàng)建一個(gè)工程，填寫名稱和描述，比如o2olog。Flews^EMTnlwioreFlews^EMTnlwiore氏畑!Log?NoFlows忖口have昭"upi&adedtothl*旳斛yrt.o2ologo2olDgGu獻(xiàn)訶irt?016-01-2009;幅空2La&tmodifiexiby2016-01-20M：4I6;22ModmiedbyProjectadmins亞HaDanYourPermia-sionKADMINo2olog工程Flows：工作流程，有多個(gè)job組成Permissions:權(quán)限管理ProjectLogs:工程日志創(chuàng)建工程：創(chuàng)建之前我們先了解下之間的關(guān)系，一個(gè)工程包含一個(gè)或多個(gè)flows,—個(gè)flow包含多個(gè)job。job是你想在azkaban中運(yùn)行的一個(gè)進(jìn)程，可以是簡(jiǎn)單的linux命令，可是java程序，也可以是復(fù)雜的shell腳本，當(dāng)然，如果你安裝相關(guān)插件，也可以運(yùn)行插件。一個(gè)job可以依賴于另一個(gè)job,這種多個(gè)job和它們的依賴組成的圖表叫做flow。job創(chuàng)建創(chuàng)建job很簡(jiǎn)單，只要?jiǎng)?chuàng)建一個(gè)以.job結(jié)尾的文本文件就行了，例如我們創(chuàng)建一個(gè)工作，用來將日志數(shù)據(jù)導(dǎo)入hive中（關(guān)于大數(shù)據(jù)方面的東西，不在重復(fù)，可以理解為，將日志所需數(shù)據(jù)導(dǎo)入的mysql中），我們創(chuàng)建o2o_2_hive.jobtype=commandcommand=echo"data2hive"一個(gè)簡(jiǎn)單的job就創(chuàng)建好了，解釋下，type的command,告訴azkaban用unix原生命令去運(yùn)行，比如原生命令或者shell腳本，當(dāng)然也有其他類型，后面說。一個(gè)工程不可能只有一個(gè)job，我們現(xiàn)在創(chuàng)建多個(gè)依賴job，這也是采用azkaban的首要目的。flows創(chuàng)建我們說過多個(gè)jobs和它們的依賴組成flow。怎么創(chuàng)建依賴，只要指定dependencies參數(shù)就行了。比如導(dǎo)入hive前，需要進(jìn)行數(shù)據(jù)清洗，數(shù)據(jù)清洗前需要上傳，上傳之前需要從ftp獲取日志。定義5個(gè)job：o2o_2_hive.job：將清洗完的數(shù)據(jù)入hive庫o2o_clean_data.job：調(diào)用mr清洗hdfs數(shù)據(jù)o2o_up_2_hdfs.job：將文件上傳至hdfso2o_get_file_ftp1.job：從ftp1獲取日志o2o_get_file_fip2.job：從ftp2獲取日志依賴關(guān)系：3依賴4和5，2依賴3，1依賴2，4和5沒有依賴關(guān)系。o2o_2_hive.jobtype=command執(zhí)行sh腳本，建議這樣做，后期只需維護(hù)腳本就行了，azkaban定義工作流程command=sh/job/o2o_2_hive.shdependencies=o2o_clean_datao2o_clean_data.jobtype=command執(zhí)行sh腳本，建議這樣做，后期只需維護(hù)腳本就行了，azkaban定義工作流程command=sh/job/o2o_clean_data.shdependencies=o2o_up_2_hdfso2o_up_2_hdfs.job□2d_2_hivB□2d_2_hivBtype=command#需要配置好hadoop命令，建議編寫到shell中，可以后期維護(hù)command=hadoopfs-put/data/*#多個(gè)依賴用逗號(hào)隔開dependencies=o2o_get_file_ftp1,o2o_get_file_ftp2o2o_get_file_ftp1.jobtype=commandcommand=wget"HYPERLINKftp://file1"-O/data/file1o2o_get_file_ftp2.jobtype=commandcommand=wget"ftp:file2"-O/data/file2可以運(yùn)行unix命令，也可以運(yùn)行python腳本（強(qiáng)烈推薦）。將上述job打成zip包。ps：為了測(cè)試流程，我將上述command都改為echo+相應(yīng)命令上傳：UploadProjectFilesJobArchive衛(wèi)怦文件未選擇任何文件CancelUploadCancelUpload上傳Projecto2ologFlowsParrnissionsProjectLegsAo2o_2_hiveAo2o_2_hiveo2o_get_fife_ftpi02&_get_fite_ftp2O2o_up_2hdfsc（2a_clean_aata上傳完成點(diǎn)擊o2o_2_hive進(jìn)入流程，azkaban流程名稱以最后一個(gè)沒有依賴的job定義的。流程右上方是配置執(zhí)行當(dāng)前流程或者執(zhí)行定時(shí)流程。流程執(zhí)行Flowview：流程視圖?？梢越?，啟用某些jobNotification:定義任務(wù)成功或者失敗是否發(fā)送郵件FailureOptions:定義一個(gè)job失敗，剩下的job怎么執(zhí)行Concurrent：并行任務(wù)執(zhí)行設(shè)置FlowParametters:參數(shù)設(shè)置。1.執(zhí)行一次設(shè)置好上述參數(shù)，點(diǎn)擊execute。

執(zhí)行成功綠色代表成功，藍(lán)色是運(yùn)行，紅色是失敗?？梢圆榭磈ob運(yùn)行時(shí)間，依賴和日志，點(diǎn)擊details可以查看各個(gè)job運(yùn)行情況。NameIVpeTimelineStartTimeEndTimeEl呂psedStatusDetailsQ2o_g*t_rn&_ftpicommand201&=01-2010：4452S2018-01-2D10：4452SoseeD由曲身o2c_get_Tii&_ftp2ccmmand201&-D1-2010：44-52S2016-01-2010:4453sosecD&tSlSa2c_up_2_hdf3command■2016-C1-2010:4452s2016-01-2010:4452s0aecDetails□2o_clean_aatacommand■2016-01-2010:4452s2016-01-2010:4452s0secDetailso2oi_.2JhiveccfTimand■201&D1-2010：4452S2016-01-2010:4452S0sec[MaltejobList2.定時(shí)執(zhí)行

定時(shí)執(zhí)行這時(shí)候注意到cst了吧，之前需要將配置中時(shí)區(qū)改為Asia/shanghai?？梢赃x擇"天/時(shí)/分/月/周"等執(zhí)行頻率。IDFlowPrefectSubmittedByFir^tSoileduledtoRunNextExecutionTimeHepeatfiEveryHasSLAAction5o2o_2hiveo2ologazkaban2016-01-2010:47:002016-01-2011:47:DO1houifa)falseI1setSuAI定時(shí)任務(wù)可以查看下次執(zhí)行時(shí)間。其他job配置選項(xiàng)可以定義job依賴另一個(gè)flow,配置type==fisrt_flow可以設(shè)置每個(gè)job中子命令type=commandcommand=echo"hello"command.1=echo"world"可以配置job失敗重啟次數(shù)，及間隔時(shí)間，比如，上述ftp獲取日志，我可