基于數(shù)據(jù)的協(xié)調(diào)器

主講：侯磊基于數(shù)據(jù)的協(xié)調(diào)器目錄0102基于數(shù)據(jù)的協(xié)調(diào)器注意事項(xiàng)基于數(shù)據(jù)的協(xié)調(diào)器1基于數(shù)據(jù)的協(xié)調(diào)器基于數(shù)據(jù)的協(xié)調(diào)器使用特定數(shù)據(jù)的可用性作為啟動(dòng)作業(yè)的觸發(fā)器。通常，只有在特定數(shù)據(jù)文件或目錄可用后(如通過另一個(gè)工作流或采集外部數(shù)據(jù)之后),才需要執(zhí)行作業(yè)。使用數(shù)據(jù)集的概念表示上游作業(yè)或應(yīng)用程序生成的數(shù)據(jù)。數(shù)據(jù)集是那些以固定間隔生成并發(fā)送到Hadoop的數(shù)據(jù)?；跀?shù)據(jù)的Oozie協(xié)調(diào)器可以有一個(gè)或多個(gè)數(shù)據(jù)集?；跀?shù)據(jù)的協(xié)調(diào)器以下是需要定義的數(shù)據(jù)集的5個(gè)屬性。name:數(shù)據(jù)集的名字initial-instance:數(shù)據(jù)集中有效數(shù)據(jù)的第一個(gè)(時(shí)間)實(shí)例frequency:數(shù)據(jù)實(shí)例出現(xiàn)的頻率uri-template:為數(shù)據(jù)集定義數(shù)據(jù)目錄的模板，包含年、月、日、小時(shí)和分鐘，以表示數(shù)據(jù)創(chuàng)建時(shí)的時(shí)間戳done-flag:表示數(shù)據(jù)已經(jīng)準(zhǔn)備好供Oozie工作流使用的文件名基于數(shù)據(jù)的協(xié)調(diào)器coordinator.xml文件中的dataset元素定義了工作流所依賴的數(shù)據(jù)。那么Oozie如何知道工作流的數(shù)據(jù)準(zhǔn)備好了呢？使用另一個(gè)名為input-events的元素來(lái)處理數(shù)據(jù)集依賴關(guān)系。在coordinator.xml文件中只有一個(gè)input-events元素，在該元素中可以指定一個(gè)或多個(gè)data-in段，讓Oozie知道在數(shù)據(jù)集元素中定義的數(shù)據(jù)的可用性。注意事項(xiàng)2注意事項(xiàng)Oozie還允許配置類似于input-events的output-events元素，以指定協(xié)調(diào)器動(dòng)作生成的數(shù)據(jù)實(shí)例。這主要用于在協(xié)調(diào)器動(dòng)作完成后清理數(shù)據(jù)?？梢园才旁谔囟〞r(shí)間運(yùn)行基于數(shù)據(jù)的協(xié)調(diào)器，因?yàn)榧词故腔跀?shù)據(jù)的協(xié)調(diào)器也可以使用頻率參數(shù)在特定的時(shí)間運(yùn)行。如果在調(diào)度協(xié)調(diào)器運(yùn)行時(shí)有必要的數(shù)據(jù),例如3A.M，可立即啟動(dòng)工作流。如果數(shù)據(jù)在3A.M.不可用，則協(xié)調(diào)器作業(yè)在啟動(dòng)工作流之前等待輸入數(shù)據(jù)注意事項(xiàng)如果由于數(shù)據(jù)采集流或其他問題導(dǎo)致數(shù)據(jù)幾天不可用會(huì)發(fā)生什么情況?就協(xié)調(diào)器來(lái)說(shuō)，沒有任何問題，它會(huì)追溯所有錯(cuò)過的日子的數(shù)據(jù)，并在數(shù)