工作流引擎Oozie(二) coordinator

2021-08-16 01:26:35 字數 1281 閱讀 6529

coordinator是workflow的定時提交器,基於時間條件與資料生成觸發(based on time and data triggers)。簡單點說,coordinator按所定義的時間週期進行輪詢,若資料生成條件滿足,則觸發workflow任務;否則,則等待資料生成或跳過(排程策略由設定的超時時間決定)。

檔案頭定義了coordinator任務的名稱,執行頻率(frequency),開始與起止時間(start、end)。$為coordinator內建的el function (expression language),表示為執行週期為一天。frequency的時間單位為分鐘,則$=1440$=180. 一般地,在job.properties定義如:start_time=2016-06-07t00:00z,應以utc時區為準。

-1timeout> 1concurrency> $execution> controls>

$/path/to/$-$-$/$/uri-template> done-flag> dataset> datasets>

$instance> data-in> input-events>

定義了資料觸發條件,$表示對於當前時間的偏移,其中偏移量=數值* dataset frequency。有些時候,我們要判斷多個目錄是否生成,比如,判斷一天的24個小時目錄,這時應這樣寫:

 $start-instance> $end-instance> data-in>

定義coordinator要觸發的workflow,

property,定義傳給workflow的引數

coordinator提供了一些用於時間計算的函式,比如:

$,${coord:formattime(coord:dateoffset(coord:dateoffset(coord:nominaltime(), -12, 'hour'), -5, 'day')value> 參考 : 

oozie coordinator使用及詳解

oozie 工作流應用部署

1.建立工作流應用的目錄,目錄結構 例 cd mkdir p wordcount lib 3.校驗workflow.xml檔案是否正確 例 oozie validate wordcount workflow.xml 例 hadoop fs put wordcount wordcount 5.提交工作...

工作流 二 什麼是工作流引擎

什麼是工作流引擎 工作流引擎的英文全稱是 workflow engine,是指workflow作為應用系統的一部分,並為之提供對各應用系統有決定作用的根據角色 分工和條件的不同決定資訊傳遞路由 內容等級等核心解決方案。例如開發乙個系統最關鍵的部分不是系統的介面,也不是和資料庫之間的資訊交換,而是如何...

工作流引擎

工作流引擎 乙個任務清單,task1,task2,task3。這與審批和表達提交沒有任何關係,包括許可權,我理解這是工作流引擎的核心。每個任務有乙個執行程式 service bean dcom等等,實現方法你可以自己定,怎麼方便怎麼來。可能這個程式就是審批,以及審批設計到的資料等,這和工作流引擎有關...