azkaban設定依賴,並且多個任務並行執行

2021-09-24 18:52:56 字數 2256 閱讀 5369

在azkaban的任務排程中,設定依賴可以完成對任務的排程,

指令碼如下:

第乙個job:命名為    ods_actlog.job

---

config:

#failure.emails: xx@xx

nodes:

- name: ods_actlog_sql_job

type: command

config:

command: sh ods_actlog.sh

第二個命名為   dw_actlog_product_view.job

---

config:

#failure.emails: xx@xx

nodes:

- name: dw_actlog_product_view_sql_job

type: command

dependencies=ods_actlog #設定依賴。後面是跟隨的job

config:

command: sh dw_actlog_product_view.sh

這兩個指令碼指的是:第乙個先執行,第二個後執行,具有先後順序,這兩個打包給azkaban後會自動判斷依賴關係,結果為這樣:

另外就是想要設定各個job之間的並行執行

這時候就可以設定多個job的依賴同乙個job。如下

第乙個job是: dw_actlog_product_view.job

---

config:

#failure.emails: xx@xx

nodes:

- name: dw_actlog_product_view_sql_job

type: command

config:

command: sh dw_actlog_product_view.sh

第二個是: region.job

---

config:

#failure.emails: xx@xx

nodes:

- name: region_sql_job

type: command

config:

command: sh region.sh

mid_actlog_product_view.job
---

config:

#failure.emails: xx@xx

nodes:

- name: mid_actlog_product_view_sql_job

type: command

dependencies=dw_actlog_product_view,region #新增多個依賴,中間用逗號隔開

config:

command: sh mid_actlog_product_view.sh

這樣的話,就是第三個job依賴第乙個和第二個job了,必須等第乙個和第二個job都執行結束,第三個job才能開始。

另外,我們想要乙個job結束後,同時開啟第二個和第三個job同時執行,那麼這兩個子job的依賴配置為第乙個job以外,還需要配置乙個結束的第四個job,這個結束的第四個job需要同時依賴第二個和第三個,這個必須由,就算是沒有job需要寫了,也需要寫乙個空的job來同時依賴第二個和第三個job。

end.job

---

config:

#failure.emails: xx@xx

nodes:

- name: end_job

type: noop

dependencies=dm_actlog_product_view_region,dm_actlog_product_view

這樣的話,根據各個job之間的依賴關係就可以完成job之間的依賴並且並行執行,如下例:

MongoDB設定為系統服務並且設定開機啟動

1.首先新增mongodb系統服務,命令如下 vim etc rc.d init.d mongod2.開啟編輯器後,我們將下面的配置貼上進去,然後儲存 start stop case 1 in start start stop stop restart stop start echo usage 0...

spring設定多個ViewResolver

viewresolver用來解析視 件,如常用的jsp型別的檔案。id jspviewresolver class org.springframework.web.servlet.view.internalresourceviewresolver name prefix value name suf...

mysql多個TimeStamp設定

timestamp設定預設值是default current timestamp timestamp設定隨著表變化而自動更新是on update current timestamp 但是由於 兩行設定default current timestamp是不行的。還有一點要注意 create table...