hue 上oozie的排程問題

2021-09-16 13:16:09 字數 1202 閱讀 6337

不知道使用hue的小夥伴有沒有發現hue上的oozie workflow寫好了,卻發現排程不了。(hue 坑真是多)

經過我不斷的努力 ,終於排程成功了任務。下面把步驟分享給大家

1.首先將寫好的hive sqoop 各個指令碼檔案 組成workflow

2.將組成的workflow跑一遍直到成功。注:這一步主要是為了生成類似於.class的檔案。

3.檢視當前workflow的workspace 是否生成檔案

4.為了排程該任務建立乙個null workflow,什麼都不用新增只是建立就好了 然後儲存。

5.開啟建立好的workflow 記住他的workspace的位址。如下圖

6.建立schedule 注意 指定workflow的時候指定剛剛建立的空流,選好時間,這裡要注意選好時區。選定之後直接跑起該schedule,如果測試的話排程的時間比當前時間晚幾分鐘,因為還有後續操作才能成功。

7. 去原始的workflow的workspace下複製該workspace下的所有檔案,將這些檔案複製到剛才建立好的null workflow 下,偷梁換柱。null workflow 一開始是什麼檔案都沒有的,直接將原始的workflow 下的所有檔案都複製過去,如下圖:

這時記住了你剛才null workflow的路徑。

8.複製完成就ok了,等到你任務排程的時間發現任務已經正在跑了。

9.記住如果修改時間的話,是需要重新建立schedule的。

雖然方法很髒,但是還是把這個功能給用起來了,最起碼 不用自己編寫workflow好多麻煩的步驟了,這也算是乙個oozie的介面吧,直接可以拖拖拖。

如果過程中有什麼問題 可加本人qq 25872304 一起學習也是好的啊。

就到這了 。大家加油!!

HUE與Oozie的整合

找到 liboozie 標籤以及 oozie 標籤涉及修改如下 liboozie liboozie 執行oozie服務的url。oozie hdfs上的位置,提交時部署工作流。remote deployement dir oozie oozie 本地儲存oozie示例的位置。local data d...

HUE平台oozie 排程系統設定踩坑記錄

通過oozie呼叫hive和shell指令碼都沒有問題。shell指令碼需要先上傳到hdfs 的某個目錄下,只要賬戶對這個目錄有讀許可權就行。stdoutput warning opt cloudera parcels cdh 5.13.0 1.cdh5.13.0.p0.29 bin lib sqo...

Hadoop離線 oozie的任務排程

1.任務排程 在oozie當中,主要是通過coordinator 來實現任務的定時排程,與workflow類似的,coordinator 這個模組也是主要通過xml來進行配置即可,接下來就來看看如何配置coordinator 來實現任務的定時排程 coordinator 的排程主要可以有兩種實現方式...