oozie 是用於hadoop平台的開源的工作流排程引擎
統一排程hadoop系統中常見的mr任務啟動、hdfs操作、shell操作、hive操作等
使得複雜的依賴關係、時間觸發、事件觸發使用xml語言進行表達，開發效率提高
一組任務使用乙個dag來表示，使用圖形表達流程邏輯更加清晰
支援很多種任務排程，能完成大部分hadoop 任務處理
程式定義支援el常量和函式，表達更加豐富
oozie cli
啟動任務：
- oozie job -oozie http://ip:11000/oozie/ -config job.properties -run #-config job.properties(指定配置檔案)
停止任務：
- oozie job -oozie http://ip:11000/oozie/ -kill run之後生成的唯一id
提交任務：
- oozie job -oozie http://ip:11000/oozie/ -config job properties -submit #只是提交還沒啟動
開始任務：
- oozie job -oozie http://ip:11000/oozie/ -config job.properties -start 唯一標識id
檢視任務執**況：
- oozie job -oozie http://ip:11000/oozie/ -config job.properties -info 唯一標識id
oozie 有兩個配置檔案 job.properties 和workflow.xml檔案
job配置 job.properties
el函式 引用方式：${}
一、基本的el函式
string concat(string s1,string s2)
string timestamp()
hue 上oozie的排程問題
不知道使用hue的小夥伴有沒有發現hue上的oozie workflow寫好了，卻發現排程不了。hue 坑真是多 經過我不斷的努力 終於排程成功了任務。下面把步驟分享給大家 1.首先將寫好的hive sqoop 各個指令碼檔案 組成workflow 2.將組成的workflow跑一遍直到成功。注 這...
Hadoop離線 oozie的任務排程
1.任務排程 在oozie當中，主要是通過coordinator 來實現任務的定時排程，與workflow類似的，coordinator 這個模組也是主要通過xml來進行配置即可，接下來就來看看如何配置coordinator 來實現任務的定時排程 coordinator 的排程主要可以有兩種實現方式...
Oozie 排程 shell 指令碼提交不到yarn
在oozied web找錯誤 原因是yarn site.xml中的兩處配置值太小了，不滿足作業的申請條件 把yarn site.xml中的兩處配置加大一點 容器記憶體 yarn.nodemanager.resource.memory mb 最大容器記憶體 yarn.scheduler.maximum...