在oozied web找錯誤
原因是yarn-site.xml中的兩處配置值太小了，不滿足作業的申請條件
把yarn-site.xml中的兩處配置加大一點：
容器記憶體 yarn.nodemanager.resource.memory-mb
最大容器記憶體 yarn.scheduler.maximum-allocation-mb
1.上傳任務配置
/export/servers/hadoop-2.7.5/bin/hdfs dfs -put oozied_works/ /user/rootbin/oozie job --oozie http://node01:11000/oozie -config oozied_works/shell/job.properties -run3.檢視作業狀態
4.檢視日誌
5.殺死job任務
檢視web狀態
oozie排程引擎
oozie 是用於hadoop平台的開源的工作流排程引擎 統一排程hadoop系統中常見的mr任務啟動 hdfs操作 shell操作 hive操作等 使得複雜的依賴關係 時間觸發 事件觸發使用xml語言進行表達，開發效率提高 一組任務使用乙個dag來表示，使用圖形表達流程邏輯更加清晰 支援很多種任務...
shell 指令碼 序列排程程式
最近做資料倉儲的跑數除錯時，經常涉及大量跑批的操作，利用shell寫了乙個序列的排程程式，先說說優點 程式化 方便重跑 支援多個任務 多個日期 非常適合開發階段及資料移植等，而且指令碼開發，立竿見影 方便改造。缺點是不支援並行 並行配置任務依賴性負責，不多說了，上 執行任務配置檔案 job.lst ...
hue 上oozie的排程問題
不知道使用hue的小夥伴有沒有發現hue上的oozie workflow寫好了，卻發現排程不了。hue 坑真是多 經過我不斷的努力 終於排程成功了任務。下面把步驟分享給大家 1.首先將寫好的hive sqoop 各個指令碼檔案 組成workflow 2.將組成的workflow跑一遍直到成功。注 這...