如果不加python_egg_cache環境變數會導致執行失敗，impala-shell本身可以正常執行，估計是oozie呼叫shell時會使用到python的乙個快取檔案，這裡加上export python_egg_cache=/tmp/python-eggs即可成功呼叫服務
flush-impala-metadata.sh
mkdir -p /tmp/python-eggs
export python_egg_cache=/tmp/python-eggs
impala-shell -i node2 -q 'invalidate metadata'
namenode=hdfs://node1:8020
jobtracker=node1:8032
oozie.use.system.libpath=true
ending_shell=flush-impala-metadata.sh
<?xml version="1.0" encoding="utf-8"?>$$$#$hive failed, error message[$]
Oozie 排程 shell 指令碼提交不到yarn
在oozied web找錯誤 原因是yarn site.xml中的兩處配置值太小了，不滿足作業的申請條件 把yarn site.xml中的兩處配置加大一點 容器記憶體 yarn.nodemanager.resource.memory mb 最大容器記憶體 yarn.scheduler.maximum...
我的大資料之旅 Oozie執行shell指令碼任務
目錄 目標 通過oozie排程hdfs上的shell指令碼 步驟 1.解壓oozie官方案例模板 2.建立工作目錄 3.拷貝案例模板 4.建立shell指令碼 5.修改property檔案 6.修改workflow.xml 7.將整個job目錄上傳hdfs 8.執行job 效果圖 feng hado...
oozie下使用hive UDF的慘痛教訓
問題現象 oozie中跑的乙個workflow，hql指令碼的匯出結果和預期不一致，出錯。漫長的dubug之路 1.首先想到的是通過在hue中來跑同乙個hql指令碼，查詢問題。通過在oozie的log中找到解析完的hql，跑了下，結果發現和預期一致，頭有點兒大。2.經過分析hql，推測可能是和指令碼...