關於oozie使用的一些坑

2021-08-29 02:36:00 字數 638 閱讀 8669

樓主主要是在hue上面配置oozie任務,在這裡記錄一下遇到的一些問題

hue使用者許可權的問題

配置一些hive或者shell指令碼的impala任務時,會使用hue登入的使用者執行,所以會造成一些許可權的問題,hue的使用者和linux的使用者並不是相同的,牽扯到許可權的問題在這裡先不多說了。

配置任務引數

如果是手寫配置檔案的大佬,應該對這個很熟悉,在這主要是給我這種做配置的小白提示一下,使用$配置,網上關於引數的文章較少,目前找到一篇能用的,oozie的引數體系。

更新指令碼或程式

如果是指令碼.sql或者.sh的,要想更新可以直接在hdfs上面進行修改,hue修改檔案還是很方便的。如果是jar包,一定要先將oozie工作空間裡的jar包刪掉,然後替換掉hdfs上面的jar包即可。因為oozie在呼叫jar包時會將jar包複製乙份便於移動到某一節點上執行,所以在更新時發現工作空間已經有了就不會再複製,即使你更新hdfs的他還是會呼叫舊jar包。

workflow包含多個jar包

如果乙個workflow裡面有多個jar包的話,oozie在執行時會將這些jar包包含的檔案集中在一起,(我感覺這個操作是真的秀555555)如果有同名的配置檔案或者類名就會出現呼叫混亂的情況,我就是有一次任務一會成功一會失敗,失敗時是配置資訊不對,搞的我整個人都懵了。

關於setState使用的一些坑

你會發現,如果直接使用push等方法改變state,按理來說,push會改變原陣列,陣列應該更新,但渲染出來的state並不會更改 let newvalue 1 const array,setarray usestate const handlechange newvalue number rend...

關於npm的一些坑

檢視全域性安裝的目錄用命令檢視 npm root g檢視npm配置資訊 npm config get cache npm config get prefix獲取npm配置資訊 npm config list 獲取npm配置資訊 預設情況下nodejs安裝會同時安裝npm 模組管理器 用於管理使用者r...

關於SqlSugar Mysql的一些坑

解決方案 作者在github上放了可以用的mysql.data.dll 版本,為 6.2.1.0 2 永遠的報錯 給定的關鍵字不在字典中 沒有找到解決方法 最終 我的是乙個asp.net mvc的新專案,經過安利用了sqlsugar,專案版本最初是.net 4.5 經過查閱大家的專案發現大部分使用的...