sqoop 命令在crontab 不能自定執行

2022-07-17 09:12:07 字數 356 閱讀 8887

摘自:

crontab 取不到環境變數

0人收藏此文章, 我要收藏

發表於昨天(19:14)(2013-06-05 19:14) , 已有21次閱讀 ,共0

今天遇到乙個問題,覺得有一些價值和大家分享一下。

指令碼在手動執行的情況下,沒有問題,但是使用crontab呼叫的時候,會報環境變數為空,找不到的問題。

原因:這其實是crontab的bug,不會預設從profile檔案中讀取環境變數的原因導致的。

解決辦法:

方法1:手動export

方法2:執行一些profile

. /etc/profile(注意點後有個空格)

crontab呼叫sqoop失敗

背景 由於業務需求,資料需要每天從mysql hive同步,考慮到資源占用情況,暫定凌晨業務空閒時執行定時任務 2 通過kettle先查訊hive資料表中max id 值,查詢mysql中hive的max id 以後的值,從mysql插入到hive中 暫時pass掉,由於是一條一條寫入而不是批量,太...

sqoop命令總結

解析 hive delims replacement 這個是為了防止mysql欄位的值有換行符,hive delims replacement 可以替換換行符換成空字串 opt cloudera parcels cdh 5.12.1 1.cdh5.12.1.p0.3 lib sqoop bin sq...

sqoop命令總結

解析 hive delims replacement 這個是為了防止mysql欄位的值有換行符,hive delims replacement 可以替換換行符換成空字串 opt cloudera parcels cdh 5.12.1 1.cdh5.12.1.p0.3 lib sqoop bin sq...