1.
mysql資料庫(sqoop)emp表匯入到hive中資料庫(ruozedata_teset)的emp_sqoop_test表
sqoop import \
--connect jdbc:mysql: \
--username root \
--password 123456 \
-m 1 \
--table emp \
--hive-database 'ruozedata_test' \
--hive-import \
--hive-overwrite \
--direct \
--hive-table 'emp_sqopp_test' \
--fields-terminated-by '\t' \
--input-null-non-string '0' \
--input-null-string ''
1. :drwxr-xr-x - hadoop supergroup 0 2018-10-31 06:47 /user/hadoop/emp
-rwxr-xr-x 1 hadoop supergroup 887 2018-10-31 06:52 /user/hive/warehouse/ruozedata_test.db/emp_sqopp_test/最後load成功之後會刪除臨時目錄
/user/hadoop/emp
所以 sqoop匯入資料到hive的過程:
mysql表匯入到hdfs的當前使用者目錄下(相當於臨時檔案)
再從上面的臨時檔案複製到最終指定的hdfs目錄下
最後刪除臨時目錄
注意:
如果中途中斷提交的任務,而此時已經存在臨時目錄
再執行匯入的時候,會報錯:
hdfs: already exists只好刪除臨時目錄在執行匯入**
1.mysql資料庫(sqoop)emp表匯入到hive中資料庫(ruozedata_teset)的emp_sqoop_test表
sqoop import \
--connect jdbc:mysql: \
--username root \
--password 123456 \
-m 1 \
--table emp \
--hive-database 'ruozedata_test' \
--hive-import \
--hive-overwrite \
--direct \
--hive-table 'emp_sqopp_test' \
--fields-terminated-by '\t' \
--input-null-non-string '0' \
--input-null-string ''
1. :drwxr-xr-x - hadoop supergroup 0 2018-10-31 06:47 /user/hadoop/emp
-rwxr-xr-x 1 hadoop supergroup 887 2018-10-31 06:52 /user/hive/warehouse/ruozedata_test.db/emp_sqopp_test/最後load成功之後會刪除臨時目錄
/user/hadoop/emp
所以 sqoop匯入資料到hive的過程:
mysql表匯入到hdfs的當前使用者目錄下(相當於臨時檔案)
再從上面的臨時檔案複製到最終指定的hdfs目錄下
最後刪除臨時目錄
注意:
如果中途中斷提交的任務,而此時已經存在臨時目錄
再執行匯入的時候,會報錯:
hdfs: already exists只好刪除臨時目錄在執行匯入**
sqoop匯出hive表資料到mysql
直接在mysql裡從本地檔案系統匯入資料 mysql load data local infile c users asys documents tencent files 13174605 filerecv 2015082818 into table track log fields termin...
SQOOP從MySQL匯入資料到Hive
一 匯入hive表時自動建立表 1 執行sqoop語句 sqoop import connect jdbc mysql hadoop001 3306 sqoop username root password 123456 table emp etl m 1 hive import create hi...
sqoop定時增量抽取資料到hive
1 第一次全量抽取，並建立hive表 keberos認證 kinit kt hdfs.keytab hdfs 從oracle導資料到hive sqoop import connectjdbc oracle thin xx.xx.xx.xx 1521 xx username password tabl...