sqoop全增量匯出到mysql

2021-09-12 20:13:31 字數 1567 閱讀 4824

全量匯出

hql示例:insert overwrite directory 『/user/root/export/test』 row format delimited fields terminated by 『,』 stored as textfile select f1,f2,f3 from ;

sqoop指令碼:sqoop export --connect jdbc:mysql://localhost:3306/wht --username root --password cloudera --table --fields-terminated-by 『,』 --columns f1,f2,f3 --export-dir /user/root/export/test

增量匯出(insert模式)

hql示例:insert overwrite directory 『/user/root/export/test』 row format delimited fields terminated by 『,』 stored as textfile select f1,f2,f3 from where ;

sqoop指令碼:sqoop export --connect jdbc:mysql: --username datamanager --password 4dul%*ialc --table t_stock_equipment1 --fields-terminated-by 『\001』 --update-key hp_stat_date --update-mode allowinsert --export-dir /user/hive/warehouse/cdm.db/t_stock_equipment1

更新匯出(update模式)

hql示例:insert overwrite directory 『/user/root/export/test』 row format delimited fields terminated by 『,』 stored as textfile select f1,f2,f3 from where ;

sqoop指令碼:sqoop export --connect jdbc:mysql://localhost:3306/wht --username root --password cloudera --table --fields-terminated-by 『,』 --columns f1,f2,f3 --update-key f4 --update-mode updateonly --export-dir /user/root/export/test

注意事項:

增量匯出到mysql時候,hive要根據不同的儲存格式來進行設定,mysql表必須設定主鍵,否則增量會無效

hive

text格式:

sqoop export --connect jdbc:mysql: --username tgg --password 4dul%*ialc --table t_stock --fields-terminated-by 『\001』 --export-dir /user/hive/warehouse/cdm.db/t_stock --update-key hp_stat_date --update-mode allowinsert

Sqoop 資料匯出 全量 增量 更新

sqoop支援直接從hive表到rdbms表的匯出操作,也支援hdfs到rdbms表的操作,當前需求是從hive中匯出資料到rdbms,有如下兩種方案 從hive表到rdbms表的直接匯出 該種方式效率較高,但是此時相當於直接在hive表與rdbms表的資料之間做全量 增量和更新對比,當hive表記...

Sqoop 資料匯出 全量 增量 更新

sqoop支援直接從hive表到rdbms表的匯出操作,也支援hdfs到rdbms表的操作,當前需求是從hive中匯出資料到rdbms,有如下兩種方案 從hive表到rdbms表的直接匯出 該種方式效率較高,但是此時相當於直接在hive表與rdbms表的資料之間做全量 增量和更新對比,當hive表記...

sqoop定時增量匯入匯出

舉報sqoop使用hsql來儲存job資訊,開啟metastor service將job資訊共享,所有node上的sqoop都可以執行同乙個job 一 sqoop的配置檔案在sqoop.site.xml中 1 sqoop.metastore.server.location 本地儲存路徑,預設在tmp...