Sqoop操作集合

2022-03-28 08:01:30 字數 776 閱讀 1480

1.在hive中建乙個與mysql中一模一樣的表

sqoop create-hive-table --connect jdbc:mysql://***.**.***.**:3306/資料庫名稱  --table 表名 --username root --password root --hive-partition-key 分割槽名稱 --hive-table hive中的表名
2.在1完成後,自由導數到hive:

sqoop import  --connect jdbc:mysql://***:3306/資料庫  --username root --password root  --query "select * from hive_cc_daas_insurance_sales  where pt=$value  and \$conditions  limit 1000"  --target-dir /tmp/hive_cc_daas_insurance_sales --hive-table db_bi.hive_cc_daas_insurance_sales --hive-import --m 1 \

--hive-partition-key 分割槽名稱 \

--hive-partition-value 分割槽值

3.如果匯入到hive中到資料都是null(除了partition有資料),那麼

把 --hive-drop-import-delims \

--fields-terminated-by '\001' \

刪除了就行

sqoop基本操作

sqoop list databases connect jdbc mysql username root password 123456sqoop list tables connect jdbc mysql test username root password 123456sqoop impo...

sqoop基本操作

匯入到hdfs 代表在shell視窗中換行 bin sqoop import 連線的url connect jdbc mysql hadoop102 3306 mydb 使用者名稱 username root 密碼 password 123456 要導哪個表的資料 table staff 將資料匯入...

Sqoop 操作筆記

url sqoop安裝配置 sqoop執行select語句mysql匯入hdfs sqoop import all tables 匯出指定庫的所有table表 query 執行sql語句查詢滿足結果則匯出 splis byid 排序 target dir 指定匯出到hdfs上的路徑 m 指定啟動的m...