利用Sqoop將MySQL資料匯入Hive中

參考

1.list databases

sqoop list-databases --connect jdbc:mysql: --username sqoop --password sqoop

2.用sqoop建立hive表

sqoop create-hive-table    --connect    jdbc:mysql://xx:3306/test?characterencoding=utf-8    --table employee     --username   root   -password 'xx'  --hive-database  db_hive_edu  

3.import資料

#sqoop    import     --connect     jdbc:mysql://xx:3306/test?characterencoding=utf-8        --table employee    --username   root  -password  'xx'    --fields-terminated-by   ','    --hive-import      --hive-database  db_hive_edu     -m  1 

--fields-terminated-by   ',' 導致資料變成null

sqoop import --connect jdbc:mysql://xx:3306/test?characterencoding=utf-8 --username root -password 'xx' --table employee --hive-import --hive-database  db_hive_edu -m 1

截圖

如果需要實時同步，不再手動，參考

利用flume將mysql表資料準實時抽取到hdfs - wzy0623的專欄 - 部落格頻道 - csdn.net

這才是最正確的解決方案

Sqoop將資料從Mysql匯入Hive中

hive匯入引數 hive home 重寫 hive home hive import 插入資料到hive當中，使用hive的預設分隔符 hive overwrite 重寫插入 create hive table 建表，如果表已經存在，該操作會報錯！hive table table 設定到hive當...

使用sqoop將mysql資料匯入hbase

下表 1 通過hbase shell 開啟hbase。2 建立乙個hbase表 3 將so表的資料匯入到hbase中。opt檔案 connect 資料庫 username 資料庫使用者名稱 password 資料庫密碼 table 需要sqoop的表 columns 表中的列 hbase table...

Sqoop將Mysql資料同步到Hbase

1 首先進入hbase中建立一張表 bin hbase shell create alarm info1 表名 alarm 列簇 info1 2 進入sqoop的bin目錄下執行 sqoop import connect jdbc mysql table alarm hbase table alar...