sqoop更新匯入總結,從hive到mysql

2021-10-01 01:22:27 字數 578 閱讀 1856

首先語句上很簡單,

sqoop export  \

--connect jdbc:mysql: \

--username cxk \

--password jinitaimei \

--table test_table \

--columns a,b,c,d,e \

--hcatalog-database hive_database01 \

--hcatalog-table hive_test_table \

--update-key "a,b,c" \

--update-mode allowinsert

allowinsert 既可以根據updatekey更新,也可以將新值插入

updateonly 只更新不插入新值

需要注意的是,mysql上,作為updatekey的字段必須設定***聯合唯一鍵***或者聯合主鍵,反正就是要有 聯合+唯一 的特性。

unique key `report_cash_unique` (`a`,`b`,`c`),

利用Sqoop將MySQL資料匯入Hive中

參考 1.list databases sqoop list databases connect jdbc mysql username sqoop password sqoop 2.用sqoop建立hive表 sqoop create hive table connect jdbc mysql x...

MySQL錶用Sqoop方式匯入到Hive表中

1 首先在hive中新建資料庫mydb,2 然後開啟putty軟體,登入到安裝hive的伺服器,輸入使用者名稱和密碼後,進入到 root hdp 利用sqoop語句按照指定mysql資料庫的表新建hive表,語句如下 sqoop create hive table connect jdbc mysq...

Sqoop匯入匯出總結

bin sqoop import 輸入命令 connect jdbc mysql hadoop102 3306 testdb 指定連線jdbc埠和資料庫名稱 username root 資料庫使用者名稱 password 000000 密碼 若不適用明文指定資料庫密碼 則可以用 p table us...