使用sqoop從Hive導數到Oracle

導數命令：

sqoop export \

--table u_cl_ctl.mid_order_vip_level_change_ma \
--connect jdbc:oracle:thin:@***:1521:biedwmiu \
--username *** \
--password *** \
--columns id,vip_no,order_no,vip_level_code,shop_no,out_date,brand_detail_no,vip_level_code_new,period_time,sal_amt,region_no,region_name,managing_city_no,managing_city_name,update_time,etl_time \
--input-lines-terminated-by '\n' \
--input-null-string '\\n' \
--input-null-non-string '\\n' \
--hcatalog-database odp_dm_dev \
--hcatalog-table mid_order_vip_level_change_ma \

--table   	匯入到oracle所在的庫名及表名

--connect oracle jdbc連線
--username oracle庫使用者名稱
--password oracle庫密碼
--columns 匯入字段 columns不能有多餘的空格，否則會報錯
--input-lines-terminated-by 列分隔符(根據hive的表結構定義指定分隔符)
--input-null-string 如果hive表中存在null欄位，則需要新增引數，否則無法匯入
--input-null-non-string 
--hcatalog-database hive庫名
--hcatalog-table hive表名

1.hive parquet格式可直接匯入到 oracle；

2.如果hive表不是分割槽表可以省略--columns，否則需要指定字段；

sqoop導數到各個資料庫，可以套用

一 測試資料庫連線 sqoop list databases connect jdbc oracle thin ip port 資料庫 username aml password aml二 樣例 bin bash while read line do hdfs dfs rmr user hive w...

hive與sqoop結合使用

分類 樹形結構 id pid 1 0 2 yyy 1 商品 歸屬於某個分類 id name catagory id 訂單表 誰 什麼時間 買了什麼東西 訂單編號 會員編號 總額.訂單條目 商品 數量 單價 訂單編號 14天 今天 14天 select day,count 1 from where t...

SQOOP從MySQL匯入資料到Hive

一 匯入hive表時自動建立表 1 執行sqoop語句 sqoop import connect jdbc mysql hadoop001 3306 sqoop username root password 123456 table emp etl m 1 hive import create hi...