Sqoop的資料匯出 和解決中文亂碼問題

2021-08-19 16:06:50 字數 1262 閱讀 4198

將資料從hdfs匯出到

rdbms

資料庫匯出前,

目標表必須存在於目標資料庫中。

u 預設操作是從將檔案中的資料使用insert語句插入到表中

u 更新模式下,是生成update語句更新表資料

以下是export命令語法。

$ sqoop export (generic-args) (export-args)

資料是在hdfs 中「/user/root/emp_conn」目錄下存在part-m-00000檔案中。所述part-m-00000如下:

1201,2356742,[email protected]

1202,1661663,[email protected]

1203,8887776,[email protected]

1204,9988774,[email protected]

1205,1231231,[email protected]

1、首先需要手動建立

mysql

中的目標表

$ mysql

mysql> use userdb;

mysql> create table emp_conn_from_hdfs(

id int,

phno varchar(20),

email varchar(20));

2、然後執行匯出命令

bin/sqoop export \

--connect jdbc:mysql://itcast01:3306/userdb \

--username root \

--password root123 \

--table emp_conn_from_hdfs \

--export-dir /user/root/emp_conn \

--m 1

sqoop export  --connect

"jdbc:mysql:"

--username root --password root  --table sys_user_test  --export-dir hdfs://centoshostnamekl1:9000/queryresult/sys_user/part-m-00000 -m 1; 解決中文亂碼

hdfs

匯入到mysql中3、

驗證表mysql命令列。

mysql>select * from emp_conn_from_hdfs;

如果給定的資料儲存成功,那麼可以找到資料在如下的emp_conn_from_hdfs表。

Sqoop(二) Sqoop匯入 匯出資料

1.2 rdbms hive 1.3 rdbms hbase 2.匯出資料 在sqoop中,匯入 概念指 從非大資料集群 rdbms 向大資料集群 hdfs,hive,hbase 中傳輸資料,叫做 匯入,即使用import關鍵字。sqoop import connect jdbc mysql top...

Sqoop匯出MySQL資料

匯入所有表 sqoop import all tables connect jdbc mysql ip port dbname username username password password m 1 hive import 匯入乙個表 sqoop import connect jdbc my...

大資料Sqoop系列之Sqoop匯入匯出資料

鏈結mysql資料庫url connect jdbc mysql 鏈結mysql資料庫使用者名稱 username root 鏈結mysql資料庫密碼 password 123456 鏈結mysql資料庫中的表 table tb1 設定map的個數 設定匯入到hdfs檔案所在的位置 target d...