大資料學習 sqoop匯出資料

2022-03-21 22:17:26 字數 1756 閱讀 4721

把資料從hadoop匯出到關係型資料庫

將資料從hdfs匯出到rdbms資料庫

匯出前,目標表必須存在於目標資料庫中。

u  預設操作是從將檔案中的資料使用insert語句插入到表中

u  更新模式下,是生成update語句更新表資料

以下是export命令語法。

$ sqoop export (generic-args) (export-args)

資料是在hdfs 中「emp/」目錄的emp_data檔案中。所述emp_data如下:

1201, gopal,     manager, 50000, tp

1202, manisha,   preader, 50000, tp

1203, kalil,     php dev, 30000, ac

1204, prasanth,  php dev, 30000, ac

1205, kranthi,   admin,   20000, tp

1206, satish p,  grp des, 20000, gr

1、首先需要手動建立mysql中的目標表

$ mysql

mysql> use db;

mysql> create table employee (

id int not null primary key,

name varchar(20),

deg varchar(20),

salary int,

dept varchar(10));

2、然後執行匯出命令

3、驗證表mysql命令列。 

mysql>select * from employee;

如果給定的資料儲存成功,那麼可以找到資料在如下的employee表。

大資料Sqoop系列之Sqoop匯入匯出資料

鏈結mysql資料庫url connect jdbc mysql 鏈結mysql資料庫使用者名稱 username root 鏈結mysql資料庫密碼 password 123456 鏈結mysql資料庫中的表 table tb1 設定map的個數 設定匯入到hdfs檔案所在的位置 target d...

Sqoop(二) Sqoop匯入 匯出資料

1.2 rdbms hive 1.3 rdbms hbase 2.匯出資料 在sqoop中,匯入 概念指 從非大資料集群 rdbms 向大資料集群 hdfs,hive,hbase 中傳輸資料,叫做 匯入,即使用import關鍵字。sqoop import connect jdbc mysql top...

Sqoop匯出MySQL資料

匯入所有表 sqoop import all tables connect jdbc mysql ip port dbname username username password password m 1 hive import 匯入乙個表 sqoop import connect jdbc my...