Sqoop基本使用

2021-08-19 22:50:43 字數 1272 閱讀 4746

在 sqoop 中,「匯入」概念指:從非大資料集群(rdbms)向大資料集群(hdfs,hive,

hbase)中傳輸資料,叫做:匯入,即使用 import 關鍵字。、

1) 確定 mysql 服務開啟正常

2) 在 mysql 中新建一張表並插入一些資料

$ mysql -uroot -p123456

mysql> create database company;

mysql> create table company.emp(id int(4) primary key not null auto_increment, name

varchar(255), *** varchar(255));

mysql> insert into company.emp(name, ***) values('thomas', 'male');

mysql> insert into company.emp(name, ***) values('catalina', 'female');

3) 匯入資料

a.全部匯入

$ bin/sqoop import \

b.查詢匯入

must contain '$conditions' in where clause.如果 query 後使用的是雙引號,則$conditions 前必須加轉移符,防止 shell識別為自己的變數。--query 選項,不能同時與--table 選項使用

c.匯入指定列

columns 中如果涉及到多列,用逗號分隔,分隔時不要新增空格 

d.使用sqoop關鍵字篩選查詢匯入資料

在 sqoop 中可以使用 sqoop import -d property.name=property.value 這樣的方式加入執行任務的引數,多個引數用空格隔開。

該過程分為兩步,第一步將資料匯入到 hdfs,第二步將匯入到 hdfs 的資料遷移到 hive 倉庫,第一步預設的臨時目錄是/user/使用者/表名

在 sqoop 中,「匯出」概念指:從大資料集群(hdfs,hive,hbase)向非大資料集群

(rdbms)中傳輸資料,叫做:匯出,即使用 export 關鍵字。

mysql 中如果表不存在,不會自動建立

使用 opt 格式的檔案打包 sqoop 命令,然後執行

$ mkdir opt

$ touch opt/job_hdfs2rdbms.opt

形參和實參都要分別占用一行

$ bin/sqoop --options-file opt/job_hdfs2rdbms.opt

Sqoop的安裝及基本使用

sqoop的安裝 sqoop的安裝非常簡單,首先sqoop的底層是mapreduce,所以必須依賴於hadoop 將sqoop的壓縮包上傳解壓後,然後修改配置檔案即可 如圖所示,只需要將sqoop所在目錄下的conf目錄下的sqoop env.sh中的三個修改為實際的安裝目錄即可 sqoop的基本使...

sqoop基本操作

sqoop list databases connect jdbc mysql username root password 123456sqoop list tables connect jdbc mysql test username root password 123456sqoop impo...

sqoop基本操作

匯入到hdfs 代表在shell視窗中換行 bin sqoop import 連線的url connect jdbc mysql hadoop102 3306 mydb 使用者名稱 username root 密碼 password 123456 要導哪個表的資料 table staff 將資料匯入...