sqoop的簡單實用

sqoop安裝：安裝在一台節點上就可以了。

1.上傳sqoop

2.安裝和配置

在新增sqoop到環境變數

將資料庫連線驅動拷貝到$sqoop_home/lib裡

3.使用

第一類：資料庫中的資料匯入到hdfs上

sqoop import-- connect jdbc:mysql://192 .168.1 .10:3306/bigdata30-- username root-- password 123- -table trade_detail-- columns 'id, account ,income

,expenses'

指定輸出路徑、指定資料分隔符

sqoop import-- connect jdbc:mysql://192 .168.1 .10:3306/bigdata30-- username root-- password 123- -table trade_detail-- target -dir '/sqoop/td'-- fields -terminated-by

'\t'

指定map數量 -m

sqoop import-- connect jdbc:mysql://192 .168.1 .10:3306/bigdata30-- username root-- password 123- -table trade_detail-- target -dir '/sqoop/td1'-- fields -terminated-by '\t'-m

2

增加where條件, 注意：條件必須用引號引起來

sqoop import-- connect jdbc:mysql://192 .168.1 .10:3306/bigdata30-- username root-- password 123- -table trade_detail-- where 'id>3'-- target -dir

'/sqoop/td2'

增加query語句(使用 \ 將語句換行)

sqoop import-- connect jdbc:mysql://192 .168.1 .10:3306/bigdata30-- username root-- password 123\-- query 'select *from trade_detail where id > 2 and$conditions'-- split-by trade_detail.id --target -dir

'/sqoop/td3'

注意：如果使用--query這個命令的時候，需要注意的是where後面的引數，and $conditions這個引數必須加上而且存在單引號與雙引號的區別，如果--query後面使用的是雙引號，那麼需要在$conditions前加上\即\$conditions 如果設定map數量為1個時即-m 1，不用加上--split-by $，否則需要加上

第二類：將hdfs上的資料匯出到資料庫中(不要忘記指定分隔符)

sqoop export-- connect jdbc:mysql://192 .168.8 .120:3306/bigdata30-- username root-- password 123- -export -dir '/td3'-- table td_bak-m 1--fields -terminated-by

','

4.配置mysql遠端連線

grant allprivileges on bigdata30.* to 'root'@'192.168.1.201' identified by '123' with grant option; flush privileges; grant allprivileges on *.* to 'root'@'%' identified by '123' with grant option;

flush privileges

sqoop的簡單實用

Sqoop （二）Sqoop 的簡單使用案例

sqoop 簡單語句

Sqoop的簡單案例應用

sqoop的簡單實用

Sqoop （二）Sqoop 的簡單使用案例

sqoop 簡單語句

Sqoop的簡單案例應用

相關推薦