Sqoop匯出MySQL資料

2021-07-07 09:08:14 字數 1950 閱讀 8890

匯入所有表:

sqoop import

-all

-tables –connect jdbc:mysql://ip:port/dbname --username username --password password -m 1 --hive-import;

匯入乙個表:

sqoop

import--

connect

jdbc:mysql://ip:port/dbname--

table

tablename--

username

username--

password

password-m

1--hive

-import;

hive中按照mysql中sqoop資料庫tb1表建立表tb1

sqoop create-hive-table --connect jdbc:mysql://ip:port/dbname --table tablename --fields-terminated-by

',' --username username --password password

將資料庫sqoop中表tb1資料匯入到hdfs中,map tasks數量為1

sqoop

import--

connect

jdbc:mysql://ip:port/dbname--

username

username--

password

password--

table

tablename-m

1

將hdfs中的資料匯入到hive表tb1中

load data inpath '/user/code-pc/tb1/part-m-00000'

into

table tb1;

分段並行匯入

sqoop

import--

--connect

jdbc:mysql://ip:port/dbname--

username

username--

password

password--

target

-dir

'/user/pg'--

table

tablename-m

1--where

"guidesp

<='3'"

sqoop

import--

--connect

jdbc:mysql://ip:port/dbname--

username

username--

password

password--

target

-dir

'/user/pg'--

table

tablename-m

1--where

"guidesp>'3'

andguidestep

<='5'"

並行匯入:

sqoop

import--

connect

jdbc:mysql://ip:port/dbname--

username

username--

password

password--

target

-dir

'/user/pg1/'--

split-by

columnname--

table

tablename-m

10

Sqoop(二) Sqoop匯入 匯出資料

1.2 rdbms hive 1.3 rdbms hbase 2.匯出資料 在sqoop中,匯入 概念指 從非大資料集群 rdbms 向大資料集群 hdfs,hive,hbase 中傳輸資料,叫做 匯入,即使用import關鍵字。sqoop import connect jdbc mysql top...

sqoop匯出hive表資料到mysql

直接在mysql裡從本地檔案系統匯入資料 mysql load data local infile c users asys documents tencent files 13174605 filerecv 2015082818 into table track log fields termin...

大資料Sqoop系列之Sqoop匯入匯出資料

鏈結mysql資料庫url connect jdbc mysql 鏈結mysql資料庫使用者名稱 username root 鏈結mysql資料庫密碼 password 123456 鏈結mysql資料庫中的表 table tb1 設定map的個數 設定匯入到hdfs檔案所在的位置 target d...