sqoop實現資料遷移

2021-10-07 16:53:02 字數 1958 閱讀 6823

sqoop命令中的 \ 後不能接任何空格,否則報錯

(1)sqoop help 檢視命令

(2)顯示所有庫名

方式一:

sqoop list-databases

–connect jdbc:mysql://...:3306

–username root

–password 123456

方式二:

sqoop list-databases

–connect jdbc:mysql://...:3306

–username root

-p後直接提示通過鍵盤輸入資料庫密碼

(3)顯示某個資料庫裡所有表

sqoop list-tables

–connect jdbc:mysql://.2..:3*/sqoop

–username root

–password 123456

(4)mysql匯入資料到hive

sqoop import 「-dorg.apache.sqoop.splitter.allow_text_splitter=true」

–connect jdbc:mysql:

–split-by id

–username root

–password 123456

–table customer

–hive-import

–create-hive-table

–fields-terminated-by 「\t」

-m 5

引數說明: 「-dorg.apache.sqoop.splitter.allow_text_splitter=true」 表示文字

–split-by 表示分隔列,如果有主鍵的話,可不進行設定

–table表示 mysql資料庫中的表

–hive-import 是必須引數,指定匯入hive

–create-hive-table 表示在default資料庫中新建與mysql資料庫中相同名稱的表

–hive-import 必須引數,指定匯入hive

–hive-database default hive庫名

–hive-table people hive表名

–fields-terminated-by hive的分隔符

–hive-overwrite 重寫重複字段

–create-hive-table 幫建立好 hive 表,但是表存在會出錯。不建議使用這個引數,因為到匯入的時候,會與我們的字段型別有出入。

–hive-partition-key 「dt」 指定分割槽表的字段

–hive-partition-value 「2018-08-08」 指定分割槽表的值

例如:

sqoop import

–connect jdbc:mysql://...:3306/sqoop

–username root

–password 123456

–table stu

–hive-import

–create-hive-table

–fields-terminated-by 「\t」

-m 5

匯入第一天資料

./sqoop import

–connect jdbc:mysql://...:3306/populcationcensus

–username root

–password 123456

–split-by id

–table a1

–hive-import

–hive-database default

–hive-table antiepidemicdata

–fields-terminated-by 「\t」

-m 5

匯入到hive的具體分割槽中

sqoop資料遷移

sqoop list databases connect jdbc mysql hadoop1 3306 username root password rootsqoop list tables connect jdbc mysql hadoop1 3306 test username root p...

sqoop資料遷移工具

注 為了表達清晰做了換行,執行時請放在一行中,使用空格隔開,或者加 進行行連線 在profiles中新增sqoop到環境變數 將資料庫連線驅動拷貝到 sqoop home lib裡 sqoop import connect jdbc mysql username root password 123 ...

sqoop工具資料遷移

sqoop 發音 skup 是一款開源的工具,主要用於在hadoop hive 與傳統的資料庫 mysql postgresql 間進行資料的傳遞,可以將乙個關係型資料庫 例如 mysql oracle postgres等 中的資料導進到hadoop的hdfs中,也可以將hdfs的資料導進到關係型資...