使用Sqoop進行資料遷移 一

安裝教程見部落格:sqoop安裝

在mysql中建立 sq 庫, 進入sq 資料,建立student表,插入資料

將student表中的資料匯入hdfs

檢查匯入結果

匯入成功!

./sqoop-import \

--connect jdbc:mysql://hadoop010:3306/sq \
--driver com.mysql.jdbc.driver \
--table student \
--where "sname='nick'" \
--username root \
--password ok \
--delete-target-dir \
--target-dir /data/user3 \
--m 1

檢視匯入結果

檢查匯入結果

! ! !注意當select後面沒有條件語句時,需要加where $conditions

./sqoop-import \

--connect jdbc:mysql://hadoop010:3306/sq \
--driver com.mysql.jdbc.driver \
--query "select * from student where \$conditions" \
--username root \
--password ok \
--split-by sid \
--delete-target-dir \
--target-dir /data/user3 \
--m 1

增量匯入資料

/opt/sqoop/bin/sqoop-import \

--connect jdbc:mysql://hadoop010:3306/student \
--table student \
--where "sid>10" \
--username root \
--password ok \
--check-column sid \
--last-value 10 \
--target-dir "/data/stu2" \
--m 1

檢視結果

web端:

匯入時指定檔案格式

/opt/sqoop/bin/sqoop-import \

--connect jdbc:mysql://hadoop010:3306/student \
--table student \
--where "sid<=10" \
--username root \
--password ok \
--target-dir "/data/stu3" \
--m 1 \
--as-sequencefile

得到檔案 ,檢視檔案

hdfs dfs -get /data/stu3/part-m-00000

vi part-m-00000

sqoop資料遷移

sqoop list databases connect jdbc mysql hadoop1 3306 username root password rootsqoop list tables connect jdbc mysql hadoop1 3306 test username root p...

sqoop資料遷移工具

注 為了表達清晰做了換行，執行時請放在一行中，使用空格隔開，或者加 進行行連線 在profiles中新增sqoop到環境變數 將資料庫連線驅動拷貝到 sqoop home lib裡 sqoop import connect jdbc mysql username root password 123 ...

sqoop工具資料遷移

sqoop 發音 skup 是一款開源的工具，主要用於在hadoop hive 與傳統的資料庫 mysql postgresql 間進行資料的傳遞，可以將乙個關係型資料庫 例如 mysql oracle postgres等 中的資料導進到hadoop的hdfs中，也可以將hdfs的資料導進到關係型資...