sqoop部署與使用

tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -c install

mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha sqoop

2.修改配置檔案

cd sqoop/conf

mv sqoop-env-template.sh sqoop-env.sh
vim sqoop-env.sh

#執行命令

sqoop import --connect jdbc:mysql: --driver com.mysql.jdbc.driver --username root --password 123456 --table emp --m 1
--table 匯出哪張表的資料
--m 使用幾個mapreduce
--target-dir 指定匯入到hdfs上的哪個目錄下
--where "city ='sec-bad'" 按條件匯入資料
--query 'select id,name,deg from emp where id>1207 and $conditions' 根據sql查詢結果匯入資料
--fields-terminated-by '\t' 指定欄位間用什麼連線，預設是逗號
--split-by id 多個maptask時根據什麼字段切片
--check-column id 增量模式匯入會檢查id
--last-value 1208 指明上次匯入的資料中最後的id值，增量匯入會根據這個值匯入此id之後的
#不指定輸出目錄時，預設輸出路徑是/user/使用者名稱/表名/part-m-00000

streaming result set com.mysql.jdbc.rowdatadynamic@73b090be is still active.

1.在執行命令中加入--driver com.mysql.jdbc.driver

sqoop import --connect jdbc:mysql: --driver com.mysql.jdbc.driver --username root --password 123456 --table emp --hive-import --m 1

從hive匯出資料只要將hdfs的目錄改成hive倉庫的目錄即可

sqoop export \

--connect jdbc:mysql: \
--driver com.mysql.jdbc.driver \
--username root \
--password 123456 \
--table employee \
--export-dir /user/root/emp/
#引數說明
--export-dir 將哪個目錄下的資料匯出
--table 將資料匯出到mysql的那張表
--fields-terminated-by '\001' hive倉庫裡的資料預設分隔符是'\001' 到處是需要指定 預設以逗號分割

sqoop 安裝與使用

sqoop安裝 安裝在一台節點上就可以了。1.上傳sqoop 2.安裝和配置 在新增sqoop到環境變數 將資料庫連線驅動拷貝到 sqoop home lib裡 3.使用 第一類 資料庫中的資料匯入到hdfs上 sqoop import connect jdbc mysql username roo...

sqoop操作與使用

sqoop只要安裝到集群中的一台節點就可以了 1.上傳sqoop到節點中 2.安裝和配置 在新增sqoop到環境變數到 etc profile中 將資料庫連線驅動拷貝到 sqoop home lib裡 3.使用 第一類 資料庫中的資料匯入到hdfs上 sqoop import connect jdb...

Sqoop安裝與使用

使用sqoop進行將hive 詞頻統計的結果資料傳輸到mysql中。mysql準備接受資料的資料庫與表 hive準備待傳輸的資料 sqoop進行資料傳輸 mysql檢視傳輸結果 先用測試檔案做實驗，成功後將電子書的統計結果傳輸出mysql中。一.測試檔案 1.mysql準備接受資料的資料庫與表 2....