sqoop 是進出hadoop的重要工具。 用sqoop從rdbms中匯入資料 sqoop import \ -d oozie.job.id=$wf_job_id \ -- 自定義引數 oozie 相關 -d mapred.job.queue.name=$mapred_job_queue_name \ -- 自定義引數 oozie 相關 --connect $data_db_url \ --rdms jdbc地
sqoop 是進出hadoop的重要工具。
用sqoop從rdbms中匯入資料
sqoop import \
-d oozie.job.id=$wf_job_id \ -- 自定義引數 oozie 相關
-d mapred.job.queue.name=$mapred_job_queue_name \ -- 自定義引數 oozie 相關
--connect $data_db_url \ --rdms jdbc位址
--username $data_db_username \ -rdbms使用者名稱
--password $data_db_password \ -rdbms密碼
--table $db_table \ -- rdbms 表名
--columns $db_columns \ --匯入字段，及其順序
--verbose \
--target-dir $hdfs_target_dir \ ---hdfs目標資料夾
--fields-terminated-by '\001' \ ---欄位分隔字元
--lines-terminated-by '\n' \ --- 行分隔字元
--hive-table $data_db_name.$hive_table \ --- hive表名
-m $parallel_count \ ---使用併發
--hive-import \ -- 使用hive開關
--hive-overwrite \ -- 是否覆蓋寫
--null-string '\\n' \ --空欄位表示
--null-non-string '\\n' \
--hive-drop-import-delims
用sqoop 從 hadoop向rdbms推送資料
使用 insert overwrite directory oooo select * from ***x; 將表***x 轉換格式並匯入hdfs中，準備推送
sqoop export \
-d oozie.job.id=$wf_job_id \
-d mapred.job.queue.name=$mapred_job_queue_name \
-d mapred.task.timeout=0 \
--connect $data_db_url \
--username $data_db_username \
--password $data_db_password \
--table $_insert \
--export-dir $insert_dir \ --目標資料夾
--columns $db_columns \ --輸出字段順序(用於資料對其，非常重要)
--input-null-string '\\n' \
--input-null-non-string '\\n' \
--input-fields-terminated-by '\001' \ -- 字段隔離符號
-m $ \ 併發數量
Sqoop基本使用
在 sqoop 中，匯入 概念指 從非大資料集群 rdbms 向大資料集群 hdfs，hive，hbase 中傳輸資料，叫做 匯入，即使用 import 關鍵字。1 確定 mysql 服務開啟正常 2 在 mysql 中新建一張表並插入一些資料 mysql uroot p123456 mysql c...
sqoop使用詳解
sqoop用於關聯式資料庫和hadoop家族 hdfs hive hbase 之間的etl 資料庫匯出到hadoop家族 sqoop import hadoop家族匯出到資料庫 sqoop export 官方 tar zxvf sqoop 1.4.7.binhadoop 2.6.0.tar.gz m...
Sqoop （二）Sqoop 的簡單使用案例
二 匯出資料 三 指令碼打包 在sqoop中，匯入 概念指 從非大資料集群 rdbms 向大資料集群 hdfs，hive，hbase 中傳輸資料，叫做 匯入，即使用import關鍵字。確定mysql服務開啟正常 在mysql中新建一張表並插入一些資料 mysql uroot p000000 mysq...