sqoop import –connect jdbc:oracle:thin:@xx.x.xx.x:1521:sid\
–username username–password password \
–query 『%s』 \
–split-by name\
–hive-overwrite\
–hive-import \
–target-dir /user/hive/warehouse/myhive.db/sqoop_test \
–fields-terminated-by 『\001』 \
–lines-terminated-by 『\n』 \
-m 4
使用具體查詢，query條件用單引號括起來時，where $conditions不需要加反斜槓\， 而用雙引號括起來時需要加反斜槓
sqoop可以將資料檔案直接儲存到hdfs上， 也就是說對於hive中的外表，拉取資料時不再需要指定–hive-table 引數， 而是指定–target-dir使其指向外表所對應的hdfs檔案
sql查詢條件中需要用單引號括起來的值，在–query引數中使用雙引號將sql括起來
sqoop基礎筆記
sqoop安裝 安裝在一台節點上就可以了。1.上傳sqoop 2.安裝和配置 在新增sqoop到環境變數 將資料庫連線驅動拷貝到 sqoop home lib裡 3.使用 第一類 資料庫中的資料匯入到hdfs上 sqoop import connect jdbc mysql username roo...
sqoop匯出筆記
發表 2016 10 14 瀏覽 755 sqoop匯出 connect，同匯入 username，同匯入 password，同匯入 columnsclass id,class name,teacher 注意 沒有被包含在 columns後面 例如class month,last mod ts 的這...
sqoop匯出筆記
sqoop支援直接從hive表到rdbms表的匯出操作，也支援hdfs到rdbms表的操作，當前需求是從hive中匯出資料到rdbms，有如下兩種方案 從hive表到rdbms表的直接匯出 該種方式效率較高，但是此時相當於直接在hive表與rdbms表的資料之間做全量 增量和更新對比，當hive表記...