Sqoop2 shell命令的使用

2021-09-03 07:11:41 字數 1095 閱讀 1947

sqoop2的安裝以及配置,參考鏈結

基於sqoop2 實現關係型資料庫到hdfs的資料傳輸

1、設定sqoop服務端

set server -u http://master:12000/sqoop
2、建立link

先檢視現有的cennector,通過 show connector 可以檢視到幾種connector的方式

show connector
這裡我以mysql  -> hdfs傳輸為例,分別建立兩個link  。

1) mysql 鏈結

create link -c generic-jdbc-connector
name: mysql-link      

driver class:com.mysql.jdbc.driver。

connection string:jdbc:mysql:

username:root

password:root

fetchsize:直接回車

entry#:protocol=tcp

identifier enclose:空格  ,再回車

2) hdfs鏈結

create link -c  hdfs-connector
name: hdfs-link    

hdfs uri:  hdfs://master:9000

hadoop conf directory:/root/hadoop-2.7.2/etc/hadoop      #hadoop配置檔案的目錄

3)檢視已建立的鏈結

show link
3、建立job

create job -f mysql-link -t hdfs-link
檢視job

show job
4、執行job

start job -n hbase_job  -s
可通過hadoop集群檢視到該job

shell 命令 Unix Linu命令 2

這裡是一篇文字 beautifierplugin error unable to handle bash syntax.泰安永佳塑料 xiaoli 泰安永佳塑料 xiaoli 揚州唐城車燈廠,xiaoli 汕頭市魯班裝飾設計工程 方少雄 瀋陽中模技術開發 張弘 瀋陽希望第一小學,王老師 寧波萬力達集...

簡單使用Sqoop的命令

一 import命令 1.將mysql表test中的資料匯入hive的hivetest表,hive的hivetest表不存在 sqoop import connect jdbc mysql username hive password hive table test hive table hivet...

Linux下使Shell 命令脫離終端在後台執行

因為我購買的乙個國外主機居然開放了telnet許可權,因此我也使用telnet登入上去玩玩linux,但發現一關閉視窗就自動和主機斷開了,和windows的終端不一樣,所以就上網找啊找,找到了乙個從後台一直執行某個程式的方法。unix linux下一般比如想讓某個程式在後台執行,很多都是使用 在程式...