SQOOP的安裝手冊

2021-08-20 09:41:41 字數 521 閱讀 7910

約定:

本次安裝測內容

1,  sqoop 從 資料庫中匯入資料到hdfs

2,  sqoop 從 資料庫中匯入資料到hive

3,  sqoop 從hive中將資料匯出到資料庫

版本:sqoop-1.4.6

sqoop2的版本,效能不太穩定。

(感謝科多大資料的武老師提供的安裝檔案,感謝)

第一步解壓:

tar -zxvf sqoop-1.4.6-cdh5.5.2.tar.gz -c/opt/

mv sqoop-1.4.6-cdh5.5.2/ sqoop

第二步驟

將mysql的驅動包拷貝到 sqoop_home/lib下面

第三步驟:配置環境變數(注意修改為自己的路徑)

export sqoop_home=/opt/cdh5/sqoop

export path=$path:$sqoop_home/bin

第四步:配置sqoop,vi /opt/sqoop/conf/sqoop-env.sh

Sqoop的安裝方法

sqoop是乙個用來將hadoop和rdbms 如mysql,oracle,postgres等 之間資料相互匯入匯出的工具。安裝與使用都相當簡便。當然在你安裝之前首先得確保你已經安裝了hadoop 這個是必須的 hive hbase。安裝如下 3,配置 sqoop home 4,解壓成功後,將had...

sqoop的安裝和原理

sqoop 是一款資料遷移的工具,可以從 mysql等資料庫遷移到 hdfs 裡面 依賴 yarn 和 hdfs,如果伺服器上面有 hadoop home這個變數,sqoop會自動去讀取這個值來尋找yarn和namenode,安裝在一台節點機上面就可以了安裝 tar xvf sqoop 1.4.4....

sqoop的安裝及使用

sqoop安裝 安裝在一台節點上就可以了。1.上傳sqoop 2.安裝和配置 在新增sqoop到環境變數 將資料庫連線驅動拷貝到 sqoop home lib裡 3.使用 第一類 資料庫中的資料匯入到hdfs上 sqoop import connect jdbc mysql username roo...