大資料集群搭建（5）sqoop

注意：sqoop1與sqoop2完全不相容，1.4.6及之前的版本是sqoop1，之後的是sqoop2

sudo tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -c /usr/bigdata

sudo mv ./sqoop-1.4.7.bin__hadoop-2.6.0 sqoop #改名
sudo chown -r 「usrname」:「usrname」 sqoop

cd ./sqoop/conf/

cat sqoop-env-template.sh >> sqoop-env.sh #將sqoop-env-template.sh複製乙份並命名為sqoop-env.sh
sudo gedit sqoop-env.sh
#加入以下資訊，安裝了哪些就新增哪些路徑
export hadoop_common_home=/usr/bigdata/hadoop
export hadoop_mapred_home=/usr/bigdata/hadoop
#export hbase_home=/usr/bigdata/hbase
#export hive_home=/usr/bigdata/hive
#export zoocfgdir= #如果讀者配置了zookeeper,也需要在此配置zookeeper的路徑

sudo gedit ~/.bashrc

#新增以下資訊
export sqoop_home=/usr/bigdata/sqoop
export path=$path:$sbt_home/bin:$sqoop_home/bin
export classpath=$classpath:$sqoop_home/lib
#儲存，使生效
source ~/.bashrc

大資料學習 Storm集群搭建

安裝storm之前要安裝zookeeper 一.安裝storm步驟 2.解壓安裝包 3.修改配置檔案 修改環境變數 etc profile export path bin path 指定storm使用的zk集群 storm.zookeeper.servers mini1 mini2 mini3 指定...

大資料 八 Sqoop

sqoop是什麼 sqoop sql to hadoop 連線 傳統關係型資料庫 和 hadoop 的橋梁 把關係型資料庫的資料匯入到 hadoop 系統 如 hdfs hbase 和 hive 中 把資料從 hadoop 系統裡抽取並匯出到關係型資料庫裡。利用mapreduce加快資料傳輸速度 將...

大資料 Sqoop簡介

sqoop 發音 skup 是sql to hadoop的縮寫，是一款開源的工具，主要用來在hadoop和關係資料之間交換資料，可以改進資料的資料的互操作性。通過sqoop，可以方便地將資料從mysql oracle postgresql等關聯式資料庫中匯入hadoop 比如匯入到hdfs hbas...