hadoop的集群安裝

hadoop的集群安裝

1、安裝jdk，解壓jar，配置環境變數

1.1、解壓jar

tar -zxvf jdk-7u79-linux-x64.tar.gz -c /opt/install   //將jdk解壓到對應的檔案目錄下

1.2、配置環境變數，

sudo vim /etc/profile

//新增下面內容：

export j**a_home=/opt/install/jdk1.7.0_79
export path=$j**a_home/bin:$path

2.1、解壓jar

tar -zxvf hadoop-1.2.1.tar.gz -c /opt/install  //將jar解壓到對應的目錄下面

2.2、配置環境變數

sudo vim /etc/profile

//新增hadoop_home變數，修改path變數

export hadoop_home=/opt/install/hadoop 
export hadoop_home_warn_suppress=1 //防止hadoop在操作的時候有警告
export path=$j**a_home/bin:$hadoop_home/bin:$path

2.3、配置hadoop檔案

2.3.1、修改hadoop/conf/hadoop-env.sh 

//將j**a_home修改為在/etc/profile中配置的環境變數 

export j**a_home=/opt/install/jdk1.7.0_79

2.3.2、修改hadoop/conf/core-site.xml

fs.default.name  //namenode所在主機

hdfs:
:9000
hadoop.tmp.dir //hadoop的臨時檔案目錄
/opt/data/hadoop1.2

2.3.3、修改/hadoop/conf/hdfs-site.xml

dfs.replication  //副本數

3dfs.permissions //檔案許可權
false

2.3.4、修改/hadoop/conf/masters檔案，該檔案配置的secondnamenode所在位置

192.168.203.128  //自己的主機ip，最好是修改/etc/hosts檔案

2.3.5、修改hadoop/conf/sl**es,該檔案配置的datanode

192.168.203.129

192.168.203.130
192.168.203.131

2.3.6、修改/hadoop/conf/mapred-site.xml檔案，設定jobtrocker

mapred.job.tracker

192.168.203.128:9001

2.3.7、在其他機器上也進行相同的配置，但是最好是在配置好ssh以後通過 scp的命令進行複製。

3、配置ssh免密碼登入

3.1、檢視本地是否能夠ssh免密碼登入

ssh localhost

3.2、如果需要密碼就要生成金鑰，

ssh-keygen -t dsa -p '' -f ~/.ssh/id_dsa 

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

3.3、配置遠端免密碼登入，讓配置namenode主機能夠免密碼登入到datanode主機

scp ~/.ssh/id_dsa.pub [email protected]:~  //將本機的公鑰複製到192.168.203.129這台主機上cat ~/id_dsa.pub >> ~/.ssh/authorized_keys   //在192.168.203.129的主機上執行這條命令，追加公鑰到authorized_keys

4、啟動hadoop

4.1、跳轉到/hadoop/bin目錄下，進行namenode的初始化

hadoop namenode -format

4.2、啟動hadoop

./start-all.sh   //啟動hdfs已經mapreduce

或./start-dfs.sh //啟動hdfs

4.3、檢驗是否啟動成功，執行jps命令，看namenode，secondnamenode，。。。等程序是否啟動

5、通過hdfs的命令列進行操作，下面是一些簡單的命令

hadoop fs -ls /根目錄

hadoop fs -lsr /遞迴遍歷根目錄
hadoop fs -mkdir /user 建立資料夾
hadoop fs -put 檔案 hdfs folder 上傳檔案，如果資料夾路徑不存在，檔案名字就是定義的名字
hadoop fs -text 檢視檔案內容
hadoop fs -rm 刪除檔案
hadoop fs -rmr 刪除資料夾
hadoop fs 顯示hdfs檔案相關引數
hadoop fs -help ls 命令描述

hadoop集群lzo的安裝

主要步驟 1，安裝和更新gcc ant 系統已經安裝的話，略去下面步驟 yum y install gcc gcc c autoconf automake wget tar jxvf apache ant 1.8.2 bin.tar.bz2 export ant home usr local apa...

Hadoop集群MYSQL的安裝

前言 有一段時間沒寫文章了，最近事情挺多的，現在咱們回歸正題，經過前面四篇文章的介紹，已經通過vmware安裝了hadoop的集群環境，相關的兩款軟體vsftp和securecrt也已經正常安裝了。本篇主要介紹在大資料應用中比較常用的一款軟體mysql，我相信這款軟體不緊緊在大資料分析的時候會用到，...

hadoop安裝集群完畢

今天經過一天的努力 終於將hadoop集群搭建完畢 一共三颱機器 一台namenode 兩台datanode 其中一台datanode 是jobtracker和tasktracker 另一台datanode是tasktracker 和hadoop官方文件和同事搭建的例子 安裝過程中也遇到很多問題 1...