hadoop2 7 2安裝部署教程

參考部落格：

1.配置命名服務：hdfs-site.xml

qjournal://位址加埠，機器以分號相隔

dfs.client.failover.proxy.provider.hearain

org.apache.hadoop.hdfs.server.namenode.ha.configuredfailoverproxyprovider

dfs.ha.fencing.methods

sshfence

dfs.ha.fencing.ssh.private-key-files

/root/.ssh/id_rsa

dfs.journalnode.edits.dir

/hadoop/journal/data

dfs.ha.automatic-failover.enabled

true

2.配置core-site配置檔案

fs.defaultfs

hdfs://hearain(集群名字)

ha.zookeeper.quorum

集群位址加埠號，機器之間以逗號分隔node1:2181

hadoop.tmp.dir

/hadoop/tmp/

3.配置和安裝zookeeper

ticktime=2000

datadir=/opt/zookeeper/tmp（若沒有這個目錄，則自己建立）
clientport=2181
initlimit=5
synclimit=2
server.1=node1:2888:3888
server.2=node2:2888:3888
server.3=node3:2888:3888

4.分別在journal機器上啟動

啟動journalnode:

./hadoop-daemon.sh start journalnode

hostname node1

./hdfs namenode -format

6.啟動剛格式化的namenode機器

./hadoop-daemon.sh start namenode

./hdfs namenode -bootstrapstandby

8.執行./dfs-stop.sh

9.執行./dfs-start.sh

10.執行jps發現zkfc沒有啟動，原因有可能是沒有格式化

11.在其中乙個namenode上面格式化zkfc，在bin目錄下執行

./hdfs zkfc -format

13.配置mapreduce的配置檔案

mapreduce.framework.name

yarn

14.配置yarn的配置檔案

yarn.resourcemanager.hostname

node1

yarn.nodemanager.aux-services

mapreduce_shuffle

yarn.nodemanager.aux-services.mapreduce.shuffle.class

org.apache.hadoop.mapred.shufflehandler

15.開啟resourcemanager和nodemanager命令：

./start-yarn.sh

namenode2:

集群：

jps檢視是否都執行成功：如果其中乙個程序執行失敗，則去logs裡面去檢視詳細日誌

window 下安裝Hadoop2 7 2教程

fs.defaultfsname hdfs localhost 9000value property configuration hdfs site.xml dfs.replicationname 1value property dfs.namenode.name.dirname file hado...

關於Hadoop2 7 2執行wordcount

1.每次機器重啟後需要重新format否則namenode無法啟動的問題，解決辦法就是修改core site.xml，在你的hadoop安裝目錄新增臨時資料夾。hadoop.tmp.dir usr local hadoophome hadoop tmp 2.新建hdfs輸入資料夾input2。bin...

Hadoop 安裝教程

一 建立hadoop使用者 建立新使用者hadoop 並使用 bin bash 作為shell useradd m hadoop s bin bash 修改密碼 passwd hadoop二 增加管理員許可權visudoroot all all all下增加一行hadoop all all all ...