yarn-site.xml檔案：
yarn.nodemanager.aux-servicesname>
mapreduce_shufflevalue>
property>
yarn.resourcemanager.ha.enabledname>
truevalue>
property>
yarn.resourcemanager.cluster-idname>
cluster1value>
property>
yarn.resourcemanager.ha.rm-idsname>
rm1,rm2value>
property>
yarn.resourcemanager.hostname.rm1name>
bigdata02.comvalue>
property>
yarn.resourcemanager.hostname.rm2name>
bigdata03.comvalue>
property>
yarn.resourcemanager.zk-addressname>
bigdata01.com:2181,bigdata02.com:2181,bigdata03.com:2181value>
property>
yarn.resourcemanager.recovery.enabledname>
truevalue>
property>
yarn.resourcemanager.store.classname>
org.apache.hadoop.yarn.server.resourcemanager.recovery.zkrmstatestorevalue>
property>
p−re
tc/h
adoo
p/ya
rn−s
ite.
xmln
ode1
:/op
t/mo
dule
s/ha
doop
−2.5.0−c
dh5.3.6/e
tc/h
adoo
p/s cp
−ret
c/ha
doop
/yar
n−si
te.x
mlno
de1:
/opt
/mod
ules
/had
oop−
2.5.0−c
dh
5.3.6/e
tc/h
adoo
p/
scp -r etc/hadoop/yarn-site.xml node2:/opt/modules/hadoop-2.5.0-cdh5.3.6/etc/hadoop/
啟動各個伺服器的服務
1.啟動hdfs
** zookeeper
bin/zkserver.sh start
** resourcemanager和nodemanager
在bigdata02： sb
in/s
tart
−yar
n.sh
在big
data
03：s bi
n/st
art−
yarn
.sh在
bigd
ata03
：sbin/yarn-daemon.sh start resourcemanager
測試：
執行乙個jar包進行測試
檢視ha狀態 bi
n/ya
rnrm
admi
n−ge
tser
vice
stat
erm1
b in
/yar
nrma
dmin
−get
serv
ices
tate
rm
1bin/yarn rmadmin -getservicestate rm2
$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jar wordcount /input /output
把active伺服器的resourcemanager程序殺掉，觀察job任務執行
$ kill -9 6854
總結 ha namenode&resourcemanager
1、ha namenode啟動順序
2、ha resourcemanager啟動順序
3、kill 掉乙個namenode和resourcemanager，觀察wordcount程式，
執行使用的hdfs檔案和yarn上執行的記錄，關閉乙個另外乙個保持資訊的一致性。
hadoop的集群安裝
hadoop的集群安裝 1 安裝jdk，解壓jar，配置環境變數 1.1 解壓jar tar zxvf jdk 7u79 linux x64.tar.gz c opt install 將jdk解壓到對應的檔案目錄下 1.2 配置環境變數，sudo vim etc profile 新增下面內容 exp...
Hadoop（二）Hadoop集群搭建
準備好三颱centos系統，配置如下 主機名centos1 centos2 centos3 ipcentos1的ip centos2的ip centos3的ip centos7修改主機名命令 hostnamectl set hostname 配置三個centos的ip對映，修改 etc hosts，...
Hadoop集群配置
hadoop的配置檔案分為兩類 1.唯讀型別的預設檔案 src core core default.xml src hdfs hfds default.xml src mapred mapred default.xml conf mapred queues.xml 2.定位設定 conf core ...