yarn 集群搭建

啟動步驟

基於ha 集群搭建

ha集群搭建

nn-1

nn-2

dnzk

zkfc

jnnrs

nmnode1

✔️✔️

✔️✔️

node2

✔️✔️

✔️✔️

✔️✔️

node3

✔️✔️

✔️✔️

✔️node4

✔️✔️

✔️

>

>
>
mapreduce.framework.namename
>
>
yarnvalue
>
property
>
configuration
>

>

>
>
yarn.nodemanager.aux-servicesname
>
>
mapreduce_shufflevalue
>
property
>
>
>
yarn.resourcemanager.ha.enabledname
>
>
truevalue
>
property
>
>
>
yarn.resourcemanager.cluster-idname
>
>
yarn_clustervalue
>
property
>
>
>
yarn.resourcemanager.ha.rm-idsname
>
>
rm1,rm2value
>
property
>
>
>
yarn.resourcemanager.hostname.rm1name
>
>
node3value
>
property
>
>
>
yarn.resourcemanager.hostname.rm2name
>
>
node4value
>
property
>
>
>
>
>
node3:8088value
>
property
>
>
>
>
>
node4:8088value
>
property
>
>
>
yarn.resourcemanager.zk-addressname
>
>
node1:2181,node2:2181,node3:2181value
>
property
>
configuration
>

zkserver.sh start

hdfs zkfc -formatzk

start-dfs.sh

start-yarn.sh

yarn-daemon.sh start resourcemanager

Yarn集群的搭建

1.首先，yarn集群的搭建是建立在高可用完全分布式上進行搭建的 2.修改配置檔案 每台伺服器都需要修改 2.1修改配置 mapred site.xml 此檔案在hadoop的etc下的mapred site.xml中，原名需要在後刪除一部分，得到此配置檔案 mapreduce.framework....

Yarn 集群環境搭建

環境準備 確保主機搭建 hdfs 執行環境 步驟一 修改 mapred site.xml 配置檔案 root node 01 hadoop vim mapred site.xml mapreduce.framework.name yarn 步驟二 修改yarn env.sh 配置檔案 root no...

YARN篇 基於HA的YARN集群搭建

修改配置如下 vi mapred site.xml mapreduce.framework.namename yarnvalue property vi yarn site.xml yarn.nodemanager.aux servicesname mapreduce shufflevalue pr...