Yarn 集群環境搭建

2022-09-14 14:03:14 字數 2276 閱讀 7264

環境準備

確保主機搭建 hdfs 執行環境

步驟一：修改 mapred-site.xml 配置檔案

[root@node-01 hadoop]# vim mapred-site.xml

mapreduce.framework.name

yarn

步驟二：修改yarn-env.sh 配置檔案

[root@node-01 hadoop]# echo 'export j**a_home=$' >> yarn-env.sh

步驟三：修改 yarn-site.xml 配置檔案

[root@node-01 hadoop]# vim yarn-site.xml

yarn.nodemanager.aux-services

mapreduce_shuffle

yarn.nodemanager.aux-services

mapreduce_shuffle

yarn.nodemanager.aux-services.mapreduce_shuffle.class

org.apache.hadoop.mapred.shufflehandler

yarn.resourcemanager.resource-tracker.address

node-01:8025

yarn.resourcemanager.scheduler.address

node-01:8030

yarn.resourcemanager.address

node-01:8050

yarn.nodemanager.resource.detect-hardware-capabilities

true

yarn.nodemanager.resource.memory-mb

2048

yarn.nodemanager.resource.cpu-vcores

1步驟四：scp 這個 yarn-site.xml 到其他節點

[root@node-01 ~]# scp mapred-site.xml node-02:$pwd

[root@node-01 ~]# scp mapred-site.xml node-03:$pwd

[root@node-01 ~]# scp yarn-env.sh node-02:$pwd

[root@node-01 ~]# scp yarn-env.sh node-03:$pwd

[root@node-01 ~]# scp yarn-site.xml node-02:$pwd

[root@node-01 ~]# scp yarn-site.xml node-03:$pwd

步驟五：啟動 yarn 集群

注：先啟動 hdfs ha 集群

[root@node-01 ~]# start-yarn.sh
stop-yarn.sh ：停止 yarn 集群

步驟六：用 jps 檢查 yarn 的程序
[root@node-01 ~]# jps


6128 dfszkfailovercontroller


5939 journalnode


6468 nodemanager


5544 namenode


5289 quorumpeermain


6314 resourcemanager


5691 datanode


[root@node-02 ~]# jps


3201 dfszkfailovercontroller


2962 datanode


3284 nodemanager


3061 journalnode


2877 namenode


2751 quorumpeermain


[root@node-03 ~]# jps


2323 quorumpeermain


2444 datanode


2652 nodemanager


2543 journalnode
yarn --daemon stop nodemanager 停止 nodemanger 程序

步驟七：用 web 瀏覽器檢視 yarn 的網頁

yarn 集群環境搭建成功：）

yarn 集群搭建

啟動步驟 基於ha 集群搭建 ha集群搭建 nn 1 nn 2 dnzk zkfc jnnrs nmnode1 node2 node3 node4 mapreduce.framework.namename yarnvalue property configuration yarn.nodemanag...

Yarn集群的搭建

1.首先，yarn集群的搭建是建立在高可用完全分布式上進行搭建的 2.修改配置檔案 每台伺服器都需要修改 2.1修改配置 mapred site.xml 此檔案在hadoop的etc下的mapred site.xml中，原名需要在後刪除一部分，得到此配置檔案 mapreduce.framework....

yarn環境搭建

1 準備工作 首先搭建乙個高可用的完全分布式 可以參照 2 各個節點的功能 3 配置檔案 1 在node01 node02 node03 node04的 opt software hadoop 2.6.5 etc hadoop 目錄下 將mapred site.xml.template檔案修改為ma...