Yarn實現的Hadoop集群高可用

2021-08-09 19:16:45 字數 3157 閱讀 3487

本文緊接上篇部落格hadoop+nfs+zookeeper實現高可用集群

yarn是hadoop集群的資源管理系統。hadoop2.0對mapreduce框架做了徹底的設計重構，我們稱hadoop2.0中的mapreduce為mrv2或者yarn。hadoop2.x也就是yarn，分別用兩個程序來管理這兩個任務：

resourcemanger
本文實驗環境和上文一致，是接上個實驗（nfs+hdfs+zookeeper實現hadoop集群高可用）來做的，話不多說了，開始！

[hadoop@rhel65-lockey1 hadoop]$ cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml


[hadoop@rhel65-lockey1 hadoop]$ vim etc/hadoop/mapred-site.xml


mapreduce.framework.namename>


yarnvalue>


property>


configuration>


[hadoop@rhel65-lockey1 hadoop]$ vim etc/hadoop/yarn-site.xml
yarn.nodemanager.aux-servicesname>


mapreduce_shufflevalue>


property>


yarn.resourcemanager.ha.enabledname>


truevalue>


property>


yarn.resourcemanager.cluster-idname>


rm_clustervalue>


property>


yarn.resourcemanager.ha.rm-idsname>


rm1,rm2value>


property>


yarn.resourcemanager.hostname.rm1name>


172.25.5.91value>


property>


yarn.resourcemanager.hostname.rm2name>


172.25.5.95value>


property>


yarn.resourcemanager.recovery.enabledname>


truevalue>


property>


yarn.resourcemanager.store.classname>


org.apache.hadoop.yarn.server.resourcemanager.recovery.zkrmstatestorevalue>


property>


yarn.resourcemanager.zk-addressname>


172.25.5.92:2181,172.25.5.93:2181,172.25.5.94:2181value>


property>


configuration>
最好是把 rm 與 nn 分離執行,這樣可以更好的保證程式的執行效能首先在主機1上開啟yarn

[hadoop@rhel65-lockey1 hadoop]$ sbin/start-yarn.sh
此時可以看到1上多了乙個程序resourcemanager

但是這個程序不會在5上自動啟動，所以需要手動去5上進行啟動

這個時候通過瀏覽器訪問兩台主機的8088埠可以看到兩台主機有不同的resourcemanager ha state：

可以將active節點的對應resourcemanager的程序乾掉，這個時候再去檢視會發現另一邊變成了active

這個時候再去啟動被乾掉的resourcemanager，他就會成為standby狀態

也可以在命令列中通過在任意zk節點上執行以下命令來進行檢視

關於hadoop集群常用的命令如下：

bin/hdfs namenode -format #格式化 hdfs 集群


sbin/start-dfs.sh #啟動 hdfs 集群


sbin/stop-dfs.sh#停止hdfs 集群


bin/hdfs zkfc -formatzk#格式化 zookeeper


sbin/hadoop-daemon.sh start namenode#啟動namenode


sbin/start-yarn.sh #啟動 yarn 服務


sbin/stop-yarn.sh #關閉 yarn 服務


sbin/yarn-daemon.sh start resourcemanager#啟動resourcemanager

Hadoop集群配置 啟動YARN

本篇在 hadoop集群啟動hdfs 的基礎上繼續配置 配置mapred site.xml 複製mapred site.xml.template配置模板生成mapred site.xml cp usr local hadoop hadoop 2.9.2 etc hadoop mapred site....

Hadoop集群之HDFS和YARN啟動和停止命令

1.啟動hdfs集群 使用hadoop的批量啟動指令碼 2.停止hdfs集群 使用hadoop的批量啟動指令碼 3.啟動單個程序 4.分別檢視啟動後3臺虛擬機器上的程序情況 root hadoop01 jps 6695 datanode 2002 quorumpeermain 6879 dfszkf...

hadoop集群之HDFS和YARN啟動和停止命令

假如我們只有3臺linux虛擬機器，主機名分別為hadoop01 hadoop02和hadoop03，在這3臺機器上，hadoop集群的部署情況如下 hadoop01 1個namenode，1個datanode，1個journalnode，1個zkfc，1個resourcemanager，1個nod...