hadoop2 x需要知道的預設yarn配置

2022-05-04 05:27:07 字數 1710 閱讀 4562

在hadoop 2.2.0中,yarn框架有很多預設的引數值,如果你是在機器資源比較不足的情況下,需要修改這些預設值,來滿足一些任務需要。nodemanager和resourcemanager都是在yarn-site.xml檔案中配置的,而執行mapreduce任務時,是在mapred-site.xml中進行配置的。 下面看一下相關的引數及其預設值情況:

引數名稱

預設值程序名稱

配置檔案

含義說明

yarn.nodemanager.resource.memory-mb

8192

nodemanager

yarn-site.xml

從節點所在物理主機的可用物理記憶體總量

yarn.nodemanager.resource.cpu-vcores

8nodemanager

yarn-site.xml

節點所在物理主機的可用虛擬cpu資源總數(core)

yarn.nodemanager.vmem-pmem-ratio

2.1nodemanager

yarn-site.xml

使用1m物理記憶體,最多可以使用的虛擬記憶體數量

yarn.scheduler.minimum-allocation-mb

1024

resourcemanager

yarn-site.xml

一次申請分配記憶體資源的最小數量

yarn.scheduler.maximum-allocation-mb

8192

resourcemanager

yarn-site.xml

一次申請分配記憶體資源的最大數量

yarn.scheduler.minimum-allocation-vcores

1resourcemanager

yarn-site.xml

一次申請分配虛擬cpu資源最小數量

yarn.scheduler.maximum-allocation-vcores

8resourcemanager

yarn-site.xml

一次申請分配虛擬cpu資源最大數量

mapreduce.framework.name

local

mapreduce

mapred-site.xml

取值local、classic或yarn其中之一,如果不是yarn,則不會使用yarn集群來實現資源的分配

mapreduce.map.memory.mb

1024

mapreduce

mapred-site.xml

每個mapreduce作業的map任務可以申請的記憶體資源數量

mapreduce.map.cpu.vcores

1mapreduce

mapred-site.xml

每個mapreduce作業的map任務可以申請的虛擬cpu資源的數量

mapreduce.reduce.memory.mb

1024

mapreduce

mapred-site.xml

每個mapreduce作業的reduce任務可以申請的記憶體資源數量

yarn.nodemanager.resource.cpu-vcores

8mapreduce

mapred-site.xml

每個mapreduce作業的reduce任務可以申請的虛擬cpu資源的數量

Hadoop2 X中的描述

1,hadoop 1.0中hdfs和mapreduce在高可用 擴充套件性等方面存在問題 2,hdfs存在的問題 namenode壓力過大,且記憶體受限,影響系統擴充套件 3,mapreduce存在的問題 jobtracker單點故障 jobtracker訪問壓力大,影響系統擴充套件性 難以支援除m...

hadoop2 x入門 Hadoop的啟動方式

本內容基於hadoop 2.7.2 1.hadoop啟動方式 我們執行hadoop安裝目錄下的sbin sh 各服務元件逐一啟動 hdfs hadoop daemon.sh start stop namenode datanode secondarynamenode yarn yarn daemon...

hadoop2 x入門 Hadoop的啟動方式

hadoop2.x入門 hadoop的啟動方式,本內容基於hadoop 2.7.2。1.hadoop啟動方式 我們執行hadoop安裝目錄下的sbin sh 各服務元件逐一啟動 hdfs hadoop daemon.sh start stop namenode datanode secondaryn...