YARN相關配置引數整理

2021-09-11 22:09:14 字數 540 閱讀 5484

以下所述引數均在yarn-site.xml檔案中配置

yarn.scheduler.minimum-allocation-mb

yarn.scheduler.maximum-allocation-mb

說明:單個容器可申請的最小與最大記憶體,應用在執行申請記憶體時不能超過最大值,小於最小值則分配最小值。

預設值:1024/8192

yarn.scheduler.minimum-allocation-vcores

yarn.scheduler.maximum-allocation-vcores

說明:待補充。

預設值:1/32

yarn.nodemanager.resource.cpu-vcores

說明:每個nodemanager節點總的可用虛擬cpu個數。

預設值:8

hadoop 配置相關引數

mapred.reduce.slowstart.completed.maps map完成多少百分比時,開始shuffle 當map執行慢,reduce執行很快時,如果不設定mapred.reduce.slowstart.completed.maps會使job的shuffle時間變的很長,map執行完...

配置IP相關引數

子網掩碼 255.255.255.0 11111111.11111111.11111111.00000000 預設閘道器 192.168.1.1 首選dns伺服器 207.198.6 備用dns伺服器 22.70.225 網域名稱解析 交換機hub集線器 hub是乙個多埠的 器 在以hub為中心裝置...

ETCD相關配置引數

name data dir wal dir snapshot count heartbeat interval election timeout listen peer urls listen client urls max snapshots max wals cors quota backent...