(1)以下引數是在使用者自己的mr應用程式中配置就可以生效（配置檔名:mapred-default.xml)
1.mapreduce.map.memory.mb
乙個maptask可使用的資源上限（單位:mb），預設為1024。如果maptask實際使用的資源量超過該值，則會被強制殺死。
2.mapreduce.reduce.memory.mb
乙個reducetask可使用的資源上限（單位:mb），預設為1024。如果reducetask實際使用的資源量超過該值，則會被強制殺死。
3.mapreduce.map.cpu.vcores
每個maptask可使用的最多cpu core數目，預設值: 1
4.mapreduce.reduce.cpu.vcores
每個reducetask可使用的最多cpu core數目，預設值: 1
5.mapreduce.reduce.shuffle.parallelcopies
每個reduce去map中取資料的並行數。預設值是5
6.mapreduce.reduce.shuffle.merge.percent
buffer中的資料達到多少比例開始寫入磁碟。預設值0.66
7.mapreduce.reduce.shuffle.input.buffer.percent
buffer大小佔reduce可用記憶體的比例。預設值0.7
8.mapreduce.reduce.input.buffer.percent
指定多少比例的記憶體用來存放buffer中的資料，預設值是0.0
(2)應該在yarn啟動之前就配置在伺服器的配置檔案中才能生效（配置檔名:yarn-default.xml）
1.yarn.scheduler.minimum-allocation-mb
給應用程式container分配的最小記憶體，預設值：1024
2.yarn.scheduler.maximum-allocation-mb
給應用程式container分配的最大記憶體，預設值：8192
3.yarn.scheduler.minimum-allocation-vcores
每個container申請的最小cpu核數，預設值：1
4.yarn.scheduler.maximum-allocation-vcores
每個container申請的最大cpu核數，預設值：32
5.yarn.nodemanager.resource.memory-mb
給containers分配的最大物理記憶體，預設值：8192
(3）shuffle效能優化的關鍵引數，應在yarn啟動之前就配置好（mapred-default.xml）
1.mapreduce.task.io.sort.mb
shuffle的環形緩衝區大小，預設100m
2.mapreduce.map.sort.spill.percent
環形緩衝區溢位的閾值，預設80%
Hadoop常用的調優引數
1 資源相關引數 1 以下引數是在使用者自己的mr應用程式中配置就可以生效 mapred default.xml 配置引數 引數說明 mapreduce.map.memory.mb 乙個maptask可使用的資源上限 單位 mb 預設為1024。如果maptask實際使用的資源量超過該值，則會被強制...
hadoop常用的調優引數
1 資源相關引數 1 以下引數是在使用者自己的mr應用程式中配置就可以生效 mapred default.xml 配置引數 引數說明 mapreduce.map.memory.mb 乙個map task可使用的資源上限 單位 mb 預設為1024。如果map task實際使用的資源量超過該值，則會被...
Hadoop引數調優
1 要注意namenode和datanode的通訊，有乙個引數可以提公升他們通訊的順暢度 即20logn，n為集群大小 2 注意把hdfs的namenode 檔案edits 日誌檔案 和fsimage 映象檔案 配置在不同目錄下。可以提公升namenode效能 3 基準測試 測試hdfs的寫 讀效能...