mapreduce效能調優的著手點有如下幾個
1、map輸出的壓縮
2、reducetask數量的設定
3、shuffle資料處理過程中的一些引數
分別如下：
一、map的輸出壓縮
設定方法有兩種
1、通過configuration.set(name,value)設定
2、通過配置檔案mapred-site.xml設定
重要引數如下：
name1：mapreduce.map.output.compress ， value1：true
name2：mapreduce.map.output.compress.codec ， value2：(可選)
二、通過設定reduce task number
此方法測試時類似正態分佈，通過測試不斷縮小範圍，找到對稱軸，找到最優的task數量
三、shuffle過程的引數
如：（給個思路，具體引數自己上官網查）
1、map在環形快取區的溢位記憶體預設值為100m，可以設定
mapreduce.task.io.sort.mb
2、溢位記憶體寫入磁碟的百分比預設是80%，可以設定
mapreduce.task.io.sort.spill.percent
3、在合併前，當數量達到多少時才對檔案進行合併，預設是10
mapreduce.task.sort.factor
4、執行map和reduce任務時核數設定
mapreduce.map.cpu.vcores
mapreduce.reduce.cpu.vcores
5、執行map和reduce任務時記憶體設定（少用）
mapreduce.map.memory.mb
mapreduce.map.memory.mb
MapReduce作業調優
1，map緩衝區記憶體改大 環形緩衝區越大，溢寫次數越少，磁碟 io 的次數越少，執行速度就越快 預設100m，可配置 2，map輸出壓縮 減少io 可配置 3，reduce拉取過來的資料直接存記憶體，避免落盤，這樣合併也能在記憶體中完成 可配置 4，shuffle中的多次磁碟io操作非常消耗效能，...
MapReduce的調優總結
mapreduce的調優總結 mapreduce 伺服器調優 1.mapreduce.task.io.sort.factor mr程式進行合併排序的時候，開啟的檔案數量，預設為10個.3.mapreduce.map.sort.spill.percent mr程式進行flush操作的閥值，預設0.80...
調優 Nginx效能調優
一.nginx優化配置 1.主配置檔案優化 注 部分配置詳解 worker processes 8 nginx程序數，建議按照cpu數目來指定，一般為它的倍數。worker cpu affinity 00000001 00000010 00000100 00001000 00010000 00100...