引數名稱
引數含義
預設值io.sort.mb
map task緩衝區所佔記憶體大小
100mb
io.sort.record.percent
緩衝kvoffsets和kvindices共佔io.sort.mb的記憶體比例
0.05
io.sort.spill.percent
緩衝區kvoffsets或者kvoffsets記憶體使用率達到該比例後，會觸發溢寫操作，將記憶體中的資料寫成乙個檔案
0.80
mapred.compress.map.output
是否壓縮map task中間結果
true
mapred.map.output.compression.codec
如果支援壓縮map task中間結果，則採用什麼壓縮器
org.apache.hadoop.io.compress.zlib
引數名稱
引數含義
預設值mapred.reduce.parallel.copies
reduce task同時啟動的資料拷貝執行緒數目
5mapred.job.reduce.input.buffer.percent
hadoop假設使用者的reduce()函式需要所有的jvm記憶體，因此執行reduce()函式前要釋放所有記憶體。如果設定了該值，可將部分檔案儲存在記憶體中（不必寫到磁碟上）
0mapred.job.shuffle.input.buffer.percent
shufflerammanager管理的記憶體佔jvm heap max size的比例
0.70
mapred.job.shuffle.merge.percent
當記憶體使用率超過該值後，會觸發一次合併，將記憶體中的資料寫到磁碟上
0.66
mapred.inmem.merge.threshold
當記憶體中的檔案數量超過該閾值時，會觸發一次合併，將記憶體中的資料寫到磁碟上
1000
io.sort.factor
檔案合併時，一次合併的檔案數目（合併後，將合併後的檔案放到磁碟上繼續合併，注意，每次合併時，選擇最小的前io.sort.factor進行合併）
10或100
http server上的執行緒數。該server執行在每個task tracker上，用於處理map task輸出
40
可呼叫物件
我們可以向演算法傳遞任何類別的可呼叫物件 函式，函式指標，過載了函式呼叫運算子的類，lambda 表示式，bind 函式。函式物件 1 如果類過載了函式呼叫運算子，則我們可以像使用函式一樣使用該類的物件。因為這樣的類同時也能儲存狀態，所以與普通函式相比他們更加靈活。例 struct absint i...
自製可調電源
在各種電子相關小製作，除錯中，電源供電是必備不可少的。市面上有巨多的電源，比如 但是，都有些許問題困擾。一是基於適用性和成本考慮，這裡講的適用性就是我們大多數使用時的電壓範圍，電流範圍。這裡我們用 來搜尋 電源模組 可調電源 銷量第一的是 就是這種12v輸出可調的電源模組，使用這種單獨的電源模組存在...
可呼叫物件
在python中可以用callable函式檢視乙個物件是不是可呼叫 1 deffn 2print ha ha ha 34callable fn 5 true 乙個類被例項化後，這個例項物件是乙個不可呼叫物件 1 class fun 2def init self,name 3 self.name na...