作業提交到的佇列：mapreduce.job.queuename
作業優先順序：mapreduce.job.priority
pig版本：
set mapreduce.job.queuename root.etl.distcp;
set mapreduce.job.priority high;
hive版本：
set mapreduce.job.queuename=root.etl.distcp;
set mapreduce.job.priority=high;
mapreduce版本：
注意：取值 mapreduce 分別設定優先順序very_high,high,normal
設定這個值不會精確的控制mapreduce的順序，只是在計算任務向集群服務申請資源的時候會起作用。
舉例：set mapred.job.priority=low;
set mapred.reduce.tasks=40;
注意：每乙個引數的key可能hadoop等應用程式的版本相關，所以要是不起作用，要在原始碼中查詢正確的key，再設定引數。
設定了優先順序，也不會保證你的重要計算任能夠按時執行，因為每乙個計算任務都是隨機的，例如，低優先順序的計算任務已將所有的計算資源申請完了，並且它沒有跑完，這時重要的高優先順序的任務來了，也是照樣拿不到計算資源。
hadoop map reduce 階段筆記
shuffle and sort mr 框架保證 每個 reducer 的輸入都是按照 key 鍵排過序的。shuffle 將map輸出結果送到reducer和排序的功能。1 map 每個map task將結果輸出到環形記憶體緩衝區，當到達一定閾值，則啟動乙個後台程序將快取中的資料 1 按照 red...
Hadoop MapReduce 效能優化
我們時常談論說到mapreduce時，我們都會說它是離線計算框架，磁碟io開銷大，job執行比較慢等等。這一篇部落格，南國系統回顧下mr程式執行慢的原因，以及如何優化mr程式。我們都知道mapreduce是離線計算框架，不同於spark記憶體計算框架模型。乙個標準的mr程式由map方法和reduce...
九 hadoop mapreduce分割槽
一 什麼時候分割槽？1 分割槽的實現 通過繼承partitioner類，實現getpartition方法。public int getpartition key key,value value,int reducetasknumber map結束後得到的每個key value都呼叫該方法，並把key...