在編寫mapreduce程式時，需要考慮如下幾個方面：
(1)預設使用的實現類是: textinputformat
(2) textnputformat的功能邏 輯是: - -次讀一行文字，然後將該行的起始偏移量作為key,行內容作為value返回。
(3) keyvalue textinputformat每一行均為一 條記錄，被分隔符分割為key,value。預設分隔符是tab (t)。
(4) nlineinputformat按照指定的行數n來劃分切片。
(5) combine』 textinputformat可以把多個小檔案合併成- -個切片處理，提高處理效率。
(6)使用者還可以自定義inputformat。
使用者根據業務需求實現其中三個方法: mapo setupo cleanup 0
(1)有預設實現hashpartitioner，邏輯是根據key的雜湊值和numreduces來返回乙個 分割槽號; keyhashcode(&integermaxvalue %mumreduces
(2)如果業務.上有特別的需求，可以自定義分割槽。
(1)當我們用自定義的物件作為key來輸出時，就必須要實現writablecomparable介面，重寫其中的compareto0方法。
(2)部分排序:對最終輸出的每-個檔案進行內部排序。(3)全排序:對所有資料進行排序,通常只有- -個reduce。(4)二次排序:排序的條件有兩個。
combiner合併可以提高程式執行效率,減少io傳輸。但是使用時必須不能影響原有的業務處理結果。
在reduce端對key進行分組。應用於:在接收的key為bean物件時，想讓乙個或幾個字段相同(全部字段比較不相同)的key)進 入到同一-個reduce方法時，可以採用分組排序。
使用者根據業務需求實現其中三個方法: reduce() setup() cleamup 0
(1)預設實現類是textoutputformat, 功能邏輯是:將每乙個kv對, 向目標文字檔案輸出- -行。
(2)將sequencefileoutputformat輸出作為後續 mapreduce任務的輸入，這便是一種好的輸出格式， 因為它的格式緊湊,很容易被壓縮。
(3)使用者還可以自定義outputformat。
Hadoop框架之 企業優化
mapreduce優化方法 mapreduce程式效率的瓶頸在於兩點 cpu 記憶體 磁碟健康 網路 1 資料傾斜 2 map和reduce數設定不合理 3 map執行時間太長，導致reduce等 待過久 4 小檔案過多 5 大量的不可分塊的超大檔案 6 spil 次數過多 7 merge次數過多等...
Hadoop之MapReduce框架原理
mapreduce的資料流 1 問題引入 maptask的並行度決定map階段的任務處理併發度，進而影響到整個job的處理速度。思考 1g的資料，啟動8個maptask，可以提高集群的併發處理能力。那麼1k的資料，也啟動8個maptask，會提高集群效能嗎？maptask並行任務是否越多越好呢？哪些...
大資料之Hadoop框架（一）
三 hadoop應用 四 hadoop優勢及意義 quad quad apache hadoop 是乙個開源的,可靠的 reliable 可擴充套件的 scalable 用於大資料儲存 計算 分析的分布式儲存系統和分布式計算框架。quad quad hdfs hadoop distributed f...