2020-7-26
功能：
按照條件將結果輸入到不同的檔案中
實現步驟：
自定義排序規則繼承partitioner類，重寫getpartition（）方法
在job驅動driver中設定自定義排序規則
在driver中根據分割槽數，設定reducetask數
分割槽數和reducetask關係
如果reducetask的數量（分割槽數）大於getpartition設定的數量，會產生空的輸出檔案
如果reducetask的數量大於1，getpartition又大於reducetask的數量，就會出現無處安放的資料，會丟擲異常
如果reducetask的數量等於1，不管你設定了多少個分割槽，最後輸出都會輸出到乙個檔案裡part-r-00000000
分割槽號必須是從0開始。例如：設定4個分割槽，則輸出檔案為編號為0，1，2，3。getpartition裡面的分割槽指定也要符合這個規則
功能
發生在reduce之前，增加reduce的並行度
實現步驟：
寫乙個分組類，繼承writablecomparator類
重寫構造方法
重寫compare(writablecomparable a,
writablecomparable b)方法
driver指定分組器setgroupingcomparatorclass
意義：
合理使用，按照特定規則進行歸納，增加reduce
任務並行度，防止reduce端資料傾斜
功能：
mapreduce的排序主要是指的將map輸出的key進行排序
但是整個shuffle中會用到四次排序，都會按照指定的排序規則排序
實現步驟
mapreduce提供的資料型別均已實現writablecomparable介面。
直接在物件中實現writablecomparable介面，重寫write（），readfields（），compareto（），三個方法。在compareto方法裡定義排序規則。
寫乙個排序比較器，繼承writablecomparable，重寫構造方法和compare方法。
在driver中設定排序比較器器。
setsortcomparatorclass(class);
注意
maptask和reducetask均會對資料按照key進行排序，該操作屬於mr預設行為。
任何應用程式中的資料均會被排序，不論是否需要。maptask輸出的key必須實現writablecomparable介面，實現compareto方法。即使指定排序規則，若key物件沒有comperto方法仍會丟擲異常（指定的規則最終仍會呼叫key的compareto）。所以maptask輸出的key無論如何必須實現wc介面
mapreduce原理 分割槽，分組
分析這個原理，的原因是 1 更好的理解mapreduce的過程。2 在二次排序時會用到這個原理，二次排序要重寫分割槽方法，重寫分組方法 如果原理沒搞明白，就無法寫二次排序的 key 預設分割槽 預設分組 自定義分割槽 自定義分組 abc123 1 使用系統預設分割槽方式，是按key 進行分割槽。2 ...
MapReduce分片 分割槽 分組 傻傻分不清
對於hdfs中儲存的乙個檔案，要進行map處理前，需要將它切分成多個塊，才能分配給不同的maptask去執行。分片的數量等於啟動的maptask的數量。預設情況下，分片的大小就是hdfs的blocksize。blocksize預設大小128m。可通過設定minsize和maxsize來設定分片的大小...
理解MapReduce中的切片 分割槽 ？？？？
如上圖，如果我hdfs中，word目錄下有這四個檔案，那麼它能分為幾個切片呢？maptask的數量 切片數量 切塊也分為兩種 一種是物理切塊，一種是邏輯切塊 前者是將檔案真正的變成檔案塊 後者是用物件來封裝每個檔案塊的資訊，比如資料夾的起始位置 和長度。這樣的來分切塊的作用，假如我乙個檔案是129m...