1.問題：當乙個mapreduce程式的輸入是很多個mapreduce的輸出時，由於input預設只能是乙個路徑，需要把這些檔案合併起來成乙個檔案。hadoop裡提供了這樣的函式copymerge。
函式實現如下：
public void copymerge(string folder, string file) catch (ioexception e)
}
這個能把folder子目錄裡的所有part-r-0000*組合成乙個檔案，此函式相當於又做了一次mapreduce，輸出檔名為自己設定的dst。
2.在專案中，有時還會遇到hdfs內部檔案拷貝，這個函式實現不再hadoop filesystem中。當時找api很痛苦的，後來發現它在fileutil中。
函式實現如下：
public void copy(string srcfile, string desfile) catch (ioexception e)
}
合併 hdfs 檔案
待研究，只做儲存 將hdfs中不同目錄下面的資料合在一起，並存放在指定的目錄中，示例如 sqoop merge new data test p1 person onto test p2 person target dir test merged jar file opt data sqoop per...
HDFS合併小檔案
眾所周知，hdfs中過多的小檔案，會給namenode造成很大的壓力，所謂的小檔案，是指遠遠小於檔案塊大小的檔案。在使用hdfs的過程中，應盡量避免生成過多的小檔案。假設存放在本地的資料由很多個小檔案組成，需要上傳到hdfs。一般的做法是在本地使用指令碼 程式先把小檔案合併後再上傳。假設本地有兩個小...
HDFS 塊快取和聯邦HDFS
塊快取 對於訪問頻繁的塊，顯式地快取在datanode的記憶體中，以堆外塊快取的方式存在 利用快取塊的優勢提高讀操作的效能。聯邦hdfs namenode在記憶體中儲存了每個檔案與每個資料塊的引用關係，超大集群的namenode記憶體會成為瓶頸 hdfs允許擴充套件namenode，不同的namen...