1.fileinoutformat切片機制：
2.總結：
1.切片是為了給maptask分配任務，也就是為了整個mapreduce程式做map的並行度規劃；
2.乙個切片會交給乙個maptsak來處置；
3.預設的切片機制是fileinputformat getsplits（），他的邏輯是對輸入目錄中所有的檔案挨個進行切片，切片的引數splitsize == block.size；
4.預設的切片機制在小檔案的處理場景之下，效率特別低，需要特別注意。
3.注意：
1.因為每個切片的大小預設情況下是128m，如果乙個檔案是260m，那麼切了128m後還剩132m，如果剩餘的長度/splitsize <= 1.1，就將我們剩餘的全部併入乙個切片中。
2.小檔案情場：預設的切片機制會造成大量的maptask處理很少的資料量，這樣效率很低下：
解決方案：
a.上上策：在把小檔案上傳到hdfs之前就進行預處理，事先合併後在上傳；
b.上策：事先將小檔案進行合併（自己寫合併程式）；
c.中下策：修改getsplits（）的邏輯，把多個小檔案當成大檔案來處理。
Hadoop資料切片與MapTask並行度決定機制
資料塊 block 是hdfs 物理上把資料分成一塊一塊。資料切片 資料切片只是在邏輯上對輸入進行分片，並不會在磁碟上將其切分成片進行儲存。假設切片大小設定成100m 1 乙個job的map階段並行度由客戶端在提交job時的切片數決定 2 每乙個split切片分配乙個maptask並行例項處理 3 ...
distcp指令並行拷貝大資料檔案
您可以使用目標群集上的 distcp 工具啟用複製作業以移動資料。在執行不同 cdh 版本的兩個群集之間，執行 distcp 工具 hftp 作為原始檔系統且 hdfs 作為目標檔案系統 它將 hftp 協議用於原始檔系統且 hdfs 協議用於目標檔案系統。hftp 的預設埠為 50070，hdfs...
大資料平行計算利器之MPI OpenMP
影象連通域標記演算法是從一幅柵格影象 通常為二值影象 中，將互相鄰接 4鄰接或8鄰接 的具有非背景值的畫素集合提取出來，為不同的連通域填入數字標記，並且統計連通域的數目。通過對柵格影象中進行連通域標記，可用於靜態地分析各連通域斑塊的分布，或動態地分析這些斑塊隨時間的集聚或離散，是影象處理非常基礎的演...