MapReduce鏈結作業

對於簡單的分析程式，我們只需乙個mapreduce就能搞定，然而對於比較複雜的分析程式，我們可能需要多個job或者多個map或者reduce進行計算。下面我們來說說多個job或者多個mapreduce的程式設計形式

mapreduce的主要有以下幾種程式設計形式

1、迭代式mapreduce

mapreduce迭代方式，通常是將上乙個mapreduce任務的輸出作為下乙個mapreduce任務的輸入，可只保留mapreduce任務的最終結果，中間資料可以刪除或保留，如下所示

迭代式mapreduce的示例**如下所示

/** 
* @projectname mapreducelinkjob
* @packagename com.buaa
* @classname iterativejob
* @description todo
* @author 劉吉超
* @date 2016-06-11 11:01:57
*/public class iterativejob extends configured implements tool 
......
}

雖然mapreduce的迭代可實現多工的執行，但是它具有如下兩個缺點：

1、每次迭代，如果所有job物件重複建立，代價將非常高。

2、每次迭代，資料都要寫入本地，然後從本地讀取，i/o和網路傳輸的代價比較大

2、依賴式mapreuce

依賴式mapreduce是由org.apache.hadoop.mapred.jobcontrol包中的jobcontrol類來實現。jobcontrol的例項表示乙個作業的執行圖，你可以加入作業配置，然後告知jobcontrol例項作業之間的依賴關係。在乙個執行緒中執行jobcontrol時，它將按照依賴順序來執行這些作業。也可以檢視程序，在作業結束後，可以查詢作業的所有狀態和每個失敗相關的錯誤資訊。如果乙個作業失敗，jobcontrol將不執行與之有依賴關係的後續作業

依賴關係式mapreuce的示例**如下所示

/** 
* @projectname mapreducelinkjob
* @packagename com.buaa
* @classname dependentjob
* @description todo
* @author 劉吉超
* @date 2016-06-11 11:12:45
*/public class dependentjob extends configured implements tool 
} }
......
}

注意：hadoop的jobcontrol類實現了執行緒runnable介面。我們需要例項化乙個執行緒來啟動它。直接呼叫jobcontrol的run()方法，執行緒將無法結束。

3、鏈式mapreduce

大量的資料處理任務涉及對記錄的預處理和後處理。例如：在處理資訊檢索的文件時，可能需要先移除stop words（像a、the和is這樣經常出現但不太有意義的詞），然後再做stemming**換乙個詞的不同形式為相同的形式，例如轉換finishing和finished為finish）。

其呼叫形式如下：

...
chainreducer.setreducer(...);
...

public

static

void

class

inputkeyclass,

class

inputvalueclass,

class

outputkeyclass,

class

outputvalueclass,

configuration conf

)

鏈式mapreduce的示例**如下所示

/** 
* @projectname mapreducelinkjob
* @packagename com.buaa
* @classname chainjob
* @description todo
* @author 劉吉超
* @date 2016-06-11 11:16:55
*/public class chainjob extends configured implements tool 
......
}

】。

MapReduce鏈結作業

MapReduce作業執行流程

MapReduce作業執行流程

MapReduce作業調優

MapReduce鏈結作業

MapReduce作業執行流程

MapReduce作業執行流程

MapReduce作業調優

相關推薦