HUE提交MapReduce作業示例

2021-07-24 18:07:46 字數 1114 閱讀 4678

因為hue也是通過oozie的rest提交作業，故看過oozie提交作業總結後，在hue中提交作業變得相當簡單。

圖中所有的」hadoop job properties」如下，

mapreduce.input


.fileinputformat


.inputdir $


mapreduce.output


.fileoutputformat


.outputdir $


mapreduce.job


.map


mapreduce.job


.reduce


.class wordcount.wordcount$intsumreducer


mapreduce.job


.combine


.class wordcount.wordcount$intsumreducer


mapreduce.job


.output


.key


.class org.apache


.hadoop


.io.text


mapreduce.job


.output


.value


.class org.apache


.hadoop


.io.intwritable


.new-api true


mapred.reducer


.new-api true


mapreduce.job


.reduces


1
提交作業後，填寫上述設定的輸入輸出路徑引數便可以成功執行，見如下，

MapReduce幾種提交方式

1.在windows裡的ide直接執行main方法，會將job提交給本地執行器localjobrunner執行 本地存放hadoop安裝包 輸入輸出資料可以放在本地路徑下 c wc srcdata 輸入輸出資料也可以放在hdfs中 hdfs centos7one 9000 wc output3 2....

MapReduce幾種提交方式

1.在windows裡的ide直接執行main方法，會將job提交給本地執行器localjobrunner執行 本地存放hadoop安裝包 輸入輸出資料可以放在本地路徑下 c wc srcdata 輸入輸出資料也可以放在hdfs中 hdfs centos7one 9000 wc output3 2....

MapReduce作業提交過程

通過提交jar包，進行mapreduce處理，那麼整個執行過程分為五個環節 1 向client端提交mapreduce job.2 隨後yarn的resourcemanager進行資源的分配.3 由nodemanager進行載入與監控containers.5 通過hdfs進行job配置檔案 jar包...