MapReduce程式的幾種提交執行模式

本地模型執行

1/在windows的eclipse裡面直接執行main方法，就會將job提交給本地執行器localjobrunner執行

----輸入輸出資料可以放在本地路徑下（c:/wc/srcdata/）

----輸入輸出資料也可以放在hdfs中(hdfs://weekend110:9000/wc/srcdata)

2/在linux的eclipse裡面直接執行main方法，但是不要新增yarn相關的配置，也會提交給localjobrunner執行

----輸入輸出資料可以放在本地路徑下（/home/hadoop/wc/srcdata/）

----輸入輸出資料也可以放在hdfs中(hdfs://weekend110:9000/wc/srcdata) 

集群模式執行

1/將工程打成jar包，上傳到伺服器，然後用hadoop命令提交  hadoop jar wc.jar cn.itcast.hadoop.mr.wordcount.wcrunner

2/在linux的eclipse中直接執行main方法，也可以提交到集群中去執行，但是，必須採取以下措施：

----在工程src目錄下加入 mapred-site.xml  和  yarn-site.xml

----將工程打成jar包(wordcount.jar)，同時在main方法中新增乙個conf的配置引數　conf.set("mapreduce.job.jar","wordcount.jar");          

3/在windows的eclipse中直接執行main方法，也可以提交給集群中執行，但是因為平台不相容，需要做很多的設定修改

----要在windows中存放乙份hadoop的安裝包（解壓好的）

----要將其中的lib和bin目錄替換成根據你的windows版本重新編譯出的檔案

----再要配置系統環境變數 hadoop_home  和 path

----修改yarnrunner這個類的原始碼

如果是本地執行，job的編號會以localjob開頭

集群方式執行成功：

MapReduce程式的幾種提交執行模式

本地模型執行 1 在windows的eclipse裡面直接執行main方法，就會將job提交給本地執行器localjobrunner執行 輸入輸出資料可以放在本地路徑下 c wc srcdata 輸入輸出資料也可以放在hdfs中 hdfs weekend110 9000 wc srcdata 2 在...

mapreduce的幾種工作模式

mapreduce工作原理,可以粗略的看作乙個分包聚合分包過程的map,聚合過程reduce,根據業務的不同使用的方式也不同.其中主要可以分為5種不同的使用模式.mapreduce作業的階段主要可以分為以下5種 input map reduce output input map output inp...

MapReduce幾種執行模式

1 在eclipse中開發好mr程式 windows或linux下都可以 然後打成jar包 wc.jar 上傳到伺服器 執行命令 hadoop jar wc.jar cn.itheima.hadoop.mainclassrunner 2 在linux的eclipse中直接啟動runner類的main...