MapReduce幾種執行模式

2021-08-25 13:54:45 字數 792 閱讀 3472

1、在eclipse中開發好mr程式(windows或linux下都可以),然後打成jar包(wc.jar),上傳到伺服器

執行命令    hadoop jar wc.jar cn.itheima.hadoop.mainclassrunner

2、在linux的eclipse中直接啟動runner類的main方法,這種方式可以使job執行在本地,也可以執行在yarn集群

----究竟執行在本地還是在集群,取決於乙個配置引數

mapreduce.framework.name == yarn (local)

----如果確實需要在eclipse中提交到yarn執行,必須做好以下兩個設定

a/將mr工程打成jar包(wc.jar),放在工程目錄下

b/在工程的main方法中,加入乙個配置引數   conf.set("mapreduce.job.jar","wc.jar");    

3、在windows的eclipse中執行本地模式,步驟為:

----a、在windows中找乙個地方放乙份hadoop的安裝包,並且將其bin目錄配到環境變數中

----b、根據windows平台的版本(32?64?win7?win8?),替換掉hadoop安裝包中的本地庫(bin,lib)

----c、mr程式的工程中不要有引數mapreduce.framework.name的設定

4、在windows的eclipse中執行main方法來提交job到集群執行,比較麻煩

----a、類似於方式3中所描述的對本地庫相容性進行改造

----b、修改yarnrunner這個類    

MapReduce程式的幾種提交執行模式

本地模型執行 1 在windows的eclipse裡面直接執行main方法,就會將job提交給本地執行器localjobrunner執行 輸入輸出資料可以放在本地路徑下 c wc srcdata 輸入輸出資料也可以放在hdfs中 hdfs weekend110 9000 wc srcdata 2 在...

MapReduce程式的幾種提交執行模式

本地模型執行 1 在windows的eclipse裡面直接執行main方法,就會將job提交給本地執行器localjobrunner執行 輸入輸出資料可以放在本地路徑下 c wc srcdata 輸入輸出資料也可以放在hdfs中 hdfs weekend110 9000 wc srcdata 2 在...

MapReduce程式執行模式

1 mapreduce程式是被提交給localjobrunner在本地以單程序的形式執行 2 而處理的資料及輸出結果可以在本地檔案系統,也可以在hdfs上 3 怎樣實現本地執行?寫乙個程式,不要帶集群的配置檔案 本質是程式的conf中是否有mapreduce.framework.name local...