MR程式的幾種提交執行模式

2021-07-11 05:30:28 字數 1168 閱讀 2914

mr程式的幾種提交執行模式

1/在windows的eclipse裡面直接執行main方法,就會將job提交給本地執行器localjobrunner執行

----配置path:d:\hadoop-2.7.2\bin

----配置hadoop_home:d:\hadoop-2.7.2

----複製 hadoop.dll和winutils.exe 到hadoop/bin資料夾下

----輸入輸出資料可以放在本地路徑下(c:/wc/srcdata/)

----輸入輸出資料也可以放在hdfs中(hdfs://hello110:9000/wc/srcdata)

2/在linux的eclipse裡面直接執行main方法,但是不要新增yarn相關的配置,也會提交給localjobrunner執行

----輸入輸出資料可以放在本地路徑下(/home/hadoop/wc/srcdata/)

----輸入輸出資料也可以放在hdfs中(hdfs://hello110:9000/wc/srcdata)  

1【推薦的方法】/將工程打成jar包,上傳到伺服器,然後用hadoop命令提交  hadoop jar wc.jar cn.itcast.hadoop.mr.wordcount.wcrunner

2/在linux的eclipse中直接執行main方法,也可以提交到集群中去執行,但是,必須採取以下措施:

----在工程src目錄下加入 mapred-site.xml  和  yarn-site.xml 

----將工程打成jar包(wc.jar),同時在main方法中新增乙個conf的配置引數 conf.set("mapreduce.job.jar","wc.jar");  

3/在windows的eclipse中直接執行main方法,也可以提交給集群中執行,但是因為平台不相容,

需要做很多的設定修改

----要在windows中存放乙份hadoop的安裝包(解壓好的)

----要將其中的lib和bin目錄替換成根據你的windows版本重新編譯出的檔案

----再要配置系統環境變數 hadoop_home  和 path

----修改yarnrunner這個類的原始碼

MapReduce程式的幾種提交執行模式

本地模型執行 1 在windows的eclipse裡面直接執行main方法,就會將job提交給本地執行器localjobrunner執行 輸入輸出資料可以放在本地路徑下 c wc srcdata 輸入輸出資料也可以放在hdfs中 hdfs weekend110 9000 wc srcdata 2 在...

MapReduce程式的幾種提交執行模式

本地模型執行 1 在windows的eclipse裡面直接執行main方法,就會將job提交給本地執行器localjobrunner執行 輸入輸出資料可以放在本地路徑下 c wc srcdata 輸入輸出資料也可以放在hdfs中 hdfs weekend110 9000 wc srcdata 2 在...

4 Docker 提交執行中容器作為新的映象

提交容器副本使之成為乙個新的映象 docker images tomcatdocker run it d p 8888 8080 tomcat d後台執行 daemon p埠對映,分別是 虛擬主機埠 docker容器埠 小p是指定埠 i以互動模式執行容器 t為容器分配乙個偽輸入終端 docker p...