hadoop本地執行模式 官方Grep案例

2021-10-05 07:52:03 字數 743 閱讀 5058

一).在本地模式之前

1.先進入 hadoop所安裝的資料夾

儲存後退出

二).官方grep案例

建立在hadoop-2.7.2檔案下面建立乙個input資料夾

mkdir input
將hadoop的xml配置檔案複製到input

cp etc/hadoop/*.xml input

3.執行share目錄下的mapreduce程式

bin/hadoop jar

share/hadoop/mapreduce/hadoop-mapreduce-examples-

2.7.2

.jar grep input output 'dfs[a-z.]+'

4. 檢視輸出結果

能執行本地模式 說明 本地環境配置好了

hadoop執行模式

hadoop執行模式有三種 本地模式 偽分布式模式以及完全分布式模式。1 本地模式 不需要額外的配置,只要執行相應的jar包即可,下面是執行官方grep案例 bin hadoop jar share hadoop mapreduce hadoop mapreduce examples 2.7.2.j...

Apache Storm 官方文件 本地模式

本地模式是一種在本地程序中模擬 storm 集群的工作模式,對於開發和測試拓撲很有幫助。在本地模式下執行拓撲與在集群模式下執行拓撲的方式很相似。建立乙個程序內的 集群 只需要使用localcluster類即可,例如 import backtype.storm.localcluster localcl...

hadoop(七)mapReduce執行模式

mr程式的幾種提交執行模式 本地模型執行 1 在windows的eclipse裡面直接執行main方法,就會將job提交給本地執行器localjobrunner執行 輸入輸出資料可以放在本地路徑下 c wc srcdata 輸入輸出資料也可以放在hdfs中 hdfs weekend110 9000 ...