hadoop執行模式

2021-10-03 17:03:23 字數 952 閱讀 8448

hadoop執行模式有三種:本地模式、偽分布式模式以及完全分布式模式。

1、本地模式

不需要額外的配置,只要執行相應的jar包即可,下面是執行官方grep案例:

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output 'dfs[a-z.]+'
2、偽分布式模式

2.1啟動hdfs並執行mapreduce程式:

1)、配置集群

2)、啟動集群

3)、檢視集群

檢視hdfs檔案系統

4)、操作集群

2.2啟動yarn並執行mapreduce程式

1)、配置集群在yarn上執行mr

2)、啟動集群和yarn

3)、檢視集群和yarn 

檢視yarn

2.3配置歷史伺服器

檢視歷史伺服器 

3、完全分布式

3.1基本步驟:

1)、準備三颱客戶機

2)、安裝jdk、hadoop分別配置環境變數

3)、配置集群

4)、單點啟動

5)、配置ssh

6)、群起並測試

3.2集群部署規劃

web端檢視secondarynamenode

(a)瀏覽器中輸入:http://hadoop104:50090/status.html

hadoop(七)mapReduce執行模式

mr程式的幾種提交執行模式 本地模型執行 1 在windows的eclipse裡面直接執行main方法,就會將job提交給本地執行器localjobrunner執行 輸入輸出資料可以放在本地路徑下 c wc srcdata 輸入輸出資料也可以放在hdfs中 hdfs weekend110 9000 ...

hadoop本地執行模式 官方Grep案例

一 在本地模式之前 1.先進入 hadoop所安裝的資料夾 儲存後退出 二 官方grep案例 建立在hadoop 2.7.2檔案下面建立乙個input資料夾 mkdir input將hadoop的xml配置檔案複製到input cp etc hadoop xml input 3.執行share目錄下...

Hadoop執行過程

根據hadoop 的描述,hadoop執行過程分為load map shuffle reduce這四個階段,可以看成是乙個由split itemize map reduce等10個函式或運算元組成的dag。其中每乙個函式或運算元,都可以提供自定義的實現以此來擴充套件hadoop的功能或優化效能。1 ...