Hadoop偽分布式搭建

已經部署好的 hadoop 單機模式環境

1、切換到/usr/local/hadoop-2.7.3/etc/hadoop/目錄，需要修改如下配置

（1）etc/hadoop/core-site.xml:

<

!--指定namenode的位址-->
fs.defaultfs
hdfs://localhost:9000
<
!--用來指定使用hadoop時產生檔案的存放目錄-->
hadoop.tmp.dir
/usr/local/hadoop-2.7.3/

$ sudo vim core-site.xml

<

!--指定hdfs儲存資料的副本數量-->
dfs.replication
1

$ sudo vim hdfs-site.xml

<

!--告訴hadoop以後mr(map/reduce)執行在yarn上-->
mapreduce.framework.name
yarn

$ sudo

cp mapred-site.xml.template mapred-site.xml
$ sudo vim mapred-site.xml

<

!-- site specific yarn configuration properties -->
yarn.nodemanager.aux-services
mapreduce_shuffle

$ sudo vim yarn-site.xml

格式化的過程是建立初始目錄和檔案系統結構的過程。格式化只需進行一次，

下次啟動不再需要格式化。執行以下命令：

$ hdfs namenode -format

$ start-dfs.sh

3、啟動 yarn

$ start-yarn.sh

$ jps

nodemanager

4、在 hdfs 上建立資料夾

$ hdfs dfs -mkdir /user

$ hdfs dfs -mkdir /user/zhangsan

5、把/etc/hadoop目錄上傳到hdfs，儲存到input目錄，先建立使用者目錄hadoop

$ hdfs dfs -mkdir /user/hadoop

$ hdfs dfs -put etc/hadoop input

$ hdfs dfs -ls

6、執行 demo **

$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce?examples-

2.7.3
.jar grep input output 』dfs[a-z.
]+』

$ hdfs dfs -ls

$ hdfs dfs -cat output/*

$ hdfs dfs -get output output

2、 瀏覽器檢視集群所有應用程式

訪問集群中的所有應用程式的預設埠號為8088。使用以下url訪問該服務。網

址為：http://localhost:8088

五、停止所有程序

分別關閉hdfs和yarn

$ stop-dfs.sh

$ stop-yarn.sh

$ stop-all.sh

$ jps

至此hadoop偽分布式搭建完成。

hadoop偽分布式搭建

因為hadoop偽分布式我已在本地搭建並且執行成功。為了加快學習不足同時分享搭建。直接將不足貼出來，如有不同意見還忘評價共同提公升。hadoop 偽分布模式 hdfs yarn 另外補充下 hadoop2.0之後不包含mapreduce 環境搭建準備 1,vmware 安裝 如果你使用的事virtu...

Hadoop偽分布式搭建

單機環境 可以直接執行mareduce examples.jar案例 偽分布式 乙個伺服器上執行多個程序 hdfs 偽分布式配置 hadoop配置檔案的配置 a,配置核心檔案 路徑 opt module hadoop 2.7.5 etc hadoop 配置 vim core site.xml fs....

搭建hadoop偽分布式（二）

只是配置好了hadoop還不行 還要配置ssh 免秘鑰登入 因為namenode要遠端登入到datanode上進行控制 即便是偽分布式 要是自己登入自己機器 1 安裝 ssh yum y install openssh server openssh clients 2 生成公鑰和私鑰 ssh key...