Hadoop集群搭建之二（測試hadoop集群）

2021-06-29 08:21:16 字數 1512 閱讀 7687

搭建好hadoop集群後，需要測試下集群看各節點是否工作正常。

1.單集群hadoop測試（

2.hdfs檔案系統操作手冊（

驗證前，先關閉集群中各個節點的防火牆，否則會出現datanode執行一段時間後，自動關閉。使用下面的命令關閉防火牆：

service iptables stop
master.hadoop節點上以hadoop使用者登入。

格式化hdfs，使用下面的命令：

hdfs namenode -format
然後開啟namenode程序與datanode程序，進入hadoop安裝目錄，進入/sbin目錄。執行： 

./start-all.sh
然後主節點與從節點上分別執行jps命令，主節點上可以看到： 

30407 resourcemanager


24690 secondarynamenode


31921 jps


30070 namenode
從節點上： 

9047 nodemanager


9192 jps


9007 datanode


192.168.0.1:50070
就可以看到各個節點執行的狀態。 

192.168.0.1:8088/cluster/nodes

然後我們測試hadoop自帶的測試例子。

首先建立分布式資料夾，通過檢視hdfs檔案系統操作命令手冊可知，需要如下操作：

hdfs dfs -mkdir -p /user/nero/input


hdfs dfs -mkdir -p /user/nero/output
拷貝需要處理的檔案到分布式資料夾內 

hdfs dfs -put etc/hadoop/*.xml /user/nero/input
然後執行單詞統計程式： 

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount /user/nero/input  /user/nero/output/out
對上面這條命令需要注意的是，分布式資料夾output下不建立out，這個reduce的結果是程式執行完成之後自行建立的。

檢視程式執行的結果：

hdfs dfs -cat /user/nero/output/out/*
從結果中可以看出統計出各個單詞出現的次數。

要停止hadoop集群可以執行指令碼：

./stop-all.sh

如果上面執行都無誤，至此hadoop集群的測試任務完成，接下來將完成對hadoop更進一步的學習~

Hadoop（二）Hadoop集群搭建

準備好三颱centos系統，配置如下 主機名centos1 centos2 centos3 ipcentos1的ip centos2的ip centos3的ip centos7修改主機名命令 hostnamectl set hostname 配置三個centos的ip對映，修改 etc hosts，...

Hadoop集群搭建

hadoop集群具體來說包含兩個集群 hdfs集群和yarn集群，兩者邏輯上分離，但物理上常在一起。hdfs集群 負責海量資料的儲存，集群中的角色主要有 namenode datanode yarn集群 負責海量資料運算時的資源排程，集群中的角色主要有 resourcemanager nodeman...

hadoop集群搭建

hadoop執行環境搭建 1.修改主機名 2.關閉防火牆 3.建立hadoop使用者 4.配置hadoop使用者具有root許可權 5.在 opt目錄下建立資料夾 1 在 opt目錄下建立module soft資料夾 sudo mkdir module sudo mkdir soft 2 修改mod...