Hadoop 3 2 2 集群安裝

2022-10-11 08:36:11 字數 2334 閱讀 4997

一、虛擬機器環境準備

系統主機

位址hadoop版本

jdk版本

centos9

hadoop01

10.211.55.4

3.2.2

1.8.0_322

centos9

hadoop02

10.211.55.7

3.2.2

1.8.0_322

centos9

hadoop03

10.211.55.6

3.2.2

1.8.0_322

二、分別在三颱虛擬機器中進行hosts 配置,配置內容如下

10.211.55.4 hadoop01

10.211.55.7 hadoop02

10.211.55.6 hadoop03

三、分別在三颱虛擬機器中設定使用者及免密登陸新增使用者

groupadd hadoop

useradd -d /home/hadoop -g hadoop -s /bin/bash -m hadoop

visudo

#在文中root行下新增hadoop行

修改主機的hostname配置,並重啟

#第一台註解配置

hostnamectl set-hostname hadoop01

#重啟reboot

#檢視是否更改成功

hostname

#第二台註解配置

hostnamectl set-hostname hadoop01

#重啟reboot

#檢視是否更改成功

hostname

#檢視是否更改成功

username

#第三台註解配置

hostnamectl set-hostname hadoop01

#重啟reboot

#檢視是否更改成功

hostname

關閉防火牆

關閉防⽕牆: systemctl stop firewalld

檢視狀態: systemctl status firewalld

開機禁⽤: systemctl disable firewalld

免密登陸配置

#切換到hadoop使用者

suhadoop

#生城公鑰,先檢視本地有沒有生成金鑰,如果有的話,再次生成會影響前面已經設定好的,用下面這條命令就可以

cat ~/.ssh/id_rsa.pub

#如果沒有的話,輸入下面的命令來在本機上生成公鑰和私鑰

ssh-keygen -t rsa

#把公鑰複製到遠端主機上,此處主要是將三颱虛擬機器的公鑰相互複製,以支援三颱伺服器可以使用hadoop賬號使用ssh直接登入

ssh-copy-id -i ~/.ssh/id_rsa.pub root@ip位址

四、集群規劃注意1:namenode和secondarynamenode不要部署在同一臺伺服器

注意2:resourcemanager也很消耗記憶體,不要和namenode、secondarynamenode部署在同一臺伺服器上

hadoop01

hadoop02

hadoop03

hdfs

datanode

datanode

datanode

namenode

secondarynamenode

yarn

nodemanager

nodemanager

nodemanager

resourcemanager

五、開始安裝

cd /opt/sofware

wget

tar -xzvf hadoop-3.3.2.tar.gz -c /opt/module

cd /opt/module

mv hadoop-3.3.2.tar.gz hadoop

HADOOP集群搭建 8 集群時間同步

1 檢查是否安裝ntp rpm qa grep ntp 安裝ntp yum install y ntp 安裝成功截圖 2 修改ntp配置檔案 修改3處 restrict 192.168.183.0 mask 255.255.255.0 nomodify notrap server 0.centos....

Hadoop 2 7 3集群(YARN)搭建

1 修改mapred site.xml mapreduce.framework.name yarn 2 修改yarn site.xml yarn.resourcemanager.hostname chan takchi the hostname of the rm.yarn.nodemanager....

Hadoop集群部署(三),集群時間同步

集群中的節點需要設定時間同步。這很自然,因為多節點協作,我們希望它們在時間上是同步的。解決方案就很簡單了,只保留乙個節點作為時間伺服器,其他兩個節點從該節點得到時間。步驟 在其中乙個節點配置ntp,這裡配置101主機 server 0.centos.pool.ntp.org iburst serve...