hadoop集群搭建流程

安裝環境

利用vmware建立了5臺ubuntu18.04的虛擬機器，主機名分別是hadoop01-hadoop05,採用nat網路連線，ip分別為192.168.111.130-192.168.111.134。

安裝過程

1 切換到root使用者下。設定root使用者密碼方式（利用xshell向所有的會話傳送相同的命令）：

sudo passwd root

2 向hosts檔案中新增主機名和ip位址的對映關係

for((i=1;i<=5;i++)); do echo "192.168.111.13"$(($i-1))" hadoop0"$ >> /etc/hosts; done;

3 配置無秘鑰登入

# 生成公鑰
ssh-keygen -t rsa;
#將公鑰傳送到其它伺服器
for((i=1;i<=5;i++)); do ssh-copy-id root@hadoop0$;done;

4 安裝jre

apt install openjdk-11-jdk-headless

5 配置j**a環境變數

#新增j**a_home和path兩個變數，並讓其生效
echo 'export j**a_home=/usr/lib/jvm/j**a-11-openjdk-amd64' >> /etc/profile;
echo 'export path=$j**a_home/bin:$path' >> /etc/profile;
source /etc/profile
# 檢查是否新增
echo $
echo $

6 安裝必須的環境（ssh, rsync）

apt install ssh;
apt install rsync;

cd /opt;
wget -p

8 安裝偽分布式，通過偽分布式的配置可以為完全分布式搭建打下基礎，因為完全分布式只是修改偽分布式的配置引數。

- 配置hadoop_home環境變數在/etc/profile中。

- 配置 etc/hadoop/hadoop-env.sh,etc/hadoop/mapred-env.sh,tc/hadoop/yarn-env.sh，這裡我只修改了 j**a_home引數。 ``` export j**a_home=/usr/lib/jvm/j**a-11-openjdk-amd64 ```- 配置 etc/hadoop/core-site.xml。 ``` fs.defaultfs hdfs://hadoop01:9000 hadoop.tmp.dir /var/hadoop/local ```- 配置 etc/hadoop/hdfs-site.xml。

``` - 使用start-dfs.sh啟動。

9 搭建完全分布式

10 搭建zookeeper.

- 配置環境變數，在/etc/profile中新增 zookeeper_home,並在path路徑中新增zookeeper_home

- 修改配置檔案，修改路徑和增加伺服器

- 增加myid的配置

Hadoop集群搭建

hadoop集群具體來說包含兩個集群 hdfs集群和yarn集群，兩者邏輯上分離，但物理上常在一起。hdfs集群負責海量資料的儲存，集群中的角色主要有 namenode datanode yarn集群負責海量資料運算時的資源排程，集群中的角色主要有 resourcemanager nodeman...

hadoop集群搭建

hadoop執行環境搭建 1.修改主機名 2.關閉防火牆 3.建立hadoop使用者 4.配置hadoop使用者具有root許可權 5.在 opt目錄下建立資料夾 1 在 opt目錄下建立module soft資料夾 sudo mkdir module sudo mkdir soft 2 修改mod...

Hadoop（二）Hadoop集群搭建

準備好三颱centos系統，配置如下主機名centos1 centos2 centos3 ipcentos1的ip centos2的ip centos3的ip centos7修改主機名命令 hostnamectl set hostname 配置三個centos的ip對映，修改 etc hosts，...

hadoop集群搭建流程

Hadoop集群搭建

hadoop集群搭建

Hadoop（二）Hadoop集群搭建

相關推薦