hadoop完全分布式搭建

完全分布式搭建需要至少三個節點

下面的配置必須在三個節點上都得配置

這裡只說明一台的配置

1、ip配置

進入root使用者

vim /etc/sysconfig/network-scripts/ifcfg-eth0

配置本主機的ip位址

ipaddr=192.168.25.128  #ip位址
gateway=192.68.25.2 #閘道器
netmask=255.255.255.0 #子網掩碼
dns1=114.114.114.114 #網域名稱伺服器
dns2=8.8.8.8 #網域名稱伺服器

2、配置主機名

進入root使用者

vim /etc/sysconfig/network

hostname=hadoop01

3、主機對映

vi /etc/hosts

192.168.25.128 hadoop01 192.168.25.129 hadoop02

192.168.25.130 hadoop03

4、關閉防火牆和selinux

service iptables stop #關閉防火牆

vi /etc/selinux/config

找到相應位置更改 sleinux=disabled

5、建立普通使用者（完全分布式各個節點的安裝的普通使用者名稱必須相同密碼也得相同）

建立使用者 useradd 使用者名稱

passwd 使用者名稱

為使用者名稱新增許可權 vi /etc/sudoers

例：useradd hadoop

passwd hadoop 123

開啟vi /etc/sudoers

在 root all=(all) all下面

新增

hadoop  all=(all)      all

注：以上操作均在root使用者下操作

6、配置免密碼登入

1)生成秘鑰

切換使用者 su - hadoop

ssh-keygen

2)傳送秘鑰 ssh-copy-id hadoop

3)驗證 ssh hadoop 每個節點都要驗證

7、安裝jdk

8、時間同步

1)不能聯網的時候手動指定 data -s 時間或者手動搭建乙個時間伺服器

2）能聯網的時候找乙個公網中功用的時間伺服器，所有節點的時間和公網中的時間伺服器保持一致

ntpdate 公網時間伺服器的位址

ntpdate ntp1.aliyun.com

9、安裝hadoop

1)不選陳舊版本也不選太新版本

上傳hadoop安裝包

解壓安裝包

配置環境變數

修改配置檔案

6個配置檔案

集群規劃

hdfs yarn

hadoop01 namenode datanode nodemanager

hadoop02 datanode secondarynode nodemanager

hadoop03

core-site.xml fs.defaultfs hdfs://hadoop01:9000 hadoop.tmp.dir /home/hadoop/data/hadoopdata hdfs-site.xml dfs.namenode.name.dir /home/hadoop/data/hadoopdata/name 為了保證元資料的安全一般配置多個不同目錄 dfs.datanode.name.dir /home/hadoop/data/hadoopdata/data datanode 的資料儲存目錄 dfs.replication 2hdfs的資料塊的副本儲存個數 secondarynamenode 執行節點的資訊，和namenode不同節點 yarn-site.xml yarn.resourcemanager.hostname hadoop03 yarn.nodemanager.aux-services mapreduce_shuffle yarn 集群為mapreduce 程式提供的shuffle服務 mapred-site.xml maperduce.framework.name yarn

hadoop完全分布式搭建

Hadoop完全分布式的搭建

Hadoop 分布式環境搭建

hadoop偽分布式搭建

hadoop完全分布式搭建

Hadoop完全分布式的搭建

Hadoop 分布式環境搭建

hadoop偽分布式搭建

相關推薦