問題：看到hadoop部署在一些資料上很是繁瑣，一些簡單的部署方法只是玩具，無法滿足企業的部署條件，如果一台臺伺服器去部署，顯然是不可行。
解決：在學習及其他資料後，準備以《apache hadoop yarn: moving beyond mapreduce and batch processing with apache hadoop 2》為依據，其他資料輔助。
注意：《apache hadoop yarn: moving beyond mapreduce and batch processing with apache hadoop 2》這本書有一處錯誤。
集群節點名字
對應字段
主機編號
主機內網ip
hostname
hdfs namenode
nn_host
0010.251.20.244
iz28z9sbsgjz
yarn resourcemanager
rm_host
0010.251.20.244
iz28z9sbsgjz
hdfs secondarynamenode
snn_host
0110.45.202.245
iz28fm2wvrwz
mapreduce
mr_history_host
0210.144.27.164
iz28n1kabs3z
yarn網頁**伺服器
yarn_proxy_host
0310.163.97.250
iz28bwz7umxz
yarn nodemanager
nm_hosts
01、02、03
10.45.202.245 10.144.27.164 10.163.97.250
iz28fm2wvrwz iz28n1kabs3z iz28bwz7umxz
hdfs datanode
dn_hosts
01、02、03
10.45.202.245 10.144.27.164 10.163.97.250
iz28fm2wvrwz iz28n1kabs3z iz28bwz7umxz
送上官方教程，**聲茂
阿里雲機房內網情況簡介
通過安全組實現不同賬號下相同地域ecs內網互通
有點小繁瑣，但是原理很簡單：
8.1每台機器需要生成密匙
生成密匙對
ssh-keygen
-t rsa
ssh-copy-id -i ~/.ssh/id_rsa.pub
10.x
.x.x
寫入內網ip和hostname
vim /etc/hosts
10.251.20.244 iz28z9sbsgjz
10.45.202.245 iz28fm2wvrwz
10.144.27.164 iz28n1kabs3z
10.163.97.250 iz28bwz7umxz
訪問自己
ssh iz28z9sbsgjz[root@iz28z9sbsgjz ~]# cd ~/.ssh
[root@iz28z9sbsgjz .ssh]# ls
authorized_keys id_rsa id_rsa.pub known_hosts
11.1 建立all_hosts
cd /opt
vim all_hosts
#寫入自己伺服器hostname如：
iz28bwz7umxz
iz28fm2wvrwz
iz28n1kabs3z
iz28z9sbsgjz
Hadoop集群部署模型縱覽1
vsphere big data extensions 簡稱bde 支援多種部署方式來構建hadoop集群。按 本文我們將著重介紹前2個部署模型，即儲存 計算繫結模型和單一計算模型。通常情況下，我們為了保證hadoop集群資料本地化 data locality 的需要，會將儲存 datanode 和...
Hadoop集群部署模型縱覽1
vsphere big data extensions 簡稱bde 支援多種部署方式來構建hadoop集群。按 本文我們將著重介紹前2個部署模型，即儲存 計算繫結模型和單一計算模型。通常情況下，我們為了保證hadoop集群資料本地化 data locality 的需要，會將儲存 datanode 和...
Hadoop集群部署模型縱覽1
vsphere big data extensions 簡稱bde 支援多種部署方式來構建hadoop集群。按 本文我們將著重介紹前2個部署模型，即儲存 計算繫結模型和單一計算模型。通常情況下，我們為了保證hadoop集群資料本地化 data locality 的需要，會將儲存 datanode 和...