hadoop系列之一集群規劃篇

2021-08-05 19:22:57 字數 1363 閱讀 7399

主機名

ip資料目錄

安裝軟體

執行程序

備註nmmaster

192.168.1.107

/opt/hadoop/zookeeper

namenode資料

/opt/hadoop/hdfs/name

datanode資料

/opt/hadoop/hdfs/data

journalnode資料

/opt/hadoop/journal

臨時資料

/opt/hadoop/tmp

jdk、hadoop

quorumpeermain

journalnode

namenode

dfszkfailovercontroller

resourcemanager

quorumpeermain:zookeeper服務

journalnode:日誌節點                                   

namenode:hdfs名稱節點

dfszkfailovercontroller:故障自動轉移

datanode:hdfs資料節點

resourcemanager:yarn資源管理

nodemanager:yarn節點管理

nmsalver

192.168.1.108

jdk、hadoop

quorumpeermain

journalnode

namenode

dfszkfailovercontroller

resourcemanager

namenode從節點

nnnode1

192.168.1.109

jdk、hadoop、zookeeper、hbase

quorumpeermain

journalnode

datanode

nodemanager

資料節點

nnnode2

192.168.1.110

jdk、hadoop、zookeeper、hbase

quorumpeermain

journalnode

datanode

nodemanager

資料節點

nnnode3

192.168.1.111

jdk、hadoop、zookeeper、hbase

quorumpeermain

journalnode

datanode

nodemanager

資料節點

(一)集群介紹

一 集群的種類 集群系統主要分為 1 ha 高可用集群,又叫雙機熱備。a 2臺機器a,b,正常是a提供服務,b待命閒置,當a宕機或服務宕掉,會切換至b繼續提供服務 b 常用的高可用開源軟體 heartbeat和keepalived 可以做負載均衡 2 lb 負載均衡集群 3 hpc 高效能計算集群 ...

elasticsearch技術總結(一) 集群分片

一 分片概念以及設定 分片概念 乙個 分片 是乙個底層的 工作單元 它僅儲存了全部資料中的一部分。我們往 elasticsearch 新增資料時需要用到索引 儲存相關資料的地方。索引實際上是指向乙個或者多個物理 分片 的 邏輯命名空間。分片分為主分片和副本,數量可以設定。舉個例子 假設elastic...

Redis的使用 (一)集群的搭建

主題詞 負載均衡高可用 redis集群 nginx一般用作負載均衡伺服器,可見處於網路中非常重要的位置,一旦nginx伺服器宕機無法提供服務,那麼將影響嚴重。所以需要負載均衡高可用。高可用 主從備份 keepalived nginx實現主從備份 keepalived的作用是檢測伺服器的狀態,如果有一...