0 3 Hadoop高可用集群搭建

2021-10-02 02:48:04 字數 2027 閱讀 8946

準備三颱相互免秘鑰的虛擬機器

上傳zookeeper 解壓 移動

解壓zookeeper的tar包

--語法:

tar -zxf zookeeper-3.4.6.tar.gz

移動zookper目錄

--語法:

mv zookeeper-3.4.6 /opt/sxt/

修改配置檔案zoo.cfg進入zookeeper配置檔案目錄

--語法示例:

cd /opt/sxt/zookeeper-3.4.6/conf/

修改配置檔案檔名

--語法示例:

cp zoo_sample.cfg zoo.cfg

編輯配置檔案

--語法示例:

#修改zookeeper資料存放的目錄

.#設定伺服器內部通訊的位址和zk集群的節點

建立myid即是在生成配置檔案目錄conf中建立3個myid

(內容分別是 1 2 3)

--語法示例:

mkdir -p /

var/sxt/zookeeper

touch /

var/sxt/zookeeper/myid

echo 1 > /

var/sxt/zookeeper/myid

echo 2 > /

var/sxt/zookeeper/myid

echo 3 > /

var/sxt/zookeeper/myid

--分別對應主機1 2 3

--myid是zookeeper除事務之外的最優先選取leader的條件 值越大越優先

分別拷貝zookeeper目錄到主機2 主機3

--語法:

scp -r root@bd1301:/opt/sxt/zookeeper-3.4.6 /opt/sxt/

設定環境變數

--語法:

分別拷貝環境變數到主機2主機3

--語法:

scp -r root@bd1301:/etc/profile /etc/profile

載入3臺主機的環境變數

--語法:

source /etc/profile

開啟zookeeper 集群

zkserver.sh start

--開啟3臺主機的zookeeper

檢視zookeeper集群狀態

zkserver.sh status
關閉zookeeper集群

zkserver.sh stop
關機拍攝快照

shutdown -h now 

--關機(3臺主機關閉)

hadoop高可用集群namenode不能自動切換

hadoop版本3.1.2。在搭建完hadoop高可用集群後,一般會驗證一下namenode在發生故障時,能否自動切換。在停掉其中一台namenode服務後,發現剩下的namenode不能自動切換,就是說檢視它們的狀態還是standby。我遇到的原因有兩個 沒有安裝psmisc,導致找不到 fuse...

搭建reds高可用集群

建立乙個自定義列表 如何建立乙個註腳 注釋也是必不可少的 katex數學公式 新的甘特圖功能,豐富你的文章 uml 圖表 flowchart流程圖 匯出與匯入 你好!這是你第一次使用markdown編輯器所展示的歡迎頁。如果你想學習如何使用markdown編輯器,可以仔細閱讀這篇文章,了解一下mar...

KeepAlived集群高可用搭建

你的系統是否存在單點故障呢?那麼這裡我們基於docker演示下基於keepalive的高可用配置。keepalived是乙個用c語言編寫的路由軟體,它的主要目的是為了提供基於linux伺服器的負載均衡和高可用功能。其負載均衡是依賴lvs的,keepalived還實現了一些的檢測器來實現後端伺服器的健...