kafka集群（三颱）部署

2021-09-24 23:29:35 字數 1989 閱讀 5730

上傳zookeeper-3.5.4-beta.tar.gzz

解壓

tar -zxvf zookeeper-3.5.4-beta.tar.gz -c /opt/
編輯配置檔案

cd /opt/zookeeper-3.5.4-beta/conf/
cp zoo_sample.cfg zoo.cfg


vim zoo.cfg
# zookeeper 伺服器之間維持心跳的時間間隔，毫秒為單位


ticktime=2000


#對於從節點最初連線到主節點時的超時時間，單位為tick值的倍數


initlimit=10


#對於主節點與從節點進行同步操作時的超時時間，單位為tick值的倍數


synclimit=5


#資料存放目錄


datadir=/opt/zoo/data


#客戶端所連線的伺服器所監聽的埠號，預設是2181。即zookeeper對外提供訪問的埠號


clientport=2181 


maxclientcnxns=500 


server.0=10.202.43.147:2888:3888


server.1=10.202.82.148:2888:3888


server.2=10.202.41.201:2888:3888
mkdir -p /opt/zoo/


vim /opt/zoo/data/myid
在三颱機器的myid分別寫入0,1,2

4. 啟動zookeeper

cd /opt/zookeeper-3.5.4-beta/bin/


./zkserver.sh start
# 檢視啟動狀態


sh zkserver.sh status


#關閉 ./zkserver.sh stop
解壓

tar -xvf kafka_2.11-0.10.0.1.tgz -c /opt/
修改配置檔案

vim /opt/kafka_2.11-0.10.0.1/config/zookeeper.properties
datadir=/opt/zoo/data


#該目錄是zookeeper配置的資料存放目錄
vim /opt/kafka_2.11-0.10.0.1/config/server.properties
#分別為0,1,2


broker.id=0


#本機ip（kafka的監聽位址和外界連線位址）


listeners=plaintext:


advertised.listeners=plaintext:


#zookeeper配置


zookeeper.connect=10.202.43.147:2181,10.202.82.148:2181,10.202.41.201:2181
啟動和關閉

cd  /opt/kafka_2.11-0.10.0.1/bin/


./kafka-server-start.sh -daemon ../config/server.properties


#關閉./kafka-server-stop.sh
在任意一台機器上測試

/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
如果顯示下面指令，就代表建立topic成功。

created topic "test".

Kafka 集群部署

kafka是乙個分布式訊息佇列，需要依賴zookeeper，請先安裝好zk集群 kafka安裝包解壓 tar xf kafka 2.10 0.9.0.1 tgz mv kafka 2.10 0.9.0.1 usr kafka cd usr kafka 配置檔案 server.properties t...

kafka集群部署

一台伺服器上可以啟動多個broker例項，或者將broker部署到多台伺服器上，以下以172.16.50.21集群為例，多台伺服器上部署broker。tar xzf kafka 2.11 1.0.0.tgz cd kafka 2.11 1.0.0kafka依賴zookeeper，如果環境中沒有zoo...

Kafka集群部署

前提 在啟動kafaka集群，呼叫 bin kafka server start.sh config server.properties 前，需要把每台機器上zookeeper服務都給啟動了。zookeeper的安裝配置看，1 kafka集群規劃 s101 s102 s103 s104 zk zk ...