Kafka集群的搭建

2021-10-04 13:27:48 字數 1846 閱讀 6481

這裡就在一台機子上做搭建,配置不同埠,多機搭建步驟基本一致

1.啟動zookeeper

bin/zookeeper-server-start.sh config/zookeeper.properties
2.分別配置kafka集群中三颱伺服器的配置,這裡先複製一下原有的配置檔案,再進行修改

cp config/server.properties config/server-1.properties

cp config/server.properties config/server-2.properties

cp config/server.properties config/server-3.properties

三個配置檔案需要修改的地方如下:

server-1.properties

broker.id=1   #集群中一台伺服器的標識

listeners=plaintext: # 服務監聽的ip和埠

log.dirs=/tmp/kafka-logs-1 # 日誌檔案位置

zookeeper.connect=localhost:2181

#zookeeper伺服器的位址,這裡zookeeper沒有搭建集群,所有只有一台。如果zookeeper搭建了集群,配置就是192.168.100.1:2181,192.168.100.2:2181,192.168.100.2:2181。配置zookeeper集群中所有伺服器的位址

server-2.properties

broker.id=2   

listeners=plaintext:

log.dirs=/tmp/kafka-logs-2

zookeeper.connect=localhost:2181

server-3.properties

broker.id=3  

listeners=plaintext:

log.dirs=/tmp/kafka-logs-3

zookeeper.connect=localhost:2181

3.啟動三個服務,&表示後台啟動

bin/kafka-server-start.sh config/server-1.properties &

bin/kafka-server-start.sh config/server-2.properties &

bin/kafka-server-start.sh config/server-3.properties &

4.建立主題

–replication-factor 2 設定副本數為2

–partitions 4 設定分割槽數為4

bin/kafka-topics.sh --create --bootstrap-server 192.168.1.100:8082 --replication-factor 2 --partitions 4 --topic my-replicated-topic
5.檢視主題的配置資訊

同步副本的意思就是資料和leader的保持同步。

kafka集群搭建

安裝zookeeper kafka自帶了zookeeper,建議還是用外部的zk集群,搭建步驟如下 準備3臺機器,假設我們叫c1 c2 c3,ip分別為ip1 ip2 ip3 將附件zookeeper 3.4.6.tar.gz分別拷貝至3臺機器 c1機器上解壓zookeeper 3.4.6.tar....

kafka 集群搭建

1 前置條件 安裝jdk zookeeper 集群搭建 wget tar xzf kafka 2.11 0.10.2.1.tgz 3 修改 config server.properties 三個地方 1 broker.id 要對上 log.dirs 下 meta.properties broker....

kafka集群搭建

1 上傳安裝包 把安裝包上傳到伺服器 put r d kafka 2.11 0.8.2.0.tgz 2 解壓縮安裝包 3 配置kafka環境變數 vim etc profile export path path kafka home bin 重新整理策略 source etc profile 4 修...