Kafka Zookeeper集群搭建及注意事項

2021-09-29 23:45:57 字數 2152 閱讀 4677

說明:只配置主要的配置,其他都是預設 ip

hostname

192.168.174.140

kafka-01

192.168.174.141

kafka-02

192.168.174.142

kafka-03

網上有一些部落格,就是把zookeeper和kafka的預設配置也寫出來,然後埠也寫錯等等,導致大家參考的時候,不小心直接拷貝這些配置到配置檔案中候,同乙個引數配置了兩次,產生一些莫名的錯誤,我不信只有我乙個人中槍,所以雖然網上這類部落格很多,但是我還是打算寫一篇

先建立兩個日誌資料夾:

zookeeper的zoo.cfg基本就是這三行,主機名在/etc/hostname 檔案中配置,完事要重啟

server.1=kafka-01:2888:3888

server.2=kafka-02:2888:3888

server.3=kafka-03:2888:3888

採用上面的方式,那麼zookeeper的配置檔案是一模一樣的

或者,兩者任選一種

第一台機

server.1=0.0.0.0:2888:3888

server.2=kafka-02:2888:3888

server.3=kafka-03:2888:3888

第二台機

server.1=kafka-01:2888:3888

server.2=0.0.0.0:2888:3888

server.3=kafka-03:2888:3888

第三台機

server.1=kafka-01:2888:3888

server.2=kafka-02:2888:3888

server.3=0.0.0.0:2888:3888

然後有個myid檔案三颱機器,根據配置datadir=/tmp/zookeeper

放在這個目錄即可,裡面的值分別1/2/3

然後是kafka的配置,server.properties配置檔案,主要配置如下:

第一台機器:

broker.id=0

listeners=plaintext://kafka-01:9092

port=9092

advertised.listeners=plaintext://kafka-01:9092

zookeeper.connect=kafka-01:2181,kafka-02:2181,kafka-03:2181

第二台機器

broker.id=1

listeners=plaintext://kafka-02:9092

port=9092

advertised.listeners=plaintext://kafka-02:9092

zookeeper.connect=kafka-01:2181,kafka-02:2181,kafka-03:2181

第三台機器

broker.id=2

listeners=plaintext://kafka-03:9092

port=9092

advertised.listeners=plaintext://kafka-03:9092

zookeeper.connect=kafka-01:2181,kafka-02:2181,kafka-03:2181

先啟動zookeeper集群,三颱分別啟動:

./zkserver.sh start

然後啟動kafka集群,三颱分別啟動:

./kafka-server-start.sh

然後測試kafka生產消費的,網上部落格坑的是,埠寫錯,消費的時候應該是是用9092埠,卻寫的是zookeeper的2181, 訊息收不到,也不報錯,這種情況,如果不好使,就去官網看例子

bin/kafka-topics.sh --create --bootstrap-server kafka-01:9092,kafka-02:9092,kafka-03:9092 --replication-factor 1 --partitions 1 --topic test

kafka zookeeper環境配置

mirrors.cnnic.cn apache zookeeper zookeeper 3.4.6 zookeeper 3.4.6.tar.gz 2 解壓 tar zxvf zookeeper 3.4.6.tar.gz3 配置 cd zookeeper 3.4.6 cp rf conf zoo sa...

kafka zookeeper環境搭建

作業系統 win7 64位 zookeeper版本 zookeeper 3.4.11 kafka版本 kafka 2.11 1.1.0 1 zookeeper 安裝 進入d soft zookeeper 3.4.11 conf 目錄複製檔案zoo sample.cfg重新命名為zoo.cfg zoo...

Kafka Zookeeper 單節點測試

啟動單節點zookeeper kafka,主要用來做測試使用。阿里映象站 這裡以 zookeeper 3.4.14 為例 阿里映象站 這裡以kafka 2.11 2.1.1為例。kafka 有自帶 zookeeper,可以使用單獨安裝的 zookeeper。tar zxvf kafka 2.11 2...