kafka集群搭建

2022-03-01 11:16:35 字數 2108 閱讀 8155

準備工作:jdk,zookeeper,kafka(一台虛擬機器)

首先安裝zookeeper集群

一,安裝zookeeper放入虛擬機器中,解壓,複製三颱zookeeper到/opt/zookeeper中

二,在每個zookeeper的data目錄下建立myid檔案,內容分別為0,1,2(記錄每個伺服器的id) vi myid    (myid是zookeeper集群用來發現彼此的標識,必須建立,且不能相同)

三,在每個zookeeper中的conf/zoo.cfg修改data,log目錄位址,以及埠號(2181,2182,2183),並且配置客戶端訪問埠和集群服務ip列表

server.0、server.1、server.2 為集群資訊。

2888埠號是zookeeper服務之間通訊的埠

3888埠是zookeeper與其他應用程式通訊的埠。

四。依次啟動zookeeper(完成zookeeper的搭建)

啟動命令:/opt/zookeeper/zookeeper-01:bin/zkserver.sh start

檢視狀態:/opt/zookeeper/zookeeper-01:bin/zkserver.sh status(有leader和follower)

kafka集群搭建

一,安裝kafka放入虛擬機器中,解壓,複製三颱kafka到/opt/kafka中

二,修改每個kafka中的broker.id (0,1,2),埠號 (092,9093,9094)zookeeper的集群位址(localhost:2181,localhost:2182,localhost:2182)

三,依次啟動kafka三個節點 ,命令:bin/kafka-server.start.sh  ./config/server.properties

四,在一台上建立主題

topic  :bin/kafka-topics.sh --create --zookeeper localhost:2181 --topic test --partitions 3  -replication-factor 3

檢視建立的topic資訊

五,測試:

啟動生產端傳送訊息:bin/kafka-console-consumer.sh --bootstrap-server loca lhost:9092 --topic test

啟動消費端接收訊息:bin/kafka-console-producer.sh --broker-list 192.168.117.129:9092 --topic test

完成...

kafka集群搭建

安裝zookeeper kafka自帶了zookeeper,建議還是用外部的zk集群,搭建步驟如下 準備3臺機器,假設我們叫c1 c2 c3,ip分別為ip1 ip2 ip3 將附件zookeeper 3.4.6.tar.gz分別拷貝至3臺機器 c1機器上解壓zookeeper 3.4.6.tar....

kafka 集群搭建

1 前置條件 安裝jdk zookeeper 集群搭建 wget tar xzf kafka 2.11 0.10.2.1.tgz 3 修改 config server.properties 三個地方 1 broker.id 要對上 log.dirs 下 meta.properties broker....

kafka集群搭建

1 上傳安裝包 把安裝包上傳到伺服器 put r d kafka 2.11 0.8.2.0.tgz 2 解壓縮安裝包 3 配置kafka環境變數 vim etc profile export path path kafka home bin 重新整理策略 source etc profile 4 修...