centos7搭建kafka集群

2022-05-13 05:37:13 字數 2111 閱讀 9185

7.關閉防火牆

systemctl stop firewalld.service #停止firewall

systemctl disable firewalld.service #禁止firewall開機啟動

firewall-cmd --state #檢視預設防火牆狀態(關閉後顯示notrunning,開啟後顯示running)

8.把zk目錄新增到環境變數

vi /etc/profile

export zookeeper_home=/usr/local/zookeeper

export path=$zookeeper_home/bin:$path

export path

9.啟動zk

10.檢視zk狀態

11.在另外兩台機器執行以上命令

最終檢視集群狀態

新增如下配置:

broker.id=0

delete.topic.enable=true

num.network.threads=3

num.io.threads=8

socket.send.buffer.bytes=102400

socket.receive.buffer.bytes=102400

socket.request.max.bytes=104857600

log.dirs=/usr/local/kafka/data

num.partitions=1

num.recovery.threads.per.data.dir=1

log.retention.hours=168

zookeeper.connect=zk1:2181,zk2:2181,zk3:2181

4.新增環境變數

vi /etc/profile

新增export kafka_home=/usr/local/kafka

export path=$path:$kafka_home/bin

使配置生效

source /etc/profile

5.修改zk路徑為zk儲存data的路徑

6.在其餘兩台機器執行上述命令(broker.id 不得重複)

7.啟動broker

三颱機器的kafka目錄下執行

bin/kafka-server-start.sh -daemon config/server.properties

四、kafka啟動完成檢查

1.jps

zk和kafka集群已經啟動成功

2.登入zk驗證

cd /usr/local/zookeeper/bin

zkcli.sh

get /brokers/ids/$

可以看到三個kafka的broker均已經註冊到zk中

centos7搭建kafka集群

安裝環境 集群規劃 伺服器lnh01 伺服器lnh02 伺服器lnh03 zookeeper zookeeper zookeeper kafka kafka kafka 安裝步驟 上傳壓縮包到伺服器 解壓至 opt soft下 命令 tar zxvf kafka 2.12 2.4.1.tgz c o...

centos7 搭建kafka集群筆記

安裝kafka cd soft tar zxvf kafka 2.11 1.0.0.tgz c usr local mv usr local kafka 2.11 1.0.0 usr local kafka 2.11 環境變數 echo export kafka home usr local kaf...

Centos7下kafka集群搭建

1.kafka以topic來進行訊息管理,每個topic包含多個partition,每個partition對應乙個邏輯log,有多個segment組成。2.每個segment中儲存多條訊息 見下圖 訊息id由其邏輯位置決定,即從訊息id可直接定位到訊息的儲存位置,避免id到位置的額外對映。3.每個p...