kafka集群搭建

2021-08-28 19:14:01 字數 793 閱讀 2378

● zk集群事先已準備好

● 上傳kafaka壓縮包至linux解壓

[root@hadoop-01 ~]# tar -zxvf kafka_2.11-0.8.2.2.tgz -c /root/
● 修改kafka配置

[root@hadoop-01 config]# vi server.properties

broker.id=0  #每台機器必須唯一

host.name=hadoop-01 #可不寫

log.dirs=/data/kafka #注意:這不是日誌路徑,這是kafka資料儲存路徑

zookeeper.connect=hadoop-01:2181,hadoop-02:2181,hadoop-03:2181 # zk集群

● 拷貝至每個機器

修改這2個屬性即可,比如

hadoop-02改為broker.id=1 ,host.name=hadoop-02

hadoop-03改為broker.id=2 ,host.name=hadoop-03

● 啟動

#這是以後臺的形式啟動,如果不需要後台啟動,去掉-daemon即可

#檢視程序

24567 master

15226 coarsegrainedexecutorbackend

8812 worker

16351 kafka

16463 jps

7791 quorumpeermain

kafka集群搭建

安裝zookeeper kafka自帶了zookeeper,建議還是用外部的zk集群,搭建步驟如下 準備3臺機器,假設我們叫c1 c2 c3,ip分別為ip1 ip2 ip3 將附件zookeeper 3.4.6.tar.gz分別拷貝至3臺機器 c1機器上解壓zookeeper 3.4.6.tar....

kafka 集群搭建

1 前置條件 安裝jdk zookeeper 集群搭建 wget tar xzf kafka 2.11 0.10.2.1.tgz 3 修改 config server.properties 三個地方 1 broker.id 要對上 log.dirs 下 meta.properties broker....

kafka集群搭建

1 上傳安裝包 把安裝包上傳到伺服器 put r d kafka 2.11 0.8.2.0.tgz 2 解壓縮安裝包 3 配置kafka環境變數 vim etc profile export path path kafka home bin 重新整理策略 source etc profile 4 修...