3 Kafka集群部署

2022-06-12 08:18:15 字數 1549 閱讀 1063

1)解壓安裝包

2)修改解壓後的檔名稱

[ip101]$ mv kafka_2.11-0.11.0.0/ kafka

[ip101]$ mkdir logs

4)修改配置檔案

[ip101]$ cd config/

[test@ip101 config]$ vi server.properties

輸入以下內容:

#broker的全域性唯一編號,不能重複

broker.id=0

#刪除topic功能使能

delete.topic.enable=true

#處理網路請求的執行緒數量

num.network.threads=3

#用來處理磁碟io的現成數量

num.io.threads=8

#傳送套接字的緩衝區大小

socket.send.buffer.bytes=102400

#接收套接字的緩衝區大小

socket.receive.buffer.bytes=102400

#請求套接字的緩衝區大小

socket.request.max.bytes=104857600

#kafka執行日誌存放的路徑

#topic在當前broker上的分割槽個數

num.partitions=1

#用來恢復和清理data下資料的執行緒數量

num.recovery.threads.per.data.dir=1

#segment檔案保留的最長時間,超時將被刪除

log.retention.hours=168

#配置連線zookeeper集群位址

zookeeper.connect=ip101:2181,ip102:2181,ip103:2181

5)配置環境變數

[ip101]# vi /etc/profile

export path=$path:$kafka_home/bin

[ip101]# source /etc/profile

6)分發安裝包

注:broker.id不得重複
8)啟動集群

依次在ip101、ip102、ip103節點上啟動kafka

[test@ip101 kafka]$ bin/kafka-server-start.sh config/server.properties &

[test@ip102 kafka]$ bin/kafka-server-start.sh config/server.properties &

[test@ip103 kafka]$ bin/kafka-server-start.sh config/server.properties &

9)關閉集群

[test@ip101 kafka]$ bin/kafka-server-stop.sh stop

[test@ip102 kafka]$ bin/kafka-server-stop.sh stop

[test@ip103 kafka]$ bin/kafka-server-stop.sh stop

3 Kafka安裝及部署

配置主機名對映。vi etc hosts 新增如下內容 168.5.7.75 server1 168.5.7.76 server2 168.5.7.77 server3分別登入server1 server2 server3執行,操作 配置相同 更新或安裝wget命令 yum y install wg...

Kafka入門 3 kafka基礎操作

建立乙個topic 主題 kafka中所有的訊息都是儲存在主題中,要生產訊息到kafka,首先必須要有乙個確定的主題。建立名為test的主題 bin kafka topics.sh create bootstrap server node1 9092 topic test 檢視目前kafka中的主題...

Kafka 集群部署

kafka是乙個分布式訊息佇列,需要依賴zookeeper,請先安裝好zk集群 kafka安裝包解壓 tar xf kafka 2.10 0.9.0.1 tgz mv kafka 2.10 0.9.0.1 usr kafka cd usr kafka 配置檔案 server.properties t...