Kafka broker配置說明

2022-04-30 16:09:10 字數 994 閱讀 4668

配置檔案在config/server.properties

下面的一些配置可能是你需要進行修改的。

broker.id

整數,建議根據ip區分

log.dirs

kafka存放訊息檔案的路徑,

預設/tmp/kafka-logs

port

broker用於接收producer訊息的埠

zookeeper.connnect

zookeeper連線

格式為  ip1:port,ip2:port,ip3:port

message.max.bytes

單條訊息的最大長度

num.network.threads

broker用於處理網路請求的執行緒數

如不配置預設為3,server.properties預設是2

num.io.threads

broker用於執行網路請求的io執行緒數

如不配置預設為8,server.properties預設是2可適當增大,

queued.max.requests

排隊等候io執行緒執行的requests

預設為500

host.name

broker的hostname

預設null,建議寫主機的ip,不然消費端不配置hosts會有麻煩

num.partitions

topic的預設分割槽數

預設1log.retention.hours

訊息被刪除前儲存多少小時

預設1周168小時

auto.create.topics.enable

是否可以程式自動建立topic

預設true,建議false

default.replication.factor

訊息備份數目

預設1不做複製,建議修改

num.replica.fetchers

用於複製leader訊息到follower的io執行緒數

預設1

Kafka 單節點單Kafka Broker集群

tar zxvf kafka 2.12 0.10.2.1.tgz cd kafka 2.12 0.10.2.1 bin zookeeper server start.sh config zookeeper.properties bin kafka server start.sh config ser...

Kafka 單節點多Kafka Broker集群

接前一篇文章,今天搭建一下單節點多kafka broker集群環境。由於是在乙個節點上啟動多個 kafka broker例項,所以我們需要使用不同的埠來實現。cp config server.properties config server 1.properties cp config server...

KafkaBroker管理之LEO HW的含義

leo 是跟offset有關係的 在kafka裡面,無論leader partition 還是follower partition 統一都稱為副本 replica leo log end offset 每次partition接收到一條訊息,都會更新自己的leo,也就是 log end offset ...