Kafka配置檔案詳解

2021-10-01 12:41:23 字數 3401 閱讀 1103

broker.id=1

#該節點是kafka集群中的唯一標識,必須為整數

listeners=plaintext:

#sx-sj-mcn-out1-2.novalocal為該伺服器套接字的監聽位址,繫結host.name

#9092為kafka所監聽的埠,producer或者consumer與此埠建立連線

num.network.threads=3

#kafka從網路接收請求並向網路傳送響應的執行緒數,預設為3,從網路接收到的訊息請求將存放在記憶體中,然後再寫入磁碟

num.io.threads=8

#kafka磁碟i/o處理請求的執行緒數,預設為8,訊息請求從記憶體中寫入磁碟時所使用的執行緒數

socket.send.buffer.bytes=102400

#kafka傳送套接字的資料緩衝區大小,單位為位元組,大小為100kb;1048576bytes=1024kb=1mb

socket.receive.buffer.bytes=102400

#kafka接收套接字的資料緩衝區大小,單位為位元組,預設為100kb

socket.request.max.bytes=104857600

#kafka最大接受套接字請求的大小,設定該值是為了對oom保護,oom稱之記憶體溢位;單位為位元組,預設為100mb;104857600bytes=100mb

#kafka的資料持久化位置,支援分散儲存,儲存在不同的磁碟上,有助於提高讀寫效能,多個位址使用逗號分隔

num.partitions=1

#topic在當前kafka節點的分片數量,預設為1

num.recovery.threads.per.data.dir=1

#kafka預設日誌保留時間為7天,此值為kafka日誌超時後的清理執行緒數,處了清理超時日誌外,還用來日誌恢復,如果日誌資料儲存位置在raid中,建議增加該值,預設為1

offsets.topic.replication.factor=1

#topic副本因子偏移量

transaction.state.log.replication.factor=1

#副本因子事物狀態日誌數量

transaction.state.log.min.isr=1

#事物狀態日誌最小數量

#組元資料內部主題"_consumer_offsets"和"_transaction_state"的複製因子,對於開發測試之外的任何測試,建議使用大於1的值來確保可用性,比如3,其實這段我也沒明白什麼意思,官網翻譯。

log.flush.interval.messages=10000

log.flush.interval.ms=1000

#kafka從網路接收請求後會將該訊息放在記憶體中,隨後寫入磁碟,那麼什麼時候會將訊息從記憶體中寫入磁碟呢?有兩個配置來觸發寫入時間,分別為訊息數量限制和時間限制

#以上兩項第一項為訊息數量限制,當記憶體中儲存訊息的分片緩衝區達到10000條訊息時,將自動觸發flush把記憶體中的訊息寫入到磁碟。

#第二項為時間限制,當記憶體中的訊息在記憶體中儲存超過1000毫秒,也就是為一秒種,將自動觸發flush把記憶體中的訊息寫入到磁碟,這是官方給的預設值

log.retention.hours=168

#日誌檔案保留時間,超時後將被num.recovery.threads.per.data.dir程序清理,單位為小時,預設為7天

log.segment.bytes=1073741824

#單個日誌檔案最大大小,單位為位元組,預設為1gb,當單個日誌檔案達到1gb之後,將自動新建乙個日誌

log.retention.check.interval.ms=300000

#檢查單個日誌檔案大小的間隔時間,如果單個日誌檔案大於等於上面設定的值,將自動新建日誌,單位為毫秒,預設為300秒,300000ms=300s=5m

zookeeper.connect=10.150.55.94:2181

#指定連線zookeeper伺服器的位址及埠,如果指定多個zk集群,需用逗號","來分隔各個zk節點,使用該zk節點用來儲存本機kafka的狀態

zookeeper.connection.timeout.ms=6000

#kafka連線到zookeeper節點的超時時間,單位為毫秒,預設為6秒;6000ms=6秒

group.initial.rebalance.delay.ms=0

#當有新成員加入kafka集群時,指定該值以獲得節點在集群中的平衡,寫為0是為了測試中有更好的體驗,官方建議在生產環境中3秒更合適。單位為微妙。

bootstrap.servers=10.150.55.94:9092

#指定broker節點的位址及埠,如果為集群,建議寫入集群中的所有broker節點的ip:port,逗號","分隔,如果只寫入了本機的位址及埠,如果本機的broker節點故障,那麼該producer生產的資訊將無法傳送到指定的topic中

compression.type=none

request.timeout.ms=10000

#producer訊息生產者向topic傳送訊息的超時時間,如果超過了該值將設定超時,單位為毫秒

max.block.ms=10000

#kafka的producer多長時間未傳送成功,將被阻塞,單位為毫秒

zookeeper.connect=127.0.0.1:2181

#(必需)zookeeper連線伺服器位址(集群可寫多個)

zookeeper.connection.timeout.ms=6000

#zookeeper的session的過期時間

zookeeper.sync.time.ms=2000

#指定多久消費者更新offset到zookeeper中

group.id=test-consumer-group

#(必需)consumer組id

consumer.timeout.ms=5000

#消費者超時

auto.commit.enable=true

#自動向zookeeper提交offset資訊

auto.commit.interval.ms=1000

#自動更新時間

consumer.id=***

#當前consumer的標識

client.id=***

#消費者客戶端編號,用於區分不同客戶端,預設客戶端程式自動產生

queued.max.message.chunks=50

#最大取多少塊快取到消費者(預設10)

rebalance.max.retries=5

#當有新的consumer加入到group時,將會reblance.

fetch.min.bytes=655360

#獲取訊息的最大尺寸,broker不會向consumer輸出大於此值得chunk

配置檔案詳解

config目錄下有2個配置檔案 es的配置檔案 elasticsearch.yml 和日誌配置檔案 logging.yml cluster.name elasticsearch 配置es的集群名稱,預設是elasticsearch,es會自動發現在同一網段下的es,如果在同一網段下有多個集群,就可...

kafka 非同步傳送阻塞 kafka配置檔案

在kafka config 目錄下面有3個配置檔案 producer.properties 生產端的配置檔案 consumer.properties 消費端的配置檔案 消費者集群通過連線zookeeper來找到broker。zookeeper連線伺服器位址 zookeeper.connect zk0...

OpenSSH 配置檔案詳解

第1章 openssh 安全網路通訊 本章要點 關於openssh openssh客戶端 起步 使用ssh和scp openssh伺服器sshd 起步 啟動sshd守護程序 授權金鑰 自動化登入 故障診斷 隧道技術與埠 openssh是一套安全網路連線工具,用來取代telnet rcp rsh rs...