Kafka消費者 重要引數

2022-07-05 09:42:13 字數 674 閱讀 8583

consumer一次拉取中拉取的最小資料量,預設值為1b

consumer一次拉取中拉取的最大資料量,預設值為52428800b,即50mb

指定kafka的等待時間,預設值為500ms,如果訊息不夠多滿足不了最小的拉取量,則等待該時間

配置從每個分割槽裡返回給consumer的最大資料量

配置consumer在一次拉取請求中拉取的最大訊息數,預設為500條

空連線超時限制

指定kafka中的內部主題是否可以向消費者公開,預設為true,為true則只能使用subscribe(collection)的方式而不能使用subscribe(pattern)的方式來訂閱內部主題

設定socket接收訊息緩衝區大小,預設值為65536b,即64kb

設定socket傳送訊息緩衝區大小,預設值為131072b,即128kb

consumer等待請求響應的最長時間,預設為30000ms

元資料過期時間,預設300000ms,即5分鐘,如果元資料在該時間內沒更新則強制更新

嘗試重新連線主機之前等待時間,預設50ms,避免頻繁連線

嘗試重新傳送失敗的請求到指定主題分割槽之前的等待時間,預設100ms

事務隔離級別,有「read_uncommitted」和「read_committed」兩種,預設情況為read_uncommitted,可以消費到hw處的位置

kafka消費者客戶端重要引數

kafka消費者客戶端重要引數說明 bootstrap.serverskafka集群broker位址列表 key.deserializer訊息中key對應的反序列化類 value.deserializer訊息中value對應的反序列化類 group.id消費者所屬消費者組的唯一標識 client.i...

kafka消費者無法消費異常

今天被乙個kafka消費異常折磨了一天,頭差點炸了,還好最後解決了它 異常 伺服器 record is corrupt 記錄損壞 不明原因 有可能磁碟空間不足導致 導致消費者無法正常消費訊息 卡在某乙個offset 不能繼續消費 解決辦法 先停掉消費者程式 殺掉程序 不可關閉kafka服務 然後手動...

kafka 主動消費 Kafka消費者的使用和原理

publicstaticvoidmain string args finally 前兩步和生產者類似,配置引數然後根據引數建立例項,區別在於消費者使用的是反序列化器,以及多了乙個必填引數 group.id,用於指定消費者所屬的消費組。關於消費組的概念在 kafka中的基本概念 中介紹過了,消費組使得...