kafka的訊息不丟失配置心得

2021-09-10 23:09:16 字數 481 閱讀 7984

一、多消費者場景

1)每個消費者各自消費test2裡面的資料(1to1 佇列模式)

則多個消費者groupid設定成一樣的值

2)每個消費者都去消費每乙個訊息(1ton訂閱模式)

則多個消費者groupid設定成不一樣的值

二、如果消費者中途重啟發版,如何保證在重啟後依然能夠消費得到原來的訊息

消費者增加下面配置即可

1)props.put(「linger.ms」, 「50」);

props.put(「acks」, 「all」);

props.put("retries ", 30);

props.put("reconnect.backoff.ms ", 20000);

props.put(「retry.backoff.ms」, 20000);

kafka保證訊息不丟失

一 消費端保證訊息不丟失 消費端從broker取到訊息以後,先處理業務邏輯,然後再手動提交,這樣就可以避免消費端訊息丟失。二 生產端訊息不丟失 首先是設定每個訊息分割槽的副本,一本是幾個broker就配置幾個分割槽,然後設定如下,保證生產這生產的訊息傳送到broker時,不但leader確認收到訊息...

kafka如何保證訊息不丟失

a 消費端弄丟了資料 關閉自動提交offset,在自己處理完畢之後手動提交offset,這樣就不會丟失資料。b kafka弄丟了資料 一般要求設定4個引數來保證訊息不丟失 給topic設定replication.factor引數 這個值必須大於1,表示要求每個partition必須至少有2個副本。在...

如何保證kafka訊息不丟失

這裡的kafka值得是broker,broker訊息丟失的邊界需要對齊一下 1 已經提交的訊息 2 有限度的持久化 如果訊息沒提交成功,並不是broke丟失了訊息 有限度的持久化 broker可用 producer.send object msg 這個傳送訊息的方式是非同步的 fire and fo...