kafka保證訊息不丟失

2022-10-08 19:45:15 字數 581 閱讀 8448

一: 消費端保證訊息不丟失:  消費端從broker取到訊息以後, 先處理業務邏輯, 然後再手動提交, 這樣就可以避免消費端訊息丟失。

二: 生產端訊息不丟失:   首先是設定每個訊息分割槽的副本, 一本是幾個broker就配置幾個分割槽,

然後設定如下, 保證生產這生產的訊息傳送到broker時,不但leader確認收到訊息,至少還有乙個flower(也就是副本)確認收到訊息以後才會認為broker中收到訊息,

這樣就可以保證生產端訊息不丟失。

kafka如何保證訊息不丟失

a 消費端弄丟了資料 關閉自動提交offset,在自己處理完畢之後手動提交offset,這樣就不會丟失資料。b kafka弄丟了資料 一般要求設定4個引數來保證訊息不丟失 給topic設定replication.factor引數 這個值必須大於1,表示要求每個partition必須至少有2個副本。在...

如何保證kafka訊息不丟失

這裡的kafka值得是broker,broker訊息丟失的邊界需要對齊一下 1 已經提交的訊息 2 有限度的持久化 如果訊息沒提交成功,並不是broke丟失了訊息 有限度的持久化 broker可用 producer.send object msg 這個傳送訊息的方式是非同步的 fire and fo...

RocketMQ保證訊息不丟失

分別從producer傳送機制 broker的持久化機制,以及消費者的offset機制來最大程度保證訊息不易丟失 從producer的視角來看 如果訊息未能正確的儲存在mq中,或者消費者未能正確的消費到這條訊息,都是訊息丟失。從broker的視角來看 如果訊息已經存在broker裡面了,如何保證不會...