1.消費端弄丟了資料
消費者自動提交offset會丟資料，只要關閉自動提交 offset，在處理完之後自己手動提交 offset，就可以保證資料不會丟。
2.kafka 弄丟了資料
kafka宕機重新選舉leader的時候，要是 follower沒有及時同步資料，就會丟資料。
在 kafka 服務端設定 min.insync.replicas 最小同步副本引數：這個值必須大於 1，這個是要求乙個 leader 至少感知到有至少乙個 follower 還跟自己保持聯絡，這樣才能確保 leader 掛了還有乙個 follower 。
在生產者 端設定 acks=-1，要求每條資料都寫入完成後，才認為是寫入成功。
在 生產者 端設定 retries=max：這個是要求一旦寫入失敗，就無限重試。
3. 生產者會不會弄丟資料？
生產者在生產資料時是靠ack應答機制來傳輸資料的，設定 acks=-1，且起碼有乙個leader和乙個follower，則一定不會丟資料。
Kafka在什麼情況下會丟資料
kafka是高吞吐量資料匯流排，使用得當會使我們處理業務如魚得水，如虎添翼。處理不當也會使系統殘破不堪，維護起來痛苦萬分，我們針對資料可靠性這點，來分析下這個訊息元件在什麼情況下會丟失資料。一 producer配置acks 0 在acks 0模式下，訊息傳輸到broker端沒收到broker的反饋即...
kafka丟資料 重複資料分析
填別人的坑again。資料不正常，追到kafka這裡了，分析了很久的程式，做乙個總結，關於丟資料和重複資料。先說丟資料。目前遇到一種丟資料的情況。如果auto.commit.enable true，當consumer fetch了一些資料但還沒有完全處理掉的時候，剛好到commit interval...
Kafka 會不會丟訊息？
kafka 是分布式發布 訂閱訊息系統。它最初由 linkedin 公司開發，之後成為 apache 專案的一部分。kafka 是乙個分布式的，可劃分的，冗餘備份的永續性的日誌服務。它主要用於處理活躍的流式資料。kafka 的整體架構非常簡單，是顯式分布式架構，主要由 producer broker...