kafka 坑爹問題排查記錄

2021-09-26 19:43:01 字數 1049 閱讀 7318

重點、重點、重點:    重啟kafka一定要先看看 持久化有沒有問題。

首先,問題沒有解決,只是闡述過程和問題。

問題關鍵字: 偏移量提交失敗,重複消費,新的group不能消費到歷史資料

版本:0.10.2  

場景:consumer 兩個group進行消費,但是偏移量從某一時間點開始就無法進行提交。一直在迴圈消費乙個時間段的資料。

嘗試重啟專案,還是不能正常進行消費,偏移量還是不變,但是一直在rebalance,代數持續增長。最後半夜重啟了kafka,消費正常了,但是重複消費的資料 需要刪除,重新處理。這時就要啟動乙個重算工具。消費同乙個topic的新的group。發現新的group已經加入到了kafka中,也繫結了topic。代數也增加了,重新分配了。但是就是沒有進行消費資料,

如下是重算的group配置:

在spring檔案中:auto-offset-reset: earliest //從頭開始消費資料

**中:配置消費訊息的時間段,滿足時間條件的才能入庫,其他的捨棄。

新加入的group跟老的group偏移量是一樣的,存量也是一樣。。

開始認為可能是配置引數出問題了,偏移量不能重置,然後試著手動消費了一下資料

手動從頭取資料,發現獲取的資料日期還是當前的。

這個時候就想到了,是不是沒有持久化啊。然後找到了運維,持久化路徑配置的不對,所以歷史資料就拿不到了。

反思了一下,如果當時停掉正常業務服務,然後重算。重算完成再重啟kafka,就能保證資料的完整了。只怪當時太自信了以為kafka持久化是沒問題的。。。沒想到幾十個環境就這個有問題。。。

Kafka踩坑記錄

replication factor 複製因子 不能大於brokers的數量,且不能為0,因為它包括了主和從的副本。log.dirs值,表示kafka資料的存放目錄,而非kafka的日誌目錄 kafka的logs日誌目錄預設輸出到 logs目錄下 修改kafka的logs目錄是在 bin kafka...

jQuery上的坑爹問題

1 沒事兒別在頁面載入函式中用 alert 要是加了也別在hbuilder x 20200527 中測試頁面,會卡住,軟體都無法關閉!2 通過jquery獲取並修改控制項屬性 id css display block 修改屬性 id 返回的是jquery 它是個集合所以 id 0 style.dis...

記錄一家坑爹的公司

深圳買賣人科技 20人左右的規模,公司位址在深圳南山區。在2017年6月1日到今天 2017年11月16日 由於公司經營不善 融資失利,為了節約經營成本,公司陸陸續續裁員了六七個人員工,並且沒有給任何補償,並承諾按時結算工資。但是,沒有裁員補償也就罷了,到了結算時間卻還拖欠離職人員的工資,拖欠時間從...