Kafka日誌索引

2022-06-07 03:00:08 字數 291 閱讀 7320

kafka中的索引檔案以稀疏索引(sparse index)的方式構造訊息的索引,並不保證每個訊息在索引中都有對應的索引項。

每當寫入一定量(由broker端引數log.index.interval.bytes指定,預設值4k),偏移量索引檔案、時間戳索引檔案分別增加乙個偏移量索引項和時間戳索引項,log.index.interval.bytes的值,對應地可以縮小或增加索引項的密度。

偏移量索引項的格式:

使用kafka-dump-log.sh指令碼來解析.index檔案,示例如下 :

偏移量索引項的格式:

kafka 系列 7 2 日誌索引

kafka的索引檔案以稀疏索引的方式構造訊息的索引,每個segmentfault檔案,對應 2 個索引檔案。偏移量索引檔案 xx.index 用於建立訊息偏移量到實體地址之間的對映關係 時間戳索引檔案 xx.timeindex 根據指定的時間戳查詢對應的偏移量資訊。index timeindex均保...

Kafka日誌儲存解析(二)日誌索引

每個日誌分段檔案對應了兩個索引檔案,主要用來提高查詢訊息的效率。如上圖 kafka中的索引檔案屬於稀疏索引,不是所有的訊息都有對應的索引項。每當寫入一定量 由broker端引數log.index.interval.bytes指定,預設是4kb 的訊息時,偏移量索引檔案和時間戳索引檔案分別增加乙個偏移...

Kafka日誌清理

kafka日誌清理目前主要有兩種策略 日誌刪除 日誌壓縮 日誌壓縮就是根據key來保留最後一條訊息。kafka提供log.cleanup.policy引數進行相應配置,預設值 delete,還可以選擇compact。日誌刪除 配置預設值 說明log.retention.check.interval....