小記 kafka檔案儲存機制

2022-08-01 04:54:11 字數 640 閱讀 7890

topic是邏輯上的概念,

partition是物理上的概念

kafka partition位置

/var/local/kafka/data

kafka訊息預設儲存時間為7天

0000000000.log檔案預設值最大為1g, 超過1g 會產生乙個新的檔案

由於生產者生產的訊息會不斷追加到log檔案末尾,為防止log檔案過大導致資料定位效率低下,

kafka採取了分片和索引機制。  將每個partition分為多個segment。  每個segment對應兩個檔案「.index」檔案、 「.log」檔案。

這些檔案位於乙個資料夾下,資料夾命名規則為:topic名稱+分割槽序號   

.index 和 .log 檔案的命名規則就是當前檔案的最小offset值(偏移量值)

.index檔案:只存索引,存的每條訊息資料的起始的偏移量資訊。

index中的每條資訊存的大小都是固定的,因為只有偏移量資訊,所以有利於查詢。

.log檔案:存具體的資料,序列化的資料

Kafka檔案的儲存機制

同乙個topic下有多個不同的partition,每個partition為乙個目錄,partition命名的規則是topic的名稱加上乙個序號,序號從0開始。每乙個partition目錄下的檔案被平均切割成大小相等 預設乙個檔案是500兆,可以手動去設定 的資料檔案,每乙個資料檔案都被稱為乙個段 s...

Kafka檔案的儲存機制

同乙個topic下有多個不同的partition,每個partition為乙個目錄,partition命名的規則是topic的名稱加上乙個序號,序號從0開始。每乙個partition目錄下的檔案被平均切割成大小相等 預設乙個檔案是500兆,可以手動去設定 的資料檔案,每乙個資料檔案都被稱為乙個段 s...

Kafka檔案的儲存機制

同乙個topic下有多個不同的partition,每個partition為乙個目錄,partition命名的規則是topic的名稱加上乙個序號,序號從0開始。每乙個partition目錄下的檔案被平均切割成大小相等 預設乙個檔案是500兆,可以手動去設定 的資料檔案,每乙個資料檔案都被稱為乙個段 s...