偏移量索引檔案 偏移量到物理位置的乙個對映關係
時間戳索引檔案 根據乙個時間戳查詢偏移量資訊
kafka 中的索引檔案以稀疏索引(sparse index)的方式構造訊息的索引，它並不保證每個訊息在索引檔案中都有對應的索引項
由於kafaka都是順序寫的，所以可以找到目標訊息的最近的索引，然後再去二分查詢法查詢目標訊息
訊息的偏移量(offset)占用 8 個位元組，也可以稱為絕對偏移量。索引項中沒有直接使用絕對偏移量而改為只占用 4 個位元組的相對偏移量(relativeoffset = offset - baseoffset)，這樣可以減小索引檔案占用的空間。舉個例子，乙個日誌分段的 baseoffset 為 32，那麼其檔名就是 00000000000000000032.log，offset 為 35 的訊息在索引檔案中的 relativeoffset 的值為 35-32=3
kafaka學習筆記
問題 兩個模組a b a生產訊息，b消費訊息，當a的速度 大於b的速度，a模組產生的資料的阻塞，有剩餘，對資料得處理有一定的影響。解決方案 新加模組c a發資料c,c將資料發給b。速度定義 分布式的訊息訂閱系統。優點 高可擴充套件，高容錯，分布式。缺點 複雜，訊息錯亂，重複訊息。分布式，可分割槽，可...
訊息系統 kafaka
broker kafka集群包含乙個或多個伺服器，這種伺服器被稱為broker producer 訊息生產者，負責發布訊息到kafka broker consumer 訊息消費者，向kafka broker讀取訊息的客戶端 每個partition會建立3個備份replica,並分配到broker集群...
Kafaka基本概念
一 kafka簡介 1 訊息系統 2 jms 3 在生產者和消耗者之間無縫整合 4 開源分布式發布訂閱訊息系統 二 kafka特徵 1 持久化儲存訊息 2 高吞吐量，百萬 秒 3 分布式 4 多客戶端支援 5 實時性，生產者生產的訊息被消費者立即可見 三 架構圖 四 關於broker 1 kafka...