名詞解釋
物理儲存結構
說明segment中index<—->data file對應關係物理結構如下：
message資料結構
資料查詢過程--讀取offset=368776的message --todo
定位是哪個segment檔案： 通過segment檔名二分查詢，比如：當offset=368776時定位到00000000000000368769.index|log
讀取message: 解析index檔案，根據offset定位到position, 通過position從log檔案讀取資料
kafka特性
producer 傳送資料
kafka客戶端傳送記憶體池
kafka集**artitions/replicas預設分配解析
服務端處理模型
參考
學習筆記 Kafka
kafka kafka把資料往磁碟上寫，但是在磁碟上存它的讀寫速度比記憶體快，這個依賴於預讀和後寫功能，但是這個預讀和後寫必須是按照順序的方式，若沒有順序的方式優化的話，不存在什麼預讀和後寫。特點 訊息持久化 能落到磁碟 通過o 1 的磁碟資料結構提供資料的持久化 高吞吐量 分布式 擴充套件能力強 ...
Kafka學習筆記
1.1簡介 apache kafka 是分布式發布 訂閱訊息系統 訊息中介軟體 它最初由 linkedin 公司開發，之後成為 apache 專案的一部分。kafka 是一種快速 可擴充套件的 設計內在就是分布式的，分割槽的和可複製的提交日誌服務。apache kafka 與傳統訊息系統相比，有以下...
kafka學習筆記
1.1 kafka的特性 controller在zookeeper註冊watch zookeeper管理kakfabroker集群。所有的kafkabroker節點一起去zookeeper上註冊乙個臨時節點,只有乙個能成功,成功註冊的節點稱之為 kafkabrokercontroller,其餘的稱之...