producer
訊息的生成者
-consumer-
-訊息的消費者-
-consumergroup-
-消費者組，可以並行消費topic中的partition的訊息-
-broker-
-快取**，kafka集群中的一台或多台伺服器統稱broker.-
-topic-
-kafka處理資源的訊息源(feeds of messages)的不同分類-
-partition-
-topic物理上的分組，乙個topic可以分為多個partion,每個partion是乙個有序的佇列。partion中每條訊息都會被分 配乙個 有序的id(offset)-
-message-
-訊息，是通訊的基本單位，每個producer可以向乙個topic（主題）發布一些訊息-
-producers-
-訊息和資料生成者，向kafka的乙個topic發布訊息的 過程叫做producers-
-consumers-
-訊息和資料的消費者，訂閱topic並處理其發布的消費過程叫做consumers-
offset
long
messagesize
int32
data
messages的具體內容
kafka基本概念
kafka 1 是一種高吞吐量 2 的分布式發布訂閱訊息系統，有如下特性 kafka基本概念 消費模式 1 分割槽消費模式 vs 組消費模式 分割槽的日誌被分發到集群內的伺服器上，每台伺服器負責處理一些分割槽和對這些分割槽的讀寫請求。為滿足容錯需求，各分割槽的資料都按乙個可配置的量被複製到集群的其他...
kafka基本概念
1.topics 主題 屬於特定類別的訊息流成為主題。資料儲存在topics中，topics被拆分為分割槽。對於每個主題，kafka儲存乙個分割槽的資料 每個這樣的分割槽包含不可變有序序列的訊息。分割槽被實現為具有相等大小的一組分段檔案。2.partition 分割槽 主題可能有許多分割槽，因此它可...
kafka 基本概念
訊息 訊息相當於資料庫中的記錄，kafka中的的訊息是二進位制訊息流，所以kafka中的訊息沒有特別的格式或者含義 批次 訊息可以分批次的被傳送，這樣可以提高效率，單條訊息穿梭於網路間，會導致大量的網路開銷，批次越大單位時間內處理的訊息就越多，單個訊息的傳輸時間就越長，批次訊息會被壓縮 可以提公升效...