kafka基本概念

2021-09-26 01:09:39 字數 933 閱讀 4134

1.topics 主題 :屬於特定類別的訊息流成為主題。資料儲存在topics中,topics被拆分為分割槽。對於每個主題,kafka儲存乙個分割槽的資料

每個這樣的分割槽包含不可變有序序列的訊息。分割槽被實現為具有相等大小的一組分段檔案。

2.partition 分割槽:主題可能有許多分割槽,因此它可以處理任意數量的資料。

3.partition offset 分割槽偏移:每個分割槽訊息具有成為 offset 的唯一序列標識

4.replicas of partition 分割槽備份:副本只是乙個分割槽的 備份,副本從不讀取或寫入資料。它們用於防止資料丟失。

5.brokers 經紀人 :**使負責維護發布資料的簡單系統。每個**中的每個主題可以具有0到n個分割槽。假設在乙個主題和n個**中有n個分割槽,每個**將有乙個分割槽

假設在乙個主題中有n個分割槽並且多於n個**(n+m),則第乙個n**將具有乙個分割槽,並且下乙個m**將不具有該特定主題的任何分割槽

6.kafka cluster kafka集群:kafka有多個**被稱為kafka集群,可以擴充套件kafka集群,無需停機。這些集群用於管理訊息資料的永續性和複製。

7.producers 生產者:生產者使傳送乙個或多個kafka主題的訊息的發布者。生產者向kafka經紀人傳送資料。每當生產者將訊息傳送給**時,**只需將訊息附加到最後乙個段檔案。

實際上,該訊息被附加到分割槽。生產者還可以向它們選擇的分割槽傳送訊息。

8.consumers 消費者:消費者從經紀人處讀取資料。消費者訂閱乙個或多個主題,並通過從**中提取資料來使用已發布的訊息。

9.leader 領導者:leader是負責給定分割槽的所有讀取和寫入的節點。每個分割槽都有乙個伺服器充當leader.

10.follower 追隨者:跟隨領導者指令的節點被稱為follower.如果領導失敗,乙個追隨者將自動稱為新的領導者。跟隨者作為正常消費者,拉取小氣並更新其自己的資料儲存

kafka基本概念

kafka 1 是一種高吞吐量 2 的分布式發布訂閱訊息系統,有如下特性 kafka基本概念 消費模式 1 分割槽消費模式 vs 組消費模式 分割槽的日誌被分發到集群內的伺服器上,每台伺服器負責處理一些分割槽和對這些分割槽的讀寫請求。為滿足容錯需求,各分割槽的資料都按乙個可配置的量被複製到集群的其他...

kafka 基本概念

訊息 訊息相當於資料庫中的記錄,kafka中的的訊息是二進位制訊息流,所以kafka中的訊息沒有特別的格式或者含義 批次 訊息可以分批次的被傳送,這樣可以提高效率,單條訊息穿梭於網路間,會導致大量的網路開銷,批次越大單位時間內處理的訊息就越多,單個訊息的傳輸時間就越長,批次訊息會被壓縮 可以提公升效...

Kafka學習 基本概念

apache kafka是一種分布式的訊息中介軟體,什麼是訊息中介軟體,它是一種可靠的訊息傳輸機制,可以進行與平台無關的資料交流,並基於資料通訊完成訊息傳遞和佇列模型,可以在分布環境下擴充套件程序間的通訊 1.流處理平台的三個關鍵能力 發布和訂閱訊息 流 在這方面,它類似於乙個訊息佇列或企業訊息系統...