Kafka基礎架構

2021-10-11 09:21:20 字數 1001 閱讀 2124

1)producer:訊息生產者,就是向 kafka broker 發訊息的客戶端;

2)consumer:訊息消費者,向 kafka broker 取訊息的客戶端;

3)consumer group (cg):消費者組,由多個 consumer 組成。消費者組內每個消費者負責消費不同分割槽的資料,乙個分割槽只能由乙個組內消費者消費;消費者組之間互不影響。所有的消費者都屬於某個消費者組,即消費者組是邏輯上的乙個訂閱者。

4)broker:一台 kafka 伺服器就是乙個 broker。乙個集群由多個 broker 組成。乙個 broker可以容納多個 topic。

5)topic:可以理解為乙個佇列,生產者和消費者面向的都是乙個 topic;

6)partition:為了實現擴充套件性,乙個非常大的 topic 可以分布到多個 broker(即伺服器)上,乙個 topic 可以分為多個 partition,每個 partition 是乙個有序的佇列;

7)replica:副本,為保證集群中的某個節點發生故障時,該節點上的 partition 資料不丟失,且 kafka 仍然能夠繼續工作,kafka 提供了副本機制,乙個 topic 的每個分割槽都有若干個副本,乙個 leader 和若干個 follower。

8)leader:每個分割槽多個副本的「主」,生產者傳送資料的物件,以及消費者消費資料的物件都是 leader。

9)follower:每個分割槽多個副本中的「從」,實時從 leader 中同步資料,保持和 leader 資料的同步。leader 發生故障時,某個 follower 會成為新的 follower。

Kafka基礎 Kafka架構

目錄kakfa 架構 kafka最初是由linkedin公司採用scala語言開發的乙個多分割槽 多副本並且基於zookeeper協調的分布式訊息系統,現在已經捐獻給了apache 會。目前kafka已經定位為乙個分布式流式處理平台,它以 高吞吐 可持久化 可水平擴充套件 支援流處理等多種特性而被廣...

Kafka 基礎架構

1 producer 訊息生產者,就是向 kafka broker 發訊息的客戶端 2 consumer 訊息消費者,向 kafka broker 取訊息的客戶端 3 consumer group cg 消費者組,由多個 consumer 組成。消費者組內每個消費者負責消費不同分割槽的資料,乙個分割...

Kafka基礎架構

1 producer 訊息生產者,就是向kafka broker發訊息的客戶端 2 consumer 訊息消費者,向kafka broker取訊息的客戶端 3 consumer group cg 消費者組,由多個consumer組成。消費者組內每個消費者負責消費不同分割槽的資料,乙個分割槽只能由乙個...