kafka基礎架構

2022-07-01 06:21:10 字數 1021 閱讀 3179

各個術語解釋如下:

(1)producer:訊息生產者,發布訊息到kafka集群的終端或服務。

(2)broker:kafka集群中包含的伺服器。

(3)topic:每條發布到kafka集群的訊息屬於的類別,即kafka是面向topic的。

(4)partition:topic的分割槽,乙個topic可以有多個patition,每個partition是乙個有序的佇列,分割槽的作用是做負載,提高kafka的吞吐量。同乙個topic在不同的分割槽的資料是不重複的,partition的表現形式就是乙個乙個的資料夾。partition是物理上的概念,每個topic包含乙個或多個partition。kafka分配的單位是partition。

(5)consumer:從kafka集群中消費訊息的終端或服務。

(6)consumer group:high-level consumer api中,每個consumer都屬於乙個consumer group,每條訊息只能被consumer group中的乙個consumer消費,但可以被多個consumer group消費。

(7)replica:partition的副本,保障partition的高可用。

(8)leader:replica中的乙個角色, producer和consumer只跟leader互動。

(9)follower:replica中的乙個角色,從leader中複製資料。

(10)controller:kafka集群中的其中乙個伺服器,用來進行leader election以及各種failover。

(11)zookeeper:kafka通過zookeeper來儲存集群的meta資訊,以保證系統的可用性。

參考博文:以下博文都可以看一下,對於了解kafka的基礎資訊還是很有幫助的。

(1)(2)

(3)(4)

(5)(6)

(7)(8)

(9)(10)

(11)

Kafka基礎 Kafka架構

目錄kakfa 架構 kafka最初是由linkedin公司採用scala語言開發的乙個多分割槽 多副本並且基於zookeeper協調的分布式訊息系統,現在已經捐獻給了apache 會。目前kafka已經定位為乙個分布式流式處理平台,它以 高吞吐 可持久化 可水平擴充套件 支援流處理等多種特性而被廣...

Kafka 基礎架構

1 producer 訊息生產者,就是向 kafka broker 發訊息的客戶端 2 consumer 訊息消費者,向 kafka broker 取訊息的客戶端 3 consumer group cg 消費者組,由多個 consumer 組成。消費者組內每個消費者負責消費不同分割槽的資料,乙個分割...

Kafka基礎架構

1 producer 訊息生產者,就是向 kafka broker 發訊息的客戶端 2 consumer 訊息消費者,向 kafka broker 取訊息的客戶端 3 consumer group cg 消費者組,由多個 consumer 組成。消費者組內每個消費者負責消費不同分割槽的資料,乙個分割...