Kafka 基礎概念理解

2021-10-09 11:32:52 字數 1108 閱讀 5151

producer: 訊息生產者,向 kafka broker 發訊息的客戶端。

consumer:訊息消費者,從 kafka broker 取訊息的客戶端。

consumer group:消費者組(cg),消費者組內每個消費者負責消費不同分割槽的資料,提高消費能力。乙個分割槽只能由組內乙個消費者消費,消費者組之間互不影響。所有的消費者都屬於某個消費者組,即消費者組是邏輯上的乙個訂閱者。

broker:一台 kafka 機器就是乙個 broker。乙個集群由多個 broker 組成。乙個 broker 可以容納多個 topic。

topic:可以理解為乙個佇列,topic 將訊息分類,生產者和消費者面向的是同乙個 topic。

partition:為了實現擴充套件性,提高併發能力,乙個非常大的 topic 可以分布到多個 broker (即伺服器)上,乙個 topic 可以分為多個 partition,每個 partition 是乙個 有序的佇列。

replica:副本,為實現備份的功能,保證集群中的某個節點發生故障時,該節點上的 partition 資料不丟失,且 kafka 仍然能夠繼續工作,kafka 提供了副本機制,乙個 topic 的每個分割槽都有若干個副本,乙個 leader 和若干個 follower。

leader:每個分割槽多個副本的「主」副本,生產者傳送資料的物件,以及消費者消費資料的物件,都是 leader。

follower:每個分割槽多個副本的「從」副本,實時從 leader 中同步資料,保持和 leader 資料的同步。leader 發生故障時,某個 follower 還會成為新的 leader。

offset:消費者消費的位置資訊,監控資料消費到什麼位置,當消費者掛掉再重新恢復的時候,可以從消費位置繼續消費。

zookeeper:kafka 集群能夠正常工作,需要依賴於 zookeeper,zookeeper 幫助 kafka 儲存和管理集群資訊

kafka基礎概念

kafka is a distributed,partitiononed,replicated commited logservice.kafka是乙個分布式的 易擴充套件的 安全性高的訊息服務系統。kafka提供了類似於jms的特性,但在設計實現上又完全不同,它並不是基於jms規範實現的 kafk...

Kafka入門(概念理解)

apache kafka 是 乙個分布式流處理平台.這到底意味著什麼呢?基本結構 傳統的訊息系統有兩個模組 佇列 和 發布 訂閱。在佇列中,消費組允許你將處理過程分發給一系列程序 消費組中的成員 在發布訂閱中,kafka允許你將訊息廣播給多個消費組。kafka的優勢在於每個topic都有以下特性 可...

Kafka 基礎概念及架構

kafka是 個分布式 分割槽的 多副本的 多 產者 多訂閱者,基於zookeeper協調的分布式 志系統 也可以當做mq系統 常 可以 於web nginx 志 訪問 志,訊息服務等等。kafka主要應 場景 志收集系統和訊息系統 kafka主要設計目標 kafka訊息傳遞模式 發布 訂閱模式 不...