Kafka知識點總結

2021-10-04 07:34:02 字數 2412 閱讀 9394

下圖所體現出來的知識點:

紅色字型表示隱藏知識點

1、kafka生態系統四大角色:生產者(producer)、kafka集群(broker)、消費者(consumer)、zookeeper。

2、每個消費者都必須屬於乙個消費組,乙個組內的消費者可以有多個。

3、乙個topic(主題)可以有1到多個partition(分割槽)。

4、乙個partition可以有1到多個 segment。

5、每個 segment 由乙個 log 和 乙個 index 檔案組成。

6、被複製的分割槽叫做 leader(主副本),複製出來的叫做 follower(從副本)。

7、生產者只往主副本寫資料,消費者只從主副本拉取資料。

8、從副本只做資料備份,不做資料讀寫。

9、乙個分區內的一條資料,只能被乙個消費組內的乙個消費者消費。

10、消費者的最大併發度由 topic 的分割槽數量決定。

11、分割槽副本的數量必須小於等於 broker 的數量。

12、乙個 topic 內的多個分割槽,每個分割槽只是所有資料的一部分。所有分割槽的資料累加到一起是這個 topic 的全部資料。

13、zookeeper 中記錄了 broker 的 id 、消費者消費資料的 offset,消費者與partition的對應關係(consumera—>partition-0,consumerb—>partition-1)

1、什麼是kafka

2、kafka的使用場景

如何理解參考:

3、kafka優點

4、kafka缺點

5、kafka架構(流程)

6、kafka架構(api)

**7、topic 內部有哪些組成 **

8、分割槽和消費組內的消費者之間的關係有哪些情況?

9、分割槽數、消費者與讀取效率之間的關係

10、副本數與 broker 之間的關係

11、什麼是 主/從副本

12、主/從副本的作用是什麼

13、lsr是什麼

14、生產者生產資料到kafka集群,資料到分割槽的方式

15、consumer 消費資料的流程

16、kafka 中的資料刪除機制是什麼

17、kafka 如何保證資料不丟失

18、kafka 高效能的原因有哪些

19、kafka 高效查詢資料的原因有哪些

20、如何從 kafka 得到準確的資訊(不是重讀資料)

21、kafka 的設計是什麼樣的

22、資料傳輸的事務定義有哪三種

23、kafka 判斷乙個節點是否還活著有哪些條件

24、kafka 與傳統訊息系統之間有哪些區別

25、kafka 建立 topic 時將分割槽放置到不同的 broker 的策略是什麼

26、kafka 新建的分割槽會在那個目錄建立

27、partition (分割槽)的資料如何儲存到硬碟

28、kafka 的 ack 機制

29、kafka 的消費者如何消費資料

30、如何使 kafka 集群內的資料是有序的

31、zookeeper 彙總保留了哪些資料

32、kafka consumer(消費者)什麼情況會觸發再平衡 reblance

33、描述 kafka consumer 再平衡步驟

34、手動提交 offset 有什麼好處

35、為什麼 kafka 中的資料需要定期刪除或合併

Kafka知識點總結

kafka是一種高吞吐量的分布式發布訂閱訊息系統,它可以處理消費者規模的 中的所有動作流資料。這種動作 網頁瀏覽,搜尋和其他使用者的行動 是在現代網路上的許多社會功能的乙個關鍵因素。這些資料通常是由於吞吐量的要求而通過處理日誌和日誌聚合來解決。對於像hadoop一樣的日誌資料和離線分析系統,但又要求...

KafKa的知識點總結

1 kafka是什麼?類jms訊息佇列,結合jms中的兩種模式,可以有多個消費者主動拉取資料,在jms中只有點對點模式才有消費者主動拉取資料。kafka是乙個生產 消費模型。producer 生產者,只負責資料生產,生產者的 可以整合到任務系統中。資料的分發策略由producer決定,預設是defa...

kafka相關知識點總結

1 kafka是什麼 類jms訊息佇列,結合jms中的兩種模式 點對點模型,發布者 訂閱者模型 可以有多個消費者主動拉取資料,在jms中只有點對點模式才有消費者主動拉取資料。kafka是乙個生產 消費模型。producer 生產者,只負責資料生產,生產者的 可以整合到任務系統中。資料的分發策略由pr...