面試專題 簡述Kafka架構設計

kafka的特性：

消費者組，消費者組內每個消費者負責消費不同分割槽的資料，提高消費能力。邏輯上的乙個訂閱者。

可以理解位乙個佇列，topic 將消費分類，生產者和消費者面向的是同乙個 topic。

為了實現擴充套件性，提高併發能力，乙個 topic 以多個 partition的方式分布到多個 broker 上，每個 partition

是乙個有序的佇列。乙個 topic 的每個 partition 都有若干個副本（replica），乙個 leader 和若干個

follower。生產者傳送資料的物件，以及消費者消費資料的物件，都是 leader。 follower 負責實時從 leader

中同步資料，保持和leader 資料的同步。leader 發生故障時，某個 follower 還會成為新的 leader。

消費者消費的位置資訊，監控資料消費到什麼位置，當消費者掛掉再重新恢復的時候，可以從消費位置繼續消費。

kafka 集群能夠正常工作，需要依賴於 zookeeper，zookeeper幫助 kafka儲存和管理集群資訊。broker

和topic 註冊到 zookeeper，生成 znode 的臨時節點。broker 、topic、offset

和partition的關係，包括 consumer 的關聯關係，都是儲存到 zk 的。leader 節點的選舉模式也是使用zookeeper

的選舉機制。

Kafka架構設計

外鏈轉存失敗,源站可能有防盜煉機制,建議將儲存下來直接上傳 img mi3m7ghh 1611887754842 kafka核心概念.png num.network.threads 9 num.io.threads 32 producer設計 批處理記憶體池設計 封裝同一伺服器請求 consumer...

架構設計 業務邏輯層簡述

業務邏輯層是專門處理軟體業務需求的一層，處於資料庫之上，服務層之下，完成一些列對domain object的crud，作為一組微服務提供給服務層來組織在暴露給表現層，如庫存檢查，用法合法性檢查，訂單建立。業務邏輯層包含領域物件模型，領域實體，業務規則，驗證規則，業務流程。1 領域物件模型為系統結構描...

Kafka面試專題

1.kafka 的設計時什麼樣的呢？kafka 將訊息以 topic 為單位進行歸納 將向 kafka topic 發布訊息的程式成為 producers.將預訂 topics 並消費訊息的程式成為 consumer.kafka 以集群的方式執行，可以由乙個或多個服務組成，每個服務叫做乙個 brok...