Kafka基本原理

2021-09-25 00:19:09 字數 1133 閱讀 1267

在深入學習kafka之前,需要先了解topics,brokers,producersconsumers等幾個主要術語。 下面說明了主要術語的詳細描述和元件。

在上圖中,主題(topic)被配置為三個分割槽。 分割槽1(partition 1)具有兩個偏移因子01。分割槽2(partition 2)具有四個偏移因子0,1,23,分割槽3(partition 3)具有乙個偏移因子0。replica 的id與託管它的伺服器的id相同。

假設,如果該主題的複製因子設定為3,則kafka將為每個分割槽建立3個相同的副本,並將它們放入群集中以使其可用於其所有操作。 為了平衡集群中的負載,每個**儲存乙個或多個這些分割槽。 多個生產者和消費者可以同時發布和檢索訊息。

kafka cluster– kafka擁有多個經紀人稱為kafka集群。 kafka集群可以在無需停機的情況下進行擴充套件。 這些集群用於管理訊息資料的永續性和複製。

producers– 生產者(producer)是乙個或多個kafka主題的發布者。 生產者向kafka經紀人傳送資料。 每當生產者向經紀人發布訊息時,經紀人只需將訊息附加到最後乙個段檔案。 實際上,該訊息將被附加到分割槽。 生產者也可以將訊息傳送到他們選擇的分割槽。

consumers– 消費者從經紀人那裡讀取資料。 消費者通過從經紀人處獲取資料來訂閱乙個或多個主題並消費發布的訊息。

leader– leader是負責所有分割槽讀寫的節點。 每個分割槽都有一台伺服器充當領導者。

follower– 遵循領導者(leader)指示的節點稱為追隨者(follower)。 如果領導失敗,其中乙個追隨者將自動成為新領導。 追隨者扮演正常的消費者角色,拉動訊息並更新自己的資料儲存。

mysql的基本原理 Mysql 基本原理

mysql 基本原理 mysql是一種關聯式資料庫管理系統,關聯式資料庫將資料儲存在不同的表中,而不是將所有資料放在乙個大倉庫內,這樣就增加了速度並提高了靈活性 ysql是資料庫登入命令 uroot預設超級使用者登入 p 預設沒密碼 中寫密碼 mysqladmin uroot password 12...

極簡單系列 kafka 基本原理

簡單來說 這就是今天的全部內容了。生產者 生產訊息到 集群,集群儲存訊息,消費者消費 具體要談裡邊的原理 需要先了解幾個概念 topic可以理解為乙個佇列,生產者和消費者面向的都是乙個 topic 分割槽。這是乙個物理概念。乙個 topic 可以分為多個 partition,每個 partition...

8 2 1 基本原理

乙個舞台動畫物件在包含許多舞台資訊 出現在何處,佔多大面積,處在什麼角度,是否可見 這些資訊分別儲存在動畫物件的屬性中。在 中讀取這些屬性可以了解物件的位置 大小 角度等狀態資訊 修改這些屬性可以改變物件的位置 大小 角度等狀態。如果從資料的角度去理解,動畫就是在固定時間間隔點不斷修改動畫物件某項屬...