kafka 基本概念

2021-09-27 13:53:18 字數 977 閱讀 1582

訊息:訊息相當於資料庫中的記錄,kafka中的的訊息是二進位制訊息流,所以kafka中的訊息沒有特別的格式或者含義

批次:訊息可以分批次的被傳送,這樣可以提高效率,單條訊息穿梭於網路間,會導致大量的網路開銷,批次越大單位時間內處理的訊息就越多,單個訊息的傳輸時間就越長,批次訊息會被壓縮 ,可以提公升效率,但是需要更多的 cpu計算

主題、分割槽:相當於資料庫中的表,每個主題會有若干個分割槽,在kafka中乙個分割槽就是乙個linux下的分割槽日誌,訊息是以追加的形式加入到分割槽日誌中,主題訊息的訊息的順序行無法等到保證,但是分割槽中的 順序可以得到保證。

broker:kafka伺服器,用來儲存一些原資料資訊,比如分割槽資訊,訊息的偏移量等等

訊息鍵、分割槽器:生產者一般是將訊息均勻的發往每個分割槽,訊息鍵可以提幫助我們將訊息存入特定的分割槽。分割槽器幫助我們選擇特定的分割槽。

生產者:生產訊息的一方

消費者:讀取訊息的一方,訂閱有個或者多個topic,按照分割槽中 訊息的順序來讀取訊息,消費者通過分割槽中訊息的偏移量來判斷那些訊息已經被消費過。

偏移量:訊息的偏移量,生產者生產訊息時會將訊息的偏移量附帶,分割槽中每個訊息的偏移量都是唯一的,消費者會將最後消費的訊息的偏移量存入zk,或者kafka。

消費者群組:多個消費者組成乙個消費者群組,群組中的消費者消費不同分割槽中的訊息。

(1)多producer

(2)多consumer

(3)基於磁碟的資料儲存:保證資料的完整消費

(4)伸縮性:可以靈活配置broekr

(5)高效能 

kafka基本概念

kafka 1 是一種高吞吐量 2 的分布式發布訂閱訊息系統,有如下特性 kafka基本概念 消費模式 1 分割槽消費模式 vs 組消費模式 分割槽的日誌被分發到集群內的伺服器上,每台伺服器負責處理一些分割槽和對這些分割槽的讀寫請求。為滿足容錯需求,各分割槽的資料都按乙個可配置的量被複製到集群的其他...

kafka基本概念

1.topics 主題 屬於特定類別的訊息流成為主題。資料儲存在topics中,topics被拆分為分割槽。對於每個主題,kafka儲存乙個分割槽的資料 每個這樣的分割槽包含不可變有序序列的訊息。分割槽被實現為具有相等大小的一組分段檔案。2.partition 分割槽 主題可能有許多分割槽,因此它可...

Kafka學習 基本概念

apache kafka是一種分布式的訊息中介軟體,什麼是訊息中介軟體,它是一種可靠的訊息傳輸機制,可以進行與平台無關的資料交流,並基於資料通訊完成訊息傳遞和佇列模型,可以在分布環境下擴充套件程序間的通訊 1.流處理平台的三個關鍵能力 發布和訂閱訊息 流 在這方面,它類似於乙個訊息佇列或企業訊息系統...