kafka同步生產者和非同步生產者深入剖析

2022-02-17 08:03:44 字數 684 閱讀 3070

什麼是kafka同步生產者,什麼是kafka非同步生產者?

比如這裡某個topic有3個分割槽。

kafka同步生產者:這個生產者寫一條訊息的時候,它就立馬傳送到某個分割槽去。

kafka非同步生產者:這個生產者寫一條訊息的時候,先是寫到某個緩衝區,這個緩衝區裡的資料還沒寫到broker集群裡的某個分割槽的時候,它就返回到client去了。

a1.sinks.k1.kafka.producer.type =sync     #kafka同步生產者

a1.sinks.k1.kafka.producer.type = async #kafka非同步生產者

關於原始碼kafka原始碼解析之十六生產者流程(客戶端如何向topic傳送資料)

Kafka之生產者

1 方便在集群中擴充套件,乙個topic可以有多個partition組成,而每個partition可以通過調整以適應它所在的機器 2 可以提高併發,因為可以以partition為單位讀寫 我們需要將生產者傳送的資料封裝成乙個producerrecord物件。1 指明partition的情況下,直接將...

kafka 生產者(二)

想要提高生產者的吞吐量可以通過調整一下4個引數來實現 batch.size 批次大小,預設16k linger.ms 等待時間,修改為5 100ms recordaccumulator 緩衝區大小,修改為64m 實現 public class customproducerparameters 關閉資...

Kafka生產者和消費者

一 生產者 1 分割槽的原因 方便在集群中擴充套件 每個分割槽都可以通過調整副本數,改變分割槽副本所佔的kafka節點。每個topic又有多個分割槽,這樣就可以靈活的改變集群的大小和所佔的機器數 可以提高併發 同乙個topic的資料,可以分散到不同的分割槽,而不同的分割槽資料可以被不同的consum...