kafka生產者分割槽策略

2021-10-01 19:38:05 字數 440 閱讀 7718

kafka生產者:

分割槽策略:

分割槽的原因:

1)方便在集群中擴充套件,每個partition可以通過調整以適應它所在的機器,而乙個topic又

可以有多個partition組成,因此整個集群就可以適應任意大小的資料了;

2)可以提高併發,因為可以以partition為單位讀寫了。

分割槽的原則:

1)指明partition的情況下,直接將指明的值直接作為partition值;

2)沒有指明partition值但有key的情況下,將key的hash值與topic的partition數進行取餘得到

partition值;

3)沒有partition和key情況下,第一次呼叫時隨機生成乙個整數,將這個值與topic可用的par

tition總數取餘得到partition值,也就是常說的round-robin演算法。

Kafka生產者與消費者分割槽策略

分割槽的目的在於可以提高併發,並在可在集群中擴充套件以適應不同大小的資料 producer傳送的資料會被封裝成producer recorder物件 在生成producer recorder物件時指明partition的情況下,直接進入對應的partition分割槽 沒有指明partition值,但...

kafka 生產者訊息分發策略

訊息是kafka中最基本的額資料單元,在kafka中,一條訊息由key value兩部分構成,在傳送一條訊息時,我們可以指定這個key,producer會根據key來判斷當前這條訊息應該 路由儲存到哪個partition。預設情況下,kafka採用的是對key進行hash取模計算出分割槽。如果key...

Kafka生產者分割槽策略和資料可靠性保證

為保證 producer 傳送的資料,能可靠的傳送到指定的 topic,topic 的每個 partition 收到 producer 傳送的資料後,都需要向 producer 傳送 ack acknowledgement 確認收到 如果 producer 收到 ack,就會進行下一輪的傳送,否則重...