kafka手動負載均衡

針對執行中kafka的集群，因為特定原因，部分kafka節點負荷量超載，可以進行手動topic重新分配；還可以根據需求只重新分配特定topic到特定kafka節點，以實現只想在固定節點使用特定topic的目的。

vim topics.json

，],

"version": 1
}

usr/local/kafka/bin/kafka-reassign-partitions.sh \

--zookeeper 10.50.4.45:2181 \
--topics-to-move-json-file topics.json \
--broker-list "1,2,3,4,5,6,7" \
--generate >>reassignment.json

命令如下：

usr/local/kafka/bin/kafka-reassign-partitions.sh   \

--zookeeper 10.50.4.45:2181 \
--reassignment-json-file reassignment.json \
--execute --throttle 700000000

usr/local/kafka/bin/kafka-reassign-partitions.sh   \

--zookeeper 10.50.4.45:2181 --verify \
--reassignment-json-file reassignment.json

usr/local/kafka/bin/kafka-configs.sh \

--describe --zookeeper 10.50.4.45:2181 --entity-type topics

bin/kafka-configs.sh --describe \

--zookeeper 10.50.4.45:2181 --entity-type brokers

Kafka的Consumer負載均衡演算法

有乙個topic test，然後這個topic的partition和他們所在的broker的圖如下 1.其中 broker有兩個，也就是伺服器有兩台。2.partition有6個，分布按照如圖所示，按照雜湊取模的演算法分配。3.消費者有8個，他們屬於同乙個消費組。複製 如果按照如圖所示，那麼這乙個消...

kafka負載均衡相關資料收集（二）

關於kafka producer 分割槽策略的思考 from 今天跑了乙個簡單的kafka produce程式，如下所示 public class kafkaproducer extends thread override public void run try catch interruptede...

kafka負載均衡相關資料收集（二）

關於kafka producer 分割槽策略的思考 from 今天跑了乙個簡單的kafka produce程式，如下所示 public class kafkaproducer extends thread override public void run try catch interruptede...