kafka查詢及修改offset的方法

2021-09-27 08:49:21 字數 638 閱讀 8494

服務端上是hdp2.6.4帶的顯示0.10版本的kafka,版本估計有點舊了,需要使用2個版本客戶端去分別操作:
使用hdp的客戶端查詢消費組、offset:

cd /usr/hdp/2.6.4.0-91/kafka/bin/

sh kafka-consumer-groups.sh --bootstrap-server 192.68.86.111:9092 --list

sh kafka-consumer-groups.sh --bootstrap-server 192.68.86.111:9092 --group apigw-groupv2 --describe

使用新版本客戶端修改offset:

客戶端需要根據實際情況修改連線配置引數等,但是不需要啟動。

cd /data/opt/kafka_2.12-2.2.1/bin

./kafka-consumer-groups.sh --bootstrap-server 192.68.86.111:9092 --group apigw-group99 --reset-offsets --to-offset 100 --topic test-topic-a1 --execute

kafka 修改分割槽 kafka分割槽

一 topic下引入partition的作用 topic是邏輯的概念,partition是物理的概念。為了效能考慮,如果topic內的訊息只存於乙個broker,那這個broker會成為瓶頸,無法做到水平擴充套件。kafka通過演算法盡可能的把partition分配到集群的不同伺服器上。partit...

Kafka補充及啟動kafka

補充 kafka中可以有多個broker,我們理解時可以把broker當做乙個新華書店理解 broker中可以有多個topic,topic是邏輯分割槽及邏輯存在的主題,不儲存資料 topic中可以有多個partition 分割槽 partition是真正存放資料的地方,乙個partition是乙個強...

查詢kafka資訊

查詢某個kafka的消費者資訊 查詢某個topic的分割槽情況 獲取某個topic的某個分割槽是由哪個ip消費 檢視某個消費者對某個topic的消費情況 group 表示group名稱 topic 建立時topic名稱 partition 分割槽編號 offset 表示該parition已經消費了多...