Kafka 常用命令行工具

2021-10-14 06:50:33 字數 2026 閱讀 4039

建立主題kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic zjwblog

檢視所有主題kafka-topics.sh --zookeeper localhost:2181 --list

檢視指定主題的詳細資訊kafka-topics.sh --zookeeper localhost:2181 --topic zjwblog --describe

命令列生產者kafka-console-producer.sh --broker-list localhost:9092 --topic zjwblog

行消費者消費所有歷史資料kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic zjwblog --from-beginning

消費者從最新處開始消費(歷史資料不關心)kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic zjwblog

消費者從最新處開始消費(歷史資料不關心),並指定消費者組kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic zjwblog --group zjwblog-group

列出所有的消費組kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list

檢視kafka訊息佇列特定組的消費積壓情況(主要看current-offset、log-end-offset的值,判斷kafka堆積情況)kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group g1

檢視指定topic上每個partition的offsetkafka-run-class.sh kafka.tools.getoffsetshell --broker-list localhost:9092 --topic zjwblog

例子:

# 建立乙個主題

kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --partitions 3 --topic zjwblog

# 啟動乙個生產者

kafka-console-producer.sh --broker-list localhost:9092 --topic zjwblog

# 啟動乙個消費者組(3個成員),會占用三個終端

kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic zjwblog --group zjwblog-group

kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic zjwblog --group zjwblog-group

kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic zjwblog --group zjwblog-group

# 啟動乙個消費者預設組(1個成員),占用乙個終端

kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic zjwblog

# 檢視當前消費者組

kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list

# 在生產者中寫入資料,觀察消費者組情況

kafka 命令列工具常用命令行操作

2.check命令 1.1 啟動kafka服務 zookeeper.connect zookeeper連線設定ip port broker.id 啟動kafka的broker的id 1.2 建立topicbin kafka topics.sh create zookeeper host 2181 r...

Kafka常用命令行總結

以下是kafka常用命令行總結 1.檢視topic的詳細資訊 kafka topics.sh zookeeper 127.0.0.1 2181 describe topic testkj1 2 為topic增加副本 kafka reassign partitions.sh zookeeper 127...

Kafka常用命令行總結

以下是kafka常用命令行總結 1.檢視topic的詳細資訊 kafka topics.sh zookeeper 127.0.0.1 2181 describe topic testkj1 檢視所有topic kafka topics.sh list zookeeper 127.0.0.1 2181...