kafka常用命令

2021-10-03 23:21:51 字數 2751 閱讀 7905

(2181是zookeeper的埠)

(9092是kafka的埠)

zookeeper管理命令

啟動zookeeper

bin/zkserver.sh start (預設以zoo.cfg檔案啟動)

bin/zkserver.sh start conf/zoo.cfg

檢視狀態

bin/zkserver.sh status

重新啟動

bin/zkserver.sh restart

停止zookeeper

bin/zkserver.sh stop

kafka命令列操作

啟動bin/kafka-server-start.sh config/server.properties

//可以使用-daemon引數,表示以守護執行緒的方式啟動,日誌不列印到控制台

bin/kafka-server-start.sh -daemon config/server.properties

關閉bin/kafka-server-stop.sh

zookeeper連線串:10.114.11.233:2181,10.114.11.234:2181,10.114.11.235:2181/kafka

kafka連線串:10.114.11.163:9092,10.114.11.141:9092,10.114.11.215:9092

topic名稱:yx

在kafka的目錄下

建立topic:

./bin/kafka-topics.sh --create --zookeeper 10.114.11.233:2181,10.114.11.234:2181,10.114.11.235:2181/kafka --topic yx --replication-factor 3 --partitions 3

刪除topic:(刪除topic較複雜,不僅這一命令)

./bin/kafka-topics.sh --delete --zookeeper 10.114.11.233:2181,10.114.11.234:2181,10.114.11.235:2181/kafka --topic yx

模糊查詢含有yx字串的topic:

./bin/kafka-topics.sh --list --zookeeper 10.114.11.233:2181,10.114.11.234:2181,10.114.11.235:2181/kafka |grep yx

檢視topic列表:

./bin/kafka-topics.sh --list --zookeeper 10.114.11.233:2181,10.114.11.234:2181,10.114.11.235:2181/kafka

檢視topic屬性(如分割槽等):

./bin/kafka-topics.sh --describe --zookeeper 10.114.11.233:2181,10.114.11.234:2181,10.114.11.235:2181/kafka --topic yx

生產者:

./bin/kafka-console-producer.sh --broker-list 10.114.11.163:9092,10.114.11.141:9092,10.114.11.215:9092 --topic yx

從當前開始消費:

./bin/kafka-console-consumer.sh --bootstrap-server 10.114.11.163:9092,10.114.11.141:9092,10.114.11.215:9092 --topic yx

消費所有資料:

./bin/kafka-console-consumer.sh --bootstrap-server 10.114.11.163:9092,10.114.11.141:9092,10.114.11.215:9092 --topic yx --from-beginning

增加topic分割槽數目

./bin/kafka-topics.sh --alter --zookeeper  10.114.11.233:2181,10.114.11.234:2181,10.114.11.235:2181 --topic yx --partitions 5

檢視topic某分割槽偏移量最大(小)值offset

./bin/kafka-run-class.sh kafka.tools.getoffsetshell --topic  yx --time -1 --broker-list 10.114.11.163:9092,10.114.11.141:9092,10.114.11.215:9092 --partitions 0 

檢視所有消費者組

./bin/kafka-consumer-groups.sh --list --bootstrap-server 10.114.11.163:9092,10.114.11.141:9092,10.114.11.215:9092

檢視消費者組消費情況

./bin/kafka-consumer-groups.sh --bootstrap-server 10.114.11.163:9092,10.114.11.141:9092,10.114.11.215:9092 --group *** --describe

備註:kafka用到zookeeper,因此如果您的機器上沒有zookeeper服務,則需要先啟動zookpeer服務,使用kafka自帶的zookeeper。

cd /opt/kafka_2.11-1.1.0/

bin/zookeeper-server-start.sh config/zookeeper.properties

kafka常用命令

kafka常用操作命令 l檢視當前伺服器中的所有topic bin kafka topics.sh list zookeeper hadoop02 2181 l建立topic kafka topics.sh create zookeeper hadoop02 2181 replication fac...

kafka常用命令

啟動集群 nohup bin kafka server start.sh config server.properties 建立topic kafka topics topictt replication factor3 partitions3 create zookeeper hadoop1 21...

Kafka 常用命令

kafka console producer broker list 127.0.0.1 9092 topic mytopic kafka console consumer bootstrap server 127.0.0.1 9092 topic mytopic 建立主題,replication ...