Kafka常用的操作命令

2021-10-05 15:00:18 字數 2097 閱讀 8534

檢視當前伺服器中的所有topic

bin/kafka-topics.sh --zookeeper hadoop102:2181 --list
建立topic

bin/kafka-topics.sh --zookeeper hadoop102:2181 --create --replication-factor 3 --partitions 1 --topic first

--topic 定義topic名

--replication-factor 定義副本數

--partitions 定義分割槽數片

刪除topic

bin/kafka-topics.sh --zookeeper hadoop102:2181 --delete --topic first

需要在 server.properties 中設定delete.topic.enable=true,

否則只是標記刪除

傳送訊息

bin/kafka-console-proucer.sh  --broker-list hadoop102:9092 --topic first
消費訊息

bin/kafka-console-consumer.sh \ --bootstrap-server hadoop102:9092 --topic first

bin/kafka-console-consumer.sh \ --bootstrap-server hadoop102:9092 --from-beginning --topic first

--from-beginning:會把主題中以往所有的資料都讀出來

檢視某個topic的詳情

bin/kafka-topics.sh --zookeeper hadoop102:2181 --describer --topic first
修改分割槽數

bin/kafka-topics.sh --zookeeper hadoop102:2181 --alter --topic first --partitions 6
修改分割槽數

bin/kafka-topics.sh --zookeeper hadoop102:2181 --alter --topic first --partitions 6
驗證生產的訊息是否成功

.

/kafka-run-

class

.sh kafka.tools.getoffsetshell --broker-list hadoop102:9092,hadoop103:9092,hadoop104:9092 --topic test

10.獲取消費者組的id

.

/kafka-consumer-groups.sh --bootstrap-server haodoop102:9092,hadoop102:9092,hadoop104:9092 --list

11.查詢__consumer_offsets 偏移量的位置資訊

bin/kafka-console-consumer.sh --topic __consumer_offsets --bootstrap-server hadoop102:9092,hadoop103:9092,hadoop104:9092"kafka.coordinator.group.groupmetadatamanager\$offsetsmessageformatter"

--consumer.config config/consumer.properties --

from

-beginning

__consumer_offsets topic的每一日誌項的格式都是:[group, topic, partition]::[offsetmetadata[offset, metadata], committime, expirationtime]

kafka常用操作命令

broker kafka集群由乙個或多個伺服器組成。每個伺服器稱為 主題 topic 維護一組訊息分類 分割槽 partition 隸屬於主題,每個主題會包含多個分割槽,訊息 msg 隸屬於分割槽,每個分割槽有乙個訊息序列,每個訊息在該分割槽中都有乙個唯一的序號,這個序號叫偏移量 生產者 produ...

Kafka常用操作命令

建立主題 kafka topics create bootstrap server node01 9092 replication factor 3 partitions 3 topic test檢視主題列表 kafka topics list bootstrap server node01 909...

kafka 常用操作命令

1 建立topic 訊息佇列 kafka topics.sh create zookeeper 192.168.116 2181 你的zookeeper的ip topic mydemo 訊息佇列的名稱 replication factor 1 副本數 partitions 1 分割槽數2 檢查佇列是...