二 Kafka命令列操作

2021-10-06 18:08:10 字數 2232 閱讀 4783

1）檢視當前伺服器中的所有topic

[root@hadoop102 kafka]$ bin/kafka-topics.sh --zookeeper hadoop102:2181 --list
2）建立topic

[root@hadoop102 kafka]$ bin/kafka-topics.sh --zookeeper hadoop102:2181 \


--create --replication-factor 3 --partitions 1 --topic first
選項說明：

–topic 定義topic名

–replication-factor 定義副本數

–partitions 定義分割槽數

3）刪除topic

[root@hadoop102 kafka]$ bin/kafka-topics.sh --zookeeper hadoop102:2181 \


--delete --topic first
需要server.properties中設定delete.topic.enable=true否則只是標記刪除或者直接重啟。

4）傳送訊息

[root@hadoop102 kafka]$ bin/kafka-console-producer.sh \


--broker-list hadoop102:9092 --topic first


>hello world


>root root
5）消費訊息

[root@hadoop103 kafka]$ bin/kafka-console-consumer.sh \


--zookeeper hadoop102:2181 --from-beginning --topic first
–from-beginning：會把first主題中以往所有的資料都讀取出來。根據業務場景選擇是否增加該配置。

6）檢視某個topic的詳情

[root@hadoop102 kafka]$ bin/kafka-topics.sh --zookeeper hadoop102:2181 \


--describe --topic first
7）修改分割槽數

[root@hadoop102 kafka]$ bin/kafka-topics.sh --zookeeper 


hadoop102:2181 --alter --topic first --partitions 6
1.需求：

測試同乙個消費者組中的消費者，同一時刻只能有乙個消費者消費。

2.案例實操

（1）在 hadoop102、hadoop103 上修改/opt/module/kafka/config/consumer.properties 配置

檔案中的 group.id 屬性為任意組名。

[root@hadoop103 config]$ vi consumer.properties


group


.id=ccjy
（2）在 hadoop102、hadoop103 上分別啟動消費者

[root@hadoop102 kafka]$ bin/kafka-console-consumer.sh \


--zookeeper hadoop102:2181 --topic first --consumer.config 


config/consumer.properties


[root@hadoop103 kafka]$ bin/kafka-console-consumer.sh --


bootstrap-server hadoop102:9092 --topic first --consumer.config 


config/consumer.properties
（3）在 hadoop104 上啟動生產者

[root@hadoop104 kafka]$ bin/kafka-console-producer.sh \


--broker-list hadoop102:9092 --topic first


>hello world
（4）檢視 hadoop102 和 hadoop103 的接收者。

同一時刻只有乙個消費者接收到訊息

Kafka命令列操作

1 檢視當前伺服器中的所有topic atguigu hadoop102 kafka bin kafka topics.sh zookeeper hadoop102 2181 list2 建立topic atguigu hadoop102 kafka bin kafka topics.sh zook...

Kafka 命令列操作

1.檢視當前伺服器中的所有 topic bin kafka topics.sh zookeeper localhost 2181 list2.建立 topic bin kafka topics.sh zookeeper localhost 2181 create replication factor...

Kafka命令列操作

1.檢視當前伺服器中的所有topicbin kafka topics.sh zookeeper bigdata13 2181 list2.建立topicbin kafka topics.sh zookeeper bigdata13 2181 create replication factor 3 p...