KAFKA簡單操作

2021-10-07 20:46:27 字數 1488 閱讀 7556

1.建立乙個topic,3個分割槽和兩個副本

[redis@node1 kafka_2.12-2.2.0]$bin/kafka-topics.sh -create --zookeeper node1:2181 -replication-factor 2 --partitions 3 --topic test

2.檢視topic詳細資訊:

[redis@node1 kafka_2.12-2.2.0]$ bin/kafka-topics.sh --zookeeper node1:2181 --topic test --describe

topic:test         partitioncount:3            replicationfactor:2      configs:

topic: test     partition: 0  leader: 1           replicas: 1,2       isr: 1,2

topic: test     partition: 1  leader: 2           replicas: 2,0         isr: 2,0

topic: test     partition: 2  leader: 0           replicas: 0,1         isr: 0,1

3.建立乙個生產者

[redis@node1 kafka_2.12-2.2.0]$bin/kafka-console-producer.sh --broker-list node1:9092 --topic test

4.建立乙個消費者

[redis@node2 kafka_2.12-2.2.0]$ bin/kafka-console-consumer.sh --bootstrap-server node1:9092 --topic test --from-beginning

--檢視消費者的消費進度

1.檢視所有組

[redis@node1 kafka_2.12-2.2.0]$bin/kafka-consumer-groups.sh --bootstrap-server node1:9092 --list

2.檢視消費情況

[redis@node2 kafka_2.12-2.2.0]$bin/kafka-consumer-groups.sh --describe --bootstrap-server node1:9092 --group yjjbts.consumer

"topic的名字"   "分割槽id"   "當前已消費的條數"  "總條數"   "未消費條數"     "消費id"                                          "主機id"       "客戶端id"

topic           partition  current-offset  log-end-offset  lag             consumer-id                                      host            client-id

Kafka簡單部署操作

啟動kafka需要先啟動zk,推薦手動啟動zk,不用kafka的命令 配置檔案zookeeper.properties 配置項datadir zk datadir 配置的目錄 clientport zk埠 bin zookeeper server start.sh config zookeeper....

Kafka簡介,安裝及簡單的操作

kafka的介紹 kafka 是分布式發布 訂閱訊息系統,即,kafka是一種分布式的訊息佇列工具。kafka特點 a.高吞吐量 kafka每秒可以生產約25萬訊息 50mb 每秒可以處理55萬訊息 110mb b.持久化資料儲存 可進行持久化操作。將訊息持久化到磁碟,按順序讀寫。據測試按順序磁碟讀...

kafka 簡單入門

乙個副本乙個分割槽 通過選項create建立mytest的topic,副本數為1 分割槽數為1 binsh kafka topics.sh create zookeeper 192.168.10.151 2181 replication factor1 partitions1 topic mytes...