Kafka集群操作

建立乙個名字為test的主題，有三個分割槽，有兩個副本

node01執行以下命令來建立topic

cd /export/servers/kafka_2.11-1.0.0

bin/kafka-topics.sh --create --zookeeper node01:2181 --replication-factor 2 --partitions 3 --topic test

檢視kafka當中存在的主題

node01使用以下命令來檢視kafka當中存在的topic主題

cd /export/servers/kafka_2.11-1.0.0

bin/kafka-topics.sh --list --zookeeper node01:2181,node02:2181,node03:2181

模擬生產者來生產資料

node01伺服器執行以下命令來模擬生產者進行生產資料

cd /export/servers/kafka_2.11-1.0.0

bin/kafka-console-producer.sh --broker-list node01:9092,node02:9092,node03:9092 --topic test

node02伺服器執行以下命令來模擬消費者進行消費資料

cd /export/servers/kafka_2.11-1.0.0

bin/ kafka-console-consumer.sh --from-beginning --topic test --zookeeper node01:2181,node02:2181,node03:2181

node01執行以下命令執行describe檢視topic的相關資訊

cd /export/servers/kafka_2.11-1.0.0

bin/kafka-topics.sh --describe --zookeeper node01:2181 --topic test

結果說明：

這是輸出的解釋。第一行給出了所有分割槽的摘要，每個附加行提供有關乙個分割槽的資訊。由於我們只有乙個分區用於此主題，因此只有一行。

「leader」是負責給定分割槽的所有讀取和寫入的節點。每個節點將成為隨機選擇的分割槽部分的領導者。（因為在kafka中如果有多個副本的話，就會存在leader和follower的關係，表示當前這個副本為leader所在的broker是哪乙個）

「replicas」是複製此分割槽日誌的節點列表，無論它們是否為領導者，或者即使它們當前處於活動狀態。（所有副本列表 0 ，1,2）

「isr」是「同步」複製品的集合。這是副本列表的子集，該列表當前處於活躍狀態並且已經被領導者捕獲。（可用的列表數）

任意kafka伺服器執行以下命令可以增加topic分割槽數

cd /export/servers/kafka_2.11-1.0.0

bin/kafka-topics.sh --zookeeper zkhost:port --alter --topic topicname --partitions 8

動態修改kakfa的配置

任意kafka伺服器執行以下命令可以增加topic分割槽數

cd /export/servers/kafka_2.11-1.0.0

bin/kafka-topics.sh --zookeeper node01:2181 --alter --topic test --config flush.messages=1

動態刪除kafka集群配置

cd /export/servers/kafka_2.11-1.0.0

bin/kafka-topics.sh --zookeeper node01:2181 --alter --topic test --delete-config flush.messages

delete.topic.enable=true

然後執行以下命令進行刪除topic

kafka-topics.sh --zookeeper zkhost:port --delete --topic topicname