Kafka集群操作

目錄

1、建立topic

2、檢視主題命令

3、生產者生產資料

4、消費者消費資料

5、執行describe  topics命令

6、增加topic分割槽數

7、增加配置

8、刪除配置

9、刪除topic

建立乙個名字為test的主題， 有三個分割槽，有兩個副本

node01執行以下命令來建立topic   

cd /export/servers/kafka_2.11-1.0.0

bin/kafka-topics.sh --create --zookeeper node01:2181 --replication-factor 2 --partitions 3 --topic test

node01使用以下命令來檢視kafka當中存在的topic主題 

cd /export/servers/kafka_2.11-1.0.0

bin/kafka-topics.sh  --list --zookeeper node01:2181,node02:2181,node03:2181

node01伺服器執行以下命令來模擬生產者進行生產資料

cd /export/servers/kafka_2.11-1.0.0

bin/kafka-console-producer.sh --broker-list node01:9092,node02:9092,node03:9092 --topic test

cd /export/servers/kafka_2.11-1.0.0

bin/ kafka-console-consumer.sh --from-beginning --topic test  --zookeeper node01:2181,node02:2181,node03:2181

cd /export/servers/kafka_2.11-1.0.0

bin/kafka-topics.sh --describe --zookeeper node01:2181 --topic test

這是輸出的解釋。第一行給出了所有分割槽的摘要，每個附加行提供有關乙個分割槽的資訊。由於我們只有乙個分 區用於此主題，因此只有一行。

「leader」是負責給定分割槽的所有讀取和寫入的節點。每個節點將成為隨機選擇的分割槽部分的領導者。（因為在kafka中 如果有多個副本的話，就會存在leader和follower的關係，表示當前這個副本為leader所在的broker是哪乙個）

「replicas」是複製此分割槽日誌的節點列表，無論它們是否為領導者，或者即使它們當前處於活動狀態。（所有副本列表    0 ，1,2）

「isr」是「同步」複製品的集合。這是副本列表的子集，該列表當前處於活躍狀態並且已經被領導者捕獲。（可用的列表  數）

任意kafka伺服器執行以下命令可以增加topic分割槽數

cd /export/servers/kafka_2.11-1.0.0

bin/kafka-topics.sh --zookeeper zkhost:port --alter --topic topicname --partitions 8

任意kafka伺服器執行以下命令可以增加topic分割槽數

cd /export/servers/kafka_2.11-1.0.0

bin/kafka-topics.sh --zookeeper node01:2181 --alter --topic test--config flush.messages=1

資料sync

到log

檔案之前累積的訊息條數。

動態刪除kafka集群配置

cd /export/servers/kafka_2.11-1.0.0

bin/kafka-topics.sh --zookeeper node01:2181 --alter --topic test

--delete-config

flush.messages

delete.topic.enable=true

然後執行以下命令進行刪除topic

kafka-topics.sh --zookeeper zkhost:port --delete --topic topicname

Kafka集群操作

建立乙個名字為test的主題，有三個分割槽，有兩個副本 node01執行以下命令來建立topic cd export servers kafka 2.11 1.0.0 bin kafka topics.sh create zookeeper node01 2181 replication facto...

Kafka 集群操作指令

kafka run class.sh kafka.tools.getoffsetshell broker list node01 9092,node02 9092,node03 9092 topic 18bd12建立乙個名字為test的主題，有三個分割槽，有兩個副本 hadoop01執行以下命令來建...

kafka集群環境部署及相關操作

2.kafka的shell操作 2.2生產資料 2.3消費資料 3.總結 安裝節點要求 1.1上傳安裝包 put c kafka 2.11 1.1.1.tgz1.2解壓 1.3配置環境變數 vim bash profile按g跳到最後一行按o向下插入，儲存退出 export path path ka...