Kafka 集群操作指令

2021-10-04 01:31:46 字數 2418 閱讀 4304

./kafka-run-class.sh kafka.tools.getoffsetshell --broker-list node01:9092,node02:9092,node03:9092 --topic 18bd12
建立乙個名字為test的主題， 有三個分割槽，有兩個副本

hadoop01執行以下命令來建立topic

cd /export/servers/kafka_2.11-1.0.0


bin/kafka-topics.sh --create --zookeeper hadoop01:2181 --replication-factor 2 --partitions 3 --topic test
檢視kafka當中存在的主題

hadoop01使用以下命令來檢視kafka當中存在的topic主題

cd /export/servers/kafka_2.11-1.0.0


bin/kafka-topics.sh --list --zookeeper hadoop01:2181,hadoop02:2181,hadoop03:2181
模擬生產者來生產資料

hadoop01伺服器執行以下命令來模擬生產者進行生產資料

cd /export/servers/kafka_2.11-1.0.0


bin/kafka-console-producer.sh --broker-list hadoop01:9092,hadoop02:9092,hadoop03:9092 --topic test
hadoop02執行以下命令來模擬消費者進行消費資料，這個是控制台模擬消費，常用於臨時檢視資料

cd /export/servers/kafka_2.11-1.0.0


bin/ kafka-console-consumer.sh --from-beginning --topic test --bootstrap-server hadoop01:9092
hadoop01執行以下命令執行describe檢視topic的相關資訊

cd /export/servers/kafka_2.11-1.0.0


bin/kafka-topics.sh --describe --zookeeper hadoop01:2181 --topic test
結果說明：

這是輸出的解釋。第一行給出了所有分割槽的摘要，每個附加行提供有關乙個分割槽的資訊。由於我們只有乙個分 區用於此主題，因此只有一行。

「leader」是負責給定分割槽的所有讀取和寫入的節點。每個節點將成為隨機選擇的分割槽部分的領導者。（因為在kafka中 如果有多個副本的話，就會存在leader和follower的關係，表示當前這個副本為leader所在的broker是哪乙個）

「replicas」是複製此分割槽日誌的節點列表，無論它們是否為領導者，或者即使它們當前處於活動狀態。（所有副本列表 0 ，1,2）

「isr」是「同步」複製品的集合。這是副本列表的子集，該列表當前處於活躍狀態並且已經被領導者捕獲。（可用的列表 數）

任意kafka伺服器執行以下命令可以增加topic分割槽數

cd /export/servers/kafka_2.11-1.0.0


bin/kafka-topics.sh --zookeeper zkhost:port --alter --topic topicname --partitions 8
動態修改kakfa的配置

任意kafka伺服器執行以下命令可以增加topic分割槽數

cd /export/servers/kafka_2.11-1.0.0


bin/kafka-topics.sh --zookeeper hadoop01:2181 --alter --topic test --config flush.messages=1
bin/kafka-topics.sh --zookeeper flink01:2181 -alter --partitions 3 --topic auditfile
動態刪除kafka集群配置

cd /export/servers/kafka_2.11-1.0.0


bin/kafka-topics.sh --zookeeper hadoop01:2181 --alter --topic test --delete-config flush.messages
delete.topic.enable=true
然後執行以下命令進行刪除topic

kafka-topics.sh --zookeeper zkhost:port --delete --topic topicname

Kafka集群操作

目錄 1 建立topic 2 檢視主題命令 3 生產者生產資料 4 消費者消費資料 5 執行describe topics命令 6 增加topic分割槽數 7 增加配置 8 刪除配置 9 刪除topic 建立乙個名字為test的主題，有三個分割槽，有兩個副本 node01執行以下命令來建立topic...

Kafka集群操作

建立乙個名字為test的主題，有三個分割槽，有兩個副本 node01執行以下命令來建立topic cd export servers kafka 2.11 1.0.0 bin kafka topics.sh create zookeeper node01 2181 replication facto...

kafka集群環境部署及相關操作

2.kafka的shell操作 2.2生產資料 2.3消費資料 3.總結 安裝節點要求 1.1上傳安裝包 put c kafka 2.11 1.1.1.tgz1.2解壓 1.3配置環境變數 vim bash profile按g跳到最後一行按o向下插入，儲存退出 export path path ka...