Kafka常用命令

2021-09-08 13:16:51 字數 3322 閱讀 9575

.topic相關的操作

如能成功建立topic則表示集群安裝完成,

也可以用jps命令檢視kafka程序是否存在。

bin/kafka-topics.sh \

--create \

--zookeeper 192.168.0.85:2181,192.168.0.86:2181,192.168.0.87:2181/kafka \

--replication-factor 3 \

--partitions 3 \

--topic test

注意:建立的時候,生產上命名不要有標點符號的字元,就英文 可以帶數字 預設小寫,topic名稱不規範,引起不必要的麻煩解釋:–zookeeper指定zookeeper的位址和埠,

(這裡為什麼用/kafka,你在建立的時候用了,這裡就要填寫)

–partitions指定partition的數量,

–replication-factor指定資料副本的數量。

也就是說,如果有100條資料,會被切分成10份,每乙份有三個副本,存放在不同的partition裡。

bin/kafka-topics.sh \

--list \

--zookeeper 192.168.0.85:2181,192.168.0.86:2181,192.168.0.87:2181/kafka

bin/kafka-topics.sh \

--describe \

--zookeeper 192.168.0.85:2181,192.168.0.86:2181,192.168.0.87:2181/kafka \

--topic test

顯示

topic:test      partitioncount:3        replicationfactor:3     configs:

topic: test partition: 0 leader(讀寫): brokerid 3 replicas: 3,1,2 isr: 3,1,2

topic: test partition: 1 leader: 1 replicas: 1,2,3 isr: 1,2,3

topic: test partition: 2 leader: 2 replicas: 2,3,1 isr: 2,3,1

[root@yws85 kafka]#

ll logs

可以看到磁碟資訊

第一行列出了這個topic的總體情況,如topic名稱,分割槽數量,副本數量等。

第二行開始,每一行列出了乙個分割槽的資訊,如它是第幾個分割槽,這個分割槽的leader是哪個broker,副本位於哪些broker,有哪些副本處理同步狀態。

partition: 分割槽

leader : 負責讀寫指定分割槽的節點

replicas : 複製該分割槽log的節點列表

isr : 「in-sync」 replicas,當前活躍的副本列表(是乙個子集),相當於乙個排位,當 leader掛掉了並且可能成為leader

1.replicationfactor:3 (生產上一般是3個副本就足夠了,沒有不要5個)

2. partitioncount:3 (這個分割槽數量是根據 spark partitions來的,比例1:1)

**:使用—-alert原則上可以修改任何配置,以下列出了一些常用的修改選項:

(1)改變分割槽數量

最好在生產的時候規劃好,整理好採購計畫,多出百分之20/30左右

修改分割槽數量

bin/kafka-topics.sh \

--alter \

--zookeeper 192.168.0.85:2181,192.168.0.86:2181,192.168.0.87:2181/kafka \

--topic g5 --partitions 3

檢視:[root@yws85 kafka]# bin/kafka-topics.sh --describe \

> --zookeeper 192.168.0.85:2181,192.168.0.86:2181,192.168.0.87:2181/kafka \

> --topic g5

topic:g5 partitioncount:3 replicationfactor:1 configs:

topic: g5 partition: 0 leader: 3 replicas: 3 isr: 3

topic: g5 partition: 1 leader: 1 replicas: 1 isr: 1

topic: g5 partition: 2 leader: 2 replicas: 2 isr: 2

[root@yws85 kafka]#

但是減少partition是不允許的。如果執行配置的partition變少,會丟擲乙個錯誤,顯示partition數量只能增加

已經被標識了,但是沒有刪除掉,

刪除之前,需要先將server.properties檔案中的配置delete.topic.enable=true更改一下,否則執行刪除命令不會生效。

假如刪除不乾淨:1.linux磁碟資料夾

2.zk的/kafka的 ls /kafka/brokers/topics 。。。ls /kafka/config/topics這裡還有很多小檔案

下面的檔案。不是直接刪掉kafka,最底層的元資料

當然了。在生產中盡量不要做刪除工作

kafka常用命令

kafka常用操作命令 l檢視當前伺服器中的所有topic bin kafka topics.sh list zookeeper hadoop02 2181 l建立topic kafka topics.sh create zookeeper hadoop02 2181 replication fac...

kafka常用命令

啟動集群 nohup bin kafka server start.sh config server.properties 建立topic kafka topics topictt replication factor3 partitions3 create zookeeper hadoop1 21...

Kafka 常用命令

kafka console producer broker list 127.0.0.1 9092 topic mytopic kafka console consumer bootstrap server 127.0.0.1 9092 topic mytopic 建立主題,replication ...