Kafka集群的簡單使用(shell)

2021-08-18 23:22:28 字數 2691 閱讀 1093

kafka本地集群搭建完成,介紹在shell中進行簡單使用,並記錄。

cd /opt/zookeeper/bin/

./zkserver.sh start

cd /opt/kafka/

bin/kafka-server

-start

.sh config/server.properties &

& 表示後台執行,這樣就可以啟動後離開控制台。

bin/kafka-server

-start

.sh -daemon config/server.properties &

-daemon 守護執行緒,安裝成功後啟動可加這個引數,安裝過程中暫時不要加

bin/kafka-server-stop.sh config/server.properties &
cd /opt/kafka/bin/

./kafka-topics.sh -list -zookeeper 192.168.1.100:2181,192.168.1.101:2181,192.168.1.102:2181

cd

/opt/kafka/bin/

./kafka

-topics.sh

--create--

zookeeper

192.

168.1.

100:2181

,192

.168.1

.101:2181

,192

.168.1

.102:2181--

replication

-factor2-

-partitions3-

-topic

kafka

-action--

create

設定此次操作的action型別為建立--

zookeeper

設定zookeeper集群位址--

replication

-factor

設定topic的副本因子--

partitions

設定topic的分割槽個數--

topic

設定topic的名稱

cd /opt/kafka/bin/

./kafka-topics.sh -describe -zookeeper 192.168.1.100:2181,192.168.1.101:2181,192.168.1.102:2181

詳細資訊的屬性:

-topic 主題名稱

-partition 分割槽編號

-leader 當前分割槽負責讀寫的節點,只有主副本才會接受訊息的讀寫

-replicas 分割槽的複製節點列表,它與主題的副本數量有關,預設只有乙個副本,即主副本

-isr 同步狀態的副本,是replicas的子集,必須是存活的,並且都能趕上主副本

cd /opt/kafka/bin/

./kafka-console-producer.sh --broker-list 192.168.1.100:9092,192.168.1.101:9092,192.168.1.102:9092 --topic kafka-action

--broker-list 指定kafka的**位址列表(必傳)

--topic 訊息被傳送的目標主題(必傳)

--producer.config 用於載入乙個生產者級別相關配置的配置檔案,如product.properties

--producer-property 通過該命令引數可以直接在啟動生產者命令列中設定生產者級別的配置,在命令列中設定的引數將會覆蓋所載入配置檔案中的引數設定

--property 通過該命令可以設定訊息消費者相關的配置

舊版消費者:

./kafka-******

-consumer

-shell

.sh --broker-list

192.168

.1.100:9092,192.168

.1.101:9092,192.168

.1.102:9092

--topic kafka-action

新版消費者:

./kafka-console

-consumer

.sh -bootstrap

-server

192.168

.1.100:9092,192.168

.1.101:9092,192.168

.1.102:9092

--new

-consumer

--consumer-property

group

.id=

new-consumer

-test

--consumer-property client.id=

new-consumer

-cl--topic kafka-action

--new

-consumer 列出新消費者型別的所有消費組資訊

最後附上危險操作步驟:

kafka-topics.sh的delete命令刪除topic

kafka集群簡單使用

bin kafka topics.sh create bootstrap server hadoop102 9092 topic testbin kafka console producer.sh broker list hadoop102 9092在本節點建立乙個生產者 bin kafka con...

Kafka集群部署及簡單使用

1 解壓安裝包 atguigu hadoop102 software tar zxvf kafka 2.11 0.11.0.0.tgz c opt module 2 修改解壓後的檔名稱 atguigu hadoop102 module mv kafka 2.11 0.11.0.0 kafka 3 在...

Kafka集群簡單介紹

2 上傳linux並解壓 tar zxvf kafka 2.11 1.0.0.tgz 3 修改server.properties檔案 1 配置kafka儲存位置,要配置為非 tmp目錄 log.dirs 非 tmp目錄 4 修改zookeeper.properties檔案 1 kafka內建了乙個z...