kafka單節點單broker的安裝部署及使用

2021-10-05 03:49:29 字數 1691 閱讀 6791

kafka單節點單broker的安裝部署及使用

配置環境變數

vi ~/.bash_profile

export kafka_home=/usr/soft/kafka_2.13-2.4.0

export path=kaf

kaho

me/b

in:kafka_home/bin:

kafkah

​ome

/bin

:path

然後,配置kafka的配置檔案

[root@hadoop001 config]# vi server.properties

broker.id=0

listeners=plaintext://:9092

log.dirs=/usr/soft/data/kafka-logs

num.partitions=1

zookeeper.connect=hodoop001:2181

注意:以上個引數配置分別是

breker.id 必須是唯一的整形數字

listeners 監聽,採取預設配置即可

log.dirs 日誌路徑,配置成我們自己建立路徑(預設路徑會在每次系統重啟之後清除)

num.partitions 因為是單節點部署,這裡採用分割槽數量是1

zookeeper.connect 根據自己喜好配置hadoop001:2181(或缺省localhost:2181)

啟動kafka之前,首先要啟動zookeeper,zookeeper啟動過程請參考上篇文章

或者啟動kafka自帶的zookeeper,本文以啟動kafka自帶的zookeeper為例

啟動zookeeper

[root@hadoop001 bin]# ./zookeeper-server-start.sh …/config/zookeeper.properties

啟動kafka

[root@hadoop001 bin]# ./kafka-server-start.sh …/config/server.properties

建立乙個topic

[root@hadoop001 bin]# ./kafka-topics.sh --create --zookeeper hadoop001:2181 --replication-factor 1 --partitions 1 --topic hello_test

檢視所有建立的topic

./kafka-topics.sh --list --zookeeper hadoop001:2181

啟動生產者,

[root@hadoop001 bin]# ./kafka-console-producer.sh --broker-list hadoop001:9092 --topic hello_topic

啟動消費者

[root@hadoop001 bin]# ./kafka-console-consumer.sh --bootstrap-server hadoop001:9092 --topic hello_topic --from-beginning

在生產者客戶端輸入內容

可以在消費者客戶端看到輸出

至此,kafka單節點安裝部署及使用完成。

kafka單節點broker安裝

1.先安裝zookeeper 3.解壓到指定目錄 4.配置環境變數 5.配置server.properties kafka home config zookeeper zookeeper.connect 你的zookeeper位址 6.啟動 kafka server kafka server sta...

Kafka單節點多broker配置

1 啟動zookeeper zkserver.sh start 2 配置多個broker 1.在kafka安裝目錄的config目錄下拷貝 server.properties 分別為server 1.properties,server 2.properties,server 3 properties...

Kafka單節點多Broker部署

安裝好zookeeper並啟動服務 broker的編號,必須是唯一的,相當於主鍵 broker.id 0 每個broker監聽的埠 listeners plaintext 9090 日誌目錄,預設目錄在tmp下面,重啟後就會被清空,所以要重新指定乙個目錄 log.dirs root kafka tm...