Kafka 單機部署

2021-10-01 15:58:10 字數 2947 閱讀 6765

kafka 單機部署區分整合zookeeper 部署和zookeeper + kafka 部署倆總方式，如果是單機部署kafka，整合zookeeper 最簡單，也可以選擇zookeeper + kafka 這種模式，但是如果為kafka集群的話，則必須需要部署 zookeeper 集群。

一. 獲取解壓

wget
2. 解壓kafka        

tar -zxvf kafka_2.11-0.10.1.1.tgz
二. 配置修改

1. 整合zookeeper 配置修改方式

1.0 配置profile           

vi /etc/profile


export kafka_home=/home/.../kafka_2.11-0.10.1.1


export path=$path:$kafka_home/bin


source /etc/profile #配置生效
1.1 配置zookeeper.properties

vi conf/zookeeper.properties


datadir=****        #根據自己情況設定


ckuebtport=2291
1.2 配置server.properties

vi server.properties


log.dirs = ***        #根據自己情況設定


zookeeper.connect=localhost:2291
2. 外部zookeeper 配置修改方式

2.0 配置profile

vi /etc/profile


export kafka_home=/home/.../kafka_2.11-0.10.1.1


export path=$path:$kafka_home/bin


source /etc/profile      #配置生效
2.1 配置server.properties

修改 broker.id = 1 及zookeeper.oonnect 位址，log.dirs 位址

broker.id=1


port=9092


host.name=localhost


# kafka**位址


listeners=plaintext://:9092


log.dirs=/home/panfudong/soft/kafka/kafka_2.11-0.10.1.1/kafka-logs


zookeeper.connect=localhost:2181
到此zookeeper 單機配置成功

三. 啟動停止

整合zookeeper        

bin/zookeeper-server-start.sh config/zookeeper.properties
外部zookeeper        

bin/kafka-server-start.sh config/server.properties
或者         

./kafka-server-start.sh --daemon ../config/server.propertie
停止：       

./bin/kafka-server-stop.sh
四. 操作命令

1. 開啟kafka自帶zookeeper:

前台執行：        

bin/zookeeper-server-start.sh config/zookeeper.properties
後台執行：        

nohup bin/zookeeper-server-start.sh config/zookeeper.properties > zookeeper-run.log 2>&1 &
2. 開啟kafka:

前台執行：        

bin/kafka-server-start.sh config/server.properties
後台執行：        

nohup bin/kafka-server-start.sh config/server.properties > kafka-run.log 2>&1 &
3. 建立kafka主題：        

bin/kafka-topics.sh --create --zookeeper 10.45.xx.xx:2191 --replication-factor 1 --partitions 1 --topic test
4. 顯示kafka所有主題：       

bin/kafka-topics.sh -list -zookeeper 10.45.xx.xx:2191
5. 建立kafka生產者：        

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
6. 建立kafka消費者：        

bin/kafka-console-consumer.sh --zookeeper 10.45.xx.xx:2191 --topic test --from-beginning
備註：

Kafka 單機kafka部署

1 上傳部署包 kafka 2.11 0.11.0.0.tgz 放到 opt software 2 解壓 tar zxvf kafka 2.11 0.11.0.0.tgz c opt module 3 切換目錄 opt module kafka 2.11 0.11.0.0 conf 4 修改配置 v...

kafka單機部署

2 解壓 tar zxvf kafka 2.12 0.11.0.3.tgz c local sda kafka3 使用kafka自帶的zookeeper,修改zookeeper.properties cd local sda kafka kafka 2.12 0.11.0.3 進入kafka主目錄 ...

Kafka單機模式部署

安裝步驟見 zookeeper部署 解壓包上傳至linux伺服器opt目錄下 cd opt 解壓tgz包 tar xvf kafka 2.12 2.3.0.tgz 修改server.properties配置檔案 vi opt kafka 2.12 2.3.0 config server.proper...