Kafka單機模式部署

2021-09-25 14:41:48 字數 1617 閱讀 1884

安裝步驟見:zookeeper部署

解壓包上傳至linux伺服器opt目錄下

cd /opt

# 解壓tgz包

tar xvf kafka_2.12-2.3.0.tgz

// 修改server.properties配置檔案

vi /opt/kafka_2.12-2.3.0/config/server.properties

# broker的全域性唯一編號,不能重複

broker.id=0

# 監聽

listeners=plaintext://:9092

# 日誌目錄

log.dirs=/home/hadoop/kafka-logs

# 配置zookeeper的連線(如果不是本機,需要該為ip或主機名)

zookeeper.connect=localhost:2181

// 啟動kafka

/opt/kafka_2.12-2.3.0/bin/kafka-server-start.sh /opt/kafka_2.12-2.3.0/config/server.properties

# 使用jps名稱檢視是否正常執行

$ jps

9173 kafka

9462 jps

8589 quorumpeermain

bin目錄下:

kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

引數說明:

–zookeeper:指定kafka連線zk的連線url,該值和server.properties檔案中的配置項一樣

–replication-factor:指定副本數量

–partitions:指定分割槽數量

–topic:主題名稱

bin目錄下:

kafka-topics.sh --list --zookeeper localhost:2181

bin目錄下:

./kafka-console-producer.sh --broker-list localhost:9092 --topic test

bin目錄下:

./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

tips:

1. --from-beginning 是否消費原始資料(該消費者啟動器產生的資料)

2. 舊版使用引數--zookeeper localhost:2181(consumer的資訊將會存放在zk中)新版使用引數:--bootstrap-server localhost:9092(consumer的資訊將會存放在kafka中)

Kafka 單機kafka部署

1 上傳部署包 kafka 2.11 0.11.0.0.tgz 放到 opt software 2 解壓 tar zxvf kafka 2.11 0.11.0.0.tgz c opt module 3 切換目錄 opt module kafka 2.11 0.11.0.0 conf 4 修改配置 v...

kafka單機部署

2 解壓 tar zxvf kafka 2.12 0.11.0.3.tgz c local sda kafka3 使用kafka自帶的zookeeper,修改zookeeper.properties cd local sda kafka kafka 2.12 0.11.0.3 進入kafka主目錄 ...

Kafka 單機部署

kafka 單機部署區分整合zookeeper 部署和zookeeper kafka 部署倆總方式,如果是單機部署kafka,整合zookeeper 最簡單,也可以選擇zookeeper kafka 這種模式,但是如果為kafka集群的話,則必須需要部署 zookeeper 集群。一.獲取解壓wge...