kafka的簡單使用

mkdir logs

#broker的全域性唯一編號，不能重複，只能是整型，每個機器都不一樣

broker.id=0
#刪除topic功能使用
delete.topic.enable=true
#處理網路請求的執行緒數量
num.network.threads=3
#用來處理磁碟io的現成數量
num.io.threads=8
#傳送套接字的緩衝區大小
socket.send.buffer.bytes=102400
#接收套接字的緩衝區大小
socket.receive.buffer.bytes=102400
#請求套接字的緩衝區大小
socket.request.max.bytes=104857600
#kafka執行日誌存放的路徑
log.dirs=剛剛建立的logs資料夾
#topic在當前broker上的分割槽個數
num.partitions=1
#用來恢復和清理data下資料的執行緒數量
num.recovery.threads.per.data.dir=1
#segment檔案保留的最長時間，超時將被刪除
log.retention.hours=168
#配置連線zookeeper集群位址
zookeeper.connect=啟動了zookeeper的機器，以逗號隔開(hostname:2181)

#kafka_home

export kafka_home=kafka目錄
export path=$path:$kafka_home/bin

source /etc/profile

kafka-server-start.sh -daemon config/server.properties

kafka-server-stop.sh stop

kafka-topics.sh --zookeeper master:2181 --create --topic hello --partitions 2 --replication-factor 2

kafka-topics.sh --zookeeper master:2181  --create --topic hello2  --replica-assignment 101:102,102:103

kafka-topics.sh --zookeeper master:2181 --list

kafka-topics.sh --zookeeper hadoop102:2181 --describe --topic hello

# 修改分割槽數

kafka-topics.sh --zookeeper master:2181 --alter --topic hello2 --partitions 3

kafka-topics.sh --zookeeper master:2181 --delete --topic hello1

kafka-topics.sh --zookeeper master:2181 --delete --topic hello1

Kafka簡單使用示例

sh bin zookeeper server start.sh config zookeeper.properties 啟動zookeeper sh bin kafka server start.sh config server.properties properties properties n...

kafka集群簡單使用

bin kafka topics.sh create bootstrap server hadoop102 9092 topic testbin kafka console producer.sh broker list hadoop102 9092在本節點建立乙個生產者 bin kafka con...

Kafka集群的簡單使用（shell）

kafka本地集群搭建完成，介紹在shell中進行簡單使用，並記錄。cd opt zookeeper bin zkserver.sh startcd opt kafka bin kafka server start sh config server.properties 表示後台執行，這樣就可以啟動...