1 解壓檔案
tar -zvxf kafka_2.11-0.10.0.0.tgz
2 修改配置server.properties
vim server.properties
broker.id=1
zookeeper.connect=hdp1:2181,hdp2:2181,hdp3:2181
3 修改配置 zookeeper.properties
vim zookeeper.properties
# the directory where the snapshot is stored.
datadir=/tmp/zookeeper
# the port at which the clients will connect
clientport=2181
4 複製到hdp2，hdp3節點修改broker.id
修改配置server.properties 分別修改為2 ，3
vim server.properties
broker.id=2
zookeeper.connect=hdp1:2181,hdp2:2181,hdp3:2181
5 編輯集群啟動指令碼
#!/bin/bash
for host in hdp1 hdp2 hdp3
dossh $host "source /etc/profile;/mnt/software/kafka_2.11-0.10.0.0/bin/kafka-server-start.sh -daemon /mnt/software/kafka_2.11-0.10.0.0/config/server.properties"
done
sleep 3
for host in hdp1 hdp2 hdp3
doecho "---------"
ssh $host "source /etc/profile;jps"
done
6 啟動測試
7 建立topic
kafka-topics.sh --create --zookeeper hdp1:2181,hdp2:2181,hdp3:2181 --replication-factor 1 --partitions 1 --topic test
8 檢視topic
[root@hdp1 /mnt/software/shell]#kafka-topics.sh --list --zookeeper hdp1:2181,hdp2:2181,hdp3:2181
__consumer_offsets
cmcc
hellokafka
hellokafka1
test
topica
topicb
9 之前需要自行安裝好zookeeper集群，hdp1,hdp2,hdp3
Kafka安裝配置
kafka執行依賴 zookeeper，如未安裝zookeeper請參考 zookeeper安裝使用 kafka版本問題 這又是一大坑 如果你的storm安裝的是1.0.x系列或更低的版本，建議你安裝0.8.x.x版本的kafka。如果你的storm安裝的是1.1.x系列或更高的版本，建議你安裝0....
kafka安裝配置
一.zookeeper部署 tar xvf zookeeper 3.4.6.tar.gz mv zookeeper 3.4.6 zookeeper chown r root root zookeeper 2.修改配置 cd zookeeper conf cp zoo sample.cfg zoo.c...
kafka安裝配置
1 部署規劃 作業系統 centos 7.2 kafka版本 kafka 2.10 0.8.2.1 安裝路徑 opt kafka 2.10 0.8.2.1 節點 192.168.20.100 105 2 部署過程 2.2 解壓 tar zxvf kafka 2.10 0.8.2.1.tgz 2.3 ...