Kafka集群模式部署

環境：kafka 0.8.1.1

基本概念

kafka維護按類區分的訊息，稱為主題（topic）

生產者（producer）向kafka的主題發布訊息

消費者（consumer）向主題註冊，並且接收發布到這些主題的訊息

kafka以乙個擁有一台或多台伺服器的集群執行著，每一台伺服器稱為broker

zookeeper配置

修改zk的配置檔案conf/zoo.cfg

server.1=zk1:2888:3888  

server.2=zk2:2888:3888 
server.3=zk3:2888:3888

$zk_home/bin/zkserver.sh start

分別修改kafka集群中每個節點的config/server.properties，這裡做的是最簡配置

#不同的節點上broker不同,可以從0開始遞增

broker.id=0
#本地ip
host.name=本機ip
#broker埠號(預設為9092)
port=9092
#kafkalog日誌位置
log.dirs=/data/kafka-logs
#zookeeper位址(zk監聽埠預設為2181)
zookeeper.connect=zk1:2181,zk2:2181,zk3:2181

bin/kafka-server-start.sh config/server.properties

#建立topic(3分割槽，2備份)

bin/kafka
-topics.sh
--create--
zookeeper
zk1:2181
,zk2:2181
,zk3:2181--
replication
-factor2-
-partitions3-
-topic
test
#檢視存在的topic
bin/kafka
-topics.sh
--zookeeper
zk1:2181
,zk2:2181
,zk3:2181--
list
#往topic中寫入訊息
bin/kafka
-console
-producer.sh
--broker
-list
zk1:9092
,zk2:9092
,zk3:9092--
topic
test
#檢視topic中資訊
bin/kafka
-console
-consumer.sh
--zookeeper
zk1:2181
,zk2:2181
,zk3:2181--
topic
tesr--
from
-beginning

Kafka 集群部署

kafka是乙個分布式訊息佇列，需要依賴zookeeper，請先安裝好zk集群 kafka安裝包解壓 tar xf kafka 2.10 0.9.0.1 tgz mv kafka 2.10 0.9.0.1 usr kafka cd usr kafka 配置檔案 server.properties t...

kafka集群部署

一台伺服器上可以啟動多個broker例項，或者將broker部署到多台伺服器上，以下以172.16.50.21集群為例，多台伺服器上部署broker。tar xzf kafka 2.11 1.0.0.tgz cd kafka 2.11 1.0.0kafka依賴zookeeper，如果環境中沒有zoo...

Kafka集群部署

前提 在啟動kafaka集群，呼叫 bin kafka server start.sh config server.properties 前，需要把每台機器上zookeeper服務都給啟動了。zookeeper的安裝配置看，1 kafka集群規劃 s101 s102 s103 s104 zk zk ...