Kafka集群的部署與測試

kafka是一款分布式訊息發布和訂閱的系統，相比activemq具有高效能和高吞吐率。

相關專案：

相關示例專案：leek——簡易版實時智慧型選股平台

[  

tar -zxvf kafka_2.11-0.9.0.1.tgz 
cd kafka_2.11-0.9.0.1.tgz

見：zookeeper高可用集群的安裝及配置

3、修改配置檔案

vim /usr/local/kafka_2.11-0.9.0.1/config/server.properties

broker.id=0 #集群中唯一id  

port=9092
host.name=192.168.xx.100 
advertised.host.name=192.168.xx.100
listeners=plaintext: 
log.dirs=/usr/local/kafka_2.11-0.9.0.1/kafka-logs 
num.partitions=5 #分割槽的數目
zookeeper.connect=node-1:2181,node-2:2181,node-3:2181

broker.id=1 #集群中唯一id  

port=9092
host.name=192.168.xx.101 
advertised.host.name=192.168.xx.101
listeners=plaintext: 
log.dirs=/usr/local/kafka_2.11-0.9.0.1/kafka-logs 
num.partitions=5 #分割槽的數目
zookeeper.connect=node-1:2181,node-2:2181,node-3:2181

cd /usr/local/kafka_2.11-0.9.0.1/bin/  

nohup ./kafka-server-start.sh /usr/local/kafka_2.11-0.9.0.1/config/server.properties &
jps #驗證是否有相關程序

#我們建立乙個名稱為test的topic，2個分割槽，並且複製因子為2(表示資料儲存2份)

#執行如下命令：
cd /usr/local/kafka_2.11-0.9.0.1/bin/ 
./kafka-topics.sh --create --zookeeper node-1:2181 
--replication-factor 2 --partitions 2 --topic stock
#檢視建立的topic
./kafka-topics.sh --list --zookeeper node-1:2181
#檢視相應topic的情況
./kafka-topics.sh --describe --zookeeper node-1:2181 --topic test
#傳送訊息
./kafka-console-producer.sh --broker-list 192.168.xx.100:9092 --topic stock
#接收訊息
./kafka-console-consumer.sh --zookeeper node-1:2181 --topic stock --from-beginning

Kafka 集群部署

kafka是乙個分布式訊息佇列，需要依賴zookeeper，請先安裝好zk集群 kafka安裝包解壓 tar xf kafka 2.10 0.9.0.1 tgz mv kafka 2.10 0.9.0.1 usr kafka cd usr kafka 配置檔案 server.properties t...

kafka集群部署

一台伺服器上可以啟動多個broker例項，或者將broker部署到多台伺服器上，以下以172.16.50.21集群為例，多台伺服器上部署broker。tar xzf kafka 2.11 1.0.0.tgz cd kafka 2.11 1.0.0kafka依賴zookeeper，如果環境中沒有zoo...

Kafka集群部署

前提 在啟動kafaka集群，呼叫 bin kafka server start.sh config server.properties 前，需要把每台機器上zookeeper服務都給啟動了。zookeeper的安裝配置看，1 kafka集群規劃 s101 s102 s103 s104 zk zk ...