kafka 安裝 配置 啟動

2021-08-29 02:38:27 字數 1333 閱讀 7352

相關概念：訊息佇列中介軟體是分布式系統中非常重要的中介軟體，主要解決 應用耦合，非同步訊息，流量削峰 等問題。實現 高效能，高可用，可伸縮和最終一致性架構。是大型分布式系統不可缺少的中介軟體。

使用場景如：

目前生產環境使用較多的訊息佇列有:activemq、rabbitmq、zeromq、kafka、metamq、rocketmq等。

優勢：高吞吐量，非常普通的應將kafka也可以支援每秒數百萬的訊息。 支援通過kafka伺服器和消費機集群來區分訊息。支援hadoop並行資料載入。

關鍵概念：

a. 啟動zookeeper

#啟動zookeeper 指定 zookeeper 配置檔案


./bin/zookeeper-server-start.sh ./config/zookeeper.properties
b. 啟動kafka

#開啟kafka配置檔案，開啟監聽埠


$ vim server.properties


listeners=plaintext://localhost:9092


#啟動kafka 服務


$ ./bin/kafka-server-start.sh ./config/server.properties
注意 kafka基於zookeeper，必須先啟動zookeeper ，再啟動kafka

c.啟動消費者

$ ./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092  --topic test --from-beginning
d.啟動生產者

$ ./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
整體效果如下圖，視窗上是我啟動的消費視窗 ，視窗下是我啟動的生產者視窗：

Kafka安裝配置

kafka執行依賴 zookeeper，如未安裝zookeeper請參考 zookeeper安裝使用 kafka版本問題 這又是一大坑 如果你的storm安裝的是1.0.x系列或更低的版本，建議你安裝0.8.x.x版本的kafka。如果你的storm安裝的是1.1.x系列或更高的版本，建議你安裝0....

kafka安裝配置

一.zookeeper部署 tar xvf zookeeper 3.4.6.tar.gz mv zookeeper 3.4.6 zookeeper chown r root root zookeeper 2.修改配置 cd zookeeper conf cp zoo sample.cfg zoo.c...

kafka安裝配置

1 部署規劃 作業系統 centos 7.2 kafka版本 kafka 2.10 0.8.2.1 安裝路徑 opt kafka 2.10 0.8.2.1 節點 192.168.20.100 105 2 部署過程 2.2 解壓 tar zxvf kafka 2.10 0.8.2.1.tgz 2.3 ...