kafka 2 9 1 0 8 1 1 集群的安裝

kafka是一種高吞吐量的分布式發布訂閱訊息系統，她有如下特性：

kafka的目的是提供乙個發布訂閱解決方案，它可以處理消費者規模的**中的所有動作流資料。這種動作（網頁瀏覽，搜尋和其他使用者的行動）是在現代網路上的許多社會功能的乙個關鍵因素。這些資料通常是由於吞吐量的要求而通過處理日誌和日誌聚合來解決。對於像hadoop的一樣的日誌資料和離線分析系統，但又要求實時處理的限制，這是乙個可行的解決方案。kafka的目的是通過hadoop的並行載入機制來統一線上和離線的訊息處理，也是為了通過集群機來提供實時的消費。

kafka分布式訂閱架構如下圖：

下面是最新的kafka-0.8.1.1 集群的安裝具體步驟。

由於kafka 依賴 zookeeper集群，首先得確保你的機器上面zk 集群能夠正常執行，這裡就不介紹zk 集群的具體安裝了。

這裡我用到的是三颱機器， ip 分別是 192.168.80.100 192.168.80.101 192.168.80.102

將192.168.80.100 這台機器上面的 kafka_2.9.1-0.8.1.1.tgz 解壓之後重新命名為 kafka , 然後進入到這個目錄 cd /usr/local/kafka/config/ 修改配置檔案 server.properties 即可具體修改的內容如下：

zookeeper.connect=192.168.80.100:2181,192.168.80.101:2181,192.168.80.102:2181

broker.id=100

port=9092

host.name=192.168.80.100

然後將整個 kafka 資料夾copy 到另外兩台機器上面 192.168.80.101

192.168.80.102

分別修改

cd /usr/local/kafka/config/ 配置檔案

server.properties 具體修改的內容如下：

zookeeper.connect=192.168.80.100:2181,192.168.80.101:2181,192.168.80.102:2181

broker.id=101

port=9093

host.name=192.168.80.101

zookeeper.connect=192.168.80.100:2181,192.168.80.101:2181,192.168.80.102:2181

broker.id=102

port=9094

host.name=192.168.80.102

然後分別啟動zk 集群，確保這3太機器zk 的程序都是開著的，然後分別每台機啟動 kafka

先 cd /kafka 根目錄然後執行下面指令碼

bin/kafka-server-start.sh config/server.properties

啟動之後建立topic

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic my-replicated-topic

檢視

topic指令碼如下

bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic

輸入資料 bin/kafka-console-producer.sh --broker-list localhost:9092 --topic my-replicated-topic...my test message 1

my test message 2

拉出資料

>bin/kafka-console-consumer.sh --zookeeper localhost:2181 --from-beginning --topic my-replicated-topic...

my test message 1

my test message 2^c

kafka 2 9 1 0 8 1 1 集群的安裝

kafka 2 11 0 10 2 0集群安裝

kafka 2 11 0 11 0 1集群搭建

kafka2 3集群搭建

kafka 2 9 1 0 8 1 1 集群的安裝

kafka 2 11 0 10 2 0集群安裝

kafka 2 11 0 11 0 1集群搭建

kafka2 3集群搭建

相關推薦