kafka 分布式安裝及測試（dn1, dn2）

wget

tar -zxvf kafka_2.11-2.3.0.tgz

mv kafka_2.11-2.3.0 kafka

export kafka_home=/usr/local/share/kafka

vim server.properties

delete.topic.enable=true

g改完的**如下：

listeners = plaintext://dn1:9092

log.dirs=/usr/local/share/kafka/data

原來是1，現在改為6

num.partitions=6

zookeeper.connect=dn1:2181,dn2:2181,dn3:2181

原來是6000，現在改為60000

zookeeper.connection.timeout.ms=60000

ticktime=20000

scp -r kafka root@dn2:/usr/local/share

scp -r kafka root@dn3:/usr/local/share

broker.id=1

broker.id=2

ticktime=20000

./kafka-server-start.sh

./kafka-topics.sh --list --zookeeper dn1:2181 dn2:2181 dn3:2181

#! /bin/bash

#配置所有的broker資訊
hosts=(dn1 dn2 dn3)
for i in $
do#啟動kafka集群
ssh hadoop@$i "source /etc/profile;kafka-server-start.sh\
$kafka_home/config/server.properties" &
done

經查詢，發現許可權不夠，給其加許可權

chmod +x kafka-daemons.sh

vim  server.properties

dn1 監聽dn1

dn2 監聽dn2

dn3 監聽dn3

bin/kafka-server-start.sh config/server.properties

jps 之後kafka程序是有的

bin/kafka-topics.sh --create --zookeeper localhost:2181 --topic test --partitions 1 --replication-factor 1

created topic "test".

./kafka-topics.sh --list --zookeeper dn1:2181 dn2:2181 dn3:2181

kafka集群檢測成功，正常使用

kafka 分布式安裝

1.wget 2.這裡我用了兩台機器，在兩台機器下分別解壓，放在自己想要的安裝目錄下 假設zookeeper集群搭好，可參考 3.開啟config中的server.properties檔案 找到zookeeper那個地方，修改zookeeper集群 zookeeper.connect centos ...

Kafka分布式訊息系統

什麼是apache kafka？系統應用 使用者的活動資料 請求 資料 互動資料 執行維護資料如效能 監測 伺服器cpu 指標這些大量的資料都在無時無刻的產生，kafka 便是有著一套成熟的訊息處理方案的訊息系統，支援 高吞吐量的 分布式發布訂閱訊息 模式，它可以處理消費者規模的 中的所有動作流資料...

分布式訊息佇列kafka

kafka是linkedin開源的分布式發布 訂閱訊息系統 訊息佇列 kafka特點 1 高吞吐率 低延遲，每秒處理幾十萬訊息，延遲最低幾毫秒 2 可擴充套件性，支援動態擴充套件節點資料 3 永續性與可靠性，資料被持久化磁碟，支援資料多副本防止資料丟失 4 高容錯，允許節點失敗 5 高併發，支援上千...