安裝部署Kafka集群

2022-01-19 14:05:15 字數 2578 閱讀 1241

kafka是乙個開源的分布式訊息訂閱系統(訊息中介軟體)

安裝過程

2.上傳至/usr/local/src

3.解壓縮,並且移動到上級目錄

4.進入主目錄的config子目錄,

5.修改server.properties配置檔案

vim server.properties
內容如下:

6.儲存並退出

7.主節點配置完畢,遠端複製到另外兩個節點

scp -r /usr/local/kafka_2.11-0.10.1.0   guoyansi129:/usr/local

scp -r /usr/local/kafka_2.11-0.10.1.0 guoyansi130:/usr/local

8.修改另外兩個節點的server.properties 配置檔案

修改內容分別如下:

主機:guoyansi129  

############################# server basics #############################

broker.

id=1

host.name=guoyansi129

主機guoyansi130

############################# server basics #############################

broker.

id=2

host.name=guoyansi130

9.啟動kafka的zookeeper服務

bin/zookeeper-server-start.sh config/zookeeper.properties
顯示一些資訊後;介面進入停頓狀態;表示zookeeper啟動成功;此時不要關閉視窗;

10.啟動主節點的kafka服務

新開乙個guoyansi128終端;

啟動方式一:退出後,kafka就自動關閉了。

bin/kafka-server-start.sh config/server.properties
由於kafka是作為守護程序載入的,執行上述命令後終端顯示停頓狀態,這表示系統已經處於後台執行狀態,

所以不要關閉該終端,只要保持當前狀態即可。

啟動方式二:退出後,kafka照常執行,提供服務。

nohup bin/kafka-server-start.sh config/server.properties >> /tmp/out.log &
上面是程序守護模式啟動kafka

還可以另外開乙個終端,執行jps檢視當前系統的程序列表

這裡的quorumpeermain就是kafka自帶的zookeeper服務程序;

而kafka自然就是kafka服務程序。

11.啟動另外兩個節點的kafka服務;執行同樣的命令:

bin/kafka-server-start.sh config/server.properties
12.主節點建立主題:

使用kafka,一定需要建立訊息主題;

建立test主題

bin/kafka-topics.sh --create -zookeeper guoyansi128:2181 --replication-factor 1 --partitions 1 --topic test
檢視主題訊息:

bin/kafka-topics.sh --list --zookeeper guoyansi128:2181
13.另起終端建立訊息生產者

bin/kafka-console-producer.sh  --broker-list guoyansi128:9092 --topic test
介面處於等待狀態

14.另起終端建立訊息接收者

bin/kafka-console-consumer.sh  --zookeeper guoyansi128:2181  --topic test --from-beginning
此時介面同樣處於等待狀態

15.從13步的介面(生產者介面)輸入資訊,就會從14步(接收者介面)看到生產者介面輸入的資訊。

16.檢視主題中的資訊:

bin/kafka-topics.sh  --describe --zookeeper guoyansi128 --topic test
17.因為是集群部署,所以可以在任何節點接收訊息和建立訊息。

kafka集群安裝部署

wget 2.tar zxvf kafka 2.12 2.1.0.tgz 解壓安裝包 3.備份kafka zookeeper配置檔案 cp server.properties server.properties.bak cp zookeeper.properties zookeeper.proper...

kafka集群安裝部署

kakfa集群部署 實驗室3臺機器 34,35,36 1 到官網 2 解壓到36伺服器 cd utxt soft qydx tar zxvf kafka 2.12 1.1.0.tgz 3 cd kafka 2.12 1.1.0 config 4 修改配置檔案 vi server.properties...

Kafka 集群部署

kafka是乙個分布式訊息佇列,需要依賴zookeeper,請先安裝好zk集群 kafka安裝包解壓 tar xf kafka 2.10 0.9.0.1 tgz mv kafka 2.10 0.9.0.1 usr kafka cd usr kafka 配置檔案 server.properties t...