Kafka集群簡單介紹

2021-09-02 00:04:08 字數 2088 閱讀 3474

(2) 上傳linux並解壓

tar -zxvf kafka_2.11-1.0.0.tgz

(3) 修改server.properties檔案

1) 配置kafka儲存位置,要配置為非/tmp目錄

log.dirs=非/tmp目錄

(4) 修改zookeeper.properties檔案

1) kafka內建了乙個zookeeper,在偽分布式模式下,可以使用這個內建zk作為集群協調工具,但是這個內建的zookeeper只有乙個節點,不能用在生產環境下。如果使用這個內建的zk,需要在zookeeper.properties檔案中修改zk儲存路徑,改為非/tmp目錄

datadir=非/tmp目錄

(5) 啟動kafka

1) 啟動zookeeper:

bin/zookeeper-server-start.sh config/zookeeper.properties &

2) 啟動kafka:

bin/kafka-server-start.sh config/server.properties

(2) 上傳linux並解壓

tar -zxvf kafka_2.11-1.0.0.tgz

(3) 修改server.properties檔案

1) 配置當前broker的編號,要求唯一

broker.id=0 #當前server編號

2) 配置當前broker使用的埠

port=9092 #使用的埠

3) 配置kafka儲存位置,要配置為非/tmp目錄

log.dirs=非/tmp目錄

4) 配置zookeeper集群的位址

zookeeper.connect=hadoop01:2181,hadoop02:2181,hadoop03:2181

(4) 將配置完成的kafka複製到其它broker中,並修正相關配置

scp -r kafka_2.11-1.0.0 hadoopxx:/home/software/

(5) 啟動kafka

1) 啟動zk集群

zkserver.sh start#在每個zk伺服器中都要執行

2) 啟動kafka集群

bin/kafka-server-start.sh config/server.properties #在每個broker中都要執行

(1) 建立主題

bin/kafka-topics.sh --create --zookeeper hadoop01:2181,hadoop02:2181,hadoop03:2181 --partitions 1 --replication-factor 1 --topic test

(2) 檢視所有主題

bin/kafka-topics.sh --list --zookeeper hadoop01:2181

(3) 檢視主題資訊

bin/kafka-topics.sh --describe --zookeeper hadoop01:2181 --topic test

(4) 啟動命令列kafka生產者

bin/kafka-console-producer.sh --broker-list hadoop01:9092 --topic test

(5) 啟動命令列kafka消費者

bin/kafka-console-consumer.sh --zookeeper hadoop01:2181 --topic test --from-beginning

(6) 實驗:高可靠性驗證

kafka集群簡單使用

bin kafka topics.sh create bootstrap server hadoop102 9092 topic testbin kafka console producer.sh broker list hadoop102 9092在本節點建立乙個生產者 bin kafka con...

kafka簡單介紹

參考資料 kafka 是乙個訊息系統,原本開發自 linkedin,用作 linkedin 的活動流 activity stream 和運營資料處理管道 pipeline 的基礎 使用kafka的優勢 實現了解耦合 broker kafka 集群包含乙個或多個伺服器,這種伺服器被稱為 broker。...

Kafka集群的簡單使用(shell)

kafka本地集群搭建完成,介紹在shell中進行簡單使用,並記錄。cd opt zookeeper bin zkserver.sh startcd opt kafka bin kafka server start sh config server.properties 表示後台執行,這樣就可以啟動...