Kafka單機多節點部署

2022-03-18 23:09:16 字數 1793 閱讀 9923

基於kafka單機單節點部署,講config目錄下的server.properties檔案複製兩份,分別為 server-1.properties 、server-2.properties

> cp config/server.properties config/server-1.properties

> cp config/server.properties config/server-2.properties

對 server-1.properties 、server-2.properties的配置進行修改(埠、brokerid、日誌目錄)

1 vim config/server-1.properties:

2     broker.id=1

3     listeners=plaintext://:9093

4     log.dir=/tmp/kafka-logs-1

5  6 vim config/server-2.properties:

7     broker.id=2

8     listeners=plaintext://:9094

9     log.dir=/tmp/kafka-logs-2

broker.id屬性是集群中每個節點的名稱,這一名稱是唯一且永久的。我們必須重寫埠和日誌目錄,因為我們在同一臺機器上執行這些,我們不希望所有的**嘗試在同乙個埠註冊,或者覆蓋彼此的資料。

我們已經建立zookeeper和乙個kafka broker了,現在我們只需要啟動兩個新的節點:

1 > nohup ./kafka-server-start.sh ../config/server-1.properties &

3 > nohup ./kafka-server-start.sh ../config/server-2.properties &

此時,我們的kafka集群為 三個broker,單zookeeper。

驗證:① 建立乙個副本為3的新topic:

./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic my-replicated-topic

②檢視topic資訊:

./kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic

topic:my-replicated-topic   partitioncount:1    replicationfactor:3 configs:

topic: my-replicated-topic  partition: 0    leader: 1   replicas: 1,2,0 isr: 1,2,0

③啟動生產者

./kafka-console-producer.sh --broker-list localhost:9092 --topic my-replicated-topic

④啟動消費者

./kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic my-replicated-topic

⑤讓我們來測試一 下容錯性。 broker 1 現在是 leader,讓我們來殺了它:

ps -ef | grep server-1.properties

kill -9 pid

⑥檢視topic資訊:

發現領導權已經切換到乙個從屬節點,而且節點1也不在同步副本集中了.

Kafka單機單節點部署

3 刪除 license notice site docs 4 進入bin目錄 cd bin 5 啟動 啟動zookeeper nohup zookeeper server start.sh config zookeeper.properties 啟動kafka nohup kafka server...

kafka集群部署,多節點多broker

主機名 ip 位址 安裝路徑 系統135.36.247.91 135.36.247.91 board opt kafka 2.11 1.0.0 centos linux release 7.3.1611 core 135.36.247.92 135.36.247.92 135.36.247.93 1...

Kafka 單機kafka部署

1 上傳部署包 kafka 2.11 0.11.0.0.tgz 放到 opt software 2 解壓 tar zxvf kafka 2.11 0.11.0.0.tgz c opt module 3 切換目錄 opt module kafka 2.11 0.11.0.0 conf 4 修改配置 v...