Kafka詳細配置

2022-07-26 06:54:11 字數 2418 閱讀 5715

**:

kafka集群配置比較簡單,為了更好的讓大家理解,在這裡要分別介紹下面三種配置

建立乙個僅有乙個partition的topic

bin/kafka-create-topic.sh --zookeeper localhost:2181 --replica 1 --partition 1 --topic kafkatopic

或者:./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partition 1 --topic kafkatopic

版本不同語法不同,參考:

用kafka提供的生產者客戶端啟動乙個生產者程序來傳送訊息:

bin/kafka-console-producer.sh --broker-list  localhost:9092 --topic kafkatopic

其中有兩個引數需要注意:

topic:生產者傳送給哪個topic

然後你就可以輸入一些訊息用於傳送

啟動乙個consumer例項來消費訊息

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic kafkatopic --from-beginning

當你執行這個命令之後,你便可以看到控制台上列印出的生產者生產的訊息

和上面的一樣

要想在一台機器上啟動多個broker例項,只需要準備多個server.properties檔案即可,比如我們要在一台機器上啟動兩個broker。

首先我們要準備兩個server.properties配置檔案

server-1 brokerid=1port=9092log.dir=/temp/kafka8-logs/broker1

server-2 brokerid=2port=9093log.dir=/temp/kafka8-logs/broker2

然後我們再用這兩個配置檔案分別啟動乙個broker

[root@localhost kafka]# env jmx_port=9999 bin/kafka-server-start.sh config/server-1.properties

[root@localhost kafka]# env jmx_port=10000 bin/kafka-server-start.sh config/server-2.properties

可以看到我們啟動是為每個broker都指定了不同的jmx port,jmx port主要用來利用jconsole等工具進行監控和排錯

建立乙個含有兩個partition分割槽和2個備份的topic:

[root@localhost kafka]# bin/kafka-create-topic.sh --zookeeper localhost:2181 --replica 2 --partition 2 --topic othertopic

如果我們要用乙個producer傳送給多個broker,唯一需要改變的就是在broker-list屬性中指定要連線的broker

[root@localhost kafka]# bin/kafka-console-producer.sh --broker-listlocalhost:9092,localhost:9093--topic othertopic

和之前的命令一樣

zookeeper配置檔案(zookeeper.properties):不變

broker的配置配置檔案(server.properties):按照單節點多例項配置方法在乙個節點上啟動兩個例項,不同的地方是zookeeper的連線串需要把所有節點的zookeeper都連線起來

zookeeper.connect=node1:2181,node2:2181

kafka 詳細配置(broker)

以下是kafka broker 詳細配置的引數 預設值 描述 引數 預設值 描述 broker.id 1 每乙個boker都有乙個唯一的id作為它們的名字。當該伺服器的ip位址發生改變時,broker.id沒有變化,則不會影響consumers的訊息情況 port 9092 broker serve...

kafka命令操作 詳細

kafka0.10.2.1搭建看我另一篇文章 kafka0.10.2.1集群搭建 詳細 在用kafka命令操作之前必須進入kafka的目錄下 cd soft kafka 這裡我的kafka在soft下1.開啟kafka bin kafka server start.sh config server....

kafka整合flume詳細步驟

對於初學者來說,可能對kafka和flume有一定的了解,但是並沒有過實際的應用,也不知道如何來使用。這篇文章主要針對kafka和flume的整合 環境 linux 準備工作 搭建好zookeeper集群及kafka集群 版本 kafka 2.11 1.1.0,flume 1.8.0 步驟 啟動zo...