kafka安裝及配置過程

2021-10-12 13:53:59 字數 2529 閱讀 8704

kafka安裝及配置過程

一、安裝

使用tar -xzvf kafka_2.12-2.4.0.tgz 解壓

為了使用方便,可以建立軟鏈結kafka0

ln -s kafka_2.12-2.4.0 kafka0

二、zookeeper配置

1. 單獨使用zookeeper安裝檔案建立集群

zookeeper的安裝及配置可以參考另一篇部落格,裡面有詳細介紹

zookeeper的安裝和配置過程

2. 直接使用其自帶的zookeeper建立集群

kafka自帶的zookeeper程式指令碼與配置檔名與原生zookeeper稍有不同。

kafka自帶的zookeeper程式使用bin/zookeeper-server-start.sh,以及bin/zookeeper-server-stop.sh來啟動和停止zookeeper。

而zookeeper的配製檔案是config/zookeeper.properties,可以修改其中的引數

(1) 啟動zookeeper

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

加-daemon引數,可以在後台啟動zookeeper,輸出的資訊在儲存在執行目錄的logs/zookeeper.out檔案中。

對於小記憶體的伺服器,啟動時有可能會出現如下錯誤

os::commit_memory(0x00000000e0000000, 536870912, 0) failed; error='not enough space' (errno=12)

可以通過修改bin/zookeeper-server-start.sh中的引數,來減少記憶體的使用,將下圖中的-xmx512m -xms512m改小。

(2)關閉zookeeper

bin/zookeeper-server-stop.sh -daemon config/zookeeper.properties

三、kafka配置

kafka的配置檔案在config/server.properties檔案中,主要修改引數如下,更具體的引數說明以後再整理下。

broker.id是kafka broker的編號,集群裡每個broker的id需不同。我是從0開始。

listeners是監聽位址,需要提供外網服務的話,要設定本地的ip位址

log.dirs是日誌目錄,需要設定

設定zookeeper集群位址,我是在同乙個伺服器上搭建了kafka和zookeeper,所以填的本地位址

num.partitions 為新建topic的預設partition數量,partition數量提公升,一定程度上可以提公升併發性

內部topic配置

內部__consumer_offsets和__transaction_state兩個topic,分組元資料的複製因子,為了保證可用性,在生產上建議設定大於1。

default.replication.factor為kafka儲存訊息的副本數,如果乙個副本失效了,另乙個還可以繼續提供服務,是在自動建立topic時的預設副本數,可以設定為3

四、啟動及停止kafka

1. 啟動kafka

bin/kafka-server-start.sh -daemon config/server.properties

-daemon 引數會將任務轉入後台執行,輸出日誌資訊將寫入日誌檔案,日誌檔案在執行命令的目錄下的logs目錄中kafkaserver.out,結尾輸同started說明啟動成功。

也可以用jps命令,看有沒有kafka的程序

2. 停止kafka

bin/kafka-server-stop.sh config/server.properties

五、測試

kafka和zookeeper已啟動完成

1. 建立topic

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 3 --topic test

2. 檢視主題

bin/kafka-topics.sh --list --zookeeper localhost:2181

3. 傳送訊息

bin/kafka-console-producer.sh --broker-list 1localhost:9092 --topic test

4. 接收訊息

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

5. 檢視特定主題的詳細資訊

bin/kafka-topics.sh --zookeeper localhost:2181 --describe  --topic test

從中可以看到,test主題分了三個區,複製因子是3。

6. 刪除主題

bin/kafka-topics.sh --zookeeper localhost:2181 --delete  --topic test

apache apollo安裝及配置過程

apollo以activemq原型為基礎,是乙個更快 更可靠 更易於維護的訊息 工具。apache稱apollo為最快 最強健的stomp streaming text orientated message protocol,流文字定向訊息協議 伺服器.它採用乙個完全不同的訊息分發架構,同activ...

kafka配置以及安裝

rm f consumer.properties server.properties producer.properties zookeeper.properties vi kafka config server.properties 修改broker.id 1,host.name kafka02 ...

kafka安裝與配置

以上兩個程式需一直開啟!第三步 建立主題,開啟cmd命令 路徑 kafka 2.10 0.10.0.0 命令 bin windows kafka topics.bat create zookeeper localhost 2181 replication factor 1 partitions 1 ...