kafka使用與安裝

2021-09-02 13:27:24 字數 863 閱讀 3346

集群安裝

1、解壓

2、修改server.properties

broker.id=1

zookeeper.connect=weekend05:2181,weekend06:2181,weekend07:2181

3、將zookeeper集群啟動

4、在每一台節點上啟動broker

啟動的時候 如果虛擬機器記憶體不足需要新增在kafka-server-start.sh

中:export kafka_heap_opts="-xmx256m -xms128m"

bin/kafka-server-start.sh config/server.properties

5、在kafka集群中建立乙個topic

bin/kafka-topics.sh --create --zookeeper weekend05:2181 --replication-factor 3 --partitions 1 --topic order

6、用乙個producer向某乙個topic中寫入訊息

bin/kafka-console-producer.sh --broker-list weekend:9092 --topic order

7、用乙個comsumer從某乙個topic中讀取資訊

bin/kafka-console-consumer.sh --zookeeper weekend05:2181 --from-beginning --topic order

8、檢視乙個topic的分割槽及副本狀態資訊

bin/kafka-topics.sh --describe --zookeeper weekend05:2181 --topic order

附件中的入門例子。

Kafka 安裝與使用

html wget kafka安裝包和一般安裝包的命名方式不一樣,我們看乙個kafka包命名 kafka 2.11 1.1.0.tgz,其中2.11是scala的版本,1.1.0才是kafka的版本。官方強烈建議scala版本和伺服器上的scala版本保持一致,避免引發一些不可預知的問題。將安裝包放...

Kafka的安裝與使用

kafka是乙個分布式的訊息佇列,一般在整個系統中起到解耦,削峰,非同步處理的作用。整個系統分為消費者和生產者,生產者往裡面寫入資料,消費者取出資料進行邏輯處理。其實zookeeper就是乙個服務註冊和發現中心。kafka使用zookeeper來進行動態的集群擴充套件,不需要修改客戶端的配置。在開啟...

KaFka 安裝與基本使用

學了有一段時間的大資料了,學習新的元件,大部分安裝可以分為三步 上傳解壓,配置檔案,啟動。分享一下我的kafka安裝包 1 上傳解壓 2 進入到 usr local soft kafka 2.10 0.8.2.2 config 目錄下,修改server.properties檔案 3 因為kafka是...