Kafka eagle監控平台

2022-09-22 05:15:09 字數 961 閱讀 5226

監控工具

特點備註

kafka web console

實現brokers、topic列表等監控,展示生產和消費流量圖。

存在bug,會與生產者、消費者和zookeeper建立大量的連線,導致網路阻塞。

kafka manager

實現broker級常見的jmx監控,可以對consumer消費進度進行監控,可以web對多個集群進行管理。

編譯安裝耗時,不能設定訪問控制,不能配置告警,非常耗記憶體。

kafka eagle

實現broker級常見的jmx監控,可以對consumer消費進度進行監控,可以web對多個集群進行管理。 

kafka offset monitor

如果場景是偏重集群管理,則不要選擇

該專案已經近2年未維護。

jmxtool

結合influxdb和grafana使用

比較繁瑣

安裝jdk

解壓縮後修改配置⽂件 system-config.properties

# 配置zk

cluster1.zk.list=172.16.253.35:2181 #此處單機

# 配置mysql

kafka.eagle.driver=com.mysql.cj.jdbc.driver

kafka.eagle.url=jdbc:mysql: # 預設自動建庫

useunicode=true&characterencoding=utf8&zerodatetimebeh**ior=converttonull

kafka.eagle.username=root

kafka.eagle.password=123456

chmod +x ke.sh

./ke.sh start

Kafka 訊息監控 Kafka Eagle

在開發工作當中,消費 kafka 集群中的訊息時,資料的變動是我們所關心的,當業務並不複雜的前提下,我們可以使用 kafka 提供的命令工具,配合 zookeeper 客戶端工具,可以很方便的完成我們的工作。隨著業務的複雜化,group 和 topic 的增加,此時我們使用 kafka 提供的命令工...

Kafka 訊息監控 Kafka Eagle

在開發工作當中,消費 kafka 集群中的訊息時,資料的變動是我們所關心的,當業務並不複雜的前提下,我們可以使用 kafka 提供的命令工具,配合 zookeeper 客戶端工具,可以很方便的完成我們的工作。隨著業務的複雜化,group 和 topic 的增加,此時我們使用 kafka 提供的命令工...

Docker監控平台

目錄docker監控平台由容器監控元件cadvisor 主機監控元件node exporter 時序資料庫prometheus 告警處理元件alertmanager 圖表展示工具grafana構成,所有元件均已容器方式執行。docker run tid name grafana p 3000 300...