在開發工作當中，消費 kafka 集群中的訊息時，資料的變動是我們所關心的，當業務並不複雜的前提下，我們可以使用 kafka 提供的命令工具，配合 zookeeper 客戶端工具，可以很方便的完成我們的工作。隨著業務的複雜化，group 和 topic 的增加，此時我們使用 kafka 提供的命令工具，已預感到力不從心，這時候 kafka 的監控系統此刻便尤為顯得重要，我們需要觀察消費應用的詳情。 監控系統業界有很多傑出的開源監控系統。我們在早期，有使用 kafkamonitor 和 kafka manager 等，不過隨著業務的快速發展，以及網際網路公司特有的一些需求，現有的開源的監控系統在效能、擴充套件性、和 devs 的使用效率方面，已經無法滿足了。 因此，我們在過去的時間裡，從網際網路公司的一些需求出發，從各位 devs 的使用經驗和反饋出發，結合業界的一些開源的 kafka 訊息監控，用監控的一些思考出發，設計開發了現在 kafka 集群訊息監控系統：kafka eagle。
［kafka eagle github］
kafka eagle 涉及以下內容模組：
我們通過在瀏覽器中輸入 http://host:port/ke，訪問 kafka eagle 的 dashboard 頁面。該頁面包含以下內容：
展示 kafka 集群的 topic 數量，消費者數量，kafka 的 brokers 數，以及所屬的 zookeeper 集群資訊。dashboard 資訊展示截圖如下：
在 topic 模組下，包含建立 topic 和展示 topic 資訊詳情。
通過建立模組可以建立乙個自定義分割槽和備份數的 topic。如下圖所示：
該模組下列出 kafka 集群中所有的 topic，包含 topic 的分割槽數，建立時間以及修改時間，如下圖所示：
該模組顯示有消費記錄的 topic 資訊，其中包含如下內容：
該模組顯示 kafka 集群資訊和 zookeeper 集群資訊，包含如下內容：
kafka eagel 監控的訊息資料來源，來自於 zookeeper。由於建立，修改或是消費 kafka 的訊息，都會在 zookeeper 中進行註冊，我們可以從中獲取資料的變動，例如：topic，brokers，partitions 以及 group 等，kafka 在 zookeeper 的結構儲存，如下圖所示：
qq群（hadoop - 交流社群1）：
424769183
Kafka 訊息監控 Kafka Eagle
在開發工作當中，消費 kafka 集群中的訊息時，資料的變動是我們所關心的，當業務並不複雜的前提下，我們可以使用 kafka 提供的命令工具，配合 zookeeper 客戶端工具，可以很方便的完成我們的工作。隨著業務的複雜化，group 和 topic 的增加，此時我們使用 kafka 提供的命令工...
Kafka 監控調研
1.如何監控kafka？kafka的資料統計是通過metrics的工具進行收集的，kafka大量使用了metrics做各種效能統計。kafka沒有自己的web管理介面 2.kafka的監控工具？1 jmx視覺化工具 metrics以jmx的形式提供了對外檢視資料的介面，所以我們可以在kafka啟動的...
kafka實時監控
在kafka的開發和維護中，我們經常需要了解kafka topic以及連線在其上的consumer的實時資訊，比如logsize，offset，owner等。為此kafka提供了consumeroffsetchecker，它的用法很簡單 bin kafka run class.sh kafka.to...