storm集群的監控

2021-07-10 16:26:55 字數 665 閱讀 6954

所謂兵馬未動,糧草先行,準備將storm用在某個專案中做實時資料分析。無論任何系統,一定要有監控系統並存,當故障發生的時候你能第乙個知道,而不是讓別人告訴你,那處理故障就很被動了。

因此我寫了這麼個專案,取名叫storm-monitor,放在了github上

主要功能如下:

1.監控supervisor數目是否正確,當supervisor掛掉的時候會傳送警告。

2.監控nimbus是否正常執行,monitor會嘗試連線nimbus,如果連線失敗就認為nimbus掛掉。

3.監控topology是否正常執行,包括它是否正常部署,是否有執行中的任務。

當故障發生的時候通過alarm方法警告使用者,開放出去的只是簡單地打日誌。因為每個公司的告警介面不一樣,所以你需要自己擴充套件,修改alarm.clj即可。我們這兒就支援旺旺告警和手機簡訊告警。

基本的原理很簡單,對supervisor和topology的監控是通過zookeeper來間接地監控,通過定期檢視path是否存在。對nimbus的監控是每次起乙個短連線連上去,連不上去即認為掛掉。

整個專案也是用clojure寫。你的機器需要安裝lein和exec外掛程式,然後將你的storm.yaml拷貝到conf目錄下,編輯monitor.yaml設定監控引數如檢查間隔等,最後啟動start.sh指令碼即可。預設日誌輸出在logs/monitor.log。

storm集群的監控

所謂兵馬未動,糧草先行,準備將storm用在某個專案中做實時資料分析。無論任何系統,一定要有監控系統並存,當故障發生的時候你能第乙個知道,而不是讓別人告訴你,那處理故障就很被動了。因此我寫了這麼個專案,取名叫storm monitor,放在了github上 主要功能如下 1.監控supervisor...

Storm 二 Storm集群部署

集群部署的基本流程 集群部署的基礎環境準備 storm集群部署 storm集群的常用操作命令 storm集群的程序及日誌檢視 注意 所有的集群上都需要配置hosts vi etc hosts 192.168.239.128 storm01 zk01 hadoop01 192.168.239.129 ...

storm集群的搭建

在zookeeper集群的搭建中,我們已經完成了zookpeeper集群的搭建,本篇我們將講解如何搭建storm集群,並把storm集群接入到zookpeeper集群。軟體環境 linux配置python可以參考 linux環境下python的安裝過程 上傳apache storm 0.9.2 in...