Ganglia配置教程 監控hadoop 單機配置

2021-06-18 23:44:35 字數 2020 閱讀 6898

ganglia是乙個跨平台可擴充套件的,高效能計算系統下的分布式監控系統,如集群和網格。它是基於分層設計,它使用廣泛的技術,如xml資料代表,便攜資料傳輸,rrdtool用於資料儲存和可 視化。

配置資訊:

ubuntu 12.04 x64

hadoop版本1.0.4

首先需要安裝ganglia,ubuntu下通過apt-get安裝即可

sudo apt-get install  ganglia-monitor ganglia-webfront gmetad

安裝完成後修改/etc/ganglia/gmond.conf檔案

將globals模組下的setuid=yes修改為setuid=no,cluster模組下的name修改為hadoop

然後修改/etc/ganglia/gmetad.conf檔案

找到data_source, 將其修改為   data_source "hadoop" 127.0.0.1 如果是集群直接在多個ip用空格隔開,可以自行定義監聽埠號,如果不自定義使用預設埠8649,如果有防火牆,記得開放埠號。

修改完成後重啟ganglia

sudo /etc/init.d/ganglia-monitor restart

sudo /etc/init.d/gmetad restart

重啟完之後就可以把ganglia-webfront 複製到apache的www目錄下

sudo cp -r /usr/share/ganglia-webfront /var/www/ganglia

再重啟apache 服務

sudo /etc/init.d/apache2 restart

這樣就可以通過訪問http://localhost/ganglia 檢視介面。

配置hadoop:

找到hadoop目錄下conf下的hadoop-metrics2.properties檔案

#

# below are for sending metrics to ganglia

## for ganglia 3.0 support

*.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.gangliasink30

## for ganglia 3.1 support

# *.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.gangliasink31

*.sink.ganglia.period=10

# default for supportsparse is false

*.sink.ganglia.supportsparse=true

*.sink.ganglia.slope=jvm.metrics.gccount=zero,jvm.metrics.memheapusedm=both

*.sink.ganglia.dmax=jvm.metrics.threadsblocked=70,jvm.metrics.memheapusedm=40

namenode.sink.ganglia.servers=239.2.11.71:8649

datanode.sink.ganglia.servers=239.2.11.71:8649

jobtracker.sink.ganglia.servers=239.2.11.71:8649

tasktracker.sink.ganglia.servers=239.2.11.71:8649

maptask.sink.ganglia.servers=239.2.11.71:8649

reducetask.sink.ganglia.servers=239.2.11.71:8649

只需要將注釋修改,然後將ganglia的server位址修改為239.2.11.71即可,重啟hadoop,即可看到如下檢視,表示ganglia搭建成功

ganglia集群監控

安裝的方法網上一大堆,不同的系統有不同的方法,只有試過才知道那個最適用自己集群的。我的系統是rhel,就直接yum安裝 後來發現圖表的座標沒顯示出來,找了最新版的gweb放到apache的目錄下,還是不行,就猜想可能是rrdtool的版本過低導致,因此檢視了一下rrdtool的版本,發現是1.2的,...

Ganglia分組監控

行文之前,表達一下小鬱悶。ganglia官方把分組監控的幫助文件放到了quick start guide,而不是configuration,讓我一番好找。ganglia的分組監控,實施起來其實很簡單,官方文件已經給出了示例。總結起來,實施分組監控,有下面幾個關鍵點 一是多播和單播。分組監控最好用單播...

ganglia 監控mysql Ganglia監控

一 ganglia是什麼?ganglia是由uc berkeley發起的乙個開源專案,主要通過收集各節點上的度量資料 如處理器速度 記憶體使用量等 實現系統效能的監控。ganglia的核心包含gmetad gmond以及web前端三部分,這三部分之間通過xdl xml的壓縮格式 或者xml格式傳遞監...