ganglia 監控mysql Ganglia監控

2021-10-17 20:31:35 字數 1833 閱讀 7492

一、ganglia是什麼?

ganglia是由uc berkeley發起的乙個開源專案,主要通過收集各節點上的度量資料(如處理器速度、記憶體使用量等)實現系統效能的監控。ganglia的核心包含gmetad、gmond以及web前端三部分,這三部分之間通過xdl(xml的壓縮格式)或者xml格式傳遞監控資料,達到監控效果。

二、ganglia工作原理圖

ganglia監控的大致過程為:集群內的節點通過執行gmond收集並相互發布節點狀態資訊,然後gmetad利用rrdtool工具週期性的輪詢gmond收集到的資訊,然後存入rrd資料庫,最後再利用rrdtool工具將收集到的資料建立成圖表,並通過web前端將其顯示出來。

二、ganglia的元件

(1)gmetad程式

gmetad用於輪詢gmond節點儲存的資訊,並更新到rrd資料庫中

乙個資料來源節點就是是乙個gmond節點。乙個gmetad節點可以設定多個資料來源節點,每個資料來源節點可以有多個備份,乙個資料來源節點失敗了還可以從其他節點取資料。可以把gmetad理解為伺服器。

gmetad只有tcp通道,一方面它向datasource傳送請求,獲取資料源節點的xml檔案,另一方面會使用乙個8651的預設tcp埠發布自身收集的xml檔案,因此,gmetad即可以從gmond也可以從其他gmetad節點獲取xml資料。

(2)gmond程式

gmond收集:一般用於收集本機的監控資料,用gmond.conf的udp_rev_channel來配置

gmond儲存:並不是所有的gmond的都用來儲存,可以找出其中的一台或者幾台來儲存即可,用gmond.conf的udp_send_channel來配置

gmond節點之間的資訊傳送接收主要用udp協議,傳遞檔案格式為xdl。

每個gmond收集到的資料供gmetad讀取,gmond通過預設埠8649監聽到gmetad請求後將xml格式資料傳送給gmetad。可以將gmond理解為客戶端。

gmond收集資料有muticast和unicast兩種。gmond本身具有udp的傳送(send)和接受(recv)通道以及tcp的接收(recv)通道。其中udp通道用於向其他gmond節點傳送或接收資料,tcp通道主要接受來自gmetad的請求,向gmetad傳送xml檔案。在muticast模式下,gmond節點之間通過udp向多播目標相互傳遞資料。

gmond節點模組結構主要有三個模組組成:

1)collect and publish模組,該模組週期性的呼叫一些內部命令獲得metric data,然後將這些資料通過udp通道發布給其他gmond節點。

2)listen threads監聽其他gmond節點傳送的udp資料,並將這些資料存放在記憶體中

3)xml export threads負責將資料以xml格式發布出去,比如交給gmetad。

在unicast模式下,多個gmond節點通過udp向單播的目標主機host的gmond傳送資料,gmetad然後向目標主機的gmond請求xml檔案。

在unicast模式下,gmond、gmetad、rrd資料庫以及web前端通常位於集群內的同乙個節點上,該節點負責收集、儲存、顯示被監控的各節點的狀態資訊。

(3)web前端

web前端通常和gmetad安裝在同乙個節點上,它從gmetad中取資料,並且讀取rrd資料庫,生成顯示出來。

ganglia集群監控

安裝的方法網上一大堆,不同的系統有不同的方法,只有試過才知道那個最適用自己集群的。我的系統是rhel,就直接yum安裝 後來發現圖表的座標沒顯示出來,找了最新版的gweb放到apache的目錄下,還是不行,就猜想可能是rrdtool的版本過低導致,因此檢視了一下rrdtool的版本,發現是1.2的,...

Ganglia分組監控

行文之前,表達一下小鬱悶。ganglia官方把分組監控的幫助文件放到了quick start guide,而不是configuration,讓我一番好找。ganglia的分組監控,實施起來其實很簡單,官方文件已經給出了示例。總結起來,實施分組監控,有下面幾個關鍵點 一是多播和單播。分組監控最好用單播...

使用Ganglia監控Hadoop

hadoop本身提供了很多監控工具的介面,如jmx nagios ganglia等。使用ganglia監控hadoop,配置起來非常簡單,只需要修改 hadoop home conf hadoop metrics.properties檔案,把相關的配置段修改為下面的示例 configuration ...