HBase監控點過濾收集到OpenTSDB

2021-07-02 03:33:19 字數 1248 閱讀 4032

一般而言,常常採取的方法是配置hbase的監控輸出到ganglia,通過其自帶的圖表展示相應監控點。但是存在幾個問題:

1、region很多過期的監控資料不會消失,導致很多無用監控點;

2、圖表系統渲染太慢,監控點多以後不可接受;

3、監控資料儲存無法水平擴充套件,因為是存在本地磁碟檔案

通過調研opentsdb,發現其可以很好地處理時間序列資料,具有很好的擴充套件性和查詢。具體思路就是對filesink進行擴充套件,讓其列印輸出我們關注的監控點,並格式化為opentsdb支援的json資料,輸出到檔案中,通過另外乙個agent將這些監控資料實時入庫到opentsdb中。

擴充套件的filesink打成jar包,放入$hbase_home/lib目錄下,同時修改$hbase_home/conf目錄中的hadoop-metrics2-hbase.properties檔案:

*.sink.file*.class=org.apache.hadoop.metrics2.sink.filesink

# default sampling period

*.period=10

# below are some examples of sinks that could be used

# to monitor different hbase daemons.

hbase.sink.file-all.class=org.apache.hadoop.metrics2.sink.filesink

hbase.sink.file-all.filename=all.metrics

public abstract class jsonfilesink implements metricssink 

catch (exception e)

} @override

public void putmetrics(metricsrecord record)

}for (abstractmetric metric : record.metrics())

}}

public abstract setbuildconsiderablemetrics();

@override

public void flush()

}

winform treeview 節點過濾

專案中有乙個已經繫結好的treeview 需求是,根據過濾條件a,把不滿足條件a的節點過濾掉,如果節點不滿足條件,但葉子節點滿足條件,該節點保留,節點不滿足條件,該節點下的葉子節點也不滿足條件,該節點和葉子節點都過濾掉。演算法是 到序遍歷每乙個樹節點 先遍歷葉子節點 如果節點是葉子節點,檢查條件,不...

效能測試監控點

unix主機 資料庫 伺服器 應用伺服器 web伺服器 對這些內容的記錄需要通過作業系統 提供的效能觀測工具或是應用自身提供的效能觀測工具 在unix環境中,可以用top vmstat iostat程式觀察需要記錄的內容,更好的方法是自己寫乙個簡單指令碼,把時間資訊和輸出資訊一同存入本地日誌 檔案。...

hbase 分頁過濾

原文連線 所以,權威指南裡才有了加上空位元組陣列的處理。hbase2.0以後,新的api是withstartrow byte startrow,boolean inclusive 可以直接設定是否包含起始行,完美解決問題,但是又保留了對以前api函式的相容性。分頁過濾 private static ...