Flume 0 9 4配置Hbase sink實踐

2021-06-28 02:09:32 字數 1088 閱讀 6383

1、修改$flume_home/conf/flume-site.xml的配置檔案

,在裡面新增以下配置:

flume.plugin.classes

com.cloudera.flume.hbase.hbasesink,

com.cloudera.flume.hbase.attr2hbaseeventsink

comma separated list of plugin classes

複製**

其中value屬性配置的是hbase sink類,需要將包名新增進去。

如果你需要編寫自己的hbase sink類,只需要使你的類繼承自eventsink.base類,並按要求重寫其中的一些方法,具體可以參照flume原始碼自帶的hbasesink和attr2hbaseeventsink類的寫法。

2、拷貝hbase sink jar檔案到$flume_home/plugins資料夾裡面

[wyp@master

plugins] cp ~/flume-plugin-hbasesink-0.9.4-cdh3u3.jar \

$flume_home/plugins

複製**

其實不需要拷貝到$flume_home/plugins裡面,你隨便放都行,這裡主要是為了便於以後的

管理而這樣配置的。

3、修改$flume_home/bin/flume-env.sh檔案,在裡面新增如下內容

export flume_classpath=     \

/home/q/flume-0.9.4-cdh3u3/plugins/flume-plugin-hbasesink-0.9.4-cdh3u3.jar

複製**

4、重啟flume master節點

重啟完flume master節點之後,可以在http://master:35871/masterext.jsp頁面中的sinks**裡面看到attr2hbase和hbase兩個hbase sink,這樣你就可以在collector裡面用到這個sink。當然,如果預設的hbase sink不能滿足你的要求,可以自己寫乙個hbase sink。

原始碼位址

Flume 生產配置

1.flume安裝位置 10.96.183.54 home hadoop flume 1.7.0 2.配置文件 aoi.properties aoi.channels c1 aoi.sources r1 aoi.sinks k1 aoi.sources.r1.type spooldir aoi.so...

flume配置模板

root server 21 apache flume 1.6.0 bin cat test.properties 01 flume netcat test agent name a1 source netcat channel memory sink logger,local console 01...

Flume常用配置

flume常用配置4 taildir.source memory.channel hdfs.sink 以下配置基於版本apache flume 1.8.0 bin 我們假定已經對flume有一定了解,並且對flume 的各個元件有一定了解。我們演示乙個基本的 source 為 taildir源 ch...