flume入門配置 簡單例項(一)

2021-08-20 14:22:15 字數 1169 閱讀 3166

一、基本概念 

1.source

2.channel

3.sink

二、配置檔案

通常寫在/conf下。

舉個例子:

在flume目錄下:

vi ./conf/flume-conf.properties

1.寫source、channel、sink名字

2.確定哪個source連線哪個channel、哪個channel連線sink 

3.sinks.type、channels.type、sources.type

三、簡單例項

使用spooling directory source 和logger link的flume配置

#conf  source、sink、channel name

agent1.sources = source1

agent1.sinks = sink1

agent1.channels = channel1

#set channels for sources and sinks

agent1.sources.source1.channels = channel1

agent.sinks.sink1.channel = channel1

#set sources

agent1.sources.source1.type = spooldir

agent1.sources.source1.spooldir = 需要監控的路徑

#set sinks

agent1.sinks.sink1.type = logger

#set channels

agent1.channels.channel1.type =file

在本例中,flume**僅執行了乙個source-channel-sink組合。sink是乙個logger sink,用於將事件記錄控制台。此處的channel型別是file channel,所以channel中的事件可以持久儲存到磁碟上。

配置檔案寫好之後,使用flume-ng命令啟動flume**:

flume-ng agent --conf $flume_home/conf --conf-file 配置檔名 --name agent1(**名稱) --dflume.root.logger=info,console

flume簡單搭建 一

上傳到虛擬機器指定目錄,解壓t tar xzf apache flume 1.7.0 bin.tar.gz進入flume下的conf檔案下複製flume conf.properties修改名稱為example.conf 名字可以隨便改在啟動命令是注意名稱就行 修改example.conf檔案 指定a...

Flume配置檔案簡單整理

各配置檔案資訊如下 一 flume監控hive日誌資訊並上傳到hdfs name the components on this agent a2.sources r2 a2.sinks k2 a2.channels c2 describe configure the source a2.source...

Java WebService 簡單入門例項

一 準備工作 以下為本例項使用工具 1 myeclipse10.7.1 2 jdk 1.6.0 22 二 建立服務端 1 建立 web service project 命名為 theservice 2 建立 class 類,命名為 servicehello 位於 com.hyan.service 包...