Flume使用 從本地日誌採取檔案

while true; 

doecho 111111111111111111111111_$random >> access.log; 
sleep 0.2; 
done

#定義這個agent中各個元件的名字,a1是乙個分組,在執行的時候可以執行配置檔案中指定的組

a1.sources = r1

a1.channels = c1

a1.sinks = k1

# source config (描述和配置source元件 r1)

a1.sources.r1.channels = c1

a1.sources.r1.type = taildir

a1.sources.r1.filegroups = g1

a1.sources.r1.filegroups.g1 = /var/log/eventlog/access.*

a1.sources.r1.header.g1.abc = bbb

a1.sources.r1.batchsize =

100

a1.sources.r1.fileheader =

true

a1.sources.r1.fileheaderkey = filename

a1.sources.r1.interceptors = i1

a1.sources.r1.interceptors.i1.type = timestamp

# channel config (描述和配置channel元件 c1)

a1.channels.c1.type = memory

a1.channels.c1.capacity =

1000

a1.channels.c1.transactioncapacity =

200

# sink config

#sink元件和channel元件關聯

a1.sinks.k1.channel = c1

a1.sinks.k1.type = hdfs

a1.sinks.k1.hdfs.path = hdfs://doitedu01:

8020

/flume_test/%y‐%m‐%d/%h‐%m/

a1.sinks.k1.hdfs.fileprefix = event_

a1.sinks.k1.hdfs.filesuffix = .log

a1.sinks.k1.hdfs.rollinterval = 0

a1.sinks.k1.hdfs.rollcount = 0

a1.sinks.k1.hdfs.rollsize =

134217728

a1.sinks.k1.hdfs.round =

true

a1.sinks.k1.hdfs.roundvalue =

10

a1.sinks.k1.hdfs.roundunit = minute

a1.sinks.k1.hdfs.filetype = datastream

bin/flume‐ng agent ‐c conf ‐f agentconf/taildir‐m‐hdfs.properties ‐n a1

bin/flume-ng agent -c conf -f agentconf/taildir-m-hdfs.properties -n a1 -dflume.monitoring.type=http -dflume.monitoring.port=34545

agent    執行乙個採集器

-n a1  指定我們這個agent的名字

-c conf   指定flume自身的配置檔案所在目錄

-f conf/netcat-logger.conf  指定自定義的採集方案

bin/flume-ng agent -n a1 -c conf -f myconf/taildir-m-hdfs.conf 1>/dev/null 2>&1 &

1的意思是將1裡面的標準輸出(正確輸出)重定向到dev/null檔案(拋棄掉,不會儲存)裡面去,

2的意思是將2裡面的錯誤輸出同樣重定向到dev/null檔案中

&的意思是將程式放到後台執行

從flume到kafka，日誌收集

實時日誌分析 本篇文章主要測試 從flume到kafka的日誌收集，storm日誌分析，學習中！flume 配置檔案 collector collector.sources cs collector.sinks ck hbasesink collector.channels cc hbasechan...

Flume 三 監測本地目錄寫入日誌

在 opt下面建立 flume 要監測的目錄 opt flumelog events root cai flumelog mkdir events建立監查點的目錄 opt flumelog checkpoint events root cai flumelog mkdir checkpoint ro...

使用flume進行日誌收集的總結 1

由於最近幾個月在搞乙個實時監控平台的專案，用的是flume kafka spark，之前領導說弄個文件總結一下專案開發中的用到技術以及容易出錯的地方，以供之後的新手們參考 其實我也才接觸了幾個月而已 現在才有時間弄文件，順便也發個部落格記錄一下 篇 畢竟當初我也是不斷在網上查資料的 由於網上對於fl...