flume配置採集日誌

上傳dir-hdfs.conf 到flume的conf目錄下：

#定義三大元件的名稱

ag1.sources = source1
ag1.sinks = sink1
ag1.channels = channel1
# 配置source元件
ag1.sources.source1.type = spooldir
ag1.sources.source1.spooldir = /opt/2019-1
ag1.sources.source1.filesuffix=.finished
ag1.sources.source1.deserializer.maxlinelength=5120
# 配置sink元件
ag1.sinks.sink1.type = hdfs
ag1.sinks.sink1.hdfs.path =hdfs://master:9000/access_log/%y-%m-%d/%h-%m
ag1.sinks.sink1.hdfs.filesuffix = .log
ag1.sinks.sink1.hdfs.batchsize= 100
ag1.sinks.sink1.hdfs.filetype = datastream
ag1.sinks.sink1.hdfs.writeformat =text
# roll：滾動切換：控制寫檔案的切換規則
# 按檔案體積（位元組）來切 
ag1.sinks.sink1.hdfs.rollsize = 512000
#按event條數切 
ag1.sinks.sink1.hdfs.rollcount = 1000000
# 按時間間隔切換檔案 
ag1.sinks.sink1.hdfs.rollinterval = 60
# 控制生成目錄的規則
ag1.sinks.sink1.hdfs.round = true
ag1.sinks.sink1.hdfs.roundvalue = 10
ag1.sinks.sink1.hdfs.roundunit = minute
ag1.sinks.sink1.hdfs.uselocaltimestamp = true
# channel元件配置
ag1.channels.channel1.type = memory
ag1.channels.channel1.capacity = 500000 ## event條數
ag1.channels.channel1.transactioncapacity = 600 ##flume事務控制所需要的快取容量600條event
# 繫結source、channel和sink之間的連線
ag1.sources.source1.channels = channel1
ag1.sinks.sink1.channel = channel1

./flume-ng agent -c /usr/local/flume-1.8.o-bin/conf  -f /usr/local/flume-1.8.o-bin/conf/dir-hdfs.conf  -n a1 -dflume.root.logger=info,console

-f 或者–conf-file 後跟具體的配置檔案

-n 或者–name 指定agent的名稱

後台執行flume:前面加乙個nohup空格. 後面加乙個&

nohup ./flume-ng agent -c /usr/local/flume-1.8.o-bin/conf -f /usr/local/flume-1.8.o-bin/conf/dir-hdfs.conf -n ag1 -dflume.root.logger=info,console &

Flume 日誌採集啟動停止指令碼

背景 一般我們在實際的生產環境中，進行日誌採集的時候一般都是，寫乙個指令碼的，不可能一台一台機器上去登入進行開啟flume或者停止flume,那樣效率就太低了，於是我們就需要開發乙個指令碼來啟動和關閉。bin bash case 1in start stop xargs kill done esac...

flume配置 動態檔案採集

定義三大元件的名稱 ag1.sources source1 ag1.sinks sink1 ag1.channels channel1 配置source元件 ag1.sources.source1.type exec ag1.sources.source1.command tail f root l...

flume常用採集靜態檔案配置

定義三大元件的名稱 採集靜態檔案 啟動命令 bin flume ng agent c conf f dir hdfs.conf n ag1 dflume.root.logger info,console 將日誌列印在控制台，實際情況中將其放入黑洞中 配置如下 ag1.sources source1 ...