1.建立配置檔案
vim dir-hdfs.conf#spooldir：flume中自帶的讀取目錄的source，只要出現新檔案就會被讀走
#定義三大元件的名稱
ag1.sources = source1
ag1.sinks = sink1
ag1.channels = channel1
# 配置source元件
ag1.sources.source1.type = spooldir
ag1.sources.source1.spooldir =
/root/log/
ag1.sources.source1.filesuffix=
.finished
# 配置sink元件
ag1.sinks.sink1.type = hdfs
ag1.sinks.sink1.hdfs.path =hdfs:
//hdp-
101:
9000
/access_log1/
%y-%m-
%d/%h-
%mag1.sinks.sink1.hdfs.filesuffix =
.log
ag1.sinks.sink1.hdfs.batchsize=
100ag1.sinks.sink1.hdfs.filetype = datastream
ag1.sinks.sink1.hdfs.writeformat =text
## roll：滾動切換：控制寫檔案的切換規則
ag1.sinks.sink1.hdfs.rollsize =
512000
ag1.sinks.sink1.hdfs.rollcount =
1000000
ag1.sinks.sink1.hdfs.rollinterval =
60## 控制生成目錄的規則 目錄多久切一次
ag1.sinks.sink1.hdfs.round = true
ag1.sinks.sink1.hdfs.roundvalue =
10ag1.sinks.sink1.hdfs.roundunit = minute
ag1.sinks.sink1.hdfs.uselocaltimestamp = true
# channel元件配置
ag1.channels.channel1.type = memory
ag1.channels.channel1.capacity =
500000
ag1.channels.channel1.transactioncapacity =
600# 繫結source、channel和sink之間的連線
ag1.sources.source1.channels = channel1
ag1.sinks.sink1.channel = channel1
.
/flume-ng agent -c .
./conf -f .
./dir-hdfs1.conf -n ag1 -dflume.root.logger=info,console
-f …/dir-hdfs.conf ：配置檔案的位置
-n ag1 : agent的名字
Flume 的配置檔案
1 在 elk 03 的 bd flume 1.7 conf 目錄下建立 kafka flume hdfs.conf 檔案 hadoop elk 03 conf vim kafka flume hdfs.conf 2 在檔案配置如下內容 元件定義 a1.sources r1 r2 a1.channe...
Firefox配置資料夾詳解
參考此文會幫助你更好的管理和備份 firefox配置檔案，此文沒有列出的檔案大多是firefox執行時生成的一些隨機檔案，大多無用，備份或管理配置檔案時酌情刪除。在位址列輸入about support回車，點選如下圖的顯示資料夾即可開啟當前執行的firefox配置資料夾 資料夾 adblockplu...
flume配置檔案example
flume配置檔案example agent1表示 名稱 agent1.sources source1 agent1.sinks sink1 agent1.channels channel1 spooling directory是監控指定資料夾中新檔案的變化，一旦新檔案出現，就解析該檔案內容，然後寫...