flume配置檔案example
#agent1表示**名稱
agent1.sources=source1
agent1.sinks=sink1
agent1.channels=channel1
#spooling directory是監控指定資料夾中新檔案的變化，一旦新檔案出現，就解析該檔案內容，然後寫入到channle。寫入完成後，標記該檔案已完成或者刪除該檔案。
#配置source1
agent1.sources.source1.type=spooldir
agent1.sources.source1.spooldir=/root/hmbbs
agent1.sources.source1.channels=channel1
agent1.sources.source1.fileheader = false
agent1.sources.source1.interceptors = i1
agent1.sources.source1.interceptors.i1.type = timestamp
#配置sink1
agent1.sinks.sink1.type=hdfs
agent1.sinks.sink1.hdfs.path=hdfs://hadoop0:9000/hmbbs
agent1.sinks.sink1.hdfs.filetype=datastream
agent1.sinks.sink1.hdfs.writeformat=text
agent1.sinks.sink1.hdfs.rollinterval=1
agent1.sinks.sink1.channel=channel1
agent1.sinks.sink1.hdfs.fileprefix=%y-%m-%d
#配置channel1
agent1.channels.channel1.type=file
agent1.channels.channel1.checkpointdir=/root/hmbbs_tmp/123
agent1.channels.channel1.datadirs=/root/hmbbs_tmp/
Flume配置檔案1
flume監聽埠的配置檔案 smple.conf a single node flume configuration name the components on this agent 定義變數方便呼叫 加s可以有多個此角色 a1.sources r1 a1.sinks k1 a1.channels...
Flume 的配置檔案
1 在 elk 03 的 bd flume 1.7 conf 目錄下建立 kafka flume hdfs.conf 檔案 hadoop elk 03 conf vim kafka flume hdfs.conf 2 在檔案配置如下內容 元件定義 a1.sources r1 r2 a1.channe...
Flume配置檔案簡單整理
各配置檔案資訊如下 一 flume監控hive日誌資訊並上傳到hdfs name the components on this agent a2.sources r2 a2.sinks k2 a2.channels c2 describe configure the source a2.source...