flume實時收集日誌
kafka版本0.8.2
1.版本apache-flume-1.7.0-bin.tar.gz
解壓後conf 目錄下配置以.conf結尾的檔案如(flume_properties.conf)
2.配置檔案資訊
// sources 資料來源每增加乙個新增即可
a1.sources = r1 r2 r3 r4 r5
//資料輸出方式
a1.sinks = k1
//資料匯聚儲存方式
a1.channels = c1
//收集資料型別 exec為監控輸出檔案
a1.sources.r1.type = exec
//檔案的路徑
a1.sources.r1.command=tail -f apache-tomcat-0/logs/catalina.2017-03-08.out
//增加每乙個資料來源都需要配置
a1.sources.r2.type = exec
a1.sources.r2.command=tail -f apache-tomcat-1/logs/catalina.2017-03-08.out
a1.sources.r3.type = exec
a1.sources.r3.command=tail -f apache-tomcat-2/logs/catalina.2017-03-08.out
a1.sources.r4.type = exec
a1.sources.r4.command=tail -f apache-tomcat-3/logs/catalina.2017-03-08.out
a1.sources.r5.type = exec
a1.sources.r5.command=tail -f apache-tomcat-4/logs/catalina.2017-03-08.out
//資料輸出型別
a1.sinks.k1.type= org.apache.flume.sink.kafka.kafkasink
//kafka位址
a1.sinks.k1.brokerlist=0.0.0.1:9092
//topic
a1.sinks.k1.topic=logs
//資料型別
a1.sinks.k1.serializer.class=kafka.serializer.stringencoder
//通道型別(記憶體)
a1.channels.c1.type = memory
//容量
a1.channels.c1.capacity = 1000
//event事務容量
a1.channels.c1.transactioncapacity = 100
//資料來源使用的通道
a1.sources.r1.channels = c1
a1.sources.r2.channels = c1
a1.sources.r3.channels = c1
a1.sources.r4.channels = c1
a1.sources.r5.channels = c1
//sinks輸出的通道
a1.sinks.k1.channel = c1
3.啟動flume
bin/flume-ng agent --conf conf --conf-file /home/flume/conf/flume_properties.conf --name a1 -dflume.root.logger=info,console &
logger列印啟動日誌資訊
增加 & 在後台啟動 退出shell時注意 輸入exit 關閉連線
4.每日檔名變更
日誌檔案會按日期分割,sources的監控的檔案也會變化.
shell指令碼:(flumeupdate.sh)
#!/bin/bash
dateformattype=$(date +%y-%m-%d)
sed-i
's/catalina.*/catalina.'$'.out/g'
/home/flume/conf/flume_properties.conf
crontab任務：
0 5 * * * sh /home/x-sh/flumeupdate.sh
從flume到kafka，日誌收集
實時日誌分析 本篇文章主要測試 從flume到kafka的日誌收集，storm日誌分析，學習中！flume 配置檔案 collector collector.sources cs collector.sinks ck hbasesink collector.channels cc hbasechan...
FLUME日誌收集
flume是乙個分布式 可靠 和高可用的海量日誌聚合的系統，支援在系統中定製各類資料傳送方，用於收集資料 同時，flume提供對資料進行簡單處理，並寫到各種資料接受方 可定製 的能力。1 可靠性 當節點出現故障時，日誌能夠被傳送到其他節點上而不會丟失。flume提供了三種級別的可靠性保障，從強到弱依...
日誌收集 Flume
乙個flume程序就是乙個agent source channel sink 在source channel sink之間流動的是list exent event header byte payload,一般header是空的，傳輸資料的單位 flume串聯的壞處 乙個壞了全壞 好處 多級緩衝 處理...