#channels 記憶體
#sink 本地
a1.sources = s1
a1.channels=c1
a1.sinks=k1
#tcp協議
#a1.sources.s1.type = syslogtcp
#a1.sources.s1.port= 5140
#a1.sources.s1.host= wangfutai
#a1.sources.s1.channels = c1
#udp協議
#a1.sources.s1.type = syslogudp
#a1.sources.s1.port = 5140
#a1.sources.s1.host = wangfutai
#a1.sources.s1.channels = c1
#乙個ip 多個埠
a1.sources.r1.type = multiport_syslogtcp
a1.sources.r1.channels = c1
a1.sources.r1.host =wangfutai
a1.sources.r1.ports = 10001 10002 10003
a1.sources.r1.portheader = port
a1.channels = c1
a1.channels.c1.type = memory
#緩衝 事件個數
a1.channels.c1.capacity = 10000
傳輸到sink,一次事件個數
a1.channels.c1.transactioncapacity = 10000
#閾值百分比
a1.channels.c1.bytecapacitybufferpercentage = 20
#記憶體大小
a1.channels.c1.bytecapacity = 800000
a1.sinks.k1.type = file_roll
a1.sinks.k1.channel = c1
#輸出路徑
a1.sinks.k1.sink.directory = /home/wangfutai/a/flume/netlogs
#回滾時長，在sink的目錄下 每隔60s產生乙個新的文字
a1.sinks.k1.sink.rollinterval = 60
a1.sinks.k1.sink.pathmanager.prefix = network
安裝除錯助手
sudo yum install nc.x86_64
執行flume-ng agent --name a1 --conf-file /home/wangfutai/a/flume/conf/03net_local.flu
FLUME日誌收集
flume是乙個分布式 可靠 和高可用的海量日誌聚合的系統，支援在系統中定製各類資料傳送方，用於收集資料 同時，flume提供對資料進行簡單處理，並寫到各種資料接受方 可定製 的能力。1 可靠性 當節點出現故障時，日誌能夠被傳送到其他節點上而不會丟失。flume提供了三種級別的可靠性保障，從強到弱依...
日誌收集 Flume
乙個flume程序就是乙個agent source channel sink 在source channel sink之間流動的是list exent event header byte payload,一般header是空的，傳輸資料的單位 flume串聯的壞處 乙個壞了全壞 好處 多級緩衝 處理...
使用Logtail收集各網路日誌資料
日誌服務提供各種內網 私網 公網等訪問點，可以非常便捷地將混合網路中的資料進行接入。假設日誌服務建立在華東1，則不同網路下接入方式如下 資料來源資料型別 網路方案 華東1ecs 經典網 內網華東1 ecs vpc 私網華東2 ecs 經典網 vpc 外網 https idc與華東1 拉專線 內網id...