flume是乙個分布式的、可靠的日誌收集、聚合、傳輸系統，簡單來說就是將檔案從a地點移動到b地點。
flume可以收集包含檔案、socket資料報等各種形式的資料，並且能夠儲存到hdfs、hbase、hive等。
因此flume的最大特點是具有很高的相容性和自定義擴充套件能力。
其核心為agent，包含三個元件，source、sink等
kafka為啥要跟flume共用
線上的服務很難直接去修改介面，也就是很難從乙個服務將資料或者日誌送入kafka，因此通過flume作為資料通道進行對接
也就是flume用於服務和kafka對接，從而搭建日誌採集系統。flume在企業裡一般都是資料採集，然後落地動作。比如flume採集nginx日誌，然後寫入kafka，然後再用flume消費kafka資料，入hdfs。
kafka和flume的對比
摘要 1 kafka和flume都是日誌系統。kafka是分布式訊息中介軟體，自帶儲存，提供push和pull訪問資料功能。flume分為agent 資料採集器 collector 資料簡單處理和寫入 storage 儲存器 三部分，每一部分都是可以定製的。比如agent採用 rpc thrift ...
Kafka與flume的整合
為我們的source channel sink起名 a1.sources r1 a1.channels c1 a1.sinks k1 指定我們的source收集到的資料傳送到哪個管道 a1.sources r1.channels c1 指定我們的source資料收集策略 a1.sources r1....
kafka整合flume詳細步驟
對於初學者來說，可能對kafka和flume有一定的了解，但是並沒有過實際的應用，也不知道如何來使用。這篇文章主要針對kafka和flume的整合 環境 linux 準備工作 搭建好zookeeper集群及kafka集群 版本 kafka 2.11 1.1.0，flume 1.8.0 步驟 啟動zo...