介紹整合flume和kafka的文章很多。
最近正好學習並動手實踐了一回，記下自己的一些心得。
flume是 cloudera 開發的實時日誌收集系統。
她包含三個重要元件，就是source(採集讀入資料)， sink(輸出資料）和channel（source和sink之間的buffer)。
值得一提的是， flume支援乙個source採集資料，並通過多個channel傳送至多個sink，配置樣例見下文鏈結。
個人感覺開發者是希望分布式的實時日誌採集變得更加簡單，使用者只需通過配置甚至不需要開發**，就可以實現日誌採集。
同時，還有很重要的一點，flume比較適合分布式擴充套件，這對成長迅速的大型分布式系統比較有利。
大家可以參考如下一片文章進一步學習flume: flume ng 簡介及配置實戰
總的來說需要如下幾步：
1> 安裝好flume本週內會繼續將如上內容補充完整，爭取能給剛上手的同學更多幫助。3> 配置flume安裝目錄下的conf /***.properties （就是定義自己的flume source, channel 和 sink），注意 sink的型別就是<2>中自己定義的sink類全名（package.class)
5> 啟動flume, 驗證是否成功 （可能碰到的問題包括scala版本問題，kafka jar包的版本問題和sfj多版本衝突等）
傑天空靜候您的光臨。
kafka和flume的對比
摘要 1 kafka和flume都是日誌系統。kafka是分布式訊息中介軟體，自帶儲存，提供push和pull訪問資料功能。flume分為agent 資料採集器 collector 資料簡單處理和寫入 storage 儲存器 三部分，每一部分都是可以定製的。比如agent採用 rpc thrift ...
Kafka與flume的整合
為我們的source channel sink起名 a1.sources r1 a1.channels c1 a1.sinks k1 指定我們的source收集到的資料傳送到哪個管道 a1.sources r1.channels c1 指定我們的source資料收集策略 a1.sources r1....
kafka整合flume詳細步驟
對於初學者來說，可能對kafka和flume有一定的了解，但是並沒有過實際的應用，也不知道如何來使用。這篇文章主要針對kafka和flume的整合 環境 linux 準備工作 搭建好zookeeper集群及kafka集群 版本 kafka 2.11 1.1.0，flume 1.8.0 步驟 啟動zo...