摘要： （1）kafka和flume都是日誌系統。
kafka是分布式訊息中介軟體，自帶儲存，提供push和pull訪問資料功能。
flume分為agent（資料採集器）,collector（資料簡單處理和寫入）,storage（儲存器）三部分，每一部分都是可以定製的。比如agent採用
rpc（thrift-rpc）、text（檔案）等，
storage指定用hdfs做。
（2）kafka做日誌快取應該是更為合適的，但是 flume的資料採集部分做的很好，可以定製很多資料來源，減少開發量。所以比較流行flume+kafka模式，如果為了利用flume寫hdfs的能力，也可以採用kafka+flume的方式。
採集層主要可以使用flume, kafka兩種技術。
flume：flume 是管道流方式，提供了很多的預設實現，讓使用者通過引數部署，及擴充套件api.
kafka：kafka是乙個可持久化的分布式的訊息佇列。
flume
和kafka
可以結合起來使用。通常會使用
flume + kafka
的方式。其實如果為了利用
flume
已有的寫
hdfs
功能，也可以使用
kafka + flume
的方式。
大資料之資料採集引擎flum
flume的安裝非常簡單，只需要解壓的tar.gz的包後，就可以啟動 大資料之資料採集引擎flum flum是用來採集檔案的比如.log檔案，也可以指定乙個目錄 flum由三個元件組成，分別是 source channel sink source元件是用來採集日誌 channel元件是用來緩衝日誌的...
Kafka技術帶你玩轉大資料！
與大資料相關的工具與技術，除了常聽到的hadoop spark r之外，還有乙個比較陌生的 kafka。今天，大聖眾包威客平台 www.dashengzb.cn 便來披露kafka的逆天技術，看看它是怎樣玩轉大資料的。一 kafka在大資料的生態系統中別具價值 作為一種高吞吐量的分布式發布訂閱訊息系...
大資料（Kafka） 原理
在kafka中向topic傳送訊息者稱為producer，從topic獲取資料者稱為consumer，consumer被定義到乙個consumer group中，整個kafka集群通過zookeeper進行協調 kafka集群由多個broker例項組成，訊息按照topic進行分類儲存，每個topic...