flume (日誌收集系統)
flume是cloudera提供的乙個高可用的，高可靠的，分布式的海量日誌採集、聚合和傳輸的系統，flume支援在日誌系統中定製各類資料傳送方，用於收集資料;同時，flume提供對資料進行簡單處理，並寫到各種資料接受方(可定製)的能力。
當前flume有兩個版本flume 0.9x版本的統稱flume-og，flume1.x版本的統稱flume-ng。由於flume-ng經過重大重構，與flume-og有很大不同，使用時請注意區分。
日誌收集
flume最早是cloudera提供的日誌收集系統，目前是apache下的乙個孵化專案，flume支援在日誌系統中定製各類資料傳送方，用於收集資料。
資料處理
flume提供對資料進行簡單處理，並寫到各種資料接受方(可定製)的能力 。flume提供了從console(控制台)、rpc(thrift-rpc)、text(檔案)、tail(unix tail)、syslog(syslog日誌系統)，支援tcp和udp等2種模式)，exec(命令執行)等資料來源上收集資料的能力。
工作方式
flume-og採用了多master的方式。為了保證配置資料的一致性，flume引入了zookeeper，用於儲存配置資料，zookeeper本身可保證配置資料的一致性和高可用，另外，在配置資料發生變化時，zookeeper可以通知flume master節點。flume master間使用gossip協議同步資料。
flume-ng最明顯的改動就是取消了集中管理配置的 master 和 zookeeper，變為乙個純粹的傳輸工具。flume-ng另乙個主要的不同點是讀入資料和寫出資料現在由不同的工作執行緒處理(稱為 runner)。 在 flume-og 中，讀入執行緒同樣做寫出工作(除了故障重試)。如果寫出慢的話(不是完全失敗)，它將阻塞 flume 接收資料的能力。這種非同步的設計使讀入執行緒可以順暢的工作而無需關注下游的任何問題。
flume （日誌收集系統）
flume 日誌收集系統 flume是cloudera提供的乙個高可用的，高可靠的，分布式的海量日誌採集 聚合和傳輸的系統，flume支援在日誌系統中定製各類資料傳送方，用於收集資料 同時，flume提供對資料進行簡單處理，並寫到各種資料接受方 可定製 的能力。當前flume有兩個版本flume 0...
FLUME日誌收集
flume是乙個分布式 可靠 和高可用的海量日誌聚合的系統，支援在系統中定製各類資料傳送方，用於收集資料 同時，flume提供對資料進行簡單處理，並寫到各種資料接受方 可定製 的能力。1 可靠性 當節點出現故障時，日誌能夠被傳送到其他節點上而不會丟失。flume提供了三種級別的可靠性保障，從強到弱依...
日誌收集 Flume
乙個flume程序就是乙個agent source channel sink 在source channel sink之間流動的是list exent event header byte payload,一般header是空的，傳輸資料的單位 flume串聯的壞處 乙個壞了全壞 好處 多級緩衝 處理...