乙個flume程序就是乙個agent=source+channel+sink
在source channel sink之間流動的是list[exent]
event=header+byte payload,一般header是空的，傳輸資料的單位
flume串聯的壞處：乙個壞了全壞
好處：多級緩衝
處理複雜的邏輯
chanel處理器不宜進行太複雜的邏輯，不然太耗費效能，一般就進行掐頭去尾
channel選擇器：選擇資料去往哪個channel
sink處理器：選擇其中乙個sink去獲取channel資料 可以採用輪詢或負載均衡
優點：
1.百搭，可以和任意儲存程序整合
2.當輸入的資料速率大於寫入的速率時，flume可以進行緩衝，減小hdfs的壓力
3.flume輸入輸出各有一事務,putlist takelist
保證資料可靠性：資料進來的，flume只要返回成功那麼資料一定是存進來了，資料出來的時候,只有flume
確認資料成功發出才會刪除資料
缺點：由於其強保證資料不丟失，那麼就會造成數可能會重複，因為你確保資料不丟，只要
出了一點差錯整個list就會重新請求再發一次，或者再往外寫一次
FLUME日誌收集
flume是乙個分布式 可靠 和高可用的海量日誌聚合的系統，支援在系統中定製各類資料傳送方，用於收集資料 同時，flume提供對資料進行簡單處理，並寫到各種資料接受方 可定製 的能力。1 可靠性 當節點出現故障時，日誌能夠被傳送到其他節點上而不會丟失。flume提供了三種級別的可靠性保障，從強到弱依...
flume （日誌收集系統）
flume 日誌收集系統 flume是cloudera提供的乙個高可用的，高可靠的，分布式的海量日誌採集 聚合和傳輸的系統，flume支援在日誌系統中定製各類資料傳送方，用於收集資料 同時，flume提供對資料進行簡單處理，並寫到各種資料接受方 可定製 的能力。當前flume有兩個版本flume 0...
flume（日誌收集系統）
flume 日誌收集系統 flume是cloudera提供的乙個高可用的，高可靠的，分布式的海量日誌採集 聚合和傳輸的系統，flume支援在日誌系統中定製各類資料傳送方，用於收集資料 同時，flume提供對資料進行簡單處理，並寫到各種資料接受方 可定製 的能力。當前flume有兩個版本flume 0...