flume 作為 cloudera 開發的實時日誌收集系統，受到了業界的認可與廣泛應用。flume 初始的發行版本目前被統稱為 flume og（original generation），屬於 cloudera。
但隨著 flume 功能的擴充套件，flume og **工程臃腫、核心元件設計不合理、核心配置不標準等缺點暴露出來，尤其是在 flume og 的最後乙個發行版本 0.9.4. 中，日誌傳輸不穩定的現象尤為嚴重，為了解決這些問題，2011 年 10 月 22 號，cloudera 完成了 flume-728，對 flume 進行了里程碑式的改動：重構核心元件、核心配置以及**架構，重構後的版本統稱為 flume ng（next generation）；改動的另一原因是將 flume 納入 apache 旗下，cloudera flume 改名為 apache flume。
flume提供乙個分布式的，可靠的，對大資料量的日誌進行高效收集、聚集、移動的服務，flume只能在unix環境下執行。
flume基於流式架構，容錯性強，也很靈活簡單。
flume、kafka用來實時進行資料收集，spark、storm用來實時處理資料，impala用來實時查詢。
使用者文件：
開發文件：
黑猴子的家 Python 簡介
總的來說，程式語言各有千秋。c語言是可以用來編寫作業系統的貼近硬體的語言，所以，c語言適合開發那些追求執行速度 充分發揮硬體效能的程式。而python是用來編寫應用程式的高階程式語言。當你用一種語言開始作真正的軟體開發時，你除了編寫 外，還需要很多基本的已經寫好的現成的東西，來幫助你加快開發進度。比...
黑猴子的家 Flume案例 監控資料夾
使用flume監聽整個目錄的檔案 1 建立配置檔案flume dir.conf a3.sources r3 a3.sinks k3 a3.channels c3 describe configure the source a3.sources.r3.type spooldir a3.sources....
黑猴子的家 Hadoop Checkpoint機制
fsimage和edit log合併的過程如下圖所示 其實這個合併過程是乙個很耗i o與cpu的操作，並且在進行合併的過程中肯定也會有其他應用繼續訪問和修改hdfs檔案。所以，這個過程一般不是在單一的namenode節點上進行從。如果hdfs沒有做ha的話，checkpoint由secondname...