Flume的特點介紹

2021-10-10 10:08:00 字數 948 閱讀 3233

flume 特點

1、可靠性

當節點出現故障時,日誌能夠被傳送到其他節點上而不會丟失。

flume提供了三種級別的可靠性保障,從強到弱依次分別為:

(1) end-to-end(收到資料agent首先將event寫到磁碟上,當資料傳送成功後,再刪除;如果資料傳送失敗,可以重新傳送。),

(2) store on failure(失敗,故障)(這也是scribe採用的策略,當資料接收方crash時,將資料寫到本地,待恢復後,繼續傳送),

(3) best effort(資料傳送到接收方後,不會進行確認)。

2、可管理性

(1)所有agent和colletor(收藏家)由master統一管理,這使得系統便於維護。

(2)多master情況,flume利用zookeeper和gossip,保證動態配置資料的一致性。

(3)使用者可以在master上檢視各個資料來源或者資料流執**況,且可以對各個資料來源配置和動態載入。

(4)flume提供了web 和shell script command兩種形式對資料流進行管理。

3、可擴充套件性

flume採用了三層架構,分別為agent,collector和storage,每一層均可以水平擴充套件。

其中,所有agent和collector由master統一管理,這使得系統容易監控和維護,且master允許有多個(使用zookeeper進行管理和負載均衡),這就避免了單點故障問題。

4、文件豐富,社群活躍(附加的開源條件)

flume 已經成為 hadoop 生態系統的標配,它的文件比較豐富,社群比較活躍,方便我們學習。

5、功能可擴充套件性

(1)使用者可以根據需要新增自己的agent,collector或者storage。

(2)此外,flume自帶了很多元件,包括各種agent(file, syslog等),collector和storage(file,hdfs等)。

flume安裝,簡單介紹

1.flume 1.flume源於cloudera公司,用於自己公司日常資料生產收集,flume og,2.flume ng,由apache進行維護 3.flume是一種分布式,可靠且可用的服務,用於有效地收集,聚合和移動大量日誌資料 2.flume的組成 1.agent 每乙個 都是乙個 單獨的j...

NSWMP特點介紹

1 所有的ap都通過nswmp協議直接接入雲ac 2 每乙個ap都是乙個閘道器,彈portal可以在ap中完成 3 ap最終接入到那個ac動態決定,一般策略是接入到乙個負載最輕的ac上 4 ac集群是分布式的,任何一台ac停機不會影響使用者的上網和ap的狀態 5 ap支援mac無感知認證,使用者可以...

flume原始碼閱讀 總體介紹

flume是cloudera提供的乙個高可用的,高可靠的,分布式的海量日誌採集 聚合和傳輸的系統,flume支援在日誌系統中定製各類資料傳送方,用於收集資料 同時,flume提供對資料進行簡單處理,並寫到各種資料接受方 可定製 的能力。對於怎樣去讀原始碼,仁者見仁,智者見智,下面僅僅陳述一下我的方法...