基於Flume的日誌收集系統方案參考

2022-06-24 12:57:09 字數 1423 閱讀 1055

示例圖如下:

說明:每個日誌源(http上報、日誌檔案等)對應乙個agent-c用於收集對應日誌, 收集來的日誌可以流到agent-s-1或agent-s-2;

agent-c的sink處理器採用輪詢負載均衡策略,一方面可以分擔壓力,另一方面可增加系統可用性,即使乙個agent-s出現故障,系統可正常執行;

最後,agent-s-1和agent-s-2的通道處理器配置為分流模式,將不同project的事件分流到不同channel中,最後交由不同的sink處理,並存入到對應儲存系統中;

以上資料採集層和資料彙總層均支援水平擴充套件;

示例圖如下:

說明:與方案一不同的是,該方案支援將事件流輸出到kafka佇列中,實現方式是在agent-c上配置通道選擇器,配置為複製模式,複製乙份相同的事件流到其它通道sink3上,最終輸出到kafka佇列。

以上圖例僅供參考,參考。。。

實際上,由於source、channel、sink等元件都支援自定義實現,所以方案可以非常自由,我們可以自定義sink元件,實現事件寫入到本地儲存系統的同時,寫入到kafka佇列中,只有想不到,沒有做不到;

原文參考:

示例圖如下:

說明:每個日誌源(http上報、日誌檔案等)對應乙個agent-c用於收集對應日誌, 收集來的日誌可以流到agent-s-1或agent-s-2;

agent-c的sink處理器採用輪詢負載均衡策略,一方面可以分擔壓力,另一方面可增加系統可用性,即使乙個agent-s出現故障,系統可正常執行;

最後,agent-s-1和agent-s-2的通道處理器配置為分流模式,將不同project的事件分流到不同channel中,最後交由不同的sink處理,並存入到對應儲存系統中;

以上資料採集層和資料彙總層均支援水平擴充套件;

示例圖如下:

說明:與方案一不同的是,該方案支援將事件流輸出到kafka佇列中,實現方式是在agent-c上配置通道選擇器,配置為複製模式,複製乙份相同的事件流到其它通道sink3上,最終輸出到kafka佇列。

以上圖例僅供參考,參考。。。

實際上,由於source、channel、sink等元件都支援自定義實現,所以方案可以非常自由,我們可以自定義sink元件,實現事件寫入到本地儲存系統的同時,寫入到kafka佇列中,只有想不到,沒有做不到;

原文參考:

flume (日誌收集系統)

flume 日誌收集系統 flume是cloudera提供的乙個高可用的,高可靠的,分布式的海量日誌採集 聚合和傳輸的系統,flume支援在日誌系統中定製各類資料傳送方,用於收集資料 同時,flume提供對資料進行簡單處理,並寫到各種資料接受方 可定製 的能力。當前flume有兩個版本flume 0...

flume(日誌收集系統)

flume 日誌收集系統 flume是cloudera提供的乙個高可用的,高可靠的,分布式的海量日誌採集 聚合和傳輸的系統,flume支援在日誌系統中定製各類資料傳送方,用於收集資料 同時,flume提供對資料進行簡單處理,並寫到各種資料接受方 可定製 的能力。當前flume有兩個版本flume 0...

FLUME日誌收集

flume是乙個分布式 可靠 和高可用的海量日誌聚合的系統,支援在系統中定製各類資料傳送方,用於收集資料 同時,flume提供對資料進行簡單處理,並寫到各種資料接受方 可定製 的能力。1 可靠性 當節點出現故障時,日誌能夠被傳送到其他節點上而不會丟失。flume提供了三種級別的可靠性保障,從強到弱依...