Flume Agent 內部原理和事務

2021-10-02 04:29:44 字數 704 閱讀 4957

1)channelselector

channelselector 的作用就是選出 event 將要被發往哪個 channel。其共有兩種型別,

分別是replicating(複製)multiplexing(多路復用)

replicatingselector 會將同乙個 event 發往所有的 channel,multiplexing 會根據相

應的原則,將不同的 event 發往不同的 channel。

2)sinkprocessor

sinkprocessor 共 有 三 種 類 型,分 別 是defaultsinkprocessor

loadbalancingsinkprocessorfailoversinkprocessor

defaultsinkprocessor 對 應 的 是 單 個 的 sink , 

loadbalancingsinkprocessor 和failoversinkprocessor 對應的是 sink group,

loadbalancingsinkprocessor 可以實現負載均衡的功能,failoversinkprocessor 可以實現故障轉移的功能。

Flume Agent內部原理

注意 同乙個sink組 好多個sink channel中的同乙個資料只能被拉取一次 sinkprocessor有如下三種型別 channel selector 分為兩種 interceptor 是簡單的插入式元件,設定在source和source寫入資料的channel之間,source接收到的事件...

Flume 事務和內部原理

flume使用兩個獨立的事務分別負責從soucrce到channel,以及從channel到sink的事件傳遞。在source到channel之間的叫put事務,在channel到sink之間的叫take事務。事務兩個特性就是 成功了提交,失敗了回滾。從source到channel過程中,資料在fl...

libvirt內部原理

1 什麼是libvirt,它的功能有哪些?libvirt 是管理虛擬機器和其他虛擬化功能,比如儲存管理,網路管理的軟體集合。這 些軟體包括乙個api 庫 乙個daemon libvirtd 和乙個命令列工具 virsh the goal of libvirt to provide a common ...