Flume 學習筆記 2 基本概念

2021-06-06 00:09:15 字數 630 閱讀 4893

data flow:data flow描述了資料從產生,傳輸、處理並最終寫入目標的一條路徑。多個資料流被組合成logical node用來傳輸或聚合他們收到的資料。logical node又組合鏈來填充資料流。邏輯節點通過配置檔案組織。下圖中實線為資料流。

agent:從資料來源收集資料和生成日誌,並傳輸給下一層的collector。例如,監聽系統日誌,監控乙個web伺服器的日誌或者hadoop jobtracker的日誌,agent 生成資料流併發送到collector,collector聚合成乙個更大的資料流從而更有效的寫入hdfs。

collector:收集從agent傳送過來的資料並聚合成更大的資料流。

storage:資料儲存層,可以儲存在hdfs上。

每個logical node(agent 和 collector)都包括source和sink。source 指明logical node從哪收集資料。sink指明logical node將資料傳送到哪。兩個logical node的唯一不同之處就是source和sink的配置。source和sink都可以增加decorators在傳輸過程中進行處理。

參考:

ROS學習筆記2 基本概念

本筆記 於 ros檔案系統級別 檔案系統級別主要包含了你能在ros的磁碟上遇到的資源,包括 包 packages 包是ros中資源組織的主要單元,乙個包可以包含ros執行時程序 nodes 可以是乙個ros依賴庫,資料庫,配置檔案等任何有用的組織單元。包是ros中可以編譯和發布的元單元。元包 met...

2 深度學習基本概念

evernote export 1.基本概念 訓練集,測試集,特徵值,監督學習,非監督學習,半監督學習,分類,回歸 2.概念學習 人類學習概念 鳥,車,計算機 定義 概念學習是指從有關某個布林函式的輸入輸出訓練樣例中推斷出該布林函式 3.例子 學習 享受運動 這一概念 小明進行水上運動,是否享受運動...

基本概念 2

ecmascript中有5種簡單資料型別 也稱為基本資料型別 undefined null boolean number string。還有一種複雜資料型別 object,本質上是由一組無序的名值隊組成。ecmascript不支援任何建立自定義型別機制,所有值都是上述6種資料型別之一。由於ecmas...