Apache NiFi 核心概念和關鍵特性

2022-07-27 00:03:15 字數 1297 閱讀 5718

翻譯自官方文件

核心概念如下:

flowfile processorflowfile處理器,由它完成對資料的實際處理工作.包括但不限於對資料內容和屬性的載入,路由,轉換,輸出等.

處理器最靈活之處在於處理器可以讀寫flowfile的屬性資訊,並且用自帶的領域特定語言(dsl)對屬性進行程式設計.

connection由connections把各個處理器鏈結起來,從而形成資料處理流程的有向無環圖(dag圖).也稱資料流, nifi 中的 flow.

connection 同時充當處理器間的佇列,並且佇列的屬性高度可配置.

這些佇列可以配置優先順序,可以在設定閾值,可以實現反壓。

flow controller流控制器對使用者不可見的.它充當維護處理器如何連線和管理所有處理器所使用的執行緒及其分配的重要角色。

flow controller充當促進處理器之間flowfiles交換的**。

process group為了方便管理,把一組特定的處理器及其連線組成的 flow 放到乙個處理組中去,可以通過輸入埠接收資料並通過輸出埠傳送資料。

以這種方式,處理組可以通過組合其他組來建立全新組,形成更加複雜的dag圖( flow 流)。

易於使用

安全機制

可擴充套件的架構設計

靈活的擴容模型

翻譯自官方文件

核心概念如下:

flowfile processorflowfile處理器,由它完成對資料的實際處理工作.包括但不限於對資料內容和屬性的載入,路由,轉換,輸出等.

處理器最靈活之處在於處理器可以讀寫flowfile的屬性資訊,並且用自帶的領域特定語言(dsl)對屬性進行程式設計.

connection由connections把各個處理器鏈結起來,從而形成資料處理流程的有向無環圖(dag圖).也稱資料流, nifi 中的 flow.

connection 同時充當處理器間的佇列,並且佇列的屬性高度可配置.

這些佇列可以配置優先順序,可以在設定閾值,可以實現反壓。

flow controller流控制器對使用者不可見的.它充當維護處理器如何連線和管理所有處理器所使用的執行緒及其分配的重要角色。

flow controller充當促進處理器之間flowfiles交換的**。

process group為了方便管理,把一組特定的處理器及其連線組成的 flow 放到乙個處理組中去,可以通過輸入埠接收資料並通過輸出埠傳送資料。

以這種方式,處理組可以通過組合其他組來建立全新組,形成更加複雜的dag圖( flow 流)。

易於使用

安全機制

可擴充套件的架構設計

靈活的擴容模型

AMQP協議模型和核心概念

是面向訊息的中介軟體的開放標準應用層協議,amqp的特徵是訊息導向,排隊,路由 包括點對點和發布和訂閱 可靠性和安全性。amqp要求訊息傳遞提供商和客戶端的行為在不同 商實現可互操作的情況下,以與smtp,http,ftp等相同的方式建立了可互操作的系統。amqp協議是具有現代特徵的二進位制協議。乙...

Docker 的核心概念和安裝

docker 映象 docker映象 images 類似於虛擬機器映象,可以將它理解為乙個面向docker引擎的唯讀模版,包含了檔案系統 docker 容器 container 類似於乙個輕量級的沙箱,docker利用容器來執行和隔離應用。容器是從映象建立的應用執行例項,可以將其啟動 開始 停止刪除...

zookeeper的核心概念和安裝

作用 分布式系統中的主節點擊舉!比如hbase中的老大的產生 hmaster ha 分布式系統中的主從節點感知!分布式系統中的配置檔案同步!系統伺服器的動態上下線感知 分布式系統中的分布式鎖的實現!分布式中的同乙個物件 分布式系統中的名稱服務!分布式系統中的負載均衡!zookeeper的功能其實很簡...