NiFi (一)NiFi 簡介及核心概念

2021-10-23 04:06:09 字數 577 閱讀 5469

nifi是在主機作業系統上的jvm內執行。jvm上的nifi主要元件如下:

流控制器 擴充套件

flowfile儲存庫

內容儲存庫

源頭儲存庫

nifi旨在充分利用其正在執行的底層主機系統的功能。對於cpu和磁碟,資源最大化特別強。有關其他詳細資訊。

對於io

對於cpu

對於ram

資料緩衝背壓和壓力釋放

優先排隊

流特定qos(延遲 vs 吞吐量, 丟失容限等)

使用方便

流模板

資料**

恢復/記錄細粒歷史的滾動緩衝區

安全使用者到系統

多租戶授權

可擴充套件架構

分類器隔離

站點到站點通訊協議

靈活的縮放模型

放大與縮小

NiFi資料流例項一

本例項構建一條最簡單的資料流,從檔案系統的乙個本地目錄讀取檔案,生成資料流,然後分別寫入到另乙個本地目錄下和指定的hdfs目錄下。說明每個處理器的配置視窗,有四個tab,說明如下 tab描述 settings 處理器資訊的配置,例如處理器名稱。可以說是乙個處理器型別的例項。scheduling 處理...

React 簡介及核心概念

三大框架一大抄 元件化方面 什麼是模組化 是從 的角度來進行分析的 把一些可復用的 抽離為單個的模組 便於專案的維護和開發 什麼是元件化 是從 ui 介面的角度 來進行分析的 把一些可服用的ui元素,抽離為單獨的元件 便於專案的維護和開發 元件化的好處 隨著專案規模的增大,手裡的元件越來越多 很方便...

RocketMQ簡介及核心概念說明

阿里巴巴訊息中介軟體起源 於 2001 年的五彩石專案,notify 在這期間應運而生,用於交易核心訊息的流轉 2010 年,b2b 開始大規模使用 activemq 作為訊息核心,隨著阿里業務 的快速發展,急需一款支援順序消 息,擁有海量訊息堆積能力的訊息中介軟體,metaq 1.0 在 2011...