1、storm簡介
storm是乙個開源的、分布式實時計算系統。能夠實現高頻資料和大規模資料的實時處理。
2、核心概念
topology
拓撲，將整個流程串起來
計算拓撲，由spout和bolt組成的；
stream
流，資料流，水流
訊息流，抽象概念，沒有邊界的tuple構成,乙個stream由多個tuple構成。
spouts
產生資料/水的東西
訊息流的源頭，topology的訊息生產者
bolts
處理資料/水的東西 水壺/水桶
在bolt中進行業務處理，其實就是針對tuple進行處理。訊息處理單元，可以做過濾、聚合、查詢/寫資料庫的操作
tuple
資料/水
訊息/資料 傳遞的基本單元
Storm 核心概念
核心概念 topologies 拓撲，將整個流程串起來 計算拓撲，由spout和bolt組成 類似於mr作業 mr最終要完成，topology會一直執行除非自己殺死 對應的資源 topologybuilder running topologies on a production cluster lo...
NiFi （一）NiFi 簡介及核心概念
nifi是在主機作業系統上的jvm內執行。jvm上的nifi主要元件如下 流控制器 擴充套件 flowfile儲存庫 內容儲存庫 源頭儲存庫 nifi旨在充分利用其正在執行的底層主機系統的功能。對於cpu和磁碟，資源最大化特別強。有關其他詳細資訊。對於io 對於cpu 對於ram 資料緩衝背壓和壓力...
Storm學習記錄（一 簡介）
storm是乙個免費並開源的分布式實時計算系統。利用storm可以很容易做到可靠地處理無限的資料流，像hadoop批量處理大資料一樣，storm可以實時處理資料。storm簡單，可以使用任何程式語言。storm有如下特點 程式設計簡單 開發人員只需要關注應用邏輯，而且跟hadoop類似，storm提...