Storm主要元件

2021-09-28 23:23:55 字數 893 閱讀 9247

首先扣一張最經典的,也是官網的首頁,就可以很好的解釋。

storm中的spout元件就是圖中畫出的水龍頭,它就是資料來源,storm處理資料要完成實時資料處理首先需要有資料來源將資料輸入,那麼spout就是資料來源的功能。

2.bolt

storm中的bolt元件就是圖中的小水滴,它是資料流處理組鍵,資料來源spout將資料傳送過來會交給bolt進行處理。可以從圖中看出,乙個spout傳送出資料可以傳送給好多個bolt並行處理,而乙個bolt處理完之後可以給下乙個bolt繼續處理。

3.資料管道

storm傳送資料的管道也就是圖中的乙個乙個指向性箭頭,因為storm是流式處理框架,所以spout拿到資料將資料推送到bolt中處理就是經過乙個乙個的管道,管道中放的是最小的資料單位tuple,也就是元組。

4.tuple

它是stream中最小資料組成單元,spout獲取到資料之後,只有將資料封裝成tuple才可以填充到資料管道中,才可以流向bolt進行處理。

5.拓撲

當storm完成了上面的這乙個流程,就是spout資料來源傳送資料,經過資料管道傳送給bolt,bolt進行處理,完成乙個需求之後,這個就叫做乙個拓撲,也就是topology,它是dag有向無環圖,也就是圖中所示的。

6.storm中的程序

7.storm中的執行緒

8.storm中的task

9.storm中的stream grouping – 資料流分組(即資料分發策略)

storm核心元件

nimbus 負責資源分配和任務排程。supervisor 負責接受nimbus分配的任務,啟動和停止屬於自己管理的worker程序。通過配置檔案設定當前 supervisor 上啟動多少個 worker worker 執行具體處理元件邏輯的程序。worker執行的任務型別只有兩種,一種是spout...

Storm核心元件介紹

nimbus 主控節點 用於接收,提交任務,來分配集群任務,集群的監控 zookeeper 儲存storm集群的資料儲存 心跳 集群狀態 nimbus任務分配到supervisor 分組策略 1 fields grouping 按照字段分組,相同字段傳送到同乙個task中 2 shuffle gro...

Storm核心元件 程式設計模型

storm簡介 storm是用來做實時計算的框架,所以介紹storm之前需要知道什麼是流式計算。流式計算 資料實時產生 資料實時傳輸 資料實時計算 實時展示 代表技術 flume實時獲取資料 kafka metaq實時資料儲存 storm jstorm實時資料計算 redis實時結果快取 持久化儲存...