storm初級教程 001 storm簡介

2021-09-28 12:20:24 字數 811 閱讀 7945

topology: 乙個拓撲是乙個圖的計算,類似於mapreduce

stream: 流  其實就是資料的抽象,storm將資料封裝成元組結構tuple;所有機器上的某個topology任務的資料構成流

spout: 資料來源 一般是佇列消費端

bolt: 資料處理單元:負責計算,傳輸tuple,儲存資料;在bolt可以新起執行緒

stream grouping 流分組:定義在blot中流應該如何分割槽傳送【storm包含8個流分組介面:隨機分組shuffle group,字段分組】

task:任務計算拓撲上每個spout,bolt都需要執行緒處理,task就是對這一抽象概念的囊括

worker:感覺worker這個單詞更形象:工作程序,對應物理節點

spout可以整合的一些訊息源『

storm 有乙個本地模式localcluster cluster = new localcluster();用來模擬storm集群從而方便開發測試

其優點如下:

魯棒性好

可擴充套件:計算任務可動態調節計算能力

可容錯:nimbus,supervisor故障不會影響集群健康【會進行重啟】得益於無狀態化設計,資料掛載在外部

保證資料處理:每乙個tuple很難丟失

入門指南

storm-contrib整合了各類訊息源儲存源元件

HLSL初級教程

hlsl 初級教程 trcj 目錄 前言1.hlsl 入門1.1 什麼是著色器 1.2什麼是 hlsl 1.3怎麼寫hlsl 著色器1.4 怎麼用hlsl 著色器2.頂點著色器 2.1可程式設計資料流模型 2.2頂點宣告 2.3用頂點著色器實現漸變動畫 3.畫素著色器 3.1多紋理化 3.2多紋理效...

SubVersion初級教程

don t tell me why,just tell me how.1 找個rpm或者bin或者tar之類的安裝包,把subvesion安裝好。裝好之後client server admin都在你機器上了。2 首先在你中意的目錄,比如根目錄 下,執行 svnadmin create svnroot...

shiro 初級教程

首先 看不懂多看幾次,我已經把我學習的精華寫出來了 什麼許可權管理,我認為大概包括使用者認證與使用者授權。只要用使用者的系統,都會存在許可權管理。二 許可權管理基礎 2.1使用者認證 首先不管你做沒有做過許可權管理,如下圖你也是熟悉的。這個圖的流程很簡單,很直觀的看到許可權認證的流程走向。那麼上圖中...