storm的流分組

2021-09-24 17:19:33 字數 687 閱讀 3279

1.shuffle grouping(隨機分組):這種方式會隨機分發tuple給bolt的各個task,每個bolt例項接收到的相同數量的tuple。

2.fields grouping(按欄位分組):根據指定欄位的值進行分組。比如說,乙個資料流根據「word」字段進行分組,所有具有相同「word」字段值的tuple會路由到同乙個bolt的task中。

3.all grouping(全複製分組):將所有的tuple複製後分發給所有bolt task。每個訂閱資料流的task都會接收到tuple的拷貝。

4.globle grouping(全域性分組):這種分組方式將所有的tuples路由到唯一乙個task上。storm按照最小的task id來選取接收資料的task。

5.none grouping(不分組):在功能上和隨機分組相同,是為將來預留的。

6.direct grouping(指向型分組):資料來源會呼叫emitdirect()方法來判斷乙個tuple應該由哪個storm元件來接收。只能在宣告了是指向型的資料流上使用。

7.local or shuffle grouping(本地或隨機分組):和隨機分組類似,但是,會將tuple分發給同乙個worker內的bolt task(如果worker內有接收資料的bolt task)。其他情況下,採用隨機分組的方式。取決於topology的併發度,本地或隨機分組可以減少網路傳輸,從而提高topology效能。

storm的流分組策略

關於storm的基礎,參照我這篇文章 流式計算storm 關於併發和並行,參照我這篇文章 併發和並行 關於storm的並行度解釋,參照我這篇文章 storm的並行度解釋 關於storm的流分組策略,參照我這篇文章 storm的流分組策略 關於storm的訊息可靠機制,參照我這篇文章 storm的訊息...

storm的分組策略

storm有7種流分組策略 1 shuffle grouping 隨機分組 將tuple隨機分配到bolt中,能夠保證各task中處理的資料均衡 2 fields grouping 按欄位分組 根據設定的字段相同值得tuple被分配到同乙個bolt進行處理 舉例 builder.setbolt my...

storm分組策略介紹

size medium b 一 storm資料 b size spout的資料來源 mq 直接流資料來源 db 只能讀配置檔案 檔案 只能學習用,其他無用。問題 1 分布式應用無法讀 2 spout開併發會重複讀 log檔案增量資料 1 讀出內容寫入mq,2 storm處理 size medium ...